Nondistortionary belief elicitation

Resumo Técnico: Elicitação Não Distorciva de Crenças

1. O Problema

O artigo aborda um desafio fundamental no desenho de experimentos econômicos e psicológicos: como um pesquisador pode incentivar um sujeito a relatar suas crenças subjetivas (sobre uma escolha que ele fez) de forma verdadeiramente ótima, sem distorcer os incentivos da escolha original.

• Contexto: Frequentemente, pesquisadores pedem aos sujeitos que estimem a probabilidade de sua escolha ser correta, o nível de confiança ou a utilidade esperada. Para garantir a veracidade, usam-se mecanismos de incentivo (como regras de pontuação ou BDM).
• O Conflito: Se o pagamento na fase de elicitação de crenças depende da escolha feita na fase de decisão, o sujeito pode alterar sua escolha original não para maximizar o resultado da tarefa, mas para manipular o pagamento da elicitação de crenças.
  • Exemplo: Em um teste de múltipla escolha, um sujeito pode escolher intencionalmente uma resposta errada se isso aumentar sua probabilidade de ganhar um bônus na elicitação de crenças (ex: relatar baixa confiança em uma resposta errada), mesmo que isso reduza sua pontuação no teste.
• Objetivo: Identificar condições necessárias e suficientes para que uma pergunta sobre crenças seja "incentivizável" (ou seja, exista um esquema de pagamento que torne a revelação verdadeira única e ótima) sem alterar o conjunto de ações ótimas do problema de decisão original.

2. Metodologia e Modelo

Os autores propõem um modelo formal combinando um problema de decisão geral com uma etapa de elicitação de crenças.

• Estrutura do Modelo:
  • Decisão: Um sujeito escolhe uma ação $a \in A$ em um conjunto de estados $\Theta$, com função de utilidade $u(a; \theta)$.
  • Elicitação: Após a escolha, o pesquisador pergunta sobre uma função $X(a; \theta)$, que representa a expectativa subjetiva do sujeito sobre um evento ou valor relacionado à sua escolha.
  • Mecanismo de Pagamento: O sujeito recebe um pagamento $V(r, a, \theta)$ baseado no relatório $r$, na ação $a$ e no estado $\theta$.
• Definição de Incentivizabilidade: Um perfil de perguntas $X$ é incentivizável se existir um método $V$ tal que:
  1. A ação ótima no problema combinado (decisão + elicitação) seja a mesma que no problema de decisão isolado (não distorção).
  2. O relatório ótimo seja a expectativa verdadeira de $X(a; \theta)$.
• Ferramentas Analíticas:
  • Grafo de Adjacência: Um grafo onde os nós são ações e uma aresta conecta duas ações se elas são ambas ótimas para alguma crença (e nenhuma outra ação o é). A estrutura deste grafo (árvores, ciclos completos, produtos) determina quais perguntas podem ser incentivadas.
  • Alinhamento (Alignment): Uma condição chave onde a pergunta $X(a)$ é uma transformação afim da utilidade $u(a)$ (mais um termo dependente do estado).
  • Mecanismo BDM (Becker-DeGroot-Marschak): Os autores utilizam variações deste mecanismo clássico para construir esquemas de pagamento que garantem a revelação verdadeira.

3. Contribuições Principais e Resultados

Os autores caracterizam completamente quais perguntas são incentivizáveis em três classes canônicas de problemas de decisão, baseadas na estrutura do grafo de adjacência:

A. Condição Geral de Necessidade (Lema de Adjacência)
Para que uma pergunta seja incentivizável, ela deve ser "alinhada" com a utilidade em cada par de ações adjacentes. Isso significa que, para ações adjacentes $a$ e $b$, a diferença na pergunta $X$ deve ser linearmente relacionada à diferença na utilidade $u$.

B. Três Classes de Problemas e Resultados Específicos:

1. Árvores de Adjacência (Adjacency Trees):

   • Cenário: Ocorre em problemas com estados ordenados e ações monotônicas (ex: previsão de probabilidade em intervalos discretos). O grafo não tem ciclos.
   • Resultado: A condição de alinhamento global não é necessária. É suficiente que a pergunta seja "alinhada por partes" (piecewise aligned). Ou seja, a pergunta deve ser alinhada com a utilidade em cada par de ações adjacentes, permitindo que os parâmetros de alinhamento variem entre diferentes pares de ações.
   • Implicação: Perguntas de "incerteza cognitiva" (probabilidade de estar dentro de um erro $x$) podem ser incentivadas em problemas unidimensionais monotônicos, desde que o alinhamento seja local.

2. Adjacência Completa (Complete Adjacency):

   • Cenário: Ocorre em problemas de "adivinhar o estado" onde qualquer par de ações pode ser ótimo dependendo da crença (ex: múltipla escolha onde qualquer resposta pode ser a correta). O grafo é um grafo completo.
   • Resultado: A condição é muito mais restritiva. A pergunta deve ser globalmente alinhada com a utilidade $u$ (ou seja, $X(a) \approx u(a) + d$).
   • Implicação: Perguntas comuns como "qual a probabilidade de sua resposta estar correta?" (que é um indicador binário) não são incentivizáveis na maioria dos problemas de múltipla escolha, pois não são alinhadas com a utilidade esperada. O pesquisador deve, em vez disso, perguntar sobre o "regret esperado" (utilidade esperada relativa ao ótimo).

3. Problemas de Produto (Product Problems):

   • Cenário: O sujeito realiza uma sequência de tarefas independentes (ex: um teste com várias questões) e o pagamento é baseado na soma das pontuações (ou uma tarefa selecionada aleatoriamente).
   • Resultado: A condição é "alinhamento ponderado" (weighted aligned). A pergunta deve ser alinhada com uma soma ponderada das utilidades de cada tarefa individual ($X \approx \sum \tau_i u_i$), mas não necessariamente com a utilidade total do problema.
   • Implicação: É possível incentivar perguntas sobre a diferença de desempenho entre duas partes do teste (ex: "qual a melhoria esperada da primeira metade para a segunda?"), mas perguntas sobre a probabilidade de atingir um limiar absoluto de pontuação (ex: "probabilidade de acertar > 80%") geralmente não são incentivizáveis, pois criam incentivos para distorcer a estratégia de resposta para manipular a probabilidade de cruzar o limiar.

4. Significado e Implicações Práticas

• Revisão de Práticas Experimentais: O artigo demonstra que muitas perguntas de confiança e incerteza cognitiva usadas na literatura atual (como perguntar a probabilidade de estar certo) são, na maioria dos casos, distorcidas. Os sujeitos podem manipular suas respostas ou escolhas para maximizar o ganho na elicitação.
• Soluções Viáveis: Os autores mostram que existem alternativas viáveis. Em vez de perguntar sobre a probabilidade de acerto, os pesquisadores devem perguntar sobre:
  • A utilidade esperada (ou regret esperado).
  • Diferenças de desempenho entre subconjuntos de tarefas (em testes longos).
• Mecanismos de Implementação: Para as perguntas incentivizáveis, os autores fornecem construções explícitas baseadas no mecanismo BDM, que podem ser implementadas diretamente em laboratórios.
• Diretrizes para Pesquisadores:
  • Se o problema de decisão tem estrutura de árvore (ordenado), perguntas locais são aceitáveis.
  • Se o problema é de múltipla escolha (grafo completo), evite perguntas binárias de "certo/errado"; use perguntas de utilidade esperada.
  • Em testes compostos, evite perguntas sobre limiares absolutos; prefira perguntas sobre comparações relativas ou somas ponderadas.

5. Conclusão

O trabalho de Pęski e Stewart fornece uma teoria rigorosa para a elicitacao de crenças sem distorção. Eles estabelecem que a viabilidade de incentivar a verdade depende intrinsecamente da topologia do problema de decisão (o grafo de adjacência). A principal lição é que a "simples" pergunta "qual a chance de você estar certo?" é frequentemente impossível de incentivar sem distorção, mas reformular a pergunta para focar em utilidades esperadas ou diferenças de desempenho permite a elicitação honesta e não distorcida.