Nondistortionary belief elicitation

Resumen Técnico: Elicitación No Distorsionadora de Creencias

1. Planteamiento del Problema

En la investigación experimental, es común que los investigadores soliciten a los sujetos que informen sobre sus creencias relacionadas con una decisión que han tomado (por ejemplo, su confianza en una respuesta, la probabilidad de que su elección sea óptima ex post, o su incertidumbre cognitiva).

El problema central identificado por los autores es el conflicto de incentivos:

• Para obtener respuestas honestas, los investigadores suelen utilizar mecanismos de incentivos (como reglas de puntuación o mecanismos BDM).
• Sin embargo, si la pregunta sobre la creencia depende de la acción elegida en el problema de decisión original, los incentivos para reportar la creencia pueden distorsionar la elección de la acción en el problema original.
• Ejemplo ilustrativo: Un sujeto podría elegir deliberadamente una respuesta incorrecta en un test si eso le permite reportar una probabilidad muy alta de que esa respuesta sea incorrecta, maximizando así su pago en la etapa de elicitación de creencias a expensas de su rendimiento en la tarea principal.

Objetivo del artículo: Identificar bajo qué condiciones es posible diseñar mecanismos de incentivos que fomenten el reporte veraz de las creencias sin distorsionar la elección óptima del sujeto en el problema de decisión original.

2. Metodología y Modelo

Los autores proponen un modelo formal que combina un problema de decisión con una etapa de elicitación de creencias.

• Estructura del Modelo:

  • Problema de Decisión: Definido por un conjunto de estados $\Theta$, un conjunto de acciones $A$ y una función de utilidad $u(a; \theta)$. El sujeto elige una acción $a$ basándose en una creencia $p$ sobre $\theta$.
  • Elicitación de Creencias: Después de elegir $a$, el sujeto responde a una pregunta $X(a; \theta)$, que representa el valor esperado subjetivo de una función $X$ que depende de la acción elegida y el estado.
  • Mecanismo de Pago: El sujeto recibe un pago $V(r, a, \theta)$ que depende de su reporte $r$, su acción $a$ y el estado $\theta$. Se asume que el sujeto es pagado aleatoriamente por la tarea principal o por la elicitación de creencias.

• Definición de "Incentivizable":
  Una pregunta $X$ es incentivizable si existe un mecanismo de pago $V$ tal que:

  1. Veracidad: Reportar la expectativa verdadera $E_p[X(a; \cdot)]$ es la única estrategia óptima en la etapa de elicitación.
  2. No Distorsión: El conjunto de acciones óptimas en el problema combinado (decisión + elicitación) es idéntico al conjunto de acciones óptimas en el problema de decisión original. Es decir, $u$-optimalidad y $V$-optimalidad son equivalentes.

• Herramienta Clave: El Grafo de Adyacencia
  Los autores introducen el concepto de adyacencia: dos acciones $a$ y $b$ son adyacentes si existe una creencia $p$ donde ambas son óptimas y ninguna otra lo es.

  • Construyen un grafo de adyacencia donde los nodos son las acciones y las aristas representan pares adyacentes.
  • Demuestran que la estructura de este grafo determina qué preguntas pueden ser incentivizadas.

3. Contribuciones Clave y Resultados Principales

El artículo caracteriza completamente las preguntas incentivizables en tres clases canónicas de problemas de decisión, basándose en la topología de su grafo de adyacencia.

A. Condiciones Necesarias y Suficientes (Lema de Adyacencia)

El Lema 1 (Lema de Adyacencia) establece una condición necesaria fundamental: Para que una pregunta sea incentivizable, debe estar "alineada" con la utilidad $u$ en cada par de acciones adyacentes.

• Alineación: Una pregunta $X$ está alineada con $u$ si, para acciones adyacentes, la pregunta es una transformación afín invertible de la utilidad (posiblemente con un desplazamiento dependiente del estado).
• Si el grafo tiene ciclos, las restricciones de alineación en cada par adyacente deben ser consistentes a lo largo de todo el ciclo.

B. Tres Clases de Problemas y sus Resultados

1. Árboles de Adyacencia (Adjacency Trees):

   • Contexto: Problemas con acciones ordenadas y estados monotónicos (ej. estimación de un valor en un intervalo con pérdida cuadrática). El grafo es una línea o un árbol sin ciclos.
   • Resultado (Teorema 1): Una pregunta es incentivizable si y solo si está alineada por partes con la utilidad.
   • Implicación: No es necesario que la pregunta esté alineada globalmente con la utilidad en todo el conjunto de acciones. Basta con que esté alineada localmente entre cada par de acciones adyacentes, permitiendo que los parámetros de alineación varíen entre diferentes pares.

2. Adyacencia Completa (Complete Adjacency):

   • Contexto: Problemas donde cualquier par de acciones puede ser óptimo bajo alguna creencia (ej. preguntas de opción múltiple donde la respuesta correcta es el estado). El grafo es un grafo completo.
   • Resultado (Teorema 2): Bajo condiciones de independencia lineal de las utilidades, una pregunta es incentivizable si y solo si está globalmente alineada con la utilidad $u$ en todo el conjunto de acciones.
   • Implicación: En estos problemas, preguntas comunes como "¿Cuál es la probabilidad de que tu respuesta sea correcta?" (que no es una transformación afín de la utilidad en general) no son incentivizables sin distorsión. Solo preguntas relacionadas con el pago esperado o el arrepentimiento esperado lo son.

3. Problemas de Producto (Product Problems):

   • Contexto: Tareas compuestas por múltiples sub-tareas independientes (ej. un examen con múltiples preguntas donde el pago es la suma de aciertos). El grafo tiene una estructura de producto (dos acciones son adyacentes si difieren en una sola tarea).
   • Resultado (Teorema 3): Una pregunta es incentivizable si y solo si es alineada ponderadamente (weighted aligned).
   • Matemática: La pregunta debe ser una transformación afín de una suma ponderada de las utilidades de las sub-tareas individuales ($X \approx d + \sum \tau_i u_i$), donde los pesos $\tau_i$ pueden variar entre tareas.
   • Implicación: Esto permite incentivar preguntas sobre la diferencia de rendimiento entre dos partes del examen, pero prohíbe incentivar preguntas sobre la probabilidad de superar un umbral fijo de puntuación total (ya que esto no es lineal en la suma de utilidades).

4. Mecanismos Propuestos

Para las preguntas que cumplen las condiciones de alineación, los autores construyen mecanismos basados en variantes del Mecanismo Becker-DeGroot-Marschak (BDM):

• Normalizan la pregunta $X$ para que esté en el intervalo $[0, 1]$.
• El sujeto reporta un valor $r$. Se compara con un número aleatorio $z$.
• El pago se estructura de tal manera que la utilidad esperada del mecanismo es monótona con respecto a la expectativa de $X$.
• Gracias a la condición de alineación, maximizar la expectativa de $X$ coincide con maximizar la utilidad original $u$, garantizando la no distorsión.

5. Significado e Implicaciones

• Para Diseñadores Experimentales: El artículo proporciona una guía rigurosa sobre qué preguntas de confianza o incertidumbre cognitiva pueden ser incentivadas honestamente.
  • Advertencia: Preguntas comunes en la literatura (como "probabilidad de que tu respuesta sea correcta" en tests de opción múltiple) a menudo no son incentivizables sin distorsionar el comportamiento.
  • Solución: Los investigadores deberían reformular las preguntas para que se alineen con la utilidad esperada (ej. preguntar por el pago esperado o el arrepentimiento) o utilizar mecanismos que no distorsionen si la estructura del problema lo permite (árboles).
• Teoría de la Elicitación: Extiende la literatura existente al incorporar la restricción de que la elicitación no debe alterar la decisión principal. Muestra que la "elicitabilidad" de una propiedad no es suficiente; la "no distorsión" impone restricciones topológicas adicionales sobre el espacio de acciones.
• Incertidumbre Cognitiva: Ofrece una base teórica para medir la incertidumbre cognitiva (como propusieron Enke y Graeber) de manera incentivada, sugiriendo que medir el "arrepentimiento esperado" es una alternativa viable y robusta a medir la probabilidad de optimidad.

En resumen, Pęski y Stewart demuestran que la viabilidad de incentivar creencias sin distorsión depende críticamente de la estructura geométrica del problema de decisión (su grafo de adyacencia) y de la relación funcional entre la pregunta de interés y la función de utilidad del agente.