Resumen Técnico: Evaluación de Tomadores de Decisiones sin Contrafácticos

1. Planteamiento del Problema

El artículo aborda el desafío fundamental de evaluar la calidad de la toma de decisiones en entornos donde los contrafácticos no son observados. En muchos dominios críticos, como la estrategia geopolítica o la gestión corporativa, un Tomador de Decisiones (TD) actúa bajo incertidumbre, y solo se observa el resultado de su acción elegida. Un agente competidor, el Asesor (AS), proporciona recomendaciones, pero los resultados de estas recomendaciones no elegidas permanecen como contrafácticos no observados.

La pregunta central es: ¿Puede un observador externo, basándose únicamente en la secuencia de decisiones observadas, recomendaciones y resultados realizados, identificar qué agente está más informado?

El artículo formaliza el concepto de "más informado" utilizando el orden de Blackwell: un agente posee la información del otro más información privada adicional. Los agentes se modelan como estratégicos, con el único objetivo de ser seleccionados como el "ganador" por una prueba pública. Esto induce un juego de suma cero entre los agentes. El artículo investiga si una prueba de puntuación (scoring test) —una regla que asigna una puntuación numérica a cada observación y selecciona al agente con el promedio de puntuación más alto— puede identificar con éxito al agente más informado en equilibrio.

2. Metodología y Marco de Trabajo

Estructura del Modelo

Los autores modelan la interacción como un entorno de bandidos repetidos con $n$ brazos (acciones).

• Agentes: Un Tomador de Decisiones (TD) y un Asesor (AS). Uno posee la información $r$ (más informado), el otro posee $q$ (menos informado), donde $r$ es un refinamiento de $q$.
• Observaciones: En cada periodo, el TD elige un brazo $a_{DM}$, y el AS sugiere un brazo $a_{AD}$. Solo se observa la realización de $a_{DM}$.
• Incentivos: Ambos agentes son puramente estratégicos, con el objetivo de maximizar su probabilidad de ser seleccionados por la prueba. No les importa el bienestar social a menos que este afecte el resultado de la prueba.
• Definición de la Prueba: Una prueba de puntuación $s: O \to \mathbb{R}$ asigna una puntuación a cada triple de resultados $(a_{DM}, a_{AD}, u_{DM})$. El ganador se determina por el promedio límite de estas puntuaciones.

Enfoque Analítico

La contribución metodológica central es la reducción de la compleja interacción repetida con información incompleta a una interacción de un solo paso con información completa.

1. Separación vs. Identificación: Los autores definen una función de puntuación como separadora si puede distinguir entre los agentes más y menos informados en un juego de suma cero de un solo paso.
2. Lemas de Equivalencia:
   • Lema 1: Si una función de puntuación es separadora, la prueba de puntuación correspondiente identifica al agente más informado en cualquier entorno cambiante.
   • Lema 2: Si no existe una función de puntuación separadora, ninguna prueba de puntuación puede identificar al agente más informado, incluso en un entorno fijo.
3. Reducción a Información Completa: Para determinar si una función es separadora, los autores analizan el juego $G(s, p)$ donde ambos agentes comparten una creencia previa común $p$ y no tienen señales privadas.
   • Lema 3: Una condición necesaria para la separación es que el valor del juego $G(s, p)$ sea cero para todos los $p$.
   • Lema 4: Bajo supuestos específicos, la separación requiere que la estrategia óptima del agente que rompe el empate en $G(s, p)$ identifique de manera única el brazo que maximiza el bienestar para cada creencia previa.

3. Resultados Clave

El artículo establece una dicotomía entre los entornos de decisión simultánea y secuencial, y un compromiso fundamental entre identificación y bienestar.

A. Decisiones Simultáneas

Teorema 1 (Resultado Positivo): En un entorno con decisiones simultáneas y un entorno cambiante, existe una prueba de puntuación que identifica al agente más informado.

• Mecanismo: La prueba propuesta asigna una puntuación igual al bienestar realizado si los agentes coinciden ($a_{DM} = a_{AD}$) y una puntuación negativa proporcional al bienestar si no coinciden.
• Lógica: El agente más informado puede garantizar una puntuación esperada positiva al coincidir con la acción del agente menos informado cuando esta es óptima, mientras que el agente menos informado no puede imitar consistentemente este comportamiento a través de todas las estructuras de información.

Teorema 2 (Resultado Negativo - Compromiso de Bienestar): En un entorno de brazos binarios con decisiones simultáneas, ninguna prueba de puntuación puede identificar simultáneamente al agente más informado y lograr más de la mitad del bienestar óptimo.

• Implicación: La prueba que identifica con éxito al mejor agente obliga al TD a entrar en un juego de suma cero donde deben aleatorizar sus acciones para evitar ser explotados. Esta aleatorización conduce a un bienestar severamente subóptimo (acercándose al rendimiento de un intento al azar) en los peores escenarios.

B. Decisiones Secuenciales

Teorema 3 (Resultado de Imposibilidad): En un entorno con decisiones secuenciales y un entorno fijo, no existe ninguna prueba de puntuación que identifique al agente más informado.

• Razonamiento: En un entorno secuencial, el seguidor siempre puede reaccionar a la elección del líder. Los autores demuestran que, para cualquier prueba de puntuación, el seguidor puede garantizar una puntuación no negativa sin necesidad de información privada, lo que hace que la prueba sea incapaz de distinguir los niveles de información.

Matiz en Casos Especiales (Brazos Seguros vs. Riesgosos):

• Proposición 1: Si el entorno consiste en un brazo seguro y un brazo riesgoso, y el Asesor actúa primero, la identificación es posible. El agente más informado puede explotar la falta de información del TD respecto a la realización del brazo riesgoso.
• Proposición 2: Si el Tomador de Decisiones actúa primero en el mismo escenario de seguro/riesgoso, la identificación es imposible. La elección del brazo seguro por parte del TD oculta el resultado contrafáctico del brazo riesgoso, impidiendo que el AS demuestre una información superior.

4. Significado y Reivindicaciones

El artículo afirma resolver la tensión entre evaluar la calidad de la decisión e incentivar el comportamiento óptimo en ausencia de contrafácticos.

1. Viabilidad de la Identificación: Los autores demuestran que, contrariamente a la intuición de que los contrafácticos no observados hacen imposible la evaluación, es posible identificar al agente más informado en entornos simultáneos utilizando reglas de puntuación simples.
2. El Costo de la Identificación: El artículo destaca una limitación severa: el mismo mecanismo que permite a un observador identificar al mejor agente (un juego de puntuación de suma cero) destruye los incentivos para que el agente maximice el bienestar. El artículo sostiene que lograr la identificación conduce inevitablemente a un equilibrio "subóptimo" donde las acciones del TD están impulsadas por la prueba y no por el bienestar real del resultado.
3. Naturaleza Estratégica de los Datos: El trabajo enfatiza que, en entornos estratégicos, los datos observados por el público están moldeados por los intentos de los agentes de superar la prueba. Esto distingue el problema de la inferencia causal no estratégica, donde los contrafácticos son simplemente no observados pero no manipulados.
4. Limitaciones de las Pruebas de Puntuación: Los resultados sugieren que, si bien las pruebas de puntuación son suficientes para la identificación en entornos simultáneos, son fundamentalmente insuficientes en entornos secuenciales (a menos que se cumplan restricciones estructurales específicas como "seguro vs. riesgoso" y el orden de los movimientos).

El artículo concluye que, si bien es posible diseñar una prueba para "elegir un ganador" basado en los niveles de información, hacerlo conlleva el costo del desempeño del tomador de decisiones, creando un conflicto inherente entre el deseo del público de seleccionar un líder capaz y la necesidad de asegurar buenas decisiones en el presente.