Resumen Técnico: Pensar Rápido, Pensar Mal

Enunciado del Problema

Aunque los Modelos de Lenguaje Grande (LLM) han demostrado alta precisión en tareas de razonamiento causal sintético y escenarios de sentido común, su fiabilidad en la evaluación de políticas del mundo real sigue siendo poco explorada. La evaluación de políticas a menudo implica hallazgos empíricos "desordenados", controvertidos y frecuentemente contra-intuitivos, donde los datos contradicen las expectativas previas comunes. Las benchmarks existentes dependen de grafos causales sintéticos o problemas lógicos abstractos, fallando en capturar el desafío de anular los priores intuitivos al analizar evidencia empírica establecida de la economía y las ciencias sociales.

Metodología

Construcción de la Benchmark

Los autores construyeron una benchmark de 40 casos de evaluación de políticas empíricas extraídos de literatura revisada por pares en economía y ciencias sociales. Cada caso cumple tres criterios:

1. Efectos causales establecidos mediante estrategias de identificación creíbles (por ejemplo, diferencias en diferencias, ensayos controlados aleatorizados).
2. Hallazgos direccionales inequívocos (aumento, disminución o ningún cambio significativo).
3. Suficiente prominencia para existir probablemente en los datos de entrenamiento de los LLM.

Los casos se clasifican por intuición:

• Obvio: Se alinea con las expectativas previas comunes (por ejemplo, la expansión de Medicaid aumenta la utilización).
• Ambiguo: Existen múltiples direcciones razonables.
• Contra-intuitivo: Contradice las expectativas ingenuas (por ejemplo, las multas por recoger tarde en guarderías aumentan los retrasos).

La benchmark incluye 14 pruebas unilaterales (SÍ/NO) y 26 pruebas bilaterales (predicción direccional), abarcando 11 países y 10 dominios de políticas.

Diseño Experimental

• Modelos: Se evaluaron cuatro LLM de vanguardia: GPT-5.2, Claude Sonnet 4.5, Claude Opus 4.6 y GPT-4.1.
• Estrategias de Prompting: Se probaron cinco estrategias con 10 repeticiones por condición, arrojando 8.000 ensayos experimentales:
  1. Ingenuo: Pregunta directa (línea base del Sistema 1).
  2. Persona de Experto: Enmarcar al modelo como un "econométrico experimentado".
  3. Cadena de Pensamiento (CoT): "Piensa paso a paso" para listar mecanismos y factores de confusión.
  4. Razonamiento Estructurado: Plantilla detallada que requiere la enumeración explícita de canales causales.
  5. Enmarcado Adversarial: Introducir un consenso ficticio que sugiere "ningún efecto" para probar el sesgo de anclaje.
• Análisis Estadístico: Los resultados se analizaron mediante regresión logística de efectos mixtos para tener en cuenta las estructuras de datos anidados. El modelo incluyó efectos fijos para la identidad del modelo, la estrategia de prompt, la intuición y sus interacciones, con interceptos aleatorios para la heterogeneidad a nivel de caso.

Resultados Clave

1. La Paradoja del CoT

El prompting de Cadena de Pensamiento (CoT) mejora significativamente el rendimiento en casos obvios (OR de efecto principal = 17.3), pero este beneficio se reduce sustancialmente en casos contra-intuitivos (OR de interacción = 0.278, $p < 0.001$).

• En casos obvios, el CoT mejoró la precisión en +26.7 puntos porcentuales.
• En casos contra-intuitivos, la ganancia bajó a +13.8 puntos porcentuales.
• Esto sugiere que, aunque el CoT activa el "pensamiento lento", falla en inhibir completamente el prior intuitivo inicial que ancla la cadena de razonamiento.

2. La Intuición como Factor Dominante

La varianza a nivel de caso superó a la de la elección del modelo o la estrategia de prompting. El Coeficiente de Correlación Intraclase (ICC) para los interceptos aleatorios a nivel de caso fue 0.671, lo que indica que la naturaleza específica del caso de política (su intuición y complejidad) es el determinante principal de la dificultad, más que el modelo o el prompt específicos utilizados.

3. Disociación Conocimiento–Razonamiento

La familiaridad basada en citas (un proxy para la exposición a datos de entrenamiento) mostró ninguna relación significativa con la precisión ($p = 0.84$).

• Estudios altamente citados, como el experimento de multas por retraso en guarderías (Gneezy & Rustichini, 2000), arrojaron una precisión baja (39%).
• Esto refuta la hipótesis del "papagayo causal" de que los modelos simplemente recitan hechos memorizados; en cambio, los modelos poseen el conocimiento pero fallan en razonar correctamente con él cuando los hallazgos contradicen la intuición.

4. Disparidades en el Rendimiento de los Modelos

• GPT-5.2 superó sustancialmente a otros modelos, manteniendo una precisión del 94.5% en casos contra-intuitivos bilaterales.
• Claude Sonnet 4.5 superó al más grande Claude Opus 4.6 en casos contra-intuitivos (73.5% vs. 64.8%), lo que sugiere que la escala del modelo por sí sola no determina la susceptibilidad a los priores intuitivos.
• GPT-4.1 luchó significativamente en casos bilaterales contra-intuitivos, cayendo al 43.2% (solo 10 puntos por encima del azar).

5. Patrones de Error

Los errores fueron sistemáticos en lugar de estocásticos. Cuando la verdad fundamental era un "aumento", el 72% de los errores predijeron una "disminución" (reversión direccional), consistente con modelos aplicando un modelo causal intuitivo que predice la dirección opuesta. La auto-consistencia (votación mayoritaria) proporcionó una mejora mínima en casos contra-intuitivos, confirmando creencias causales estables pero incorrectas.

Significado y Afirmaciones

El artículo argumenta que los LLM actuales exhiben un fenómeno de "hablar lento, no pensar lento". A través de la lente de la teoría de los dos procesos (Sistema 1 vs. Sistema 2), los autores afirman que los procesos deliberativos de los LLM (Sistema 2) logran solo una inhibición parcial de los priores intuitivos. Producen la forma del razonamiento deliberativo sin entregar plenamente su sustancia cuando la respuesta correcta contradice el sentido común.

Implicaciones Clave:

• Riesgo de Evaluación de Políticas: Una precisión agregada de ~80% oculta fallos críticos precisamente donde el razonamiento contrafactual es más valioso (casos contra-intuitivos). Los responsables políticos que confían en LLM pueden recibir orientación segura pero incorrecta sobre efectos de políticas complejos y no obvios.
• Limitaciones del Razonamiento Actual: Los hallazgos sugieren que simplemente solicitar razonamiento "paso a paso" es insuficiente para tareas que requieren anular priores intuitivos fuertes.
• Futuras Direcciones: Mejorar el razonamiento contrafactual puede requerir innovaciones que permitan un control inhibitorio más robusto: la capacidad de reconocer cuándo un primer instinto es incorrecto y sostener el razonamiento más allá del ancla inicial.

El estudio concluye que, aunque los LLM pueden recuperar conocimiento causal, sus mecanismos deliberativos actuales son insuficientes para anular completamente los priores intuitivos fuertes en contextos de políticas del mundo real.