Ideological Bias in LLMs' Economic Causal Reasoning

1. Planteamiento del Problema

El artículo aborda una cuestión crítica: ¿Exhiben los Modelos de Lenguaje Grande (LLM) un sesgo ideológico sistemático al razonar sobre efectos causales económicos?

A medida que los LLM se despliegan en flujos de trabajo de alto riesgo como el análisis de políticas, informes económicos y apoyo a la toma de decisiones, la capacidad de predecir correctamente la dirección de los efectos causales es fundamental. Sin embargo, en muchos escenarios económicos, la dirección del efecto es objeto de debate ideológico. Por ejemplo, un aumento del salario mínimo puede interpretarse desde una perspectiva orientada al mercado (que prioriza los costos laborales y predice una reducción del empleo) o desde una perspectiva orientada a la intervención (que prioriza la demanda o la eficiencia en el emparejamiento y predice un mantenimiento o aumento del empleo).

El problema central es que los enfoques existentes para detectar sesgos en LLM se centran en opiniones expresadas (encuestas) o en lógica formal, pero no evalúan cómo los modelos razonan sobre relaciones causales verificadas empíricamente donde existen marcos teóricos competentes que predicen direcciones opuestas. Esto crea un riesgo de que los LLM, al generar asesoramiento de políticas, inclinen implícitamente sus conclusiones hacia una ideología específica sin que el usuario sea consciente de ello.

2. Metodología

A. Datos y Construcción del Conjunto de Pruebas

Los autores extendieron el benchmark EconCausal, que contiene 10,490 triplets causales (tratamiento, resultado, signo) extraídos de revistas de economía y finanzas de primer nivel.

• Identificación de Casos Controversiales: De estos, identificaron 1,056 casos ideológicamente controversiales (10.1%). Un caso se considera "controversial" cuando los marcos orientados a la intervención y orientados al mercado predicen signos causales divergentes.
• Etiquetado: Se utilizaron cuatro LLM (GPT, Claude, Qwen, Grok) para asignar los signos esperados bajo cada perspectiva (ciegos al resultado empírico real). Un triplet se clasificó como controversial si al menos 3 de 4 modelos asignaron signos diferentes entre las dos perspectivas.
• Validación: Dos profesores de economía validaron una muestra representativa, confirmando una alta concordancia inter-evaluadores (93.33%).
• Subconjuntos: Dentro de los casos controversiales, se dividieron en:
  • Verdad de Intervención (Intervention-truth): El signo real coincide con la expectativa de intervención (58.1% de los casos).
  • Verdad de Mercado (Market-truth): El signo real coincide con la expectativa de mercado (41.9%).

B. Evaluación de Modelos

Se evaluaron 20 LLMs de última generación (tanto de código cerrado como abierto, incluyendo familias GPT, Claude, Gemini, Grok, Llama y Qwen).

• Tarea: Predicción del signo causal (+, -, Ninguno, Mixto) dado un contexto y un par tratamiento-resultado.
• Métricas Principales:
  1. Precisión General: Comparada entre casos controversiales y no controversiales.
  2. $\Delta acc$ (Brecha de Precisión): Diferencia entre la precisión en casos de "Verdad de Intervención" ($Acc_{intervention}$) y "Verdad de Mercado" ($Acc_{market}$).
  3. $B_{dir}$ (Sesgo Direccional): Mide la asimetría en los errores. Calcula si los errores cometidos por el modelo tienden sistemáticamente hacia la dirección de intervención o de mercado.

C. Pruebas de Robustez

• Emparejamiento de Dificultad: Se emparejaron los casos de "Verdad de Mercado" y "Verdad de Intervención" según su dificultad percibida (escala 1-5) para descartar que la brecha de precisión se deba a que los casos de mercado sean intrínsecamente más difíciles.
• Aprendizaje en Contexto (ICL): Se probó si proporcionar ejemplos de contexto (uno alineado con la intervención y otro con el mercado) podía corregir o "dirigir" las predicciones del modelo.

3. Contribuciones Clave

1. Nuevo Paradigma de Evaluación: Introduce el concepto de "relaciones causales ideológicamente controversiales" como una lente para estudiar el razonamiento causal de los LLM, más allá de la dependencia del contexto.
2. Dataset Etiquetado: Construcción de un subconjunto de EconCausal que distingue explícitamente entre casos controversiales y no controversiales, permitiendo evaluaciones controladas.
3. Análisis Empírico Sistemático: Proporciona la primera evidencia de que los LLM son menos precisos en casos controversiales y muestran un rendimiento asimétrico según la dirección ideológica.
4. Métrica de Sesgo Direccional: Define y aplica la métrica $B_{dir}$ para cuantificar la asimetría en los errores, demostrando que los fallos no son aleatorios sino sistemáticamente sesgados.

4. Resultados Principales

A. Dificultad y Precisión Asimétrica

• Mayor Dificultad: Los casos ideológicamente controversiales son consistentemente más difíciles para todos los modelos que los casos no controversiales (la precisión cae entre 11.3 y 13.2 puntos porcentuales).
• Ventaja de Intervención: En 18 de los 20 modelos evaluados, la precisión es significativamente mayor cuando la verdad empírica coincide con las expectativas de intervención.
  • Modelos de Código Cerrado: Ventaja promedio de +9.7 puntos porcentuales (pp) a favor de la intervención.
  • Modelos de Código Abierto: Ventaja promedio de +15.1 pp.
  • Excepción: La familia Claude (Sonnet 4.6, Opus 4.6) mostró una ligera ventaja para la verdad de mercado.

B. Sesgo Direccional en los Errores

• Los errores no son aleatorios. La mayoría de los modelos (15 de 20) tienen un $B_{dir} > 0$, lo que indica que cuando fallan, sus predicciones incorrectas tienden desproporcionadamente hacia la orientación de intervención.
• Los modelos de código abierto muestran un sesgo direccional mucho más fuerte ($B_{dir} = +8.8$) que los de código cerrado ($B_{dir} = +2.9$).

C. Heterogeneidad por Subcampos

El sesgo no es uniforme en todas las áreas económicas. Es más pronunciado en salud y bienestar/redistribución (donde la intervención estatal es ideológicamente saliente), pero menos consistente o incluso invertido en áreas como la tributación.

D. Ineficacia del Aprendizaje en Contexto (ICL)

• Intentar corregir el sesgo mediante ejemplos de contexto (uno pro-intervención y otro pro-mercado) no elimina el sesgo subyacente.
• Aunque los ejemplos pueden desplazar ligeramente las predicciones, no logran revertir consistentemente la ventaja de la "Verdad de Intervención".
• Análisis de Calibración: En algunos casos, los ejemplos de contexto aumentan la confianza del modelo en una respuesta incorrecta, creando una peligrosa combinación de alta certeza y baja precisión.

5. Significado e Implicaciones

• Riesgo de Fiabilidad Asimétrica: El hallazgo más preocupante no es solo la baja precisión general, sino que los LLM son sistemáticamente menos fiables en una dirección ideológica que en la otra. Un modelo puede parecer competente en promedio, pero fallar consistentemente cuando la realidad económica contradice su "prior" de intervención.
• Detección Difícil: A diferencia de los sesgos de opinión (donde el usuario sabe que es una preferencia), los sesgos de razonamiento causal se presentan como hechos empíricos. Esto hace que los errores sean más difíciles de detectar para los usuarios y puedan influir sutilmente en la toma de decisiones de políticas públicas.
• Origen del Sesgo: Los autores sugieren que el sesgo no es un artefacto superficial de la ingeniería de prompts, sino que se origina en la pre-entrenación (corpus de datos) y se amplifica o modula por los procesos de alineación (fine-tuning). La comparación entre modelos base y modelos instructos muestra que la asimetría existe antes del ajuste y a veces se agrava con él.
• Necesidad de Evaluación Consciente de la Dirección: Las métricas de precisión agregada son insuficientes para aplicaciones de alto riesgo. Se requiere la implementación de métricas como $\Delta acc$ y $B_{dir}$ para auditar la fiabilidad direccional de los LLM en contextos económicos y políticos.

En conclusión, el estudio demuestra que los LLM actuales incorporan y reproducen sesgos ideológicos en su razonamiento causal económico, favoreciendo sistemáticamente las narrativas de intervención estatal sobre las de mercado, lo que plantea desafíos significativos para su uso confiable en la formulación de políticas económicas.