Resumen Técnico: Atadura Causal de la Lengua

Declaración del Problema

El artículo aborda una discrepancia crítica entre las capacidades de razonamiento causal interno de los Modelos de Lenguaje Grandes (LLM) y sus salidas textuales explícitas. Mientras que los puntos de referencia estándar evalúan el razonamiento causal basándose en la precisión de las respuestas "Sí/No" de un modelo, este trabajo investiga si los LLM poseen la dirección causal correcta en sus estados ocultos incluso cuando su salida verbal falla en expresarla. Específicamente, los autores se centran en consultas causales anti-sentido común (por ejemplo, prompts que estipulan que "fumar previene el cáncer de pulmón"), donde los modelos a menudo recurren a priores de sentido común en su salida a pesar de la evidencia en el prompt que sugiere lo contrario.

El problema central es que una única métrica de precisión en puntos de referencia basados solo en la salida confunde dos modos de fallo distintos:

1. Papagayos Causales: El modelo carece por completo de la señal causal interna y depende de heurísticas superficiales.
2. Atadura Causal de la Lengua: El modelo codifica la dirección causal respaldada por la evidencia internamente, pero falla al verbalizarla en el formato de salida estándar.

Metodología

Los autores proponen un protocolo de medición que compara dos canales de lectura desde el mismo paso forward único de un decodificador transformador congelado y ajustado con instrucciones:

1. Lectura Interna (Sonda): Una sonda lineal (regresión logística congelada) o una dirección de subespacio contrafactual ($V_{cs}$) derivada de las activaciones del estado oculto ($h^{(\ell)}$) en el último token del prompt.
2. Salida Externa: Las propias probabilidades del siguiente token del modelo ($lm\_head$) para la respuesta estándar "Sí/No".

Configuración Experimental

• Conjuntos de Datos: El estudio utiliza CLADDER (Jin et al., 2023) y CounterBench (Chen et al., 2025), centrándose en elementos anti-sentido común (anti-SC) donde la evidencia del prompt contradice los priores del mundo real.
• Pares Mínimos Contrafactuales: Para cada prompt $x_i$, se genera un par contrafactual $x_i^{cf}$ intercambiando palabras causales (por ejemplo, "causa" vs. "previene") para invertir la respuesta dorada mientras se mantiene idéntica la forma superficial. La diferencia en los estados ocultos ($\Delta h$) define la señal de dirección causal.
• Modelos: El protocolo se aplica a ocho modelos ajustados con instrucciones, incluidos Qwen2.5 (de 0.5B a 72B), Mistral-7B y DeepSeek-7B.
• Controles: El estudio emplea controles rigurosos para descartar la memorización de palabras superficiales, incluyendo:
  • Subespacios Falsos: Sondas entrenadas en prompts de entidades sin sentido.
  • Controles de Dirección Aleatoria: Vectores aleatorios de Haar del mismo rango.
  • Variación de Palabras Causales: Eliminar o alterar el vocabulario causal manteniendo la estructura.
  • Variaciones de Interfaz: Probar diferentes formatos de respuesta (Sí/No, elección forzada A/B, Verdadero/Falso, Chino, etc.).

Contribuciones Clave

El artículo introduce el concepto de Atadura Causal de la Lengua, definido como el fenómeno empírico donde:
$$\Delta = Acc_{sonda} - Acc_{salida} \approx +0.5$$
En elementos anti-sentido común, la sonda lineal recupera la respuesta respaldada por la evidencia con alta precisión ($\approx 0.97$), mientras que la salida verbal Sí/No recurre al prior de sentido común ($\approx 0.5$).

Los autores formalizan un marco 2×2 para los fallos en los puntos de referencia causales:

• (a) Alineado Correcto: Tanto la sonda como la salida son correctas.
• (b) Atadura Causal de la Lengua (Este Trabajo): La sonda es correcta; la salida es incorrecta (el enfoque del artículo).
• (c) Papagayo Causal: La sonda no encuentra nada; la salida es correcta por heurística superficial.
• (d) Fallo Genuino: Ambas son incorrectas.

Resultados Empíricos

1. Escalabilidad de la Brecha: La brecha ($\Delta \approx +0.5$) persiste a través de tamaños de modelo desde 0.5B hasta 72B parámetros. A medida que aumenta el tamaño del modelo, la precisión de la sonda interna aumenta (alcanzando 1.0 en 72B), mientras que la precisión de la salida permanece estancada cerca del azar (0.35–0.53).
2. Validez de la Señal Interna:
   • La dirección de la sonda no es aleatoria; rastrea la evidencia causal, no solo las palabras superficiales.
   • Lesionamiento: Proyectar la dirección causal ($V_{cs}$) fuera del estado oculto colapsa la capacidad interna del modelo para distinguir pares contrafactuales (caída de KL de -96.3%), confirmando que la dirección se utiliza funcionalmente para la comparación interna.
   • Parcheo de Activación: Reemplazar el estado oculto de un elemento anti-SC incorrecto con el de un elemento de sentido común emparejado invierte la precisión de la salida de 0 a 0.57, demostrando que el estado interno contiene información suficiente para corregir la salida, aunque un simple intercambio escalar del vector de dirección es insuficiente.
3. Dependencia de la Interfaz: El fallo se localiza en la interfaz de respuesta verbal.
   • Cuando el formato de salida se cambia a una elección forzada A/B estructurada (por ejemplo, "¿Cuál es más plausible: A. c causa e, o B. c no?"), la precisión salta a casi perfecta (1.0), mientras que el formato estándar Sí/No permanece en el azar.
   • La brecha persiste a través de diferentes formas superficiales (Sí/No, Verdadero/Falso, Chino "Shi/Fou"), lo que indica que el problema no es específico de los tokens "Sí/No", sino más bien del paso de compromiso en la interfaz verbal.
4. Análisis de Entropía: El modelo exhibe baja entropía (alta confianza) en la respuesta incorrecta en el formato Sí/No, lo que indica un "compromiso incorrecto confiado" impulsado por priores de sentido común, mientras que el formato A/B permite que la señal interna se exprese con entropía casi cero.

Significado y Afirmaciones

El artículo afirma que las conclusiones generales sobre si los LLM pueden realizar razonamiento causal basadas en un único número de precisión de salida son defectuosas.

• Reevaluación de Puntos de Referencia: Un veredicto "incorrecto" en un punto de referencia no significa necesariamente que el modelo carezca de conocimiento causal; podría significar simplemente que el modelo no puede expresar ese conocimiento a través de la interfaz verbal específica utilizada. Por el contrario, un veredicto "correcto" no garantiza que el modelo haya comprendido el mecanismo causal (podría ser un Papagayo Causal).
• Naturaleza del Fallo: Los autores caracterizan la Atadura Causal de la Lengua como un fallo de interfaz verbal, no como una falta de representación interna. El modelo "sabe" la respuesta en sus estados ocultos pero está "atado" en su capacidad para decirlo cuando se le obliga a comprometerse con un formato verbal sesgado por el sentido común.
• Limitaciones: Los autores declaran explícitamente que la "codificación" en este contexto se refiere a la recuperabilidad de una dirección lineal en el estado oculto, no a una comprensión similar a la humana o a un circuito causal completo. La dirección interna es causalmente suficiente para corregir la salida en más del 50% de los casos, pero no en todos, y la dirección recuperada es sensible a la redacción de la plantilla.

En resumen, el artículo aboga por una evaluación de doble canal de los LLM (estado interno + salida externa) para distinguir entre fallos de razonamiento genuinos y limitaciones expresivas, instando a la precaución al interpretar puntos de referencia causales basados solo en la salida.