For What Reason? Interpreting Models' Encoding of Causation and Antithesis

Resumen Técnico: Interpretación de la Codificación de la Causalidad y la Antítesis en los Modelos

Planteamiento del Problema
Las relaciones discursivas son fundamentales para la estructura de los documentos, la comprensión del lenguaje y la alineación ética de los modelos de lenguaje de gran tamaño (LLM). A pesar de su importancia, investigaciones limitadas han investigado cómo los modelos Transformer codifican estas relaciones internamente. Si bien trabajos recientes han comenzado a identificar "circuitos discursivos", persiste una brecha en la comprensión de los mecanismos específicos mediante los cuales los modelos ajustados por instrucciones distinguen entre relaciones discursivas opuestas, específicamente la causalidad (p. ej., "así que") y la antítesis (p. ej., "pero/sin embargo"). Este artículo aborda esta brecha investigando cómo los modelos LLaMA y Mistral codifican estas relaciones, centrándose en las características a nivel de token, los roles específicos de las capas, los conceptos clave y la propagación de la información.

Metodología
Los autores enmarcan la investigación como una tarea de predicción del siguiente token. Se solicita a los modelos completar oraciones donde el token faltante está restringido a ser ya sea "capaz" o "incapaz". La estructura de la oración está diseñada de tal manera que la conjunción ("así que" vs. "pero") y el sentimiento del verbo en la cláusula satélite determinan la respuesta correcta, creando un entorno controlado para probar el razonamiento causal.

• Datos: Se generó un conjunto de datos de 130 pares de entrenamiento y 30 pares de prueba utilizando ChatGPT 4o. Los pares incluyen variaciones con verbos positivos y negativos, así como negación explícita, para evitar que el modelo dependa únicamente de las pistas de la conjunción.
• Modelos: El estudio utiliza variantes ajustadas por instrucciones de LLaMA-3-8B y Mistral-7B, ambos con 32 capas.
• Técnicas de Interpretabilidad: Los autores emplean un conjunto de métodos de interpretabilidad mecánica:
  • Parcheo de Activación (Activation Patching): Reemplazar las activaciones internas de una entrada base con las de un contraejemplo (p. ej., intercambiar "así que" por "pero") para medir los efectos causales en los logits de salida.
  • Atribución de Logits (Logits Attribution): Calcular el producto punto entre los estados ocultos de la capa y la dirección de la diferencia de logits para determinar si una capa empuja al modelo hacia la respuesta correcta.
  • Sondeo (Probing): Entrenar clasificadores de regresión logística sobre los estados ocultos para detectar la presencia de conceptos específicos (p. ej., "capaz" vs. "incapaz", sentimiento del verbo, sentimiento de la cláusula).
  • Parcheo de Atribución de Bordes (EAP) y Gradientes Integrados (EAP-IG): Utilizados para identificar y cuantificar la importancia de bordes específicos (conexiones) dentro del grafo de computación.

Resultos Clave
Los modelos alcanzaron un alto rendimiento en la tarea (LLaMA: 0.96 F1, Mistral: 0.80 F1), lo que permitió un análisis interno robusto.

1. Características a Nivel de Token (RQ1): El análisis SHAP revela que la influencia de los marcadores discursivos ("así que" vs. "pero") es modulada por el sentimiento del verbo. Para verbos positivos, "así que" impulsa la predicción de "capaz", mientras que "pero" impulsa "incapaz". Sin embargo, con verbos negativos, estas asociaciones pueden revertirse o desplazarse, indicando que el modelo integra la semántica del verbo en lugar de depender de simples palabras de pista.
2. Roles de las Capas (RQ2):
   • Capas Iniciales a Medias: Estas capas son sensibles a las intervenciones en el token del marcador discursivo ("así que"/"pero"), lo que altera transitoriamente las probabilidades de salida, sugiriendo que estas capas codifican significados relacionales locales.
   • Capas Medias a Altas: Las intervenciones en la posición del último token afectan las probabilidades en las capas de nivel medio, lo que indica que estas capas integran el significado de la oración. Las capas superiores principalmente propagan o refinan la decisión en lugar de reevaluarla; una vez que la decisión se consolida en las capas medias, el intercambio de activaciones en las capas superiores no logra cambiar la salida.
   • Sesgo: Ciertas capas exhiben sesgos inherentes, empujando consistentemente las predicciones hacia "capaz" o "incapaz" independientemente de la respuesta correcta (p. ej., las capas 2, 3, 8, 10, 12 favorecen "incapaz").
3. Codificación Conceptual (RQ3): Los experimentos de sondeo muestran que el modelo codifica activamente el sentimiento del verbo y el sentimiento de la cláusula satélite. Se encuentra una alta precisión de sondeo para "capaz" vs. "incapaz" en las cabezas de las capas 8–16 en la posición del marcador discursivo, y en las capas 13–14 en la posición del último token.
4. Propagación de la Información (RQ4): El parcheo de atribución de bordes revela un núcleo estable de conexiones (51% de superposición entre las configuraciones 0-shot y few-shot) que impulsan consistentemente la toma de decisiones. Sin embargo, el procesamiento de verbos negativos muestra una menor superposición de bordes entre las configuraciones de "shot" (33.9%), lo que sugiere una mayor inestabilidad o una dependencia de rutas diferentes para el sentimiento negativo en comparación con el sentimiento positivo.

Significancia y Contribuciones
El artículo afirma proporcionar una visión de la mecánica interna de cómo se codifican las relaciones discursivas críticas en los modelos Transformer. Las principales contribuciones son:

• Perspectiva Mecanicista: Demostrar una división del trabajo donde las capas iniciales/medias codifican pistas relacionales locales y las capas medias/altas integran y finalizan las decisiones.
• Estabilidad del Circuito: Identificar un conjunto central de conexiones estables que apoyan el flujo de información, mientras se observa que ciertos bordes pueden variar según el contexto (tipo de verbo, configuración del prompt).
• Representación Asimétrica: Observar que ciertas capas exhiben sesgos asimétricos hacia resultados específicos, lo que sugiere que el razonamiento basado en el discurso no está representado uniformemente en todas las capas.

Los autores concluyen que estos hallazgos permiten un mayor rendimiento del modelo y una mejor alineación con las preferencias humanas. Afirman que su metodología es extensible a relaciones discursivas adicionales y arquitecturas de modelos, aunque reconocen las limitaciones respecto al enfoque específico en el inglés y las dos relaciones de RST seleccionadas.