CoSToM:Causal-oriented Steering for Intrinsic Theory-of-Mind Alignment in Large Language Models

Aquí presento un resumen técnico detallado del artículo "COSTOM: Causal-oriented Steering for Intrinsic Theory-of-Mind Alignment in Large Language Models" en español.

1. El Problema: La Brecha entre Inferencia y Comportamiento Intrínseco

Aunque los Modelos de Lenguaje Grandes (LLMs) muestran un rendimiento prometedor en benchmarks estándar de Teoría de la Mente (ToM), el artículo identifica una falla crítica: la falta de generalización a escenarios específicos y complejos.

• Falsa Cognición: Los modelos a menudo dependen de "andamios" (scaffolding) en los prompts para imitar el razonamiento social. Cuando se elimina la instrucción explícita de "inferir estados mentales", los agentes de diálogo fallan en aplicar ese conocimiento interno, produciendo respuestas incoherentes o no alineadas socialmente.
• Desalineación: Existe una desconexión entre el conocimiento interno (que el modelo puede inferir correctamente en pruebas estáticas) y el comportamiento externo (su capacidad para negociar o persuadir basándose en esa inferencia).
• Limitación de Métodos Actuales: Las soluciones existentes se basan en ingeniería de prompts (que son frágiles) o en arquitecturas neuro-simbólicas externas que no modifican la cognición intrínseca del modelo.

2. Metodología: El Marco COSTOM

El autores proponen COSTOM (Causal-oriented Steering for ToM alignment), un marco que transita de la interpretación mecánica a la intervención activa. El proceso se divide en tres etapas:

A. Interpretación: Localización de Representaciones ToM (Causal Tracing)

El primer paso es identificar dónde y cómo se codifica la información de la Teoría de la Mente dentro del modelo.

• Hipótesis: Si un LLM entiende un escenario social, los estados mentales (Creencias, Deseos e Intenciones - BDI) deben estar codificados en sus activaciones internas.
• Técnica: Se utiliza rastreo causal (causal tracing). Se emplea un modelo dual: un codificador de contexto que procesa el historial del diálogo y un decodificador de sonda congelado. Se inyectan las activaciones de capas específicas del codificador en el decodificador para ver si se pueden reconstruir los estados mentales.
• Hallazgo Clave: Contrario a la creencia de que el razonamiento complejo reside en las capas profundas, COSTOM descubre que las representaciones ToM están predominantemente localizadas en las capas tempranas (capas 0-3) de los modelos Llama-3 y Qwen2.5.

B. Intervención: Alineación mediante Steer de Activación

Una vez identificadas las capas críticas, el marco aplica una intervención para alinear las representaciones internas con estados mentales verdaderos.

• Objetivo de Steer: Se formula un objetivo supervisado que minimiza la pérdida de entropía cruzada entre las activaciones del codificador y las etiquetas BDI reales (usando el decodificador de sonda como verificador diferenciable).
• Mecanismo de Puente de Gradiente: A diferencia del fine-tuning tradicional, COSTOM establece un "puente de gradiente" a través del espacio de activaciones. Los gradientes fluyen desde la salida del decodificador de sonda, cruzan la interfaz de activación inyectada y retroceden solo a través de las capas anteriores a la interfaz (las capas tempranas).
• Eficiencia: Solo se actualizan adaptadores LoRA (Low-Rank Adaptation) en un subconjunto pequeño de parámetros en las capas sensibles a ToM. El resto del modelo permanece congelado. Esto hace que el método sea ligero y escalable.

C. Explotación: Mejora de la Generación de Diálogo

En la fase de inferencia, el codificador ajustado (con representaciones ToM enriquecidas) se utiliza para generar respuestas.

• El decodificador, ahora actuando como generador, recibe las activaciones refinadas del codificador junto con instrucciones de tarea específicas (ej. "negocia" o "persuade").
• Esto permite que el modelo traduzca su razonamiento interno de ToM en acciones de diálogo coherentes y socialmente apropiadas sin necesidad de prompts explícitos de razonamiento.

3. Contribuciones Clave

1. Interpretación ToM Sistemática: Demostración empírica de que la información de ToM en LLMs está concentrada en las capas tempranas del modelo, desafiando la noción de que el razonamiento social es un proceso puramente profundo.
2. Intervención Ligera y Eficiente: Propuesta de COSTOM, un marco de alineación que induce un razonamiento social estable mediante la manipulación de activaciones en capas específicas, requiriendo actualizaciones mínimas de parámetros (solo LoRA en capas críticas).
3. Mejora en Tareas de Diálogo: Validación de que alinear internamente el modelo con ToM mejora significativamente la calidad del diálogo en tareas de negociación y persuasión, actuando como un módulo "plug-and-play".

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos NEGOTIATIONTOM y PERSUASIVETOM, utilizando modelos base Llama-3-8B y Qwen2.5-7B.

• Interpretación (RQ1): Se confirmó que la decodabilidad de creencias, deseos e intenciones es máxima en las capas iniciales (ej. Capa 2 para deseos en negociación). Las capas profundas muestran un colapso de la información ToM en modelos base.
• Eficacia del Steer (RQ2):
  • Estabilidad: COSTOM previene el "colapso de representación" en capas profundas, manteniendo una alta fidelidad de los estados mentales a lo largo de toda la red.
  • Magnitud: Recuperó señales que estaban casi colapsadas (ej. la precisión de deseos de un agente en la capa 24 pasó de ~2% a ~51%) y amplificó señales tempranas (ej. precisión de deseos del persuasor en capa 2 pasó de ~51% a ~99%).
• Generación de Diálogo (RQ3):
  • Rendimiento Superior: COSTOM superó significativamente a las líneas base, incluyendo Zero-shot, MindDial (con y sin ajuste fino) y Full-Layer LoRA.
  • Comparativa: En negociación, COSTOM logró una puntuación de razonamiento ToM de 0.499 (frente a 0.081 del modelo base y 0.245 de Full-Layer LoRA).
  • Conclusión: El ajuste fino de capas completas (Global) introduce ruido y sobrescribe características preentrenadas, mientras que la intervención dirigida (COSTOM) preserva la integridad del modelo mientras activa vías de razonamiento especializadas.

5. Significado e Impacto

El trabajo de COSTOM es significativo por varias razones:

• Cambio de Paradigma: Mueve el enfoque de la ingeniería de prompts (superficial) a la ingeniería de mecanismos internos (profunda), demostrando que los LLMs poseen una cognición intrínseca de ToM que puede ser desbloqueada y estabilizada.
• Eficiencia Computacional: Al requerir actualizaciones solo en un subconjunto de capas tempranas mediante LoRA, ofrece una solución escalable para alinear modelos grandes sin el costo de un fine-tuning completo.
• Aplicabilidad Práctica: Proporciona un método robusto para crear agentes de diálogo que no solo "parecen" entender a los humanos, sino que actúan consistentemente basándose en inferencias mentales estables, crucial para aplicaciones en negociación, persuasión y sistemas de recomendación social.
• Limitaciones: El método actualmente requiere acceso a los pesos y activaciones internas del modelo (modelos de pesos abiertos), lo que limita su aplicación directa en modelos cerrados (API-only).

En resumen, COSTOM demuestra que la alineación de la Teoría de la Mente en LLMs es posible mediante la manipulación causal de representaciones latentes en capas específicas, logrando un comportamiento social más humano, estable y eficiente.