They Infer What You Meant: Models Represent Communicative Intent More Reliably Than They Act On It

Resumen Técnico: "Infiere lo que quisiste decir: Los modelos representan la intención comunicativa de forma más fiable de lo que actúan sobre ella"

Planteamiento del problema
Los modelos de lenguaje desplegados fallan frecuentemente al captar la intención comunicativa del emisor —lo que el emisor intenta lograr al enviar un mensaje—, respondiendo únicamente al contenido literal superficial. Por ejemplo, cuando un usuario comparte un proyecto creativo terminado sin solicitar una crítica, el modelo puede caer por defecto en ofrecer comentarios no solicitados; cuando un usuario comparte una expresión pura de agotamiento, el modelo puede realizar una evaluación de riesgos. Este fallo se enmarca como una ruptura en la competencia pragmática (el "lo que se quiso decir" de Grice frente a "lo que se dijo"). Aunque existen evaluaciones de comportamiento, el mecanismo interno de este fallo permanece inexplorado: específicamente, si la intención está representada en los estados ocultos del modelo y, de ser así, por qué la lectura por defecto no actúa sobre ella.

Metodología
El estudio emplea un diseño experimental de emparejamiento superficial para aislar la intención comunicativa del contenido léxico.

• Estímulos: Los autores construyeron contrastes binarios (p. ej., reconocer vs. evaluar) donde el sufijo del mensaje final es idéntico en bytes, pero el prefijo precedente establece la intención (p. ej., "Estoy orgulloso de este" frente a "Sé franco, prefiero escuchar los defectos").
• Sondeo (Probing): Se entrenan sondas lineales (regresión logística con PCA) en los estados ocultos de paso por defecto del modelo (el estado inmediatamente antes de la generación) para decodificar la intención. Los controles incluyen:
  • Baselines de bolsa de palabras (Bag-of-words): para asegurar que la sonda no esté leyendo pistas léxicas superficiales.
  • Validación cruzada de dejar una formulación fuera (Leave-one-phrasing-out): para probar la generalización a través de diversas redacciones.
  • Pruebas de intención inferida: donde la intención nunca se declara, sino que se infiere pragmáticamente del contexto (p. ej., "regalo de cumpleaños" frente a "pieza de portafolio").
• Direccionamiento (Manipulación de activación): Para probar la causalidad, los autores extraen una dirección discriminativa (vector de peso logístico) de los estados ocultos y la añaden al flujo residual en capas específicas del decodificador durante la generación. Miden si este "direccionamiento" recupera el comportamiento pretendido (honrar la intención) sin necesidad de un prompt explícito.
• Modelos: Los experimentos abarcan seis modelos de cuatro familias (Qwen, Llama, Mistral, Phi) y tamaños que van desde 3B hasta 32B, incluyendo tanto versiones base (pre-instrucción) como ajustadas por instrucciones (instruct-tuned).

Resultos Clave

1. Representación Robusta: La intención comunicativa del emisor está representada de forma robusta en los estados ocultos del modelo. Las sondas lineales decodifican la intención con una precisión alta (hasta 1.00) en todos los seis modelos, incluso cuando la intención es inferida en lugar de declarada, y se desvincula del sentimiento (calidez vs. neutralidad). Esta representación existe en los checkpoints base, lo que indica que es aprendida durante el preentrenamiento, no durante el ajuste de instrucciones.
2. El Retraso de la Lectura (Descarte): A pesar de que la intención está claramente representada, la salida por defecto a menudo no actúa sobre ella. En tres de los seis modelos (Qwen-3B, Qwen-7B, Llama-8B), la respuesta por defecto honra una intención de "reconocer" solo aproximadamente el 60% de las veces, cayendo por defecto en la retroalimentación no solicitada.
3. Estratificación de Profundidad: Dentro de un modelo, la intención es decodificable varias capas antes de la capa donde la lectura actúa sobre ella. Por ejemplo, en Qwen-3B, la intención es totalmente decodificable en la capa 24, pero el direccionamiento en esa capa no recupera el comportamiento; el direccionamiento efectivo requiere una capa posterior (capa 30).
4. Estratificación Específica del Modelo: El fallo al actuar sobre la intención no es una ley de escala universal, sino una estratificación específica del modelo. Los modelos más pequeños o con menor madurez de instrucción (≤8B) muestran el comportamiento de "descarte", mientras que los modelos más grandes o maduros (≥14B) a menudo ya honran la intención de forma basal.
5. Recuperación Causal: El direccionamiento del flujo residual a lo largo de la dirección de la intención discriminativa en la capa correcta recupera el comportamiento pretendido (por ejemplo, aumentando el honrar el "reconocer" de 0.65 a 0.98 en Qwen-3B) sin ningún prompt. Esta dirección es casi ortogonal a los ejes genéricos de oferta de retroalimentación, lo que sugiere que enruta una intención representada específica en lugar de actuar como un control de verbosidad genérico.
6. Generalización: La representación se generaliza a un segundo contraste de intención léxicamente distinto (apoyo vs. ayuda), aunque los resultados de direccionamiento causal para este eje fueron menos concluyentes (un resultado nulo para la especificidad del direccionamiento).

Contribuciones Clave

• Característica de Interpretabilidad de Primer Orden: El artículo trata la intención comunicativa de un emisor como una característica lineal y causal, distinta de los atributos del usuario o las creencias de un personaje.
• Descomposición Representar-Luego-Leer: Establece una disociación mecánica: los modelos representan la intención de forma robusta y universal, pero la lectura (actuar sobre ella) es un proceso separado, frágil y específico de cada modelo.
• Control Causal sin Prompts: Demuestra que una dirección vinculada a la intención representada puede servir como un control causal para recuperar el comportamiento pretendido, rindiendo tan bien como las instrucciones explícitas pero sin requerir un prompt.
• Controles Rigurosos: El estudio reporta resultados nulos y pruebas no pre-registradas que resultaron inconclusas (como la prueba geométrica de leyes de escala o la especificidad del direccionamiento para el eje apoyo/ayuda) tan abiertamente como las confirmaciones.

Significado y Reivindicaciones
El artículo redefine la observación común de que "el modelo no lo entiende". La evidencia sugiere que el modelo sí lo entiende; la intención está presente en la representación interna. El fallo reside en que el mecanismo de lectura no logra enrutar esa representación hacia la salida final.

• Alcance Modesto: Los autores declaran explícitamente que no pretenden que "honrar" sea siempre el comportamiento normativo correcto (un modelo podría, con razón, ofrecer una crítica suave). La afirmación trata sobre la enrutabilidad: el modelo representa la intención pero cae por defecto en un comportamiento distinto.
• Perspectiva Mecanística: Los hallazgos sugieren que la "competencia pragmática" no es una capacidad monolítica, sino un proceso por capas donde la representación precede a la acción. El vacío entre la representación y la acción es donde las herramientas de interpretabilidad (como el direccionamiento o steering) pueden intervenir.
• Transferibilidad: Aunque la brecha de comportamiento es específica del modelo, los autores hipotetizan que el mapa subyacente de "representar-luego-enrutar" es universal y puede transferirse a sistemas cerrados de frontera, incluso si la falla de comportamiento específica no lo hace.

El artículo concluye que la separación entre representar una intención y actuar sobre ella es una propiedad fundamental de las arquitecturas actuales, observable mediante sondas lineales y direccionamiento causal, y que esta separación es el locus principal del fallo pragmático en configuraciones de modelos específicas.