How Language Models Process Negation

Resumen Técnico: Cómo los Modelos de Lenguaje Procesan la Negación

Enunciado del Problema
Los Modelos de Lenguaje a Gran Escala (LLM) fallan frecuentemente en consultas que involucran negación (por ejemplo, "Un animal que no es un anfibio es un __"), emitiendo a menudo el concepto positivo ("rana") en lugar del concepto negado correcto ("perro"). Aunque trabajos previos de Interpretabilidad Mecanística (MI) han establecido que los modelos procesan la recuperación factual mediante una agregación aditiva de evidencias, la negación no se ajusta a este paradigma. El artículo investiga los mecanismos internos de los LLM para determinar si poseen la capacidad de procesar la negación y, de ser así, por qué fallan al manifestar esta capacidad en las salidas finales. Los autores abordan dos hipótesis competitivas sobre cómo los modelos manejan la negación: la Hipótesis de Supresión (el modelo promueve conceptos relevantes y suprime el token negado) y la Hipótesis de Construcción (el modelo construye explícitamente una nueva representación para la frase negada, por ejemplo, representando "no gas" como un vector para "sólido").

Metodología
El estudio emplea un conjunto de datos controlado de 648 prompts en la forma "X que no es Y es Z", utilizando modelos que incluyen Llama-3.1-8B, Mistral-7B y varias checkpoints de OLMo2. Los autores aplican un conjunto de técnicas observacionales y causales de interpretabilidad:

1. Métricas de Sensibilidad: Los autores definen una métrica de sensibilidad basada en diferencias de logits para determinar si los modelos distinguen internamente entre prompts positivos y negativos, incluso cuando la precisión es baja.
2. Hundimiento de Atención (Attention Sinking): Un método novedoso de ablación inspirado en fenómenos de hundimiento de atención. Al restringir las cabezas de atención para que atiendan solo a sí mismas y al primer token, los autores anulan efectivamente módulos de atención específicos. Aplican Hundimiento de Atención Acumulativo (ablacionando todas las capas desde un punto específico hasta el final) para identificar las capas donde residen los mecanismos de "atajo".
3. Parcheo de Trayectorias y LogitLens: Estas técnicas se utilizan para rastrear vías causales. El parcheo de trayectorias reemplaza las salidas de atención de prompts negativos con las de prompts positivos para observar inversiones en la predicción. LogitLens proyecta estados ocultos intermedios sobre el vocabulario para interpretar el contenido semántico de las representaciones internas.
4. Autoencoders Dispersos (SAE): Se utilizan para descomponer las salidas de las MLP en características latentes dispersas, permitiendo la identificación de neuronas específicas que promueven conceptos negados.
5. Anotación Basada en LLM: Una pipeline automatizada que utiliza un LLM externo (gpt-oss-120b) para etiquetar si los tokens promovidos por las cabezas de atención internas están semánticamente relacionados con "no Y" o con el concepto original "Y".

Hallazgos Clave

• Coexistencia de Mecanismos: El artículo demuestra que los LLM poseen mecanismos internos capaces de procesar correctamente la negación, pero estos suelen quedar eclipsados por mecanismos de "atajo" en las capas posteriores.
• Cabezas de Atención de Atajo: Los autores identifican cabezas de atención específicas en las capas medias a tardías (típicamente >50% a través de la profundidad del modelo) que promueven respuestas positivas en prompts negativos. Estas cabezas dependen de correlaciones espurias (por ejemplo, la co-ocurrencia de "anfibio" y "rana") en lugar de la negación lógica. La ablación de estas cabezas mediante Hundimiento de Atención mejora significativamente la precisión en negación (por ejemplo, de ~50% a ~68% en Llama-3.1-8B).
• Procesamiento Dominado por Construcción: El mecanismo principal para la negación correcta es la Construcción, no la supresión.
  • Capas Tempranas/Medias: Las cabezas de atención mueven la representación del token de negación ("no") a la posición del concepto que se está negando ("Y").
  • Construcción en Capas Medias: Módulos de atención causalmente importantes (alrededor de la capa 14 en Llama-3.1-8B) construyen explícitamente una representación negada ($\bar{Y}$). El análisis de LogitLens muestra que estas capas promueven tokens semánticamente relacionados con el concepto negado (por ejemplo, "sólido" para "no gas") en más del 80% de los casos.
  • Supresión: Aunque el modelo sí suprime el concepto original "Y", esto ocurre en menor medida que la construcción del concepto negado.
• Rol de las MLP: Las MLP de las capas tardías amplifican la representación negada construida, promoviendo la respuesta final correcta. El análisis de SAE revela latentes específicos que instancian directamente estos conceptos negados.
• Origen en el Pre-entrenamiento: Los mecanismos de atajo responsables de los fallos se rastrean hasta las etapas tempranas del pre-entrenamiento, donde los modelos desarrollan un sesgo hacia respuestas positivas en prompts negativos.

Contribuciones Clave

1. Diagnóstico de Fallos en Negación: Los autores muestran que los fallos de los LLM en la negación no se deben a una falta de capacidad interna, sino a la dominancia de mecanismos de atajo en las capas posteriores.
2. Método de Intervención: La introducción del Hundimiento de Atención como una intervención plug-and-play que mitiga los comportamientos de atajo y recupera la precisión en negación sin entrenamiento adicional.
3. Explicación Mecanística: Un mapa causal detallado del procesamiento de la negación, que establece que los modelos implementan tanto construcción como supresión, siendo la construcción el mecanismo dominante. El artículo identifica sistemáticamente cómo la atención mueve "no" a "Y", construye $\bar{Y}$, y cómo las MLP promueven la respuesta final.

Significado
El artículo argumenta que una baja precisión de caja negra puede ocultar la existencia de mecanismos internos capaces. Al revelar que los LLM son conjuntos de mecanismos competidores (procesamiento correcto de negación vs. heurísticas de atajo), el trabajo destaca la necesidad de inspeccionar exhaustivamente los internos del modelo para auditar completamente sus capacidades. Los hallazgos profundizan en la comprensión de cómo los LLM realizan el razonamiento composicional y sugieren que la "construcción" es una estrategia computacional más central para la negación de lo que se asumía previamente. Los autores concluyen que su trabajo proporciona una base para construir LLM más robustos y fiables mediante la comprensión y mitigación de estos mecanismos internos competidores.