Do Language Models Encode Knowledge of Linguistic Constraint Violations?

Resumen Técnico: ¿Codifican los Modelos de Lenguaje Conocimiento de las Violaciones de Restricciones Lingüísticas?

Planteamiento del Problema
Aunque los Modelos de Lenguaje Grandes (LLM) demuestran un rendimiento sólido en benchmarks lingüísticos y generalizan regularidades gramaticales a partir de texto crudo, los mecanismos internos que les permiten distinguir oraciones bien formadas de las mal formadas permanecen poco claros. Específicamente, es una cuestión abierta si los LLM, particularmente las arquitecturas basadas en Transformer, codifican "características detectoras" específicas que se activan al encontrar violaciones gramaticales para penalizar la verosimilitud logarítmica de una oración. Este estudio investiga la hipótesis de que los LLM poseen representaciones latentes de violaciones de restricciones lingüísticas (denotadas como la variable $G$ en el marco de Hu et al., 2026) que se activan selectivamente durante el procesamiento de entradas no gramaticales.

Metodología
El estudio emplea un enfoque de interpretabilidad mecánica que utiliza Autoencoders Escasos (SAE) para descomponer las activaciones polisemánticas de los LLM en características escasas y monosemánticas.

• Conjunto de Datos: Los autores utilizan el benchmark BLiMP (Warstadt et al., 2020), que proporciona 13 fenómenos lingüísticos. Cada fenómeno consiste en pares mínimos donde una oración bien formada ($x_{good}$) y una oración mal formada ($x_{bad}$) difieren exactamente en una palabra. Este diseño mantiene constante el mensaje semántico ($m$) mientras varía la restricción gramatical ($G$).
• Modelos: Los experimentos se realizaron en seis modelos de tres familias: GPT-2 (pequeño), Gemma-3 (270M, 1B, 4B) y Qwen3.5 (2B, 9B).
• Descomposición de Características: Se aplicaron SAE preentrenados (de SAELens, Qwen Scope y Gemma Scope 2) a los flujos residuales en capas específicas (25%, 50%, 65% y 85% de la profundidad del modelo).
• Puntuación de Sensibilidad ($\Phi$): Se introdujo una puntuación de sensibilidad para clasificar las características del SAE en función de su activación preferente en entradas que violan restricciones frente a entradas bien formadas. Las características con puntuaciones $\Phi$ positivas altas se seleccionaron como detectores de violaciones candidatos.
• Marco de Falsificación Conjunta: Para validar si una característica candidata codifica realmente un detector de violaciones, el estudio propone tres criterios evaluados conjuntamente mediante ablación dirigida de características:
  1. F1 (Efecto Causal en Violaciones): La ablación de las características candidatas debe aumentar significativamente la verosimilitud logarítmica de las oraciones no gramaticales en comparación con un control aleatorio.
  2. F2 (Estabilidad de No-Violaciones): La ablación no debe degradar significativamente la verosimilitud logarítmica de las oraciones bien formadas (umbral de estabilidad $|\bar{M}_{good}| < 0.05$).
  3. F3 (Efecto Preferente): El cambio en el margen de preferencia (bueno vs. malo) causado por la ablación debe ser estrictamente positivo y significativamente mayor que el de un control aleatorio, asegurando que el efecto sea selectivo a las violaciones.

Contribuciones Clave

1. Puntuación de Sensibilidad ($\Phi$): Una métrica no supervisada para identificar características activadas preferentemente por entradas que violan restricciones, permitiendo la selección dirigida de características de violación candidatas sin supervisión etiquetada.
2. Marco de Falsificación Conjunta: Una prueba rigurosa de tres criterios (F1, F2, F3) diseñada para distinguir detectores específicos de violaciones reales de características que meramente se correlacionan con la fluidez general o la verosimilitud de la oración.
3. Análisis Empírico: Una evaluación exhaustiva a través de 13 fenómenos lingüísticos y seis modelos, revelando que, aunque los modelos contienen información relacionada con violaciones, esta información no es separable limpiamente en detectores unificados y selectivos bajo el marco de intervención actual.

Resultados
Los resultados empíricos son en gran medida negativos respecto a la hipótesis de detectores de violaciones unificados y selectivos:

• Rendimiento de F1: El criterio de efecto causal (F1) se cumplió ampliamente en modelos y fenómenos. Las características de alto $\Phi$ se correlacionan con entradas que violan restricciones, ya que su eliminación aumenta la probabilidad de oraciones no gramaticales.
• Fallos en F2 y F3: Los criterios de estabilidad (F2) y efecto preferente (F3) fallaron en la mayoría de los casos. Las características identificadas como sensibles a las violaciones a menudo afectan causalmente también a las oraciones bien formadas (violando F2) o afectan a oraciones gramaticales y no gramaticales con magnitud comparable (violando F3).
• Satisfacción Conjunta: El criterio conjunto (F1 $\cap$ F2 $\cap$ F3) fue satisfecho únicamente por un fenómeno (Formas irregulares en GPT-2) en todos los modelos.
• Enredo de Características: Los resultados sugieren que las características relacionadas con violaciones no están aisladas. En cambio, parecen codificar información de fluidez general o estar enredadas con características que representan el mensaje general ($m$), lo que dificulta aislar una variable "gramaticalidad" pura $G$ mediante ablación.

Significado y Afirmaciones
El artículo concluye que los LLM actuales no parecen codificar un conjunto unificado de detectores de violaciones gramaticales que se activen selectivamente y sean causalmente distintos de las representaciones generales de oraciones. Aunque los modelos poseen información relevante para las violaciones gramaticales, esta información no es separable limpiamente de representaciones más amplias a nivel de oración bajo el marco de intervención actual.

Los autores hipotetizan que los resultados negativos pueden deberse a:

1. Que la puntuación de sensibilidad no logra descubrir características que satisfacen F2 y F3.
2. Que los SAE no logran recuperar características correspondientes a F2 y F3, las cuales pueden estar absorbidas en otras características.
3. Que las características relevantes están distribuidas a través de múltiples capas en lugar de estar localizadas en una sola capa.

El estudio no afirma refutar la existencia de representaciones gramaticales en su totalidad, sino más bien resalta las limitaciones de las herramientas actuales de interpretabilidad mecánica (específicamente SAE y ablación) para aislar estas variables latentes específicas. El trabajo es modesto en sus afirmaciones, señalando que el hallazgo principal es negativo y que marcos alternativos dirigidos a la sorpresa o anomalías semánticas podrían ofrecer perspectivas complementarias.