Priors Persist Through Suppression: A Stroop Paradigm for Lexical Override

Resumen Técnico: Los Priores Persisten a Través de la Supresión

Planteamiento del Problema
Los modelos de lenguaje (LM) se ven frecuentemente obligados a seguir definiciones locales que anulan temporalmente sus priores léxicos preentrenados (por ejemplo, un glosario que define "puerto" como "enchufe"). Aunque estas anulaciones suelen tener éxito, no son reemplazos limpios de significado. En su lugar, el prior léxico preentrenado continúa operando, creando un sesgo residual hacia el significado familiar incluso cuando se aplica una regla local. Este "fallo de anulación" se manifiesta como una interferencia silenciosa en las probabilidades del siguiente token, lo cual es crítico en dominios que requieren una adherencia estrica a las definiciones específicas de un documento, como la documentación legal, médica o técnica. El artículo postula que la anulación contextual es una competencia donde el prior persiste en lugar de ser erradicado, y busca cuantificar esta interferencia y localizar su fuente mecánica.

Metodología
Los autores introducen un paradigma de estilo Stroop para aislar la interferencia del prior léxico a nivel de ítem.

• Estímulos: Para cada ítem, una palabra de consulta $w$ se remapea a un objetivo contextual $t$ (por ejemplo, "doctor" significa "bosque"). Un distractor de prior léxico $d$ (por ejemplo, "hospital") compite con el objetivo.
• Control: Un control neutral emparejado reemplaza la palabra de consulta $w$ con una palabra $n$ de debilidad semántica (por ejemplo, "clase") manteniendo el objetivo $t$ y el distractor $d$ idénticos. Este diseño aísla la interferencia causada específicamente por el prior de la palabra de consulta.
• Métrica Conductual: El efecto de interferencia ($\Delta$) se mide como la diferencia en la preferencia relativa del objetivo entre los prompts neutrales y los de conflicto: $\Delta = E_n[S(x_{neutral})] - S(x_{conflict})$, donde $S(x) = \log P(t|x) - \log P(d|x)$.
• Alcance: El análisis conductual cubre 11 modelos de pesos abiertos (familias Qwen, Gemma, OLMo, Mistral) que van desde 1B hasta 9B de parámetros. El análisis mecánico se centra en un subconjunto tratable de 5 modelos alineados mediante el parcheo de activación (activation patching) a través de TransformerLens.

Resultados Clave

1. Persistencia Conductual de los Priores:

   • A través de los 11 modelos y cuatro familias de conflicto (antónimo, arbitrario, polisemia, definición de dominio), el efecto de interferencia es positivo, lo que indica que el conflicto léxico reduce la preferencia por el objetivo contextual.
   • El efecto es más pronunciado en entornos relevantes para documentos (arbitrario, polisemia, definición de dominio), los cuales son de 2 a 4 veces mayores que el remapeo de antónimos canónico.
   • La Fuerza del Prior Léxico como Predictor: Un análisis de regresión controlado revela que la fuerza del prior léxico ordinario del distractor (medido como $\log P(d) - \log P(t)$ en un contexto neutral) predice positivamente la magnitud de la interferencia ($\beta \approx 0.114, p < 10^{-9}$). Esto se mantiene incluso tras controlar el prior de la respuesta, la frecuencia del token, la tokenización, el estilo del prompt y la escala del modelo. Los priores se "filtran" a través de la anulación en proporción a su fuerza.

2. Localización Mecánica mediante Parcheo de Activación:

   • Triplete de Fuente: El parcheo de activación identifica un triplete específico de posición-fuente (sujeto de la definición, objetivo de la definición, palabra de consulta) que recupera casi totalmente el efecto de conflicto al ser parcheado desde una ejecución limpia hacia una ejecución corrupta (recuperación agregada $R \in [0.92, 1.06]$). Este triplete supera a cualquier par de posición-fuente.
   • Vinculación vs. Identidad: Un control de "intercambio de objetivo de definición" (manteniendo el sujeto y la consulta emparejados pero intercambiando la activación del objetivo con un donante de otro ítem) causa el colapso de la recuperación. Esto confirma que el triplete realiza una vinculación (asociar la palabra específica con su nuevo valor) en lugar de una simple coincidencia de identidad.
   • Descomposición de Logit: La recuperación del margen objetivo-distractor es impulsada por la preservación del objetivo, no por la supresión del distractor.
     • Bajo una vinculación emparejada, el logit del objetivo se preserva mientras que el logit del distractor cae.
     • Bajo una vinculación corrupta (controles de intercambio o de desajuste de ítem), el logit del distractor cae de manera similar a la condición emparejada, pero el logit del objetivo colapsa.
     • Esto indica que la supresión del distractor es un efecto amplio de la perturbación de la posición-fuente, mientras que la contribución específica de la vinculación es la preservación del objetivo contextual.

Significancia y Reivindicaciones
El artículo reivindica una convergencia entre la evidencia conductual y mecánica sobre un único "canal de prior léxico":

• Conductualmente: La fuerza del prior léxico predice qué ítems resisten la anulación.
• Mecánicamente: El mismo canal (específicamente la posición del objetivo de la definición dentro del triplete de fuente) es donde aterriza el efecto causal de la reparación de la anulación.

Los autores argumentan que la anulación léxica no es una sustitución limpia, sino una competencia parcial donde el prior permanece activo. El estudio proporciona un paradigma controlado para medir esta interferencia y una explicación mecánica de cómo los modelos vinculan nuevas definiciones a tokens existentes, distinguiendo entre la supresión de los priores competidores y la preservación del significado contextual pretendido.

Limitaciones
Los autores señalan que el paradigma utiliza estímulos sintéticos de forma corta y tokens en inglés. Los hallazgos mecánicos se establecen sobre el remapeo de antónimos dentro de envoltorios de reglas de juego en modelos más pequeños (1B–2B). Sigue siendo una cuestión abierta si la estructura del triplete de fuente específico y la partición funcional entre la preservación del objetivo y la supresión del distractor se generalizan a modelos más grandes (7B+), otras familias de conflicto y contextos de documentos complejos y de formato largo.