Test, then Route: How Language Models Execute In-Context Conditional Rules Across Models and Languages

Resumen Técnico: Probar, luego Enrutar: Cómo los Modelos de Lenguaje Ejecutan Reglas Condicionales en Contexto

Planteamiento del Problema
Los Grandes Modelos de Lenguaje (LLM) ejecutan frecuentemente reglas condicionales en contexto de la forma "si $P(x)$ entonces $A$, si no $B$". Una pregunta fundamental en la interpretabilidad mecánica es si el modelo ensambla un circuito de tiempo de ejecución que comprende módulos separables para probar el predicado $P(x)$ y enrutar la respuesta apropiada ($A$ o $B$), o si estos procesos están entrelazados en un único mecanismo indivisible. Mientras que las evaluaciones de comportamiento pueden confirmar que un modelo sigue una regla, no pueden distinguir entre estas estructuras organizativas internas. A diferencia de los circuitos almacenados en los pesos (por ejemplo, la Identificación del Objeto Indirecto) que están pre-entrenados y son reutilizables, los condicionales en contexto requieren que el circuito se ensamble en el tiempo de inferencia basado en el contenido dinámico del prompt.

Metodología
Los autores proponen un diseño experimental novedoso utilizando parcheo de activaciones (activation patching) para desentrelazar el "test" (evaluación del predicado) del "enrutamiento" (selección de la respuesta).

1. Diseño de Cuatro Donantes: La innovación central es un conjunto de cuatro prompts donantes que crean un "desacuerdo" entre el valor de verdad del predicado y la palabra de la respuesta.

   • BASE: Regla estándar, predicado VERDADERO $\rightarrow$ Respuesta $A$.
   • O-DONOR: Regla estándar, predicado FALSO $\rightarrow$ Respuesta $B$ (invierte el resultado).
   • MAP-DONOR: Regla intercambiada ("si $P(x)$ entonces $B$, si no $A$"), predicado VERDADERO $\rightarrow$ Respuesta $B$ (invierte el mapeo, mantiene el predicado VERDADERO).
   • MAP-NULL: Regla intercambiada, predicado FALSO $\rightarrow$ Respuesta $A$ (invierte el mapeo, mantiene el predicado FALSO).
   • Lógica: En MAP-DONOR y MAP-NULL, el valor de verdad y la palabra de la respuesta apuntan a etiquetas opuestas. Al parchear el flujo residual de una capa desde un donante hacia una ejecución base, los investigadores pueden determinar si esa capa transporta la condición (sigue el valor de verdad) o la respuesta (sigue la palabra).

2. Métricas:

   • Probabilidad de Cambio (Flip Probability): Mide si el parcheo causa que el modelo produzca la respuesta del donante, condicionado por un umbral de masa de etiqueta ($\ge 0.30$) para evitar artefactos de colapso de distribución.
   • Fracción de Recuperación del Oscilamiento ($R$): Una métrica graduada que mide qué tan lejos mueve un parche la diferencia de logit de la base hacia la del donante.
   • Controles de Transferencia: Para distinguir un módulo de lectura (readout) de un token específico de un módulo de enrutamiento real, los autores entrenan un subespacio de bajo rango (DAS-lite) en un par de etiquetas (ej. perro/gato) y prueban su capacidad para invertir un par no probado (ej. zorro/búho). También prueban la transferencia translingüística.

3. Alcance Experimental:

   • Modelos: Tres modelos de pesos abiertos de dos familias: Gemma-3-4B, Gemma-3-12B y Qwen3-8B.
   • Idiomas: Seis idiomas (inglés, chino, hindi, indonesio, tamil, cingalés) que abarcan cuatro escrituras.
   • Controles: Un banco de ítems fijo de 250 elementos compartido en todas las celdas; las etiquetas de respuesta (dog/cat) se mantienen en alfabeto latino para aislar la comprensión de la regla de los efectos de traducción.

Resultos Clave

1. TEST de Predicado Modular:

   • En las 18 celdas experimentales (3 modelos $\times$ 6 idiomas), una banda residual de la mitad de la pila distintiva (ej. capas 21–22 en Gemma-3-4B) transporta el valor de verdad del predicado.
   • Parchear esta banda con el O-DONOR (que invierte el valor de verdad) enruta la respuesta con una probabilidad $\approx 1.0$.
   • Parchear la misma banda con el MAP-DONOR (que invierte el mapeo pero mantiene el valor de verdad) deja la respuesta sin cambios ($\approx 0.0$).
   • Este aislamiento se mantiene a través de cinco familias de predicados diferentes (umbrales numéricos, membresía de conjuntos, inicio de vocal) y una variante de tres salidas, confirmando que el módulo computa un valor de verdad abstracto, no una regla específica.

2. RUTA No Separable:

   • La etapa de RUTA (donde el valor de verdad se mapea a la palabra de la respuesta) no muestra un subespacio separable y transferible.
   • Aunque un subespacio aprendido puede invertir perfectamente un par de etiquetas entrenado (Precisión de Intercambio $\approx 1.00$), falla al transferirse a un nuevo par de etiquetas (Precisión $\approx 0$) en todos los modelos.
   • Transferencia Translingüística: En Gemma-3-4B, la dirección aprendida para un par fijo (perro/gato) se transfiere casi perfectamente ($\approx 0.98$) al mismo par en otros idiomas (tamil, chino). Esto indica que la dirección está vinculada al token (específica para los tokens de respuesta) en lugar de ser un mecanismo de enrutamiento abstracto.
   • En Qwen3-8B, la dirección es específica del par y ortogonal a la lectura, pero sigue siendo no transferible a nuevos pares.

3. Límite de Etapa:

   • Los experimentos revelan un límite de etapa agudo (ej. $L_{22} \to L_{23}$ en Gemma-3-4B). Por debajo de este límite, los parches siguen la condición; por encima, los parches siguen la palabra de la respuesta.
   • El ancla de TEST es invariante al idioma y se localiza en una profundidad relativa constante. El inicio de la RUTA varía según el modelo y el idioma, lo que sugiere que la lectura se cristaliza más tarde en la pila.

Significancia y Reivindicaciones
El artículo sostiene una asimetría fundamental en cómo los LLM ejecutan condicionales en contexto:

• El Test es Modular: La evaluación del predicado es un módulo causalmente separable, localizable y portátil. Transporta un valor de verdad abstracto que puede ser sobrescrito para dirigir la decisión del modelo.
• La Ruta es Entrelazada: El mecanismo de enrutamiento no es un módulo abstracto y reutilizable. En su lugar, parece ser una dirección de lectura vinculada al token (o una dirección específica del par) que está entrelazada con el vocabulario específico de la respuesta. No se generaliza a través de diferentes pares de etiquetas.

Implicaciones:

• Direccionamiento (Steering): El direccionamiento a nivel de predicado (modificar el valor de verdad) debería ser más portátil a través de prompts y conjuntos de vocabulario que el direccionamiento a nivel de respuesta.
• Auditoría: La banda de TEST separable ofrece un "gancho de monitoreo" para detectar discrepancias entre juicio y acción antes de que se emita la salida final.
• Comprensión Mecánica: Los hallazgos desafían la suposición de que todos los comportamientos en contexto dependen de circuitos reutilizables almacenados en los pesos; en cambio, el ensamblaje en tiempo de ejecución implica fases distintas donde solo la fase de "test" es modular.

Limitaciones
Los autores señalan que sus resultados son específicos para modelos de pesos abiertos y tareas sintéticas controladas con etiquetas latinas de un solo token. No afirman que estos hallazgos se extiendan a modelos de frontera propietarios, condicionales de escritura nativa o completaciones de texto libre. La naturaleza "entrelazada" del enrutador es precisa para los entornos probados, pero podría no generalizarse a todas las tareas de enrutamiento.