France or Spain or Germany or France: A Neural Account of Non-Redundant Redundant Disjunctions

Título: Francia o España o Alemania o Francia: Una Cuenta Neuronal de Disyunciones Redundantes No Redundantes

1. El Problema

El artículo aborda un fenómeno lingüístico paradójico: la aparente redundancia en oraciones que repiten un mismo elemento (disyuntivo) en diferentes contextos.

• Ejemplo clásico: "Ella irá a Francia o España, o quizás a Alemania o Francia". Formalmente, esto parece redundante ($A \lor B \lor C \lor A$), equivalente a decir "Francia" dos veces sin necesidad.
• El fenómeno: Sin embargo, en contextos estructurados (ej. "Mary irá a un programa de filosofía en Francia o España, o a un programa de matemáticas en Alemania o Francia"), la repetición de "Francia" se vuelve aceptable y no redundante.
• Brecha de investigación: Tradicionalmente, esto se ha explicado mediante análisis formales simbólicos (semántica modal, como propone Mandelkern, 2024), donde la disyunción introduce "conjunciones de posibilidad" distintas. El objetivo de este trabajo es proporcionar una cuenta alternativa basada en mecanismos neuronales, demostrando que las Redes Neuronales (específicamente los Modelos de Lenguaje o LMs) pueden resolver este problema sin implementar directamente la lógica formal, sino mediante representaciones contextuales y mecanismos de atención.

2. Metodología

Los autores emplearon un enfoque mixto que combina experimentos conductuales, análisis de comportamiento de modelos de lenguaje (LMs) y técnicas de interpretabilidad mecánica.

• Experimento 1 (Comportamiento Humano y de Modelos):

  • Diseño: Se crearon estímulos con tres entidades (X, Y, Z) en dominios semánticos variados. Se manipularon tres factores binarios: el orden de la primera disyunción, el orden de la segunda y el orden de las mitades de la oración.
  • Condiciones:
    • Crítica: Estructura de disyunción compleja donde X aparece en dos contextos distintos (ej. "programa de filosofía" vs. "programa de matemáticas").
    • Control: Una lista simple sin estructura de disyunción donde repetir X es genuinamente redundante.
  • Participantes: 236 humanos (vía Prolific) y 12 LMs de diferentes familias (Pythia, GPT-2, LLaMa) y escalas (desde 70M hasta 7B parámetros).
  • Tarea: Completar la segunda oración (S2) eligiendo la entidad repetida (X) o un nuevo elemento.

• Experimento 2 (Intervención Causal - "Activation Patching"):

  • Objetivo: Determinar si los LMs codifican información contextual distinta en las representaciones de las palabras repetidas.
  • Método: Se utilizó activation patching. Se tomaron las activaciones de la palabra "Francia" en el contexto de "filosofía" (fuente) y se inyectaron en la posición correspondiente de la palabra "Francia" en el contexto de "matemáticas" (base) durante la inferencia.
  • Hipótesis: Si el modelo "vincula" la palabra al contexto, la intervención debería cambiar la probabilidad de los sufijos contextuales (ej. aumentar la probabilidad de "para matemáticas" al inyectar el contexto de "filosofía").

• Experimento 3 (Análisis de Mecanismos - "Induction Heads"):

  • Objetivo: Identificar qué componentes de la red neuronal permiten la copia o supresión del elemento repetido.
  • Método: Se analizaron las "cabezas de inducción" (induction heads) en el modelo LLaMa-2-7B, conocidas por detectar patrones de repetición. Se midió el patrón de atención de estas cabezas en las condiciones crítica y de control.

3. Resultados Clave

• Comportamiento Conductual (Exp. 1):

  • Humanos: Mostraron una alta tasa de repetición (72.3%) en la condición crítica frente a la de control (28.2%), confirmando que el contexto estructurado licencia la repetición.
  • LMs: Los modelos grandes (>400M parámetros) replicaron el patrón humano, produciendo la entidad repetida en la condición crítica y suprimiéndola en el control. Los modelos pequeños mostraron un comportamiento de "copia tonta" (repetir la última palabra sin importar el contexto).
  • Efectos de Orden: Los LMs mostraron una sensibilidad fuerte al orden superficial de la segunda disyunción (coincidencia ZX vs XZ), un efecto que no fue estadísticamente significativo en los datos humanos (posiblemente por ruido en los datos o diferencias en el procesamiento).

• Vinculación Contextual (Exp. 2 - Patching):

  • La intervención causal demostró que las representaciones de las palabras repetidas ("Francia") son contextualmente distintas. Al inyectar la representación de "Francia" del contexto A en la posición del contexto B, el modelo cambió sus predicciones hacia el sufijo del contexto A.
  • Esto confirma que los LMs no tratan las palabras como tokens estáticos, sino que construyen representaciones dinámicas que codifican la información contextual (ej. "programa de filosofía" vs. "programa de matemáticas").

• Mecanismos de Atención (Exp. 3 - Induction Heads):

  • Las cabezas de inducción mostraron un patrón de atención selectivo: se activaron fuertemente en la condición crítica (donde la repetición es válida) para copiar el token X, pero se suprimieron en la condición de control.
  • La sensibilidad de estas cabezas al orden de la segunda disyunción explica el comportamiento de orden observado en los LMs del Experimento 1.

4. Contribuciones Principales

1. Evidencia Empírica: Se proporciona la primera evidencia conductual robusta (humana y de modelos) de que la redundancia en disyunciones es un fenómeno dependiente del contexto y no solo una violación lógica.
2. Explicación Neuronal: Se ofrece una alternativa a los análisis simbólicos formales. En lugar de operadores modales explícitos, los LMs logran el mismo resultado funcional mediante:
   • Vinculación contextual: Las representaciones de los tokens se enriquecen con el contexto circundante.
   • Atención selectiva: Las cabezas de inducción detectan patrones superficiales y copian tokens solo cuando el contexto lo licencia.
3. Interpretabilidad Mecánica: Se demuestra cómo mecanismos específicos de la arquitectura Transformer (cabezas de inducción y enriquecimiento de representaciones) resuelven tareas semánticas complejas que antes se consideraban dominio exclusivo de la lógica formal.
4. Escalabilidad: Se identifica un umbral de escala (~400M parámetros) necesario para que surja esta capacidad de vinculación contextual.

5. Significado e Implicaciones

• Convergencia Simbólica-Neuronal: El trabajo apoya la visión de que los análisis lingüísticos pueden expresarse tanto en lenguaje simbólico (semántica formal) como en lenguaje neuronal (interpretabilidad mecánica) sin pérdida de precisión. Ambos enfoques explican el mismo fenómeno conductual a través de recursos representacionales diferentes.
• Naturaleza de los LMs: Refuerza la idea de que los LMs no son meros predictores de tokens, sino sistemas que construyen representaciones contextuales ricas capaces de distinguir entre instancias idénticas de palabras basándose en su función semántica en el discurso.
• Futuro de la Lingüística Computacional: Sugiere que la "redundancia" no es una propiedad absoluta del texto, sino una propiedad emergente de la interacción entre la estructura del discurso, la representación contextual y los mecanismos de atención del modelo.

En resumen, el artículo demuestra que lo que parece una redundancia lógica es, en realidad, una estructura semántica rica que los modelos neuronales modernos pueden capturar y procesar mediante mecanismos de vinculación contextual y atención selectiva.