Resumen Técnico: Razonamiento Relacional e Inducción en Transformers y Modelos de Lenguaje Grandes

Declaración del Problema

Los modelos basados en transformers han demostrado capacidades de razonamiento notables, sin embargo, los mecanismos subyacentes al razonamiento relacional—específicamente la capacidad de inferir relaciones entre elementos indirectamente relacionados—permanecen poco comprendidos. Existe una brecha crítica para distinguir cómo los modelos realizan la inferencia transitiva (por ejemplo, si $A > B$ y $B > C$, entonces $A > C$) bajo dos regímenes de aprendizaje distintos:

1. Aprendizaje en Pesos (IWL): La información se almacena en los parámetros del modelo durante el entrenamiento.
2. Aprendizaje en Contexto (ICL): La información se proporciona dinámicamente dentro de la secuencia de entrada en el momento de la inferencia.

Si bien el ICL ha sido estudiado en clasificación y regresión, su comportamiento en tareas de razonamiento relacional es incierto. Es difícil determinar si los modelos de lenguaje grandes (LLM) dependen de conocimientos previos codificados en los pesos o están realizando una verdadera inferencia en contexto, en gran parte debido al control limitado sobre los datos de entrenamiento en modelos preentrenados. Este artículo investiga cómo estos modos de aprendizaje difieren en sus sesgos inductivos y patrones de generalización utilizando la inferencia transitiva como tarea prototípica.

Metodología

Los autores emplearon un enfoque multifacético que combina experimentos controlados en transformers pequeños entrenados desde cero con experimentos de sondeo en modelos de lenguaje grandes (LLM).

1. Configuración de la Tarea de Inferencia Transitiva

La tarea central implica una jerarquía de elementos (por ejemplo, $A > B > C > \dots > G$).

• Entrada: Pares de elementos (tokens) con etiquetas que indican su orden relativo (+1 si el primero > segundo, -1 en caso contrario).
• Datos de Entrenamiento: Los modelos se entrenan exclusivamente en pares adyacentes (distancia simbólica = 1, por ejemplo, $A>B$, $B>C$).
• Evaluación: Los modelos se prueban en pares no adyacentes (distancia simbólica > 1, por ejemplo, $A>C$) para medir la generalización transitiva.
• Arquitectura: Un transformer de dos capas, solo con atención (omitiendo MLPs para la interpretabilidad), utilizando incrustaciones ResNet18 de imágenes de Omniglot como características de entrada.

2. Condiciones Experimentales

El estudio compara tres regímenes de entrenamiento específicos:

• IWL (Jerarquía Fija): La jerarquía es fija en todas las secuencias de entrenamiento. Los ejemplos de contexto son aleatorios e irrelevantes, forzando al modelo a aprender la estructura de clasificación en sus pesos.
• ICL Estándar (Jerarquía Dinámica): Se asigna una nueva jerarquía aleatoria para cada secuencia de entrenamiento. El contexto contiene todos los pares adyacentes para esa secuencia específica. El modelo debe inferir la clasificación a partir del contexto, evitando el almacenamiento de jerarquías específicas en los pesos.
• ICL con Pre-entrenamiento de Regresión Lineal: Los modelos se pre-entrenan primero en una tarea de regresión lineal en contexto (predecir $y = Wx$) donde los pesos $W$ cambian por secuencia. Esto fuerza al modelo a aprender una representación lineal latente mediante ICL antes de ser evaluado en la tarea de inferencia transitiva.

3. Análisis Mecanicista

Para entender cómo los modelos resuelven la tarea, los autores utilizaron:

• Análisis de Componentes Principales (PCA): Para visualizar la geometría de las representaciones de las capas ocultas.
• Análisis de Patrones de Atención: Para identificar mecanismos de circuitos específicos, como "cabezas de inducción" (atención al token anterior + cabezas de inducción).
• Estudios de Ablación: Eliminar sistemáticamente cabezas de atención para probar la importancia causal.

4. Sondeo en Modelos de Lenguaje Grandes (LLM)

Para probar la generalizabilidad, los autores utilizaron el conjunto de datos ReCogLab con LLMs preentrenados (familias Gemini y Gemma). Emplearon un paradigma de congruencia:

• Congruente: Las relaciones se alinean con el conocimiento del mundo real (por ejemplo, Ballena > Delfín).
• Incongruente: Las relaciones contradicen el conocimiento del mundo real (por ejemplo, Pez Payaso > Delfín).
• Andamiaje Geométrico: Los prompts se aumentaron con instrucciones para imaginar elementos en una línea numérica lineal (apoya la transitividad) versus un círculo (viola la transitividad debido al envoltorio).

Resultados Clave

1. Comportamientos Divergentes en IWL vs. ICL Estándar

• Modelos IWL: Exhiben naturalmente inferencia transitiva a pesar de entrenarse solo en pares adyacentes. Muestran efectos conductuales similares a los humanos:
  • Efecto de Distancia Simbólica: La precisión aumenta a medida que aumenta la distancia entre los elementos en la jerarquía.
  • Efecto de Elemento Terminal: Mayor rendimiento en los elementos en los extremos de la jerarquía.
  • Representaciones: El PCA revela una incrustación continua y lineal donde los elementos están dispuestos por distancia simbólica con signo.
• Modelos ICL Estándar: No logran generalizar transitivamente cuando se entrenan solo en pares adyacentes.
  • Logran alta precisión en pares adyacentes (memorización) y elementos terminales, pero rinden al azar en pares internos no adyacentes.
  • Mecanismo: Confían en un circuito de inducción (estrategia de coincidencia y copia) en lugar de aprender estructuras relacionales. El PCA no muestra representaciones basadas en la distancia; el modelo simplemente copia la etiqueta del contexto si el par está presente.
  • Nota: Si los modelos ICL se entrenan explícitamente en pares no adyacentes, pueden aprender transitividad, pero no exhiben el efecto de distancia simbólica observado en IWL.

2. El Papel del Pre-entrenamiento Lineal

• El pre-entrenamiento de modelos ICL en regresión lineal en contexto altera fundamentalmente su comportamiento.
• Estos modelos sí exhiben inferencia transitiva, efectos de distancia simbólica y efectos de elemento terminal en la tarea de TI posterior.
• Mecanismo: El circuito de inducción desaparece. En su lugar, el modelo desarrolla representaciones distribuidas que capturan relaciones jerárquicas, similares a los modelos IWL. La tarea de regresión lineal induce una estructura representacional aditiva (ranks escalares) donde la transitividad emerge matemáticamente ($rank(A) > rank(B) \land rank(B) > rank(C) \implies rank(A) > rank(C)$).

3. Hallazgos en Modelos de Lenguaje Grandes

• Congruencia: Los LLMs rinden mejor en sondas de razonamiento relacional congruentes (aprovechando conocimientos almacenados tipo IWL) que en las incongruentes (que requieren ICL puro).
• Andamiaje Geométrico: Cuando se les pide realizar tareas incongruentes, los prompts de geometría lineal ("Imagina una línea numérica") mejoran significativamente la inferencia transitiva en comparación con los prompts circulares ("Imagina un círculo").
• Este efecto es más pronunciado en condiciones incongruentes y escala con el tamaño del modelo (en modelos Gemma), lo que sugiere que los LLMs poseen representaciones lineales latentes que pueden activarse mediante un encuadre geométrico apropiado.

Contribuciones Clave

1. Caracterización de Sesgos Inductivos: El artículo demuestra que IWL e ICL conducen a estrategias computacionalmente cualitativamente diferentes. IWL induce naturalmente un sesgo lineal y transitivo, mientras que el ICL estándar se basa por defecto en una estrategia de coincidencia y copia a menos que los datos de entrenamiento o el pre-entrenamiento exijan explícitamente una generalización relacional.
2. Explicación Mecanicista: Los autores identifican que la falta de generalización transitiva en el ICL estándar se debe a la formación de circuitos de inducción (coincidencia de patrones) en lugar del aprendizaje de estructuras relacionales. Por el contrario, el pre-entrenamiento de regresión lineal suprime estos circuitos en favor de representaciones lineales distribuidas.
3. Puente entre Modelos Pequeños y LLMs: Al usar prompts geométricos, el estudio muestra que los hallazgos de experimentos controlados a pequeña escala se generalizan a los LLMs modernos. Proporciona evidencia de que la capacidad de los LLMs para realizar razonamiento transitivo depende del acceso a representaciones adecuadamente estructuradas, ya sea almacenadas en los pesos o activadas mediante contexto.

Significado y Afirmaciones

El artículo afirma que la capacidad de inferencia transitiva en transformers no es una capacidad fija, sino que está críticamente determinada por:

1. El Régimen de Entrenamiento: Si la información se aprende en los pesos o en el contexto.
2. La Estructura Geométrica de las Representaciones: Si las representaciones inducidas son lineales (apoyando la transitividad) o dependen de la coincidencia de patrones.

Los autores concluyen que, aunque los transformers pueden realizar inferencia transitiva, el ICL estándar en pares adyacentes no produce automáticamente esta capacidad. En su lugar, requiere ya sea un pre-entrenamiento específico que induzca representaciones lineales (como la regresión lineal) o la activación de estructuras lineales latentes mediante prompts geométricos en LLMs. Este trabajo destaca que el "razonamiento" en los LLMs a menudo puede ser un reflejo de la estructura geométrica de las representaciones que se les fuerza a usar o acceder, en lugar de un mecanismo inherente de deducción lógica.