Resumen Técnico: Lógica Deductiva en Modelos de Lenguaje: Razonamiento Horizontal vs. Vertical

Planteamiento del Problema

Los modelos de lenguaje extensos (LLM) recientes demuestran capacidades significativas de razonamiento lógico, sin embargo, los mecanismos computacionales de bajo nivel que sustentan la inferencia deductiva siguen siendo poco comprendidos. Mientras que la literatura existente se centra en el rendimiento de los benchmarks o en descripciones de circuitos de alto nivel en modelos preentrenados, existe una brecha en la comprensión de cómo los transformadores implementan el razonamiento deductivo de pasos múltiples desde los primeros principios. Específicamente, el artículo investiga la distinción entre dos paradigmas de razonamiento:

1. Razonamiento Horizontal: Un proceso autorregresivo donde los pasos intermedios se generan token por token, aprovechando los tokens generados previamente para los pasos subsiguientes (típicamente elicitado mediante la Cadena de Pensamiento, o CoT).
2. Razonamiento Vertical: Un proceso implícito donde la inferencia se despliega a través de la jerarquía de capas antes de que se produzca el primer token de salida. Esto es necesario cuando el primer token requiere resolver una parte no trivial del problema (por ejemplo, determinar un camino de la raíz a la hoja en un árbol binario) sin la ayuda de pasos intermedios autorregresivos.

El estudio aborda si los transformadores pequeños y no preentrenados pueden aprender reglas lógicas explícitas en lugar de atajos estadísticos, y cómo la supervisión de CoT influye en estos distintos modos de razonamiento.

Metodología

Los autores emplean un enfoque de interpretabilidad mecánica utilizando modelos transformadores pequeños, de solo decodificador, entrenados desde cero en dos tareas sintéticas diseñadas para eliminar la ambigüedad del lenguaje natural y la dependencia del conocimiento de preentrenamiento.

Tareas

1. Tarea 1 (Consecuencia Lógica): Una tarea de inferencia de lógica proposicional que involucra cadenas de implicaciones (cláusulas de Horn). El modelo debe decidir si una consulta ($q_0 \to q_1$) es una consecuencia lógica de cinco reglas dadas.
   • Configuración CoT: El modelo genera la cadena intermedia de implicaciones que conduce al token de decisión final antes de producir un token de decisión final (1 o 0).
   • Configuración No-CoT: El modelo produce únicamente el token de decisión final.
2. Tarea 2 (Navegación Raíz-a-Hoja): Una tarea que requiere que el modelo navegue un árbol binario desde la raíz hasta un nodo hoja especificado, dada una lista desordenada de pares padre-hijo.
   • Configuración CoT: El modelo genera la secuencia completa de nodos en el camino.
   • Configuración No-CoT: El modelo produce un token binario que indica la alcanzabilidad.

Arquitectura del Modelo y Entrenamiento

• Arquitectura: Modelos "NanoGPT" estilo GPT-2 (solo decodificador) entrenados desde cero. Las experiencias utilizaron configuraciones simplificadas (por ejemplo, 2 capas, 1 cabeza) para la interpretabilidad y configuraciones estándar (6 capas, 8 cabezas) para el rendimiento.
• Entrenamiento: Los modelos fueron entrenados en conjuntos de datos sintéticos (4K a 150K ejemplos) con y sin supervisión de CoT.
• Herramientas de Interpretabilidad:
  • LogitLens: Decodificación del contenido del flujo residual al espacio del vocabulario en capas intermedias.
  • Visualización de Atención: Análisis de patrones de atención y filtrado por fuerza.
  • Pseudoinversa Truncada: Una técnica novedosa introducida para decodificar la información transportada por los vectores de Consulta (Query), Clave (Key) y Valor (Value), desacoplando la información específica extraída por las cabezas de atención.
  • Promediado: Cálculo de la fuerza de atención promedio a través de los conjuntos de datos para aislar los enlaces de atención independientes de la posición (posicionales).

Contribuciones Clave

1. Cuenta Mecanicista del Razonamiento Horizontal: El artículo proporciona una explicación de bajo nivel de cómo un modelo superficial (2 capas) entrenado con CoT resuelve la Tarea 1. Identifica circuitos específicos e interpretables:
   • Completado de Reglas: Mecanismos similares a cabezas de inducción que buscan un antecedente de regla que coincida con el token actual y recuperan el consecuente.
   • Encadenamiento de Reglas: Mecanismos que conectan la cola de una regla con la cabeza de la siguiente.
   • Toma de Decisiones: Circuitos que verifican la cadena final contra la consulta.
2. Análisis del Razonamiento Vertical: El estudio demuestra que la Tarea 2 (navegación raíz-a-hoja) requiere razonamiento vertical. El modelo aprende a computar todo el camino hacia atrás (de la hoja a la raíz) internamente a través de las capas antes de generar el camino hacia adelante. Esto involucra "tokens de registro" en el prompt que actúan como memoria de trabajo.
3. El Rol de CoT como Aprendizaje de Currículo: El artículo revela que en el razonamiento vertical, CoT no solo proporciona una guía paso a paso (como en el razonamiento horizontal), sino que actúa como una forma de Aprendizaje de Currículo. Permite que el modelo domine primero subproblemas más simples (por ejemplo, caminos más cortos o nodos más cercanos al objetivo) y se generalice progresivamente a casos complejos.
4. Técnica de Interpretabilidad Novedosa: La introducción de un método de pseudoinversa truncada para decodificar los vectores de Consulta, Clave y Valor, ofreciendo una nueva herramienta para inspeccionar el flujo de información en los mecanismos de atención.
5. Modos de Fallo sin CoT: El estudio muestra que sin CoT, los modelos fallan al aprender los algoritmos lógicos pretendidos para tareas complejas, recurriendo en su lugar a la memorización o explotando sesgos del conjunto de datos (por ejemplo, contar literales distintos) cuando tales sesgos existen.

Resultados

• Razonamiento Horizontal (Tarea 1): Un modelo simple de 2 capas entrenado con CoT logra aproximadamente un 100% de precisión y generaliza perfectamente. El análisis mecánico confirma la emergencia de cabezas de inducción que realizan operaciones de "copiar-buscar-recuperar" para encadenar reglas. Sin CoT, el modelo no logra converger a una solución generalizable, a menudo memorizando el conjunto de entrenamiento o explotando atajos estadísticos (por ejemplo, contar literales) si existen sesgos en el conjunto de datos.
• Razonamiento Vertical (Tarea 2): Un modelo de 6 capas entrenado con CoT resuelve con éxito la tarea de navegación raíz-a-hoja. El modelo aprende implícitamente a recorrer el árbol hacia atrás (de la hoja a la raíz) dentro del flujo residual del último token del prompt, almacenando nodos intermedios en posiciones de "registro", y luego genera el camino hacia adelante.
  • Sin CoT, el modelo falla en aprender la lógica de navegación a menos que exista un sesgo de generación específico (una característica estadística explotable). Una vez eliminado el sesgo, el rendimiento cae a niveles cercanos al azar.
  • CoT facilita este aprendizaje al permitir un efecto de currículo: el modelo aprende a predecir tokens más cercanos al objetivo (hoja) primero, y luego extiende esta competencia hacia la raíz.
• Cabezas de Inducción: Se identifican las cabezas de inducción como componentes centrales en ambos modos de razonamiento, facilitando la coincidencia de antecedentes de reglas y la recuperación de consecuentes en el razonamiento horizontal, y permitiendo el encadenamiento hacia atrás en el razonamiento vertical.

Significancia y Reivindicaciones

El artículo afirma proporcionar una cuenta de bajo nivel de cómo los transformadores implementan el razonamiento deductivo, contrastando con trabajos previos que ofrecen descripciones de alto nivel o se centran en atajos estadísticos.

• Distinción en los Modos de Razonamiento: El trabajo clarifica que CoT sirve funciones diferentes dependiendo del paradigma de razonamiento: permite la descomposición explícita paso a paso en el razonamiento horizontal, mientras que actúa como un andamiaje de currículo para la computación implícita por capas en el razonamiento vertical.
• Necesidad de Supervisión: Los resultados sugen que para tareas deductivas complejas, la supervisión intermedia explícita (CoT) es crucial para aprender los algoritmos lógicos subyacentes. Sin ella, los modelos tienden a memorizar o explotar sesgos en lugar de aprender reglas de razonamiento generalizables.
• Generalizabilidad de los Mecanismos: Los hallazgos apoyan la visión de que los modelos de lenguaje pueden depender de diferentes estrategias computacionales (simbólicas basadas en reglas vs. subsimbólicas numéricas) según la naturaleza de la tarea. El estudio destaca que las cabezas de inducción, previamente asociadas principalmente con el aprendizaje en contexto, son fundamentales para implementar circuitos de inferencia lógica.
• Limitaciones: Los autores señalan modestamente que su análisis de bajo nivel depende de arquitecturas simplificadas (modelos superficiales, embeddings compartidos) y sintaxis simbólica. Si bien los mecanismos son claros en este entorno, podrían no transferirse directamente a modelos más grandes y preentrenados o a entornos naturalistas. Además, el mecanismo específico para fusionar caminos parciales en el razonamiento vertical cuando la longitud del camino excede la profundidad del modelo permanece parcialmente sin explicar.

En resumen, el artículo argumenta que comprender los circuitos computacionales específicos (como las cabezas de inducción) y el rol de la supervisión (CoT) es esencial para diseñar modelos robustos capaces de un razonamiento deductivo genuino, en lugar de una mera aproximación estadística.