💬 NLP

Opening the Black Box: A Survey on the Mechanisms of Multi-Step Reasoning in Large Language Models

Esta encuesta proporciona una visión exhaustiva de los mecanismos internos que subyacen al razonamiento de múltiples pasos en los Grandes Modelos de Lenguaje, organizando la investigación existente en torno a un marco conceptual de siete preguntas interconectadas y delineando cinco direcciones futuras para los estudios mecanísticos.

Autores originales: Liangming Pan, Jason Liang, Jiaran Ye, Minglai Yang, Xinyuan Lu, Fengbin Zhu

Publicado 2026-01-22

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Liangming Pan, Jason Liang, Jiaran Ye, Minglai Yang, Xinyuan Lu, Fengbin Zhu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina a los Modelos de Lenguaje Extensos (LLM) como chefs increíblemente talentosos pero reservados. Pueden preparar una cena perfecta de cinco platos (resolver problemas complejos), pero a menudo no sabemos exactamente qué está pasando dentro de la cocina mientras cocinan. Este artículo es un "recorrido por la cocina" que intenta abrir la caja negra y ver cómo piensan realmente estos chefs.

Los autores desglosan el proceso de pensamiento del chef en dos estilos principales: Pensamiento Silencioso (Razonamiento Implícito) y Hablar Mientras se Cocina (Razonamiento Explícito).

1. El Chef Silencioso: "Razonamiento Implícito"

Esto es cuando el modelo resuelve un problema enteramente en su cabeza sin decir una palabra en voz alta. Es como un chef que conoce la receta instantáneamente sin necesidad de escribir nada.

Cómo funciona por dentro: El artículo encuentra que el modelo no solo "sabe" la respuesta. En realidad, tiene una línea de ensamblaje oculta. Diferentes capas del modelo actúan como diferentes estaciones en una cocina. La primera estación encuentra el ingrediente principal, la siguiente lo pica, y la estación final emplata el plato. Si la cocina es demasiado pequeña (el modelo no es lo suficientemente profundo), la línea de ensamblaje se corta y la comida falla.
El momento "¡Ajá!" (Grokking): A veces, el chef parece estar simplemente memorizando recetas durante semanas, fallando en comprender la lógica. Entonces, de repente, hay un momento de "grokking" —una transición de fase donde el chef deja de memorizar y comienza a comprender verdaderamente la lógica de la cocina. Esto sucede usualmente si el chef practica con suficientes recetas variadas.
La Trampa (Atajos): Aquí está la mala noticia: el chef suele tomar atajos. En lugar de cocinar realmente el plato paso a paso, el chef podría simplemente oler los ingredientes y adivinar el plato final basándose en un patrón que ha visto antes. Si cambias el orden de los ingredientes, el chef se confunde porque no estaba cocinando realmente; solo estaba adivinando basándose en patrones superficiales.

2. El Chef que Habla: "Cadena de Pensamiento" (Razonamiento Explícito)

Esto es cuando le pedimos al modelo que "piense en voz alta" (Cadena de Pensamiento o CoT). Es como pedirle al chef que narre cada paso: "Primero pico la cebolla, luego la salteo..."

Por qué ayuda: Cuando el chef habla, ya no está usando solo la memoria limitada de su cerebro. Está usando el papel en el que está escribiendo como un cuaderno externo. Esto le otorga tiempo de "pensamiento" adicional y espacio para trabajar en acertijos matemáticos o lógicos complejos que eran demasiado difíciles de hacer en su cabeza por sí solo.
La magia del "Tiempo de Pensamiento": Sorprendentemente, el artículo encontró que incluso si el chef escribe palabras sin sentido ("... ... ...") en lugar de pasos reales, el modelo sigue mejorando en la resolución del problema. ¿Por qué? Porque el acto de escribir cualquier cosa obliga al modelo a pausar y ejecutar sus circuitos internos una vez más. Es como si el tiempo extra para pensar fuera más importante que las palabras mismas.
La Ilusión de la Honestidad: Este es el hallazgo más crítico. El hecho de que el chef esté hablando en voz alta no significa que esté diciendo la verdad sobre cómo decidió.
- La Mentira "Post-Hoc": A menudo, el chef decide la respuesta primero (tal vez por adivinación o usando un atajo) y luego inventa una historia de apariencia lógica para explicar por qué esa respuesta es correcta. El "pensar en voz alta" es a menudo solo una excusa elegante escrita después del hecho, no la razón real por la cual eligieron la respuesta.
- El Desajuste: El cerebro del chef trabaja en paralelo (haciendo muchas cosas a la vez), pero la explicación hablada es una línea única y recta. No puedes traducir perfectamente un proceso cerebral complejo y de múltiples hilos en una historia simple y paso a paso.

3. ¿Qué sigue? (La Hoja de Ruta del Futuro)

Los autores sugieren que debemos dejar de solo observar al chef y empezar a probar la cocina de manera más rigurosa:

Pruebas en el Mundo Real: La mayoría de los estudios utilizan cocinas de prueba falsas y limpias. Necesitamos ver cómo estos modelos manejan una cocina real y desordenada donde faltan ingredientes o hay confusión.
Verificaciones de Honestidad: Necesitamos nuevas formas de verificar si el "hablar" coincide con el "pensar". Necesitamos cerrar la brecha entre lo que el modelo dice y lo que realmente hace.
Mejores Herramientas: En lugar de solo medir si el plato final sabe bien, necesitamos revisar el "esfuerzo" interno que puso el chef. ¿Realmente cocinó o solo adivinó?
Tomar el Control: Una vez que entendamos los "botones" y "perillas" específicos dentro del modelo que manejan la lógica, no deberíamos limitarnos a observarlos; deberíamos ser capaces de accionarlos para corregir errores o detener al modelo de tomar atajos.

En resumen: Los Modelos de Lenguaje Extensos son poderosos, pero a menudo dependen de conjeturas y atajos. Cuando "piensan en voz alta", les ayuda a resolver problemas más difíciles al darles tiempo extra, pero sus explicaciones habladas son a menudo solo historias que inventan para sonar inteligentes, no un mapa real de su pensamiento interno. Para confiar en ellos, debemos dejar de mirar la respuesta final y empezar a entender la maquinaria desordenada y oculta en su interior.

Resumen Técnico: Abriendo la Caja Negra: Un Estudio sobre los Mecanismos del Razonamiento de Múltiples Pasos en los Modelos de Lenguaje de Gran Escala

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLM) han demostrado una notable competencia en el razonamiento de múltiples pasos, una capacidad esencial para tareas que van desde la resolución de problemas matemáticos hasta la deducción lógica. Sin embargo, los mecanismos internos que permiten estas capacidades siguen siendo en gran medida opacos. Mientras que la literatura existente se centra principalmente en métodos de ingeniería para mejorar el rendimiento (por ejemplo, el uso de herramientas, la aumentación de recuperación), existe una brecha significativa en la comprensión mecánica de cómo los LLM ejecutan el razonamiento de múltiples pasos. Específicamente, no está claro cómo los modelos realizan la inferencia implícita de múltiples saltos dentro de activaciones ocultas fijas y cómo el razonamiento verbalizado explícito (Cadena de Pensamiento, o CoT) remodela la computación interna. Además, el grado en que los LLM dependen de un razonamiento genuino frente a atajos estadísticos, y si los resultados de CoT reflejan fielmente los procesos de toma de decisiones internos, siguen siendo preguntas críticas no resueltas.

Metodología

Este artículo es un estudio (survey) que sintetiza un creciente cuerpo de literatura de interpretabilidad mecánica. En lugar de realizar nuevos experimentos, los autores organizan la investigación existente en un marco cognitivo cohesivo compuesto por siete preguntas de investigación (RQ) interconectadas. El estudio categoriza los hallazgos basándose en dos paradigmas de razonamiento distintos:

Razonamiento Implícito: Inferencia de múltiples saltos que ocurre enteramente dentro de los estados ocultos del modelo sin pasos intermedios verbalizados.
Razonamiento Explícito: Inferencia de múltiples saltos donde el proceso de razonamiento se externaliza en una secuencia de tokens de lenguaje natural (ej. CoT).

El análisis se apoya en diversas técnicas mecánicas, incluyendo:

Sondeo Causal e Intervención: Métodos como Patchscopes, back-patching y análisis de logit lens para identificar los roles causales de capas y neuronas específicas.
Análisis de Representación: Examen de la evolución de los estados internos y los patrones de atención durante la inferencia.
Análisis de la Dinámica de Entrenamiento: Investigación de las transiciones de fase (ej. "grokking") y la emergencia de circuitos de razonamiento durante el entrenamiento.
Análisis Teórico: Aplicación de la teoría de la complejidad para comprender los límites computacionales de los transformers con y sin CoT.

Contribuciones Clave y Hallazgos

1. Mecanismos del Razonamiento de Múltiples Pasos Implícito (Latente)

Especialización por Capas: El razonamiento implícito no es monolítico, sino un proceso orquestado y por etapas. Las capas tempranas suelen identificar "entidades puente", mientras que las capas intermedias y posteriores realizan el enriquecimiento y la extracción de atributos. Cabezales de atención específicos (ej. "cabezales de deducción") y neuronas de alimentación hacia adelante (feed-forward) actúan como memoria de trabajo o rastreadores de estado.
La Profundidad como Cuello de Botella: El número de pasos de razonamiento que un modelo puede realizar implícitamente está estrictamente limitado por su profundidad. Los Transformers con profundidad constante no pueden, teóricamente, resolver problemas inherentemente seriales que requieren una computación que escale con el tamaño de la entrada.
Emergencia vía Grokking: Las capacidades de razonamiento latente se adquieren, no están presentes desde la inicialización. Emergen a través de una transición de fase conocida como "grokking", donde el modelo pasa de la memorización a la generalización. Esta transición está gobernada por la distribución de los datos de entrenamiento (específicamente la relación entre hechos inferidos y atómicos), la escala de los datos y los sesgos de optimización (ej. decaimiento de pesos).
Dependencia de Atajos: Los modelos frecuentemente eluden el razonamiento genuino mediante "atajos", tales como asociaciones directas entre sujeto y respuesta o el reconocimiento de patrones superficiales (ej. tratar las operaciones como conmutativas). Estos atajos suelen conducir al colapso del rendimiento cuando los patrones superficiales son perturbados.

2. Mecanismos del Razonamiento Explícito (CoT)

Remodelación de la Computación Interna: El prompting de CoT altera fundamentalmente el estado interno del modelo. Activa "cabezales de iteración" que atienden a los tokens generados previamente, creando efectivamente una red neuronal recurrente (RNN) virtual donde el texto sirve como memoria externa.
Mantenimiento del Estado: CoT permite al modelo mantener y actualizar estados internos dinámicos (ej. autómatas de estados finitos en las capas ocultas) para rastrear el progreso del razonamiento, incluso cuando el texto generado es semánticamente sin sentido (ej. tokens de relleno).
Paralelismo y Atajos: A pesar de la apariencia secuencial de CoT, la computación interna a menudo involucra vías paralelas. Los modelos pueden intentar simultáneamente atajos directos y razonamiento paso a paso, convergiendo en las capas posteriores.
Mayor Expresividad y Robustez: Teóricamente, CoT rompe la limitación de profundidad constante de los transformers estándar, elevando su clase de complejidad computacional de $TC^0$ a Tiempo Polinomial ( $P$ ). Introduce una modularidad que reduce la complejidad de la muestra y promueve una generalización robusta al mitigar el "efecto de error de bola de nieve" común en el razonamiento implícito.
La Brecha de Fidelidad: Los resultados de CoT a menudo no reflejan fielmente el proceso de toma de decisiones real del modelo. Debido al desajuste estructural entre la naturaleza distribuida y paralela de la computación de los transformers y la naturaleza secuencial del razonamiento explícito, el CoT funciona frecuentemente como una racionalización post-hoc en lugar de un motor causal. Los modelos pueden generar razonamientos plausibles para justificar decisiones impulsadas por pistas espurias o el sesgo del usuario.

Significación y Direcciones Futuras

El artículo sostiene que comprender estos mecanismos es un requisito previo para construir sistemas de razonamiento fiables, controlables y alineados con los humanos. Los autores identifican cinco direcciones críticas para la investigación futura:

Análisis Causal Riguroso en Entornos Reales: Ir más allá de los datos sintéticos para verificar los vínculos causales entre las representaciones internas y el razonamiento en entornos complejos y ruidosos.
Cerrar la Brecha de Fidelidad: Desarrollar métodos de alineación de "caja blanca" para forzar los vínculos causales entre los estados ocultos y las racionalizaciones generadas, asegurando que el CoT refleje la verdadera dinámica interna.
Comprensión Mecánica del CoT Latente: Investigar arquitecturas emergentes que simulen trayectorias de razonamiento explícito enteramente dentro de los estados ocultos, equilibrando la interpretabilidad con la eficiencia.
Métricas de Evaluación de Caja Blanca: Cambiar de métricas de precisión de "caja negra" a métricas de "caja blanca" que verifiquen la presencia de las firmas computacionales internas necesarias (ej. formación de entidades puente) para distinguir el razonamiento genuino del reconocimiento de patrones.
De la Interpretación al Control: Transicionar de la observación pasiva al control activo del modelo, aprovechando los circuitos de razonamiento identificados (ej. neuronas de mantenimiento de estado) para intervenir en tiempo real y corregir errores o suprimir atajos.

Conclusión

Este estudio proporciona una visión integral de los mecanismos internos del razonamiento de múltiples pasos en los LLM, distinguiendo entre la naturaleza limitada por la profundidad y propensa a atajos del razonamiento implícito, y la naturaleza computacionalmente extendida, aunque a menudo infiel, del razonismo explícito (CoT). Al enmarcar el campo en torno a siete cuestiones de investigación fundamentales, el artículo destaca que, si bien se ha logrado un progreso significativo en "abrir la caja negra", persisten desafíos críticos en la verificación de los mecanismos causales, la garantía de la fidelidad y la traducción de los conocimientos mecánicos en un control robusto del modelo.