🤖 AI

Reasoning Structure of Large Language Models

Este artículo introduce un referente escalable y un proceso para convertir trazas de razonamiento no estructuradas en grafos verificables, permitiendo el análisis cuantitativo de la estructura y eficiencia del razonamiento para diagnosticar mejor los modos de falla y comparar los comportamientos de los modelos más allá de las métricas tradicionales de precisión y recuento de tokens.

Autores originales: Frédéric Berdoz, Luca A. Lanzendörfer, Fabian Farestam, Roger Wattenhofer

Publicado 2026-06-03

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Frédéric Berdoz, Luca A. Lanzendörfer, Fabian Farestam, Roger Wattenhofer

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás viendo a dos chefs intentar hornear exactamente el mismo pastel. Ambos chefs te entregan un pastel perfecto y delicioso al final. Si solo miras el producto final, podrías pensar que ambos hicieron el mismo trabajo. Pero, ¿qué pasaría si uno de los chefs siguió una receta precisa, paso a paso, mientras que el otro deambuló por la cocina, probó diez ingredientes diferentes, quemó algunos lotes y finalmente dio con la mezcla correcta por accidente?

Durante mucho tiempo, cuando probábamos los modelos de "razonamiento" de IA, solo mirábamos el pastel final (la respuesta) o cuántas palabras usaban para describir el proceso (conteo de tokens). Este artículo argumenta que esto es como juzgar a un chef solo por el sabor del pastel, ignorando si realmente sabía cocinar o si solo tuvo suerte.

Aquí está lo que hicieron los investigadores para mirar detrás de la cortina, explicado de forma sencilla:

1. El patio de juegos de acertijos

En lugar de pedirle a la IA que escriba un ensayo o resuelva un acertijo vago, los investigadores les dieron un conjunto de 21 acertijos de lógica diferentes (como "Tents", donde tienes que colocar tiendas de campaña junto a árboles basándote en reglas estrictas). Estos acertijos son como un gimnasio controlado para el cerebro. Tienen reglas claras y no se puede hacer trampa; o lo resuelves o no lo haces. Los investigadores hicieron estos acertijos cada vez más difíciles, como aumentar el peso en una pesa de gimnasio.

2. Convirtiendo palabras en un mapa

Cuando una IA resuelve un acertijo, generalmente escribe un flujo largo de pensamientos (un "rastro"). Los investigadores construyeron una herramienta especial que toma este flujo desordenado de texto y lo convierte en un mapa visual (un grafo).

Nodos (Puntos): Cada punto es un hecho o afirmación individual que la IA hizo (por ejemplo, "Hay un árbol en este lugar").
Aristas (Líneas): Las líneas conectan los puntos para mostrar cómo un hecho llevó a otro (por ejemplo, "Debido a que hay un árbol aquí, debe haber una tienda allí").

Esto convierte un párrafo de texto en un diagrama estructurado que se puede medir.

3. La nueva tarjeta de puntuación: "Eficiencia de Razonamiento"

Los investigadores introdujeron una nueva métrica llamada Eficiencia ( $\eta$ ). Piensa en esto como medir qué tan "enfocado" está el pensamiento de la IA.

Alta Eficiencia (El Láser): El mapa de la IA parece un túnel estrecho y directo. Reúne los hechos necesarios y avanza directamente hacia la solución sin deambular.
Baja Eficiencia (La Niebla): El mapa de la IA parece una telaraña desordenada. Explora muchos callejones sin salida, repite los mismos hechos una y otra vez, y deambula por los bordes del problema antes de (tal vez) encontrar la respuesta.

4. Lo que descubrieron

Al usar este mapa y la puntuación de eficiencia, encontraron algunas cosas sorprendentes que la antigua puntuación de "respuesta final" pasó por alto:

Más palabras $\neq$ Mejor pensamiento: El hecho de que una IA use más palabras (tokens) no significa que esté pensando mejor. De hecho, los investigadores descubrieron que las palabras extra eran a menudo la IA "revisándose" a sí misma o dando vueltas en círculos, no resolviendo realmente el problema.
El problema de lo "Difuso": Algunos modelos obtenían la respuesta correcta pero tenían un mapa muy desordenado y disperso. Eran como un detective que encuentra al criminal pero tuvo que entrevistar a 50 personas inocentes primero. Otros modelos eran "enfocados", encontrando la respuesta con un camino limpio y directo.
El muro de la dificultad: A medida que los acertijos se volvían más difíciles, los modelos de IA empezaban a fallar. Incluso cuando los investigadores les permitieron usar cantidades masivas de palabras (potencia de cómputo), los modelos aún no podían resolver los acertijos más difíciles. Resulta que simplemente darle a una IA más tiempo para "pensar" (más tokens) no corrige las brechas fundamentales de razonamiento.
La estructura importa: La puntuación de "Eficiencia" podía distinguir entre un modelo que era inteligente y enfocado, frente a uno que solo estaba adivinando y probando, incluso si ambos obtenían la misma puntuación final.

La conclusión

Este artículo nos ofrece una nueva forma de observar el pensamiento de la IA. En lugar de solo preguntar "¿Obtuvo la respuesta correcta?", ahora podemos preguntar "¿Cómo llegó allí?".

Es la diferencia entre un estudiante que memoriza la clave de respuestas y un estudiante que realmente entiende las matemáticas. Los investigadores construyeron una herramienta para ver la parte de la "comprensión" mapeando los pasos lógicos, demostrando que cómo razona una IA es tan importante como qué responde.

Resumen Técnico: Estructura de Razonamiento de los Modelos de Lenguaje Extensos

Planteamiento del Problema

Los Modelos de Razonamiento Extensos (LRMs) han demostrado un rendimiento impresionante en tareas complejas mediante el aprovechamiento del aumento del cómputo en tiempo de prueba a través de largas trazas de Cadena de Pensamiento (CoT). Sin embargo, los paradigmas de evaluación actuales dependen excesivamente de métricas unidimensionales como la precisión de la respuesta final y el recuento de tokens. Los autores argumentan que estas métricas son insuficientes porque confunden comportamientos de razonamiento fundamentalmente distintos. Puntuaciones idénticas pueden ocultar una "exploración difusa" (razonamiento ineficiente y disperso) frente a "deducciones enfocadas" (razonamiento estructurado y eficiente). Además, el simple hecho de asignar más cómputo (tokens) no garantiza un mejor rendimiento, ya que los modelos suelen exhibir "sobrepensamiento" o "colapso a nivel de traza", donde los tokens adicionales se traducen en una sobrecarga de verificación en lugar de una mejora en el flujo lógico. Existe una falta de métodos estructurados y escalables para analizar el proceso de razonamiento intermedio más allá del resultado final.

Metodología

El artículo introduce un marco para convertir trazas de razonamiento textuales no estructuradas en grafos de razonamiento estructurados y verificables, permitiendo el análisis cuantitativo de la topología del razonamiento.

1. Benchmark Escalable

Los autores utilizan una suite de 21 acertijos de cuadrícula 2D deterministas (por ejemplo, Tents, Sudoku, Lightup, Galaxies) derivados de la colección de acertijos de Simon Tatham. Estos acertijos son elegidos por su naturaleza de "fácil de aprender, difícil de dominar", reglas totalmente especificadas y verificación inequívoca. El benchmark incluye cuatro niveles de dificultad (Trivial, Humano fácil, Humano normal, Humano difícil) con tamaños de cuadrícula y densidades de pistas ajustables, lo que permite estudios de escalado controlados.

2. Pipeline de Extracción de Grafos

La innovación central es un pipeline que transforma texto libre en un grafo acíclico dirigido (DAG) $G = (V, E)$ :

Nodos (Afirmaciones): El pipeline extrae "afirmaciones atómicas" (por ejemplo, "La celda (3,1) es un tent") de la traza de razonamiento. Las afirmaciones se categorizan por estado (declarada, derivada, tentativa) y alcance (línea principal frente a ramas hipotéticas).
Aristas (Dependencias): El pipeline identifica dependencias deductivas, vinculando premisas con conclusiones. Esto se logra mediante un enfoque híbrido que combina el emparejamiento de patrones deterministas y la extracción basada en LLM, seguido de la extracción de reglas para mapear las afirmaciones a reglas lógicas específicas del acertijo.
Verificación: Las afirmaciones se verifican contra un entorno de acertijo ejecutable. Las afirmaciones estáticas (por ejemplo, reglas del acertijo, colocaciones finales) se verifican de forma determinista. Las afirmaciones dependientes del estado se manejan cuidadosamente para evitar errores en cascada.

3. Métricas de Razonamiento

Basándose en la representación de grafo, los autores definen varias métricas:

Topología Estructural: Medidas como la profundidad del grafo, el diámetro y la fracción del grafo que sustenta la solución ( $|V_{sol}|/|V|$ ).
Eficiencia del Flujo de Razonamiento ( $\eta$ ): Esta es la contribución principal. Los autores modelan el proceso de razonamiento como una cadena de Markov absorbente en el DAG. Calculan la "entropía estructural" ( $H_{str}$ $H_{s t r}$ ) del flujo lógico, que mide qué tan dispersa está la atención del modelo a través del grafo.
$\eta = \frac{\log |V| - H_{str}(G)}{\log |V| - \log |C^*|}$
Donde $|V|$ $∣ V ∣$ es el número total de afirmaciones, $H_{str}(G)$ $H_{s t r} (G)$ es la entropidad estructural y $|C^*|$ $∣ C^{*} ∣$ es el tamaño del conjunto mínimo de afirmaciones requerido para la solución.
- $\eta \approx 1$ indica un razonamiento altamente enfocado (baja entropía, el flujo se concentra en la ruta de la solución).
- Un $\eta$ menor indica un razonamiento difuso (alta entropía, el flujo se dispersa en afirmaciones periféricas o redundantes).

Resultados Clave

El marco fue aplicado para evaluar modelos de frontera y de código abierto (GPT-5, Qwen3 235B, DeepSeek V3.2, Kimi K2) a través de la suite de acertijos.

Precisión vs. Estructura: A medida que aumenta la dificultad del acertijo, la precisión cae drásticamente para todos los modelos (por ejemplo, GPT-5 cae del 83.8% al 5.7%), mientras que los recuentos de tokens aumentan significativamente (de ~4k a ~60k). Sin embargo, el aumento en el uso de tokens no se correlaciona con una mejora en la calidad del razonamiento.
El Recuento de Tokens es un Mal Proxy: El estudio encuentra que el recuento de tokens está esencialmente no correlacionado con la eficiencia del razonamiento ( $\eta$ ) ( $r = -0.05$ ). Los tokens extra se manifiestan principalmente como un aumento en la sobrecarga de verificación ( $|V_{ver}|/|V_{sol}|$ ) en lugar de expandir la cadena central que sustenta la solución.
La Eficiencia Distingue Comportamientos: La métrica $\eta$ $η$ separa con éxito los modelos y comportamientos que la precisión y el recuento de tokens confunden.
- Enfocado vs. Difuso: Los modelos con un $\eta$ más alto exhiben un flujo lógico concentrado. Los modelos con un $\eta$ más bajo participan en un "hinchazón del grafo" mediante ramificaciones, desvíos y estructuras redundantes.
- Modos de Fallo: Las trazas fallidas son sustancialmente menos eficientes (un $\eta$ inferior en >50%) y dispersan el razonamiento a través de grafos más grandes y difusos, con el primer error apareciendo más temprano.
- Correlaciones: Una mayor eficiencia se correlaciona positivamente con la precisión de las afirmaciones y la fracción del grafo que sustenta la solución. También se correlaciona con una mayor profundidad del primer error.
Límites de Escala: Incluso con presupuestos masivos de tokens, el régimen más difícil permanece mayormente sin resolver, lo que sugiere limitaciones fundamentales en el escalado del razonamiento actual que no se resuelven simplemente asignando más cómputo.

Significado y Reivindicaciones

El artículo afirma proporcionar una herramienta práctica para diagnosticar modos de fallo y comparar estructuras de razonamiento que las métricas tradicionales pasan por alto.

Más allá de la Precisión: El trabajo demuestra que las mediciones estructurales (específicamente $\eta$ ) revelan diferencias en cómo se producen las soluciones, incluso cuando los modelos logran la misma precisión o utilizan presupuestos de tokens similares.
Utilidad Diagnóstica: Al convertir las trazas en grafos verificables, el marco permite a los investigadores distinguir entre "resolver" y "deambular" o la verificación excesiva. Ayuda a identificar cascadas de errores tempranos y comportamientos ineficientes.
Generalizabilidad: Aunque la extracción de afirmaciones es específica para los acertijos, la capa estructural (construcción de grafos, análisis de cadenas de Markov y la métrica $\eta$ ) es agnóstica al dominio. Los autores sugieren que este marco se extiende a cualquier entorno con pasos intermedios verificables, como el razonamiento matemático (verificación simbólica) y la generación de código (pruebas unitarias).
Impacto Futuro: Los autores postulan que si la extracción se vuelve suficientemente confiable, las señales basadas en grafos como $\eta$ podrían servir como retroalimentación auxiliar en el post-entrenamiento (por ejemplo, para dar forma a las recompensas) para fomentar un razonamiento enfocado en la solución preservando la corrección.

El artículo mantiene una postura modesta, reconociendo limitaciones como la dependencia de los LLM para la extracción (lo que introduce una posible varianza, aunque las comprobaciones de estabilidad muestran una varianza baja) y la necesidad de definiciones de afirmaciones específicas del dominio. Enmarca la métrica como una herramienta de diagnóstico en lugar de un único puntaje de clasificación.