Resumen Técnico: La Extracción de Árboles de Búsqueda de las Huellas de Razonamiento de los LLM Revela una Planificación Miópica

Declaración del Problema

Los Modelos de Lenguaje Grande (LLM), especialmente los modelos de razonamiento, generan huellas extendidas de cadena de pensamiento (CoT) que parecen simular resultados futuros, asemejándose a la planificación humana. Sin embargo, sigue sin estar claro si estas huellas constituyen una búsqueda sistemática genuina o simplemente una finalización de patrones. Las evaluaciones conductuales existentes a menudo fallan en distinguir entre modelos que resuelven tareas con éxito mediante una planificación profunda y aquellos que dependen de heurísticas superficiales o memorización. Además, incluso si los LLM generan estructuras similares a árboles de búsqueda, se desconoce si estas estructuras impulsan causalmente la toma de decisiones o si los modelos actúan sobre mecanismos diferentes y no observados. Este artículo aborda la brecha entre la estructura superficial del razonamiento de los LLM y el proceso algorítmico subyacente que impulsa la selección de movimientos.

Metodología

Los autores introducen un marco para extraer, cuantificar y modelar árboles de búsqueda a partir de huellas de razonamiento de LLM dentro del dominio del juego de mesa "cuatro en línea" (una cuadrícula de 4×9).

1. Configuración Experimental: Se llevó a cabo un torneo round-robin que involucró a 27 LLMs (tanto propietarios como de pesos abiertos) jugando 1.404 partidas. Solo se incluyeron en el análisis los modelos con huellas de razonamiento totalmente accesibles (14 modelos), lo que arrojó 9.696 huellas de razonamiento.
2. Extracción del Árbol de Búsqueda: Se empleó un juez LLM (GPT-5) para analizar huellas de CoT no estructuradas en árboles de búsqueda formales. El juez identificó movimientos deliberados explícitamente, distinguiendo entre los movimientos candidatos del modelo (nodos de profundidad-1) y las respuestas simuladas del oponente (nodos de profundidad-2 y más allá), generando una estructura de lista anidada.
3. Modelado Computacional: Para determinar cómo utilizan los LLM estos árboles extraídos, los autores ajustaron modelos cognitivos computacionales adaptados de la literatura sobre planificación humana (Van Opheusden et al., 2023). Se probaron cuatro variantes de modelo:
   • Árbol completo: Utiliza la retropropagación minimax para propagar valores heurísticos desde los nodos hoja hasta la raíz.
   • Miópico: Evalúa únicamente el estado inmediato resultante de un movimiento de primera jugada, ignorando todos los nodos más profundos.
   • Descuento: Interpola entre el árbol completo y el miópico utilizando un factor de descuento $\gamma$.
   • Sin árbol: Ignora por completo el árbol de búsqueda extraído, puntuando los movimientos basándose únicamente en una función heurística del estado actual del tablero.
4. Intervención Causal: Para probar si las huellas de razonamiento impulsan causalmente las decisiones, los autores realizaron un estudio de poda quirúrgica. Eliminaron párrafos específicos del CoT (por ejemplo, decisiones finales, ramas enteras o niveles de profundidad específicos) y volvieron a ejecutar el modelo para observar cambios en la selección de movimientos.

Resultados Clave

1. Esfuerzo de Búsqueda y Rendimiento

Existe una correlación positiva entre el esfuerzo de búsqueda (tamaño total del árbol) y la tasa de victorias. Los modelos que generan árboles de búsqueda más grandes tienen un mejor rendimiento. Esta relación se mantiene dentro de las familias de modelos y está respaldada causalmente por la observación de que aumentar el esfuerzo de razonamiento (presupuesto de tokens) en el mismo modelo (GPT-OSS-120B) conduce a árboles más grandes y tasas de victoria más altas.

2. Búsqueda Superficial y Amplitud vs. Profundidad

Los LLM exhiben una búsqueda significativamente más superficial que los expertos humanos. La profundidad máxima promedio de búsqueda a través de los modelos osciló entre 1,00 y 3,48 jugadas, mientras que los expertos humanos en juegos similares suelen buscar entre 4 y 6 jugadas. Crucialmente, el rendimiento se predice por la amplitud de búsqueda (el número de movimientos candidatos considerados en la raíz) y no por la profundidad de búsqueda. Controlando la amplitud, la profundidad de búsqueda no explica ninguna varianza adicional en las tasas de victoria.

3. Toma de Decisiones Miópica

A pesar de generar nodos profundos en sus huellas, las elecciones de movimientos de los LLM se explican mejor mediante un modelo miópico.

• El modelo miópico (ignorando nodos profundos) superó consistentemente al modelo de árbol completo en la predicción de movimientos de LLM en todas las arquitecturas.
• La métrica de "daño por profundidad" (la caída de rendimiento del modelo de árbol completo en relación con el modelo miópico) fue positiva para todos los modelos y aumentó con la profundidad de búsqueda, lo que indica que la retropropagación de valores desde nodos más profundos perjudica activamente la precisión de la predicción.
• El factor de descuento $\gamma$ en el modelo de descuento convergió a casi cero, confirmando que los LLM asignan un peso insignificante a la visión profunda al tomar decisiones.

4. Rol Causal de la Profundidad de Razonamiento

El estudio de intervención causal reveló que la selección de movimientos está impulsada predominantemente por nodos superficiales:

• Eliminar el párrafo de la decisión final causó un cambio mínimo (2,1%).
• Eliminar toda la rama correspondiente al movimiento elegido causó una tasa de cambio del 32,0%.
• Sin embargo, al agregar progresivamente párrafos por profundidad, restaurar solo los párrafos de profundidad-1 (consecuencias inmediatas) redujo la tasa de cambio a casi el nivel base (4,1%). Agregar párrafos más profundos (profundidad-2 y más allá) no proporcionó ninguna reducción adicional en la tasa de cambio.
• Esto indica que, aunque los LLM escriben sobre una visión profunda, sus decisiones están determinadas causalmente por la evaluación inmediata de los movimientos candidatos, y no por el contenido de la búsqueda profunda.

Significado y Afirmaciones

El artículo afirma revelar una disociación fundamental entre la planificación de los LLM y la humana:

• Pericia Humana: Impulsada por una búsqueda más profunda; el rendimiento escala con la capacidad de simular más hacia el futuro.
• Planificación de LLM: Genera la estructura superficial de la búsqueda en árbol pero actúa sobre un mecanismo miópico. Los nodos profundos en las huellas de CoT no se utilizan para guiar la decisión final.

Los autores argumentan que la pregunta central sobre la planificación de los LLM debe reformularse de "¿Pueden planificar?" a "¿Qué tipo de algoritmo de planificación reflejan sus decisiones?". Sugieren que los métodos actuales que dependen de un aumento en la computación en tiempo de prueba o huellas de razonamiento más largas pueden ser insuficientes si el modelo no puede propagar eficazmente la información de valor desde los nodos profundos hasta la raíz. Los hallazgos destacan una limitación en las arquitecturas actuales de LLM (potencialmente relacionada con mecanismos de atención o incertidumbre en la profundidad) donde se genera una visión profunda pero no se integra en la política de decisión. Este trabajo proporciona un marco generalizable para interpretar la estructura de la planificación de los LLM y advierte contra el tratamiento de las huellas de razonamiento como registros transparentes de deliberación.