🤖 machine learning

A Verifiable Search Is Not a Learnable Chain-of-Thought

Este artículo demuestra que, si bien los modelos pueden aprender eficazmente a verificar y memorizar soluciones para tareas de razonamiento, fallan fundamentalmente al aprender procedimientos de búsqueda verificables como derivaciones de cadena de pensamiento hacia adelante, independientemente de la escala del modelo o del método de entrenamiento, debido a que tales tareas carecen de una ruta paso a paso fiel y que preserve la información para imitar.

Autores originales: Harsh Patel

Publicado 2026-06-23

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Harsh Patel

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un aprendiz muy inteligente pero de mente literal cómo resolver un rompecabezas complejo. Tienes a un maestro ejecutor perfecto que puede descifrar el rompecabezas cada vez. Tu plan es sencillo: escribir en un cuaderno el proceso de pensamiento paso a paso del maestro (la "Cadena de Pensamiento"), mostrárselo al aprendiz y esperar que aprendan la lógica y lo resuelvan por sí mismos.

Este artículo sostiene que este plan funciona para algunos rompecabezas, pero falla estrepitosamente para otros, y la razón no es que el aprendiz sea "tonto". Es por cómo se resuelve el rompecabezas.

Aquí está el desglose de los hallazgos del artículo utilizando analogías simples:

1. Los dos tipos de rompecabezas

El investigador probó al aprendiz con nueve tipos diferentes de rompecabezas lógicos. Estos se dividieron en dos grupos distintos:

Los rompecabezas de "Línea Recta" (Los fáciles):
Piensa en estos como seguir una receta. "Mezclar harina, añadir huevos, hornear durante 20 minutos". Los pasos ocurren en una línea recta desde el principio hasta el final. Si escribes estos pasos y se los enseñas al aprendiz, este aprende perfectamente. El artículo encontró que, en tareas como números romanos o conversiones matemáticas simples, el aprendiz podía copiar los pasos del maestro y obtener la respuesta el 99% de las veces.
- La lección: Si la solución es un camino directo, puedes enseñarla mostrando el camino.
Los rompecabezas de "Retroceso" (Los difíciles):
Piensa en estos como navegar por un laberinto masivo y oscuro donde tienes que adivinar qué puerta es la correcta. Si te encuentras con un callejón sin salida, tienes que volver hasta el principio e intentar una puerta diferente. El maestro ejecutor hace esto probando una puerta, dándose cuenta de que es incorrecta, borrando ese pensamiento y probando otra.
- El problema: No puedes escribir una historia de "línea recta" de este proceso. Una historia que dice "Probé la Puerta A, falló, probé la Puerta B, falló..." es en realidad una mentira si el aprendiz no tiene realmente la capacidad de volver atrás y borrar sus pensamientos previos en tiempo real.

2. La trampa del "Veredicto como Token"

El artículo descubrió un modo de fallo específico con los rompecabezas de "Retroceso" (específicamente un tipo llamado Criptaritmo, donde tienes que averiguar qué letra representa qué número).

Cuando el investigador enseñó al aprendiz el proceso de "búsqueda" del maestro, el aprendiz no aprendió la lógica de la búsqueda. En su lugar, aprendió la forma de la respuesta.

La analogía: Imagina que el maestro dice: "Revisé la puerta roja, estaba equivocada, así que la eliminé". El aprendiz memoriza la frase "Eliminar puerta roja" pero no entiende realmente por qué estaba equivocada.
El resultado: Cuando el aprendiz intenta resolver un nuevo rompecabezas por su cuenta, ve una puerta roja y dice ciegamente: "Eliminar puerta roja", incluso si la puerta roja era en realidad la correcta. Está recitando un guion sin entender la historia. El artículo llama a esto "Veredicto como Token": el modelo trata la conclusión como una palabra fija para ser pronunciada, en lugar de una decisión basada en evidencia.

3. Por qué los cerebros más grandes no ayudaron

El investigador probó esto con muchos modelos diferentes, desde pequeños hasta enormes y súper inteligentes (hasta 671 mil millones de parámetros).

El hallazgo: Incluso los modelos gigantes fallaron en los rompecabezas de "Retroceso" (específicamente en los de Criptaritmo) cuando se les pidió que mostraran su trabajo paso a paso. Todos chocaron con el mismo techo bajo (alrededor del 5% de precisión).
La razón: El problema no era el tamaño del cerebro; era el tipo de pensamiento requerido. No puedes obligar a un modelo a "recordar lo que intentó y retroceder" si su arquitectura interna no está diseñada para mantener ese tipo de "estado de búsqueda" mientras escribe una historia.

4. El experimento de la "Llave Mágica"

Para demostrar que el problema era la búsqueda y no la matemática, el investigador hizo un truco ingenioso. Le dio al aprendiz una "hoja de trucos" (la clave del cifrado) que convertía el laberinto en una línea recta.

El resultado: Tan pronto como se eliminó la búsqueda y la tarea se convirtió en un cálculo de línea recta, la precisión del aprendiz saltó del 3% al 57%.
La conclusión: El modelo podía hacer las matemáticas y la lógica perfectamente bien. Simplemente no podía realizar la parte de la "búsqueda" mientras escribía la historia.

5. La solución real: Memorización, no razonamiento

Entonces, ¿cómo resolvió los rompecabezas difíciles el ganador de la competencia? No enseñaron al modelo a buscar.

La estrategia: Se dieron cuenta de que el laberinto tenía un número finito de caminos posibles. En lugar de enseñar al modelo a recorrer el laberinto, hicieron que el modelo memorizara un mapa de cada disposición posible del laberinto.
La analogía: En lugar de enseñar al aprendiz cómo navegar por un laberinto, le das un libro que dice: "Si el laberinto se ve como esto, la respuesta es aquello". El modelo memorizó este libro (un catálogo de soluciones) y luego solo tuvo que hacer una comprobación rápida para asegurarse de que la respuesta encajaba.
La enseñanza: El artículo concluye que, para estos problemas de búsqueda difíciles, la memorización funciona, pero la destilación del proceso de búsqueda no.

Resumen

El mensaje principal del artículo es: No puedes enseñar a un modelo a "buscar" simplemente mostrándole los pasos de la búsqueda.

Si la tarea es una línea recta, mostrar los pasos funciona.
Si la tarea requiere retroceder (probar, fallar y reintentar), el modelo simplemente memorizará las palabras del fallo, no la lógica.
Para resolver estas tareas difíciles, debes o bien enseñar al modelo a realizar la búsqueda por sí mismo (lo cual es difícil), o precalcular las respuestas y enseñar al modelo a memorizar el catálogo de posibilidades.

El artículo es una advertencia para los investigadores de IA: El hecho de que un programa informático pueda resolver un problema no significa que un modelo de lenguaje pueda aprender a "pensar" su camino hacia esa solución simplemente leyendo las notas del programa. A veces, la única forma de aprender es memorizando el mapa, no el viaje.

Resumen Técnico: Una Búsqueda Verificable no es una Cadena de Pensamiento Aprendible

Planteamiento del Problema

El artículo investiga una hipótesis central en la destilación del razonamiento: si una tarea puede ser resuelta por un programa determinista corto, ¿puede la lógica de ese programa ser enseñada a un modelo de lenguaje más pequeño como una Cadena de Pensamiento (CoT) verificable? La intuición sugiere que escribir los pasos de un solver en lenguaje natural y realizar el ajuste fino (fine-tuning) del modelo sobre ellos debería permitir que el modelo reproduzca el razonamiento.

El autor desafía esta intucción utilizando un benchmark controlado de nueve tareas de razonamiento. El benchmark posee una propiedad única: el conjunto de prueba oculto es generado por los mismos generadores deterministas que el conjunto de entrenamiento público. Esto asegura que una porción reservada de los datos de entrenamiento sea un proxy fiel de la precisión de la prueba, permitiendo al autor medir la "brecha de aprendibilidad" entre un solver simbólico perfecto y un modelo con ajuste fino sin acceso a etiquetas de prueba externas.

La pregunta central es si la cobertura de un solver verificable predice la precisión de un modelo que intenta aprender el procedimiento mediante CoT. El estudio se centra específicamente en tareas donde la solución requiere búsqueda (p. ej., backtracking) frente a tareas que son computables hacia adelante (p. ej., aritmética, búsqueda en tablas).

Metodología

La investigación emplea un pipeline riguroso e instrumentado para aislar la aprendibilidad del ruido de los datos o las limitaciones arquitectónicas:

Construcción del Benchmark: Se definieron nueve categorías de tareas, incluyendo números romanos, conversión de unidades, física de caída libre, cifrados de sustitución monoalfabética, inducción de reglas booleanas de 8 bits, inducción de ecuaciones y dos familias de criptaritmia (deducir y adivinar).
Ingeniería Inversa del Solver: El autor realizó ingeniería inversa de los generadores deterministas para crear solvers en Python. Cinco tareas arrojaron solvers con una precisión $\ge$ 98%. La tarea de criptaritmia fue resuelta mediante un solver de búsqueda con backtracking que alcanzó aproximadamente un 71% de precisión (el resto siendo informacionalmente ambiguo).
Generación de CoT Sintética: Los solvers fueron instrumentados para narrar sus propios pasos en el estilo ASCII nativo del modelo base. Se impuso una disciplina crítica: cada "veredicto" (p. ej., "descartar este candidato") debía ser testimoniado, lo que significa que la evidencia que forzó la decisión debía ser explicitamente reiterada en la misma línea.
Régimen de Entrenamiento:
- Modelo Base: Nemotron-3-Nano-30B-A3B (un modelo híbrido Mamba-2/Mixture-of-Experts).
- Adaptador: Adaptadores LoRA de rango $\le$ 32 entrenados mediante Ajuste Fino Supervisado (SFT) sobre CoT sintética.
- Escalaciones: Cuando el SFT se estancó, el autor aplicó Aprendizaje por Refuerzo con Recompensas Verificables (RLVR/GRPO) y entrenamiento de Razonador Auto-Enseñado (STaR), cosechando las propias ejecuciones exitosas del modelo.
Evaluación: Los modelos fueron evaluados en filas reales de entrenamiento reservadas (actuando como el conjunto de prueba) bajo decodificación codiciosa (greedy decoding). El estudio también incluyó un control de arquitectura (probando Transformers densos y MoE de 3B a 671B) y una intervención causal (revelar partes de la clave del cifrado para probar la derivabilidad hacia adelante).

Contribuciones Clave y Hallazgos

1. La Brecha Solubilidad–Aprendibilidad

El artículo cuantifica una divergencia marcada entre la precisión del solver y la precisión del modelo.

Tareas Computables hacia Adelante: Para tareas como números romanos, conversión de unidades y cifrados simples, la cobertura del solver (cercana al 100%) se traduce directamente en la precisión del modelo ( $\ge$ 0.99).
Tareas de Búsqueda: Para la criptaritmia, el solver alcanza un ~71% de precisión, pero el modelo con ajuste fino se topa en un 0.01–0.07, independientemente del método de entrenamiento (SFT, RLVR, STaR) o del diseño de CoT (se probaron 11 diseños diferentes).
Manipulación de Bits: Esta tarea se sitúa en un punto intermedio. El solver alcanza un 98.9%, pero el modelo alcanza solo un 0.678. La brecha se cierra parcialmente mediante STaR, que permite al modelo imitar sus propias búsquedas exitosas, sugiriendo que el modelo puede aprender la búsqueda si puede ejecutarla dentro de la ventana de contexto.

2. El Mecanismo de Fallo: "Veredicto como Token"

El papel identifica un modo de fallo específico en las tareas de búsqueda llamado "veredicto como token" (verdict-as-token).

Observación: En los trazos de criptaritmia, el modelo realiza la aritmética correctamente en el 97–100% de las líneas. Sin embargo, el veredicto (la conclusión de que un candidato es inválido) suele estar desacoplado de la evidencia en esa línea.
Mecanismo: Bajo el entrenamiento con teacher forcing, el modelo aprende a emitir una frase fija (p. ej., "ninguno coincide $\to$ descartar") porque siempre aparece en un contexto correcto durante el entrenamiento. En la inferencia (ejecución libre), esta frase se dispara incondicionalmente, incluso cuando la aritmética de la línea la contradice.
Evidencia: Una auditoría de fidelidad por línea mostró que, mientras la corrección aritmética era casi perfecta, la fidelidad lógica del veredicto (¿la conclusión sigue de los números?) era de solo 16–57%.

3. Independencia de la Arquitectura y Derivabilidad hacia Adelante

El fallo no es específico de la arquitectura híbrida Mamba-2/MoE.

Control de Arquitectura: Entrenar el mismo corpus de criptaritmia en Transformers densos (Llama-3.2-3B, Qwen3.5-4B) y Transformers MoE (gpt-oss-20b) resultó en el mismo suelo de precisión $\le$ 0.04.
Intervención Causal: Revelar la clave completa del cifrado (convirtiendo la tarea de búsqueda en una búsqueda hacia adelante) elevó la precisión del modelo de 0.03 a 0.571. Revelar solo la mitad de la clave apenas ayudó.
Conclusión: La restricción vinculante es la derivabilidad hacia adelante. Una tarea cuya única solución honesta es la búsqueda con backtracking sobre una estructura sin información no admite un CoT fiel hacia adelante. Sin un trazo hacia adelante para imitar, el SFT solo aprende la forma superficial de la búsqueda, no su lógica.

4. El Escape: Memorización, No Búsqueda

El documento demuestra que la tarea es aprendible, pero no mediante la destilación del proceso de búsqueda.

La Solución del Primer Lugar: El ganador de la competencia (Private LB 0.92) no enseñó al modelo a buscar. En su lugar, precomputó el núcleo combinatorio de la búsqueda (un catálogo de 4,205 firmas de candidatos para criptaritmia) y lo memorizó. El CoT del modelo se redujo entonces a recuerdo (buscar en el catálogo) más verificación acotada.
Implicación: Lo que se destila es la memorización y la verificación, no la búsqueda en sí. Una búsqueda verificable es aprendible como un CoT solo si su estructura de candidatos puede comprimirse en un catálogo finito lo suficientemente pequeño para ser memorizado.

Significado y Reivindicaciones

La principal contribución del artículo es un resultado negativo con evidencia convergente: una búsqueda verificable no es una cadena de pensamiento aprendible.

Refutación de la Intuición: La suposición de que "cualquier tarea resoluble es aprendible vía CoT" falla para procedimientos que requieren backtracking sobre estructuras sin información.
Identificación del Mecanismo: El artículo identifica el "veredicto como token" como el modo de fallo específico donde el SFT desacopla la forma de un paso de razonamiento de su contenido lógico, lo que conduce a trazos infieles que colapsan durante la inferencia.
Heurística Predictiva: El autor propone una prueba de pre-entrenamiento para la aprendibilidad: ¿Cubre un cierre puramente hacia adelante (sin backtracking) una fracción significativa de las instancias? Si no es así, la tarea probablemente resistirá la destilación de CoT.
Distinción: El artículo distingue entre solubilidad (existe una respuesta) y aprendibilidad (un modelo puede razonar para llegar a ella). La cobertura del solver predice la precisión del modelo solo cuando el solver es un mapa hacia adelante; para los procedimientos de búsqueda, no predice casi nada.

El autor establece explícitamente que la contribución no es una nueva capacidad del modelo ni un ranking de la competición (su mejor puntuación fue 0.85, la mediana del campo), sino un "relato limpio e instrumentado de dónde y por qué una búsqueda verificable falla al convertirse en razonamiento del modelo". Los hallazgos sugieren que, para tareas de búsqueda complejas, el camino hacia un alto rendimiento reside en reformular la tarea para separar la memorización de la computación, en lugar de intentar destilar el proceso de búsqueda en sí.