Thinking with Reasoning Skills: Fewer Tokens, More Accuracy

Resumen Técnico: Thinking with Reasoning Skills (TRS)

1. El Problema: La Ineficiencia del Razonamiento "Desde Cero"

Los Modelos de Lenguaje de Gran Escala centrados en el razonamiento (LRMs), como OpenAI o1 o DeepSeek-R1, han demostrado capacidades superiores en matemáticas y programación al generar trazas de pensamiento intermedias extensas (ej. Chain-of-Thought o CoT). Sin embargo, este enfoque presenta dos cuellos de botella críticos:

• Costo y Latencia: La generación de miles de tokens de "pensamiento" (que a menudo incluyen verificaciones redundantes y bucles de ensayo y error) incrementa drásticamente el costo por solicitud y la latencia, ya que las APIs comerciales cobran por token.
• La Compensación Eficiencia-Precisión: Los métodos existentes para reducir costos (como forzar presupuestos de tokens o comprimir la traza de pensamiento) suelen degradar la precisión en problemas difíciles, obligando al modelo a omitir pasos cruciales.

El artículo identifica que, a diferencia de los humanos expertos que recuperan habilidades y patrones de experiencias pasadas, los modelos actuales suelen "reinventar la rueda" para cada nueva consulta, lo que es ineficiente.

2. Metodología: Thinking with Reasoning Skills (TRS)

Los autores proponen TRS, un marco de trabajo sin entrenamiento (training-free) y compatible con modelos de caja negra, que cambia el paradigma de "razonar desde cero" a "razonar con experiencia recuperada". El proceso se divide en dos fases:

A. Fase Offline: Construcción de la Biblioteca de Habilidades

1. Generación de Trayectorias: Se ejecuta un modelo de razonamiento en un conjunto de problemas fuente (matemáticas o código) para obtener trazas de pensamiento completas (éxitos y fracasos).
2. Destilación de Habilidades: Un modelo sumario más potente (ej. Gemini 3) analiza estas trayectorias y extrae Tarjetas de Habilidades (Skill Cards) compactas y reutilizables.
   • Si la solución fue correcta, la tarjeta captura el patrón esencial (ej. "usar sustitución u").
   • Si falló, la tarjeta captura el "anti-patrón" y la corrección (ej. "evitar integración por partes en este caso").
   • Estructura: Cada tarjeta incluye: Disparador (cuándo aplicar), Hacer (receta accionable), Evitar (errores comunes), Verificar y Riesgo.
3. Almacenamiento: Las tarjetas se almacenan en una base de datos de clave-valor, donde la clave incluye la pregunta original y palabras clave extraídas para facilitar la recuperación.

B. Fase Online: Recuperación e Inyección

1. Recuperación: Ante una nueva consulta, el sistema recupera las $k$ tarjetas de habilidades más relevantes utilizando técnicas como BM25 (para matemáticas) o recuperación híbrida (para código).
2. Inyección en el Prompt: Las habilidades recuperadas se inyectan en el prompt del modelo como contexto previo a la pregunta.
3. Guía de Razonamiento: Se instruye al modelo para que utilice estas habilidades como una "hoja de ruta", evitando desvíos redundantes y enfocándose en la solución directa.

3. Contribuciones Clave

• Marco de Razonamiento Eficiente: TRS desacopla la adquisición de la lógica de razonamiento (costosa, una sola vez) de su ejecución (barata, por solicitud), siendo compatible con APIs de modelos cerrados.
• Ruptura de la Compensación Eficiencia-Precisión: A diferencia de métodos que simplemente acortan el pensamiento, TRS mantiene o mejora la precisión mientras reduce significativamente los tokens de razonamiento.
• Análisis de Despliegue: El estudio demuestra que las habilidades destiladas son transferibles entre diferentes modelos (incluso de diferentes familias) y que los beneficios aumentan en problemas más difíciles.

4. Resultados Experimentales

Los autores evaluaron TRS en benchmarks de matemáticas (DeepMath-103K) y programación competitiva (NEMOTRON-COMPETITIVE-PROGRAMMING-V1) utilizando varios modelos (GPT-OSS, Gemini-3, Doubao Seed, GPT-4o-mini).

• Reducción de Costos y Tokens:
  • En matemáticas, TRS redujo los tokens de completado en un 18.5% (Gemini-3) y hasta un 59.1% (Doubao Seed) con una reducción de costos del 17.5% al 53.8%.
  • En programación, se observaron reducciones de tokens de hasta el 33.9% en modelos más pequeños.
• Mejora de Precisión:
  • En problemas difíciles (donde el modelo base tarda más en pensar), TRS mejoró la precisión en varios modelos (ej. +1.8% en GPT-4o-mini en matemáticas, +4.1% en GPT-OSS en código).
  • Mientras que métodos como Chain-of-Draft (CoD) o TALE sufrieron colapsos de precisión en problemas difíciles al forzar brevedad, TRS mantuvo la estabilidad.
• Transferencia Cruzada: Las habilidades extraídas de un modelo (fuente) mejoraron el rendimiento de otros modelos (objetivo), demostrando que el conocimiento procedimental es transferible.
• Transferencia Externa: Se demostró que habilidades extraídas de un corpus de matemáticas de competición (AoPS) pueden transferirse a nuevos benchmarks (AIME, HMMT) con mejoras en la mayoría de los pares modelo-benchmark.

5. Significado e Impacto

El trabajo de TRS es significativo porque ofrece una solución práctica y escalable al problema del costo computacional en la inferencia de modelos de razonamiento avanzado:

• Viabilidad Económica: Al reducir drásticamente los tokens de salida sin sacrificar la calidad, hace que el despliegue de modelos de razonamiento sea económicamente viable para aplicaciones del mundo real.
• Paradigma de Memoria Procedimental: Propone un cambio fundamental hacia el uso de "memoria procedimental externa" (habilidades recuperadas) en lugar de depender exclusivamente de la capacidad de generación interna del modelo para cada tarea.
• Escalabilidad: Al ser un método sin entrenamiento y compatible con modelos de caja negra, puede integrarse fácilmente en sistemas existentes sin necesidad de reentrenar modelos masivos.

En conclusión, Thinking with Reasoning Skills demuestra que la eficiencia no debe lograrse a expensas de la corrección; mediante la reutilización inteligente de experiencias destiladas, es posible lograr un razonamiento más rápido, barato y preciso.