DRP: Distilled Reasoning Pruning with Skill-aware Step Decomposition for Efficient Large Reasoning Models

1. Enunciado del Problema

Los Modelos de Razonamiento Grande (LRM), como o1 de OpenAI y DeepSeek-R1, destacan en tareas complejas al generar largas trayectorias de razonamiento de Cadena de Pensamiento (CoT). Sin embargo, sufren de "sobre-pensamiento", produciendo salidas excesivamente verbosas con pasos redundantes, retrocesos innecesarios y bucles repetitivos. Esto conduce a:

• Altos Costos de Inferencia: Uso significativo de tokens y latencia.
• Degradación de la Precisión: El razonamiento redundante puede desviar al modelo hacia conclusiones incorrectas.
• Desajuste en la Destilación: Cuando se destila conocimiento de un maestro de "CoT Corto" (conciso, pulido) a un estudiante de "CoT Largo" (verboso, reflexivo), surge una brecha de aprendibilidad. El estudiante lucha por imitar directamente el estilo conciso del maestro, lo que a menudo resulta en un rendimiento deficiente o caídas en la precisión.

Las soluciones existentes, como la poda en tiempo de inferencia (detener la generación temprano), corren el riesgo de detener el razonamiento prematuramente, mientras que la destilación estándar a menudo falla en cerrar la brecha estructural entre estudiantes verbosos y maestros concisos.

2. Metodología: Poda de Razonamiento Destilado (DRP)

DRP es un marco híbrido que unifica la poda en tiempo de inferencia con la destilación de ajuste fino supervisado (SFT). En lugar de simplemente entrenar al estudiante sobre la respuesta final del maestro o un CoT corto, DRP utiliza al maestro para podar y refinar las propias trazas de razonamiento verbosas del estudiante.

El proceso consta de tres etapas (ilustradas en la Figura 2 del artículo):

A. Descomposición de Pasos Basada en Habilidades

• El modelo estudiante genera una traza CoT inicial y verbosa ($T$).
• Un LLM Maestro (por ejemplo, GPT-4o) descompone esta traza en segmentos no superpuestos.
• Innovación Clave: A diferencia de la división ingenua de oraciones, el maestro asigna una etiqueta de habilidad funcional a cada paso (por ejemplo, "Lectura de cantidad dada", "Representación algebraica", "Inferencia lógica"). Esto asegura que los pasos sean semánticamente coherentes y funcionalmente alineados.

B. Poda y Reescritura a Nivel de Paso

El modelo maestro evalúa cada paso etiquetado con habilidades y aplica una de cuatro acciones:

1. Mantener: Conservar el paso sin cambios.
2. Eliminar: Remover pasos redundantes, sin información o de retroceso.
3. Reescribir: Condensar el paso preservando la intención lógica.
4. Fusionar: Combinar pasos adyacentes en una única unidad atómica.

• El maestro luego reconstruye una traza de razonamiento fluida y concisa ($\hat{T}$) que mantiene el tono original del estudiante pero elimina la verbosidad. También actualiza el resumen de la respuesta final ($\hat{A}$) si es necesario.

C. Ajuste Fino Supervisado (SFT)

• El modelo estudiante se ajusta finamente sobre pares de $(Entrada, \hat{R})$, donde $\hat{R}$ es la respuesta podada y refinada por el maestro.
• El objetivo es minimizar la verosimilitud negativa de la traza refinada, enseñando al estudiante a internalizar estrategias de razonamiento alineadas con habilidades y eficientes en tokens sin perder la profundidad estructural requerida para problemas complejos.

3. Contribuciones Clave

1. Marco DRP: Un método novedoso que cierra la "brecha de aprendibilidad" podando la trayectoria de razonamiento del estudiante utilizando un maestro, en lugar de forzar al estudiante a imitar un estilo de razonamiento completamente diferente del maestro.
2. Descomposición Consciente de Habilidades: Introduce un mecanismo para segmentar el razonamiento en unidades semánticamente coherentes y funcionalmente etiquetadas. Esto proporciona una base estable para una poda precisa, superando a la división ingenua.
3. Insight de Consistencia Estructural: Demuestra que los CoT de entrenamiento efectivos deben ser tanto informativos como estructuralmente consistentes con el proceso de razonamiento del estudiante. Preservar la estructura paso a paso (incluso si se acorta) es más efectivo que la compresión ingenua.

4. Resultados Experimentales

Los autores evaluaron DRP en modelos DeepSeek-R1-Distill-Qwen (1.5B y 7B) a través de benchmarks dentro del dominio (GSM8K) y fuera de distribución (OOD) (MATH500, AIME24, AMC23).

Hallazgos Clave:

• Eficiencia de Tokens: DRP redujo significativamente el uso de tokens sin sacrificar la precisión.
  • GSM8K (7B): Tokens reducidos de 917 a 328 (-64%), mientras que la precisión mejoró de 91.7% a 94.1%.
  • AIME24 (7B): Tokens reducidos en un 43% sin caída en la precisión (15/30 correctos).
  • AMC (1.5B): Tokens reducidos de 4574 a 3657, con la precisión saltando de 22/40 a 27/40.
• Comparación con Líneas Base:
  • vs. Basado en Prompts (TALE): DRP superó a TALE en tareas OOD complejas donde el rendimiento de TALE cayó significativamente.
  • vs. Basado en SFT (CoT-Valve): DRP logró mejor precisión y compresión. CoT-Valve a menudo sufrió compromisos de precisión al comprimir.
  • vs. Basado en RL (ThinkPrune): Aunque ThinkPrune comprimió bien, DRP logró mayor precisión, probablemente debido a la guía de alta calidad del maestro.
• Estudios de Ablación:
  • Descomposición de Habilidades: Eliminar las etiquetas de habilidad (división predeterminada) redujo el rendimiento, confirmando que la alineación semántica es crucial.
  • Destilación Directa: Entrenar directamente sobre CoT cortos del maestro (sin podar la traza del estudiante) llevó a caídas agudas en la precisión en tareas OOD, demostrando que la preservación estructural es vital.
  • Robustez del Maestro: El método funcionó efectivamente con diversos maestros (GPT-4o, Gemini 2.0, DeepSeek-V3), aunque GPT-4o arrojó los mejores resultados.

5. Significado y Conclusión

• Compensación Eficiencia vs. Precisión: DRP desafía la noción de que la eficiencia debe venir a costa de la precisión. Al refinar el proceso de razonamiento en lugar de simplemente acortar la salida, logra ambas cosas.
• Escalabilidad: El método es particularmente efectivo para modelos más pequeños (1.5B), compensando la capacidad limitada mediante supervisión estructurada y de alta calidad.
• Robustez: Mitiga los "bucles degenerados" (donde los modelos se quedan atrapados generando texto infinito), lo que lleva a una inferencia más estable.
• Impacto Futuro: Este trabajo proporciona un plan de entrenamiento para modelos de razonamiento eficientes que pueden manejar tareas complejas de largo alcance sin la sobrecarga computacional del "sobre-pensamiento", haciendo el razonamiento avanzado más accesible y rentable.

En resumen, DRP resuelve la ineficiencia de los Modelos de Razonamiento Grande utilizando a un maestro para eliminar quirúrgicamente la redundancia de la propia trayectoria de razonamiento de un estudiante, guiado por habilidades funcionales, resultando en modelos que son más rápidos, más baratos y a menudo más precisos.