Resumen Técnico: Encontrando la Evidencia para la Destilación de Razonamiento On-Policy

1. Planteamiento del Problema

La destilación on-policy (OPD) ha emergido como un paradigma dominante para enseñar a modelos pequeños a razonar, proporcionando supervisión densa a nivel de token desde un modelo profesor. Sin embargo, los métodos actuales de OPD enfrentan una limitación crítica: no logran distinguir entre diferentes tipos de conocimiento dentro de las cadenas de razonamiento. Entrenar en todos los tokens diluye la señal de aprendizaje, mientras que los métodos recientes basados en entropía (por ejemplo, Wang et al., 2026) solo capturan "tokens de decisión" (donde el estudiante tiene incertidumbre) pero omiten los "tokens de evidencia".

El artículo identifica un punto ciego estructural en los métodos existentes:

• Tokens de Decisión: Posiciones donde el estudiante enfrenta una incertidumbre genuina (por ejemplo, puntos de ramificación, elecciones de estrategia). Estos se identifican naturalmente mediante una alta entropía del estudiante.
• Tokens de Evidencia: Pasos intermedios que justifican las decisiones (por ejemplo, derivaciones, sustituciones de variables). Estos suelen aparecer donde el estudiante es confiado pero erróneo. Debido a que el estudiante es confiado, la entropía es baja, lo que vuelve estos tokens invisibles para los selectores basados en entropía. En consecuencia, el conocimiento sustantivo de razonamiento no se transfiere, lo que resulta en estudiantes que saben cuándo ramificarse pero fallan en cómo ejecutar la ramificación correctamente.

2. Metodología: DEAR (Destilación de Razonamiento Consciente de Decisión y Evidencia)

Los autores proponen DEAR, un mecanismo de selección de tokens de dos etapas diseñado para recuperar tanto los tokens de decisión como los de evidencia para el entrenamiento de OPD.

Etapa 1: Identificación de Decisiones

El método primero identifica los tokens de decisión utilizando la entropía del estudiante ($H^S_t$). Los top-$p\%$ de los tokens con mayor entropía se seleccionan como el conjunto de decisiones ($D$). Estos tokens marcan el "esqueleto" del proceso de razonamiento donde el estudiante debe tomar una decisión.

Etapa 2: Descubrimiento de Evidencia

Para encontrar los tokens de evidencia de soporte que la entropía omite, DEAR aprovecha la relación entre las decisiones y su contexto circundante:

1. Similitud Contextual: El método extrae los estados ocultos del estudiante ($h^L_t$) de la capa más profunda del transformer. Para cada token que no sea de decisión, calcula la similitud de coseno con el ancla de decisión más cercano (cualquier token en el conjunto $D$). Una alta similitud indica que el token participa en el mismo contexto de razonamiento (es decir, es parte de la derivación que soporta una decisión).
2. Potenciación de la Brecha de Conocimiento: No todos los tokens contextualmente similares requieren corrección. Para priorizar los tokens donde el estudiante carece de conocimiento, el método incorpora la divergencia profesor-estudiante ($\delta_t = |\log \pi_\theta(y_t) - \log \pi_T(y_t)|$).
3. Puntuación: Se calcula una Puntuación de Saliencia de la Evidencia ($s_j$) para los tokens que no son de decisión:
   $$s_j = \hat{a}_j \times (1 + \hat{\delta}_j)$$
   Donde $\hat{a}_j$ es la similitud de coseno normalizada (actuando como una puerta para filtrar el ruido) y $\hat{\delta}_j$ es la divergencia normalizada (potenciando los tokens con grandes brechas de conocimiento).
4. Selección: Los top-$q\%$ de los tokens no pertenecientes a decisiones con las puntuaciones más altas forman el conjunto de evidencia ($E$).

Objetivo de Entrenamiento Final

El conjunto de entrenamiento final $S$ es la unión de decisiones y evidencia ($S = D \cup E$). La pérdida de OPD se computa exclusivamente sobre estos tokens seleccionados, asegurando que el modelo aprenda tanto la estrategia de ramificación como los pasos intermedios sustantivos.

3. Contribuciones Clave

1. Descomposición de Cadenas de Razonamiento: El artículo demuestra empíricamente que las cadenas de razonamiento consisten en dos tipos distintos de conocimiento que requieren diferentes mecanismos de descubrimiento: decisiones (alta entropía) y evidencia (baja entropía, alta divergencia).
2. Mecanismo de Descubrimiento: Introduce un método para descubrir tokens de evidencia "confiadamente erróneos" combinando la similitud de coseno de los estados ocultos (para vincular los tokens con las decisiones) con la potenciación por divergencia (para priorizar las brechas de conocimiento). Esto supera la imposibilidad estructural de que la selección basada en la entropía encuentre estos tokens.
3. Ganancias de Rendimiento: DEAR supera consistentemente a la OPD estándar y a la destilación de conocimiento offline en múltiples benchmarks.

4. Resultados Experimentales

Los autores evaluaron DEAR a través de tres configuraciones de estudiante-profesor (variando familias de modelos y tamaños) en seis benchmarks de razonamiento matemático y tres de generación de código.

• Razonamiento Matemático:
  • DEAR logró una mejora de hasta +2.5 puntos porcentuales (pp) en matemáticas de nivel de competencia (ej. AIME) en comparación con la OPD estándar.
  • Las ganancias fueron más pronunciadas en la destilación "cross-family" (Configuración B: estudiante Qwen2.5-1.5B, profesor Qwen3-4B), donde la brecha de conocimiento es mayor.
  • En AIME 2024 (Configuración A), DEAR alcanzó un 4.58% de precisión frente al 2.08% de la OPD estándar (una mejora de 2.2$\times$).
• Generación de Código:
  • DEAR mejoró las tasas de aprobación en +5.74pp en MBPP, +2.13pp en HumanEval y +2.56pp en APPS.
  • Notablemente, la OPD estándar degradó el rendimiento en MBPP en comparación con el modelo base, mientras que DEAR resolvió esto, sugiriendo que filtra eficazmente el ruido en la generación de código.
• Análisis de Señal:
  • La selección basada solo en entropía capturó solo ~39% de la masa total del gradiente.
  • La inclusión de tokens de evidencia por parte de DEAR aumentó la captura de la masa del gradiente a ~76%, casi duplicando la señal de aprendizaje efectiva.
  • El análisis confirmó que los tokens de evidencia se concentran en la región de "baja entropía, alta divergencia", que los métodos basados en entropía ignoran sistemáticamente.

5. Significado y Reivindicaciones

El artículo afirma que la destilación de razonamiento completa requiere transferir no solo dónde decidir, sino el conocimiento que justifica esas decisiones.

• Más allá de la Entropía: El trabajo desafía la suposición prevalente de que los tokens de alta entropía son los únicos portadores de la capacidad de razonamiento. Demuestra que los "errores confiados" contienen conocimiento crítico no transferido.
• Visión Estructural: Al identificar que los tokens de evidencia se agrupan alrededor de las decisiones en el espacio de los estados ocultos, el artículo proporciona un mecanismo para recuperar pasos de razonamiento sustantivos que antes eran invisibles para los algoritmos de selección.
• Escalabilidad: Las ganancias escalan con la dificultad del problema; los problemas más difíciles con cadenas de evidencia más largas se benefician más del mecanismo de descubrimiento de evidencia.

Los autores mantienen una postura modesta, señalando que la estructura decisión-evidencia ha sido verificada principalmente en matemáticas y código, y que la clasificación actual de tokens depende de heurísticas superficiales en lugar de intervención causal. Sugieren que trabajos futuros podrían explorar la programación adaptativa de las proporciones de selección ($p, q$) conforme avanza el entrenamiento.