Resumen Técnico: CANON (Consensus-Anchored Self-Distillation)

Declaración del Problema

Los modelos de lenguaje extensos (LLMs) han demostrado capacidades de razonamiento mejoradas mediante el Aprendizaje por Refuerzo (RL) con recompensas verificables. Sin embargo, este enfoque estándar presupone el acceso a respuestas de oro para la verificación, las cuales no están disponibles en entornos no supervisados o sin etiquetas. Si bien la "autoconsistencia" (muestrear múltiples soluciones y seleccionar la mayoría de los votos) sirve como un proxy no supervisado fiable para la precisión, los métodos existentes que aprovechan esta señal están limitados en su eficiencia y densidad de información. Los enfoques actuales sin etiquetas suelen reducir la señal de consenso a:

1. Un filtro para seleccionar soluciones para el ajuste fino supervisado (SFT).
2. Una fuente de preferencias de pares para el alineamiento.
3. Una recompensa pseudo-escalar para el RL.

Estos métodos descartan la rica información a nivel de token contenida dentro de las soluciones que concuerdan. El desafío central abordado por este artículo es cómo transformar el propio consenso del modelo en una señal de supervisión densa a nivel de token sin etiquetas de oro, permitiendo una autodestilación eficiente que rivalice con los métodos condicionados por oro.

Metodología: CANON

Los autores proponen CANON (Consensus-Anchored self-distillatiON), un método de post-entrenamiento sin etiquetas que convierte los votos de la mayoría en una supervisión densa. El marco opera en tres pasos por cada prompt sin etiquetar:

1. Extracción de Consenso: Dado un prompt $x$, el modelo muestrea $N$ soluciones (rollouts). Se identifica la respuesta mayoritaria y se selecciona la solución más confiable dentro del conjunto mayoritario (la de mayor media de log-probabilidad de tokens) como la solución de consenso ($s_x$).
2. Construcción del Maestro: Un snapshot congelado del modelo ($\bar{\pi}$), tomado al inicio del ciclo de entrenamiento, actúa como el maestro. Este maestro está condicionado en el prompt $x$ y la solución de consenso $s_x$ (insertada mediante una plantilla). Crucialmente, el maestro no genera; solo califica.
3. Destilación Densa: El modelo estudiante ($\pi_\theta$) genera sus propios rollouts $y^{(i)}$ condicionados únicamente en el prompt. El estudiante es entrenado para igualar las distribuciones de siguiente token del maestro sobre estos mismos rollouts. El objetivo minimiza la Divergencia de Jensen–Shannon (JSD) de vocabulario completo entre la distribución del estudiante y la del maestro en cada posición de token:
   $$L(\theta) = \mathbb{E}_{x \sim D} \frac{1}{N} \sum_{i=1}^{N} \frac{1}{|y^{(i)}|} \sum_{t=1}^{|y^{(i)}|} D_{JS} \left( \pi_\theta(\cdot | x, y^{(i)}_{<t}) \parallel \bar{\pi}(\cdot | x, s_x, y^{(i)}_{<t}) \right)$$

Distinciones Clave:

• Supervisión Densa: A diferencia de las recompensas escalares, CANON proporciona una distribución completa de siguiente token para cada posición de token en cada rollout, incluyendo aquellos que no concuerdan con el consenso.
• Maestro Congelado: El maestro es un snapshot estático, lo que evita la co-adaptación degenerada entre maestro y estudiante.
• Eficiencia: El método requiere un solo paso de generación (el mismo paso utilizado para la autoconsistencia en tiempo de inferencia) y un solo ciclo de entrenamiento, evitando los ciclos repetidos de generación del RL.

Principales Contribuciones

1. Marco CANON: Un nuevo método sin etiquetas que destila un maestro anclado al consenso en el modelo, convirtiendo los votos de la mayoría en supervisión densa a nivel de token.
2. Eficiencia y Rendimiento: Una comparación controlada que demuestra que CANON domina a las alternativas existentes sin etiquetas (como el ajuste fino de autoconsistencia y el RL en tiempo de prueba) en la frontera de precisión-cómputo, logrando ganancias comparables a los maestros condicionados por oro con una fracción del costo computacional.
3. Transferibilidad: Evidencia de que las mejoras se transfieren a benchmarks no vistos y más difíciles, igualando el rendimiento de los métodos de entrenamiento que utilizan etiquetas de oro.
4. Análisis de Mecanismo: Un análisis que muestra que las ganancias no se deben simplemente al refinamiento de la distribución (concentrar la probabilidad en respuestas existentes), sino que involucran una expansión genuina de la capacidad, resolviendo problemas que anteriormente no se habían resuelto en múltiples intentos.

Resultados Experimentales

Los autores evaluaron CANON en benchmarks de razonamiento matemático (AMC 2023, AIME 2024/2025, MATH500) y científicos (GPQA-Diamond) utilizando diversas familias de modelos (Qwen, SmolLM, Gemma, LFM).

• Rendimiento Transductivo (Entrenamiento en Tiempo de Prueba): En el benchmark AMC, CANON mejoró el pass@1 en 10.5 puntos (de 66.0 a 76.5) utilizando solo 1.2 horas de GPU. Esto superó significativamente a los baselines de RL sin etiquetas (por ejemplo, TTRL, SCRL), que requirieron 6–10 horas de GPU y lograron ganancias de solo 4–5 puntos. CANON se acercó al rendimiento de un maestro "oráculo" condicionado en soluciones verificadas por oro (76.9 vs. 76.5).
• Transferencia Inductiva: Cuando se entrenó en prompts de AMC sin etiquetar y se evaluó en benchmarks no vistos (AIME 2024/2025, GPQA), CANON mantuvo ganancias significativas, superando al RL sin etiquetas e igualando al RL con recompensa de oro. Por ejemplo, en AIME 2024, CANON mejoró el avg@32 en 7.0 puntos respecto al modelo base, mientras que TTRL mejoró en 4.2 puntos.
• Eficiencia Computacional: CANON logró resultados comparables al GRPO con recompensa de oro (que requirió 19.2 horas de GPU) en solo 1.2 horas de GPU (aproximadamente 1/16 del cómputo).
• Cobertura y Capacidad: El análisis post-entrenamiento reveló que la precisión del voto de la mayoría del modelo aumentó, y el pass@32 mejoró significativamente en benchmarks difíciles. El modelo resolvió problemas que antes nunca había resuelto en 32 intentos, lo que indica que las ganancias se extienden más allá de la simple concentración de probabilidad.

Significancia y Reivindicaciones

El artículo afirma que CANON demuestra que el propio consenso de un modelo puede servir efectivamente como contexto privilegiado para la autodestilación, un rol tradicionalmente ocupado solo por etiquetas de oro. Al anclar un maestro a la solución de consenso, el método extrae señales de supervisión densas que son tanto computacionalmente eficientes como altamente efectivas.

Los autores enfatizan que las mejoras no son simplemente un resultado del "refinamiento" de la distribución de salida en problemas ya resolubles. En cambio, el método permite al modelo resolver problemas que antes no podía, sugiriendo una expansión genuina de la capacidad de razonamiento. El trabajo establece que, para modelos pequeños de instrucción en dominios con respuestas extraíbles (como matemáticas y ciencia de opción múltiple), la autodestilación basada en el consenso puede igualar o acercarse a la eficacia del entrenamiento supervisado con oro operando enteramente sin etiquetas.

Limitaciones señaladas por los autores:

• El método requiere una respuesta final extraíble para formar un consenso, lo que lo limita a dominios de salida verificable.
• Ofrece poco beneficio en pares modelo-benchmark "saturados" donde el modelo ya alcanza una alta precisión.
• Puede reforzar errores si las muestras coluden en una respuesta errónea pero confiada, aunque este modo de falla se observó en solo ~2.7% de los prompts analizados.
• El régimen transductivo asume el acceso a los prompts de prueba antes de responder, lo que puede no adaptarse a casos de uso interactivos, aunque los resultados inductivos sugieren que esta suposición puede relajarse.