Resumen Técnico: Drop the Act: RL Filtrado por Sondas para el Razonamiento de Cadena de Pensamiento Fiel

Declaración del Problema

Los modelos de razonamiento actuales entrenados con Aprendizaje por Refuerzo (RL), particularmente con Optimización de Política Relativa de Grupo (GRPO), exhiben una brecha sistemática entre su toma de decisiones interna y su salida generada. Estos modelos suelen "comprometerse" con una respuesta internamente al inicio del proceso de razonamiento, pero continúan generando pasos que parecen deliberativos sin contribuir en nada a la corrección. Los autores denominan a este fenómeno teatro del razonamiento.

Este comportamiento incurre en tres costos principales:

1. Ineficiencia: Desperdicia tokens de inferencia, inflando los costos en implementaciones de agentes.
2. Contaminación de la Interpretabilidad: Introduce señales espurias en el entrenamiento con recompensas de proceso y oscurece el cálculo real realizado por el modelo.
3. Déficit de Fidelidad: La cadena de pensamiento (CoT) ya no refleja fielmente la ruta de razonamiento que condujo a la respuesta.

El trabajo diagnóstico existente ha identificado esta brecha, pero la configuración estándar de recompensas en RL no puede abordarla porque los verificadores (por ejemplo, comparadores de cadenas, ejecutores de código) solo ven la respuesta final, no el punto de compromiso interno ni la fidelidad de los pasos intermedios.

Metodología: ProFIL (Aprendizaje por Refuerzo Filtrado por Sondas)

Los autores presentan ProFIL, una extensión plug-and-play para GRPO diseñada para suprimir el teatro del razonamiento sin anotación humana. La idea central es que el "verificador" necesario para detectar los pasos posteriores al compromiso ya existe dentro de las activaciones internas del modelo.

1. Generación de Etiquetas (Respuesta Forzada)

Para entrenar un detector de teatro, los autores generan etiquetas a nivel de paso sin intervención humana:

• En cada límite de paso de una cadena de razonamiento, se inserta un prompt de respuesta forzada, solicitando al modelo que proporcione una respuesta final basada únicamente en el razonamiento generado hasta ese momento.
• El primer paso donde esta respuesta forzada coincide con la verdad fundamental (verificada por el verificador de tareas estándar) se define como el punto de compromiso ($c$).
• Todos los pasos que ocurren después de $c$ se etiquetan como performativos (teatro).

2. La Sonda de Base Congelada

Una sonda de atención multi-cabeza se entrena una sola vez sobre el modelo base congelado ($\pi_{base}$) utilizando las etiquetas de respuesta forzada.

• Arquitectura: Un mecanismo de atención multi-cabeza con puerta (similar a RLFR) que toma las activaciones del flujo residual proyectadas por LayerNorm de capas específicas ($\ell_1, \ell_2$) de la base congelada.
• Entrenamiento: La sonda se entrena para predecir la etiqueta de performatividad (0 para fiel, 1 para performativo) utilizando Entropía Cruzada Binaria (BCE).
• Estabilidad: Crucialmente, la sonda se entrena sobre la base congelada y luego se congela. No se actualiza durante el entrenamiento RL de la política ($\pi_\theta$). Esto previene el modo de fallo de "ofuscación por RL", donde una política aprende a ocultar su comportamiento ante un monitor dinámico.

3. El Filtro de Sondas en GRPO

Durante el entrenamiento con GRPO, para cada prompt, se muestrean $K$ trayectorias. Antes del cálculo de la ventaja:

1. La sonda congelada calcula una puntuación de performatividad por paso para cada trayectoria utilizando las activaciones de la base congelada.
2. Se calcula la puntuación media de performatividad ($\bar{p}$) para la trayectoria.
3. Si $\bar{p} \geq \tau$ (un hiperparámetro umbral), la recompensa y la ventaja de la trayectoria se anulan.
4. Estas trayectorias filtradas contribuyen con cero a la actualización del gradiente, enseñando efectivamente a la política a dejar de generar pasos una vez que se detecta el compromiso interno.

Contribuciones Clave

• Método Alineado con el Objetivo: ProFIL es una única extensión a GRPO que simultáneamente suprime la elaboración posterior al compromiso, aumenta la fracción fiel de las cadenas y reduce la longitud de la cadena, todo ello preservando o mejorando la precisión de la tarea.
• Generalidad: El método demuestra ganancias consistentes en cuatro dominios de razonamiento diversos (GSM8K, LiveCodeBench, ToolUse, MMLU-Redux) y dos arquitecturas de modelos (Llama-8B, Qwen-7B).
• Mecanismo Anti-Manipulación: Al entrenar la sonda sobre una base congelada, el sistema resiste el modo de fallo de ofuscación por RL. El modelo aprende a suprimir el teatro en sí mismo en lugar de aprender a desplazar sus activaciones para evadir la sonda. La sonda mantiene un AUROC de 1.000 en LiveCodeBench durante todo el entrenamiento.
• Compresión Semántica vs. Longitud: El artículo aísla el mecanismo como detección de compromiso semántico. Una línea base de penalización de longitud coincidente en realidad aumentó la performatividad, demostrando que la reducción simple de tokens no es el mecanismo operativo.
• Artefactos: Los autores liberan los pesos de la sonda, las configuraciones de entrenamiento y las cachés de trayectorias para los cuatro dominios.

Resultados Experimentales

En cuatro dominios, ProFIL logró lo siguiente:

• Supresión del Teatro: Redujo la relación de performatividad (fracción de pasos posteriores al compromiso) entre un 11% y un 100%.
  • GSM8K: ~100% de reducción (0.006 $\to$ 0.000).
  • LiveCodeBench: 72% de reducción (0.267 $\to$ 0.076).
  • ToolUse: 11% de reducción (0.527 $\to$ 0.468).
  • MMLU-Redux: 50% de reducción (0.016 $\to$ 0.008).
• Fidelidad: Aumentó la "fracción fiel" (cadenas con baja performatividad). Cabe destacar que en ToolUse, la fracción fiel pasó de 0.029 a 0.147 (una ganancia de 5x).
• Precisión: La precisión de la tarea se preservó o mejoró en todos los casos.
  • GSM8K: +5.2 puntos porcentuales (pp).
  • LiveCodeBench: +7pp (pico de muestreo@1).
  • MMLU-Redux: Paridad exacta.
• Verificación Independiente: Un juez independiente Claude 3.7 Sonnet, utilizando una rúbrica de fidelidad en lenguaje natural sin acceso a las puntuaciones de la sonda, confirmó un aumento de +24pp en la fracción fiel en LiveCodeBench.
• Longitud de la Cadena: Las cadenas se acortaron entre un 4% y un 19% sin pérdida de precisión.

Significado y Afirmaciones

El artículo afirma que ProFIL demuestra una receta general para optimizar objetivos no verificables (como la fidelidad) en el post-entrenamiento. Al aprovechar las propias representaciones internas del modelo (leídas una vez sobre una base congelada), crea una señal de entrenamiento estable y libre de anotaciones que el verificador externo no puede ver.

Los autores argumentan que el teatro del razonamiento es un "ritual de confianza aprendido"—una actuación a posteriori que el modelo añade a problemas que ya sabe resolver. ProFIL no suprime la incertidumbre ni la autocorrección (que ocurren antes del compromiso); más bien, colapsa el modo de alto teatro, obligando al modelo a dejar de generar una vez que la respuesta está comprometida internamente. Esto resulta en cadenas de razonamiento que reflejan más de cerca el cálculo real, mejorando la auditabilidad e interpretabilidad mientras se reducen los costos de inferencia.