Resumen Técnico: CATPO (Optimización de Política de Árboles Aumentada por Crítica)

Planteamiento del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR, por sus siglas en inglés) se ha convertido en un paradigma dominante para mejorar las capacidades de razonamiento de los Modelos de Lenguaje de Gran Escala (LLMs). Si bien los métodos basados en árboles como TREERPO mejoran respecto al muestreo de trayectorias planas mediante la generación de señales de recompensa densas a nivel de paso a través de despliegues estructurados en árboles, sufren de una ineficiencia crítica: desperdicio computacional debido a árboles no informativos.

Los enfoques actuales basados en árboles tratan todos los árboles muestreados por igual durante el entrenamiento. Sin embargo, muchos árboles proporcionan poca o ninguna señal de gradiente útil:

• Árboles de éxito total (Dead-correct trees): Todas las hojas tienen éxito. El modelo ya ha dominado el problema, ofreciendo ningún contraste para la mejora.
• Árboles de error total (Dead-wrong trees): Todas las hojas fallan. Sin ramas positivas, las ventajas relativas al grupo colapsan a cero, dejando el despliegue inútil para las actualizaciones de gradiente.
• Árboles estancados (Stale trees): La confianza de la política ya rastrea perfectamente la distribución de recompensas, produciendo rendimientos decrecientes.

Métodos existentes como DAPO y GRESO abordan problemas similares en despliegues planos mediante el filtrado de prompts, pero operan a nivel de prompt. No pueden diagnosticar ni reparar la estructura interna de un despliegue de árbol, donde ramas específicas pueden ser sorprendentes o erróneas mientras que otras no lo son.

Metodología

CATPO (Optimización de Política de Árboles Aumentada por Crítica) aborda este desperdicio mediante un flujo de trabajo de cuatro fases que diagnostica, repara y repondera los despliegues de árboles a nivel de árbol.

1. Puntuación de Informatividad del Árbol ($F(T)$)

CATPO introduce una métrica para cuantificar la utilidad de un árbol $T$ para las actualizaciones de la política. Esta puntuación se calcula con coste adicional cero utilizando datos ya generados durante el muestreo. Combina dos señales:

• Diversidad de Resultados de las Hojas: Medida por la varianza de Bernoulli de la tasa de éxito de las hojas ($\hat{p}$), calculada como $\hat{p}(1-\hat{p})$. Este término se maximiza cuando los resultados son mixtos (algunos correctos, otros incorrectos) y es cero cuando todas las hojas coinciden.
• Descorrelación entre Política y Recompensa: Medida por $1 - \rho^2_{\pi,r}$, donde $\rho_{\pi,r}$ es la correlación de Pearson entre los log-probabilidades de los nodos y las recompensas propagadas. Esto captura la incertidumbre residual donde la confianza de la política no explica linealmente la estructura de la recompensa.

La puntuación final es $F(T) = \hat{p}(1-\hat{p}) \cdot (1 - \rho^2_{\pi,r})$. Los árboles se clasifican en cuatro regímenes basados en umbrales:

• Éxito total/Error total: Baja diversidad (resultados casi unánimes).
• Estancado: Señal moderada.
• Informativo: Alta diversidad y descorrelación.

2. Sanación Guiada por Crítica

Para los árboles de error total (donde todas las ramas fallan), CATPO no descarta el despliegue. En su lugar, intenta "sanar" el árbol:

1. Identificación de Fallos: Una búsqueda en anchura localiza el nodo más superficial $v^*$ donde todos los hijos han fallado (recompensa < $\epsilon$).
2. Generación de Crítica: El propio modelo de la política es instado a generar una crítica en lenguaje natural del error en el nodo $v^*$, identificando el error lógico o matemático específico.
3. Injerto (Grafting): El modelo es instado nuevamente con el problema, la solución parcial hasta $v^*$ y la crítica generada para producir $k$ continuaciones refinadas.
4. Re-propagación: Estas nuevas ramas se injertan en el árbol en $v^*$, se vuelven a puntuar y las recompensas se propagan de abajo hacia arriba. Esto convierte un árbol "muerto" en uno con diversidad de recompensa positiva.

3. Pérdida Ponderada por Informatividad

El objetivo de entrenamiento final escala la contribución de cada árbol al gradiente de la política mediante su puntuación de informatividad normalizada $w(T) = F(T) / \bar{F}$.

• Los árboles informativos reciben todo el peso, impulsando las actualizaciones de parámetros.
• Los árboles de éxito total y estancados se ponderan a la baja.
• Los árboles sanados se tratan como informativos si el proceso de sanación tiene éxito.

La función de objetivo utiliza una pérdida de sustitución recortada (similar a PPO/TREERPO) donde las ventajas están moduladas por $w(T)$, concentrando las actualizaciones en los datos más útiles mientras se preserva la magnitud total del gradiente.

Contribuciones Clave

1. Diagnóstico a Nivel de Árbol: CATPO es el primer método que diagnostica explícitamente la informatividad del árbol e interviene en árboles no informativos dentro del bucle de entrenamiento de RL, yendo más allá del filtrado a nivel de prompt.
2. Puntuación de Coste Cero: La puntuación de informatividad $F(T)$ aprovecha las estadísticas de muestreo de árboles existentes (resultados de hojas y log-probs) sin requerir modelos auxiliares o pasadas hacia adelante adicionales.
3. Sanación Guiada por Crítica: Un mecanismo novedoso que recupera la señal de entrenamiento de los árboles de "error total" utilizando el modelo de la política para criticar sus propios errores e injertar ramas corregidas, convirtiendo efectivamente el cómputo desperdiciado en datos de entrenamiento útiles.
4. Optimización Ponderada: Una pérdida ponderada por informatividad que prioriza dinámicamente los árboles de alto valor, mejorando la eficiencia de la muestra.

Resultados Experimentales

Los experimentos se realizaron con Qwen2.5-Math-1.5B entrenado con el conjunto de datos MATH y evaluado en cuatro bancos de pruebas: AIME24, MATH-500, OlympiadBench y MinervaMath.

• Rendimiento: CATPO alcanzó una Precisión de Macro del 37.5%, superando a la línea base TREERPO (35.6%) por un 1.9% y a la trayectoria plana GRPO (32.7%) por un 4.8%.
• Tareas Más Difíciles: Las mejoras fueron más pronunciadas en los bancos de pruebas más difíciles (AIME24 y OlympiadBench), donde la línea base produce una mayor proporción de árboles de error total, dando a CATPO más oportunidades de recuperar la señal.
• Generalización: Se observaron ganancias significativas en MinervaMath (fuera de la distribución de entrenamiento), lo que sugiere que el método ayuda a aprender estrategias de razonamiento transferibles en lugar de sobreajustarse.
• Validación de Hipótesis:
  • H1: La puntuación de informatividad $F(T)$ mostró una fuerte correlación positiva (Spearman $\rho = 0.62$) con las normas de gradiente por árbol, validándola como un proxy fiable de la utilidad de entrenamiento.
  • H2: La sanación guiada por crítica logró mejorar la informatividad del 88.1% de los árboles de error total al introducir al menos una rama correcta.

Significado y Reivindicaciones

El artículo afirma que CATPO ofrece un enfoque más eficiente y efectivo para el RLVR en el razonamiento de LLMs al abordar directamente el "desperdicio" inherente al muestreo basado en árboles. Al distinguir entre árboles informativos y no informativos, y al reparar activamente estos últimos, CATPO concentra los recursos computacionales en los datos que impulsan el aprendizaje. Los autores enfatizan que este enfoque no requiere modelos de recompensa o redes de valor separados, manteniendo la simplicidad del paradigma GRPO/TREERPO mientras aumenta significativamente el rendimiento en tareas de razonamiento complejas. El método se presenta como un avance complementario a la existencia de RL basado en árboles, centrándose específicamente en la estructura interna de los despliegues que los métodos anteriores ignoraban.