🤖 machine learning

CLEANER: Self-Purified Trajectories Boost Agentic Reinforcement Learning

El artículo propone CLEANER, un método que aprovecha las capacidades intrínsecas de autocorrección de un modelo a través de un mecanismo de Reversión Adaptativa Sensible a la Similitud para generar trayectorias de entrenamiento libres de errores, resolviendo así los problemas de asignación de crédito y potenciando significativamente el rendimiento y la eficiencia del Aprendizaje por Refuerzo Agéntico con parámetros restringidos.

Autores originales: Tianshi Xu, Yuteng Chen, Meng Li

Publicado 2026-07-07

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Tianshi Xu, Yuteng Chen, Meng Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un joven aprendiz (un modelo de IA pequeño) a resolver acertijos complejos utilizando una herramienta poderosa pero caprichosa: un intérprete de código de computadora. El objetivo es que el aprendiz escriba código, lo ejecute y obtenga la respuesta correcta.

Sin embargo, hay un problema. Debido a que el aprendiz aún está aprendiendo, comete muchos errores. Escribe código que falla, provocando que la computadora escupa largos y confusos mensajes de error. En una configuración de entrenamiento estándar, el aprendiz mantiene estos mensajes de error desordenados en su memoria, intentando corregirlos paso a paso. Eventualmente, puede obtener la respuesta correcta, pero el camino que tomó estuvo lleno de ruido, confusión y callejones sin salida.

Este "camino desordenado" es en realidad lo que perjudica el proceso de aprendizaje. Cuando el aprendiz finalmente tiene éxito, el maestro (el algoritmo de entrenamiento) le da una recompensa de "buen trabajo" por todo el trayecto. Esto es injusto porque premia los errores tanto como el pensamiento correcto. Es como elogiar a un chef por quemar la sopa pero terminar arreglándola con una cuchara; el chef aprende que quemar las cosas está bien siempre y cuando las arregle después.

La Solución: CLEANER (El Chef "Autolimpiador")

Los autores proponen un nuevo método llamado CLEER. En lugar de dejar que el aprendiz mantenga el historial desordenado de sus errores, CLEANER actúa como un editor inteligente que limpia la historia mientras el aprendiz está aprendiendo.

Así es como funciona, utilizando una analogía creativa:

1. El Momento del "¡Ups!" (El Disparador)
El aprendiz escribe una línea de código, la ejecuta y la computadora grita "¡ERROR!". En una clase normal, el aprendiz simplemente añadiría este error a su cuaderno e intentaría de nuevo.

2. El Botón de "Rebobinar" (Mecanismo SAAR)
CLEANER interviene de inmediato. Pausa el proceso y le pregunta al aprendiz: "Bien, cometiste un error. ¿Puedes corregirlo ahora mismo?". El aprendiz lo intenta de nuevo y tiene éxito.

3. La "Edición" (Retroceso Adaptativo Sensible a la Similitud)
Esta es la parte mágica. CLEANER observa el error y la corrección para decidir cómo limpiar el cuaderno:

Escenario A (Los Errores Tipográficos): Si la corrección es solo un cambio pequeño (como arreglar una coma faltante), CLEANER asume que el pensamiento del aprendiz fue en realidad bueno, solo tuvo un error tipográfico. Silenciosamente borra el error y la corrección, reemplazando la línea desordenada con el código limpio y correcto. El cuaderno ahora muestra un proceso de pensamiento fluido y exitoso.
Escenario B (El Fallo de Lógica): Si la corrección es completamente diferente del intento original (como darse cuenta de que todo el enfoque era erróneo), CLEANER sabe que el pensamiento original era defectuoso. Borra el entero intento erróneo y el mensaje de error, reemplazándolo con la nueva línea de razonamiento correcta.

4. El Resultado: Una Trayectoria "Purificada"
Para cuando el entrenamiento termina, el aprendiz nunca ha "visto" las versiones desordenadas y llenas de errores de su trabajo. Solo ha aprendido de historias "autolimpiadas" donde resolvió el problema correctamente a la primera (o lo arregló instantáneamente sin dejar rastro de la lucha).

Por qué esto es importante

Menos Ruido, Más Aprendizaje: Debido a que el aprendiz no se distrae con un historial de errores, aprende la lógica correcta mucho más rápido.
Eficiencia: El artículo afirma que este método es increíblemente eficiente. Lograron entrenar a un modelo de IA pequeño para que rinda tan bien como modelos mucho más grandes y costosos, pero lo hicieron usando solo un tercio de los pasos de entrenamiento. Es como obtener las habilidades de un maestro chef en tres meses en lugar de un año.
Mejores Resultados: En pruebas difíciles de matemáticas y programación (como AIME y LiveCodeBench), este método mejoró la precisión entre un 3% y un 6% en comparación con los métodos estándar.

En Resumen

Piensa en el entrenamiento estándar como dejar que un estudiante practique en una pizarra cubierta de garabatos borrados, manchados y confusos. CLEANER es como un borrador mágico que limpia instantáneamente las manchas, dejando solo los pasos perfectos y claros de la solución. Esto permite que el estudiante interiorice la forma correcta de pensar, en lugar de confundirse con la forma incorrecta que intentó primero.

Resumen Técnico: CLEANER – Trayectorias Autolimpiadas Impulsan el Aprendizaje por Refuerzo Agéntico

1. Planteamiento del Problema

El artículo aborda un cuello de botella crítico en el Aprendizaje por Refuerzo (RL) Agéntico para Modelos de Lenguaje Grande (LLMs), particularmente para modelos con restricciones de parámetros (p. ej., 4B–7B de parámetros) que utilizan herramientas como intérpretes de Python. Si bien el uso de herramientas permite la resolución de problemas complejos, la fase de exploración se ve plagada de fallos de ejecución frecuentes. Estos fallos generan "trayectorias ruidosas" que contienen código inválido y trazas de error verbosas que contaminan la ventana de contexto.

Bajo configuraciones estándar de recompensa basadas en resultados (p. ej., Optimización de Política Relativa al Grupo o GRPO), la trayectoria completa recibe una recompensa positiva uniforme tras el éxito final, independientemente de los errores intermedios. Esto crea un dilema de asignación de crédito:

Contaminación por Ruido: Las acciones erróneas y los ciclos subsiguientes de "Error → Retroalimentación → Reintento" son inadvertidamente reforzados junto con el razonamiento exitoso.
Interferencia Semántica: El modelo aprende a racionalizar rutas de ejecución incorrectas en lugar de re-fundamentar sus decisiones, lo que conduce a la inestabilidad de la política y la degradación del rendimiento.
Limitaciones Existentes: Las estrategias de mitigación actuales enfrentan un compromiso (trade-off). Asignar recompensas densas a menudo desencadena el "hackeo de recompensa" (optimizar métricas intermedias sobre los resultados finales), mientras que el sobremuestreo (generar múltiples candidatos para filtrar la calidad) incurre en costos computacionales prohibitivos, ya que la fase de despliegue (rollout) domina el tiempo de entrenamiento de RL.

2. Metodología: CLEANER y SAAR

Los autores proponen CLEANER, un marco que potencia el RL agéntico eliminando el contexto contaminado por errores directamente durante la recolección de datos, en lugar de depender de filtrado externo o un aumento de muestreo. El mecanismo central es la Recuperación Adaptativa Consciente de la Similitud (SAAR).

El Mecanismo SAAR

SAAR opera durante la fase de despliegue (rollout) cuando ocurre un error de ejecución ( $o^-$ ). En lugar de registrar permanentemente el fallo en el historial, el sistema inicia un proceso de dos fases para construir una trayectoria "autolimpiada":

Fase I: Disparo de Error y Corrección de Mirada Adelante (Lookahead)
- Tras un error, el estado actual se congela.
- Se le solicita al modelo que, con el contexto aumentado (incluyendo la traza del error), genere una corrección ( $c'_t$ ) y una traza de razonamiento auxiliar ( $r'_{aux}$ ).
- Si la corrección tiene éxito, el proceso avanza a la Fase II.
Fase II: Reemplazo Adaptativo Consciente de la Similitud
- SAAR calcula la similitud semántica entre el código erróneo ( $c_t$ ) y el código corregido ( $c'_t$ ) utilizando una función de similitud (p. ej., difflib.SequenceMatcher).
- Caso A: Reparación a Nivel de Implementación (Alta Similitud): Si la similitud está por encima de un umbral $\gamma$ , el error se considera superficial (p. ej., errores tipográficos de sintaxis). El sistema realiza un reemplazo superficial, descartando la tupla de error y trasplantando el código corregido directamente al razonamiento original.
- Caso B: Reparación a Nivel de Razonamiento (Baja Similitud): Si la similitud es baja, el error indica un fallo lógico profundo. El sistema realiza un reemplazo profundo, eliminando todo el turno fallido (razonamiento + código + error) y sustituyéndolo con el razonamiento auxiliar y el código corregido para mantener la coherencia semántica.

Detalles de Implementación

Recomputación de Logits: Para asegurar que la actualización de la política esté fundamentada en la ruta causal correcta, el sistema recomputa las probabilidades de log (log-probabilities) para las acciones corregidas bajo el contexto purificado (no el contexto aumentado por el error). Esto se logra eficientemente usando RadixAttention (vía SGLang) para reutilizar los cachés KV para los prefijos de historial invariantes.
Mezcla de Currículo (Curriculum Mixing): Para equilibrar la evitación de errores con la capacidad intrínseca del modelo para autocorregirse, el pipeline de entrenamiento aplica estocásticamente SAAR al 70% de las trayectorias, manteniendo el 30% en su estado original.

3. Contribuciones Clave

El artículo describe cuatro contribuciones principales:

Marco CLEANER: Un enfoque novedoso para resolver el dilema de asignación de crédito en el RL agéntico mediante el entrenamiento con trayectorias autolimpiadas, permitiendo que los modelos internalicen patrones de razonamiento correctos mientras filtran el ruido de ejecución.
Mecanismo SAAR: Un método autónomo para construir señales limpias reparando fallos de forma adaptativa (desde errores tipográficos hasta fallos lógicos) sin la sobrecarga computacional del sobremuestreo.
Eficiencia y Rendimiento: Demostración de que CLEANER alcanza un rendimiento de vanguardia (SOTA) con una eficiencia significativamente mayor, igualando a los modelos SOTA utilizando solo un tercio de los pasos de entrenamiento.
Reproducibilidad: Provisión de un pipeline de entrenamiento totalmente reproducible, incluyendo código, configuraciones de entorno y conjuntos de datos procesados.

4. Resultados Experimentales

Los autores evaluaron CLEANER en AIME24/25, GPQA y LiveCodeBench utilizando Qwen3-4B-Instruct y Qwen2.5-7B-Instruct como modelos base.

Ganancias de Rendimiento: Comparado con las líneas base, CLEANER logró ganancias de precisión promedio de:
- 6% en AIME (Pass@1).
- 3% en GPQA.
- 5% en LiveCodeBench.
Eficiencia: CLEANER igualó el rendimiento de la línea base SOTA DemyAgent-4B utilizando solo un tercio de los pasos de entrenamiento (250 pasos frente a 750 pasos).
Supresión de Errores: Las métricas de entrenamiento mostraron una supresión constante de las llamadas a herramientas erróneas, con una clara correlación entre la reducción de las tasas de fallo de herramientas y la mejora en las tasas de éxito (pass rates).
Estudios de Ablación:
- Necesidad de Herramientas: La integración de un intérprete de código aumentó significativamente el rendimiento (p. ej., +20% en Qwen2.5-7B para tareas de matemáticas/codificación).
- Purificación de Trayectoria: El mecanismo SAAR proporcionó ganancias consistentes en todos los benchmarks y escalas de modelos.
- Internalización: Cuando se desactivó SAAR durante la inferencia, la degradación del rendimiento fue insignificante (p. ej., <1% de caída en AIME24 Pass@1), confirmando que el modelo había internalizado la lógica de evitación de errores en lugar de depender del mecanismo como un andamiaje.
- Recuperación: La introducción de CLEANER en una línea base subóptima e inestable (en el paso 200) estabilizó el entrenamiento y mejoró la precisión, aunque no alcanzó plenamente el rendimiento de los modelos entrenados con SAAR desde cero.

5. Significado y Reivindicaciones

El artículo afirma que CLEANER ofrece una solución escalable para el RL agéntico eficiente al desplazar el enfoque de "más datos" (sobremuestreo) hacia "datos más limpios" (purificación de trayectoria).

Escalabilidad: Al eliminar la necesidad de un costoso sobremuestreo, el método hace que el RL agéntico de alta calidad sea factible en entornos con restricciones de recursos.
Alineación de la Señal de Aprendizaje: El método alinea las señales de entrenamiento con el comportamiento correcto, evitando el refuerzo de los bucles de recuperación de errores y permitiendo que los modelos internalicen patrones de uso de herramientas robustos.
Generalizabilidad: Los resultados sugieren que los modelos pequeños (4B), al ser sometidos a un post-entrenamiento especializado con purificación de trayectoria, pueden alcanzar capacidades comparables a modelos significativamente más grandes (p. ej., 72B o 671B) en tareas de razonamiento agéntico.

Los autores concluyen que la purificación de la trayectoria es una alternativa crítica y escalable para avanzar en la eficiencia y el rendimiento de los agentes de LLM aumentados con herramientas.