🤖 machine learning

TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents

TRACE introduce un método de asignación de crédito denso y sin crítico para agentes de largo horizonte que deriva recompensas por turno a partir de cambios de diferencia temporal en los valores de la razón logarítmica del estado, permitiendo que el aprendizaje por refuerzo puro mejore significativamente el rendimiento en el uso de herramientas en evaluaciones de búsqueda complejas sin requerir el ajuste fino supervisado o datos de la web en vivo.

Autores originales: Leitian Tao, Baolin Peng, Wenlin Yao, Tao Ge, Hao Cheng, Mike Hang Wang, Jianfeng Gao, Sharon Li

Publicado 2026-07-16

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Leitian Tao, Baolin Peng, Wenlin Yao, Tao Ge, Hao Cheng, Mike Hang Wang, Jianfeng Gao, Sharon Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un robot a resolver un misterio gigante de múltiples pasos. En el mundo de la inteligencia artificial, esto se llama "aprendizaje por refuerzo agéntico". Piensa en el robot como un detective que no solo adivina la respuesta una vez, sino que pasa horas buscando en bibliotecas, abriendo archivos, haciendo preguntas y reuniendo pistas antes de finalmente gritar: "¡Encontré al culpable!". La parte difícil es cómo enseñarle al detective. Si el detective se equivoca al final, un profesor simple podría decirle: "Mal trabajo", y darle un cero. ¡Pero eso es injusto! Tal vez el detective pasó la primera hora encontrando las pistas correctas, solo para tropezar con una tabla suelta en el suelo en el último minuto. Si castigas todo el trabajo duro de una hora solo porque del último error, el detective se confunde y deja de intentar reunir pistas. Este es el problema de la "asignación de crédito": ¿cómo dar crédito por los buenos pasos y la culpa por los malos cuando la recompensa llega solo al final?

Este artículo, titulado TRACE, aborda exactamente este dolor de cabeza para los agentes de IA que tienen que realizar muchos turnos para resolver un problema. Los investigadores proponen una forma ingeniosa de dar un "pulgar hacia arriba" o "pulgar hacia abajo" al detective después de cada paso (como cada búsqueda o apertura de archivos), en lugar de esperar hasta el final. Lo hacen sin necesidad de que un humano califique cada paso o de un juez superinteligente que vea toda la película. En su lugar, utilizan un "modelo de referencia congelado": piensa en un bibliotecario tranquilo e inalterable que conoce la clave de respuestas. Después de cada movimiento que hace el detective, el bibliotecario verifica: "¿Hace este nuevo indicio que la respuesta final sea más fácil de adivinar?". Si es así, el detective recibe una pequeña recompensa. Si no, recibe una pequeña penalización. Este método, llamado TRACE, ayuda a la IA a aprender mucho más rápido y mejor que simplemente esperar la calificación final.

El dilema del detective

Imagina que estás entrenando a un robot para encontrar el lugar de nacimiento de una autora ficticia llamada "Elena Cruz". El robot tiene que usar un navegador para buscar, abrir páginas y leer texto. Podría tomarle 20 clics llegar allí. En la forma antigua de entrenar a estos robots (llamada entrenamiento de "solo resultado"), el robot pasaría por todos los 20 clics, tal vez obtenga la respuesta incorrecta, y luego la computadora diría: "Fallaste". El robot intentaría de nuevo, pero no sabría cuáles de esos 20 clics fueron útiles. Tal vez los primeros 15 clics encontraron el libro correcto, pero el clic 16 abrió una página sobre una Elena diferente, lo que llevó a la respuesta errónea. El método antiguo trata los primeros 15 clics útiles de la misma manera que el clic 16 inútil: ambos son castigados. Es como recibir una mala nota en un examen de matemáticas porque cometiste un pequeño error de aritmética al final, a pesar de que resolviste correctamente el álgebra difícil.

Los investigadores descubrieron que este enfoque de "todo o nada" hace que sea muy difícil para los robots aprender tareas complejas y largas. El robot se confunde, el entrenamiento tarda una eternidad y a menudo deja de explorar nuevas ideas porque tiene miedo de cometer un error al final.

La solución TRACE: Una tarjeta de puntuación para cada paso

Los autores de este artículo idearon TRACE (Asignación de Recompensa a Nivel de Turno mediante Estimación de Crédito). En lugar de esperar a la respuesta final para calificar al robot, TRACE le da al robot una puntuación después de cada llamada de herramienta (cada búsqueda, cada apertura, cada clic).

Así es como funciona, usando nuestra analogía del detective:

El Bibliotecario Congelado: El sistema utiliza un "modelo de referencia congelado". Imagina a un bibliotecario que ya ha leído la clave de respuestas y que nunca cambiará de opinión. Este bibliotecario está "congelado", lo que significa que no aprende ni se confunde; simplemente actúa como una regla de medir constante.
La Verificación de Progreso: Después de que el robot realiza un movimiento (como buscar "Elena Cruz"), el bibliotecario revisa las notas actuales del robot. El bibliotecario pregunta: "Basado en lo que el robot ha encontrado hasta ahora, ¿qué tan fácil es adivinar la respuesta correcta?".
El Cambio de Puntuación: Si la nueva búsqueda del robot hace que la respuesta sea más fácil de adivinar, el robot recibe una puntuación positiva. Si la búsqueda conduce a un callejón sin salida o a una página confusa, la puntuación baja.
La Magia del "Telescopaje": El artículo utiliza un truco matemático llamado "Diferencia Temporal" (TD). Piensa en ello como una escalera. Si subes un peldaño, recibes crédito por ese peldaño. Si subes y luego accidentalmente te deslizas hacia abajo, pierdes crédito por el deslizamiento. El sistema suma estos pequeños cambios. Si el robot pasa 10 turnos reuniendo buenas pistas y luego comete un mal movimiento, el sistema ve los 10 buenos pasos como positivos y el movimiento malo como negativo. No castiga los 10 buenos pasos solo porque la respuesta final fuera incorrecta.

Este método es especial porque no necesita que un humano escriba "Buen trabajo" después de cada paso, ni necesita un segundo IA superinteligente que observe al robot y lo califique. Simplemente usa al "bibliotecario congelado" para ver si el robot se está acercando a la verdad.

Lo que encontraron

Los investigadores probaron TRACE en una tarea muy difícil: encontrar hechos específicos ocultos en la profundidad de una colección masiva de documentos (una búsqueda de "web cerrada"). Utilizaron dos tamaños diferentes de modelos de IA: uno más pequeño (Qwen3-4B) y uno más grande (Qwen3-30B-A3B).

Los resultados fueron impresionantes. Antes de usar TRACE, el modelo pequeño solo podía resolver aproximadamente el 7.2% de las preguntas de búsqueda difíciles. Después de entrenar con TRACE, saltó al 35.6%. El modelo más grande pasó del 8.4% al 42.6%. Estas son mejoras enormes, especialmente considerando que no utilizaron entrenamiento de "arranque en frío" (donde primero enseñas al robot con ejemplos perfectos) ni datos de internet en vivo. Simplemente usaron el método TRACE en el modelo base.

El artículo también mostró que TRACE funciona incluso cuando el robot es probado en el internet abierto, no solo en la biblioteca de práctica con la que fue entrenado. El robot aprendió una habilidad general para buscar y leer que se transfirió a nuevos lugares. Por ejemplo, el modelo más grande obtuvo una puntuación de 12.9 en un benchmark llamado BrowseComp, 52.0 en GAIA y 45.0 en una prueba de búsqueda profunda en chino.

Por qué es importante y qué es lo que no hace

El artículo sugiere que este método hace que el aprendizaje sea mucho más rápido. En sus experimentos, los robots entrenados con TRACE comenzaron a mejorar mucho antes y alcanzaron su máximo rendimiento más rápido que los robots entrenados con el viejo método de "esperar hasta el final". Las curvas de aprendizaje mostraron que los robots estaban aprendiendo a explorar y reunir evidencia de manera más efectiva.

Sin embargo, los autores son cuidadosos al señalar los límites de su trabajo. Este método funciona mejor cuando la respuesta final es corta y clara, como un nombre, una fecha o un número. Si el trabajo del robot es escribir una historia larga y compleja o reparar un programa de computadora roto donde la respuesta "correcta" es abierta y difícil de definir, este método podría no funcionar tan bien. El "bibliotecario congelado" necesita una clave de respuestas clara para contrastar. Si la respuesta es vaga, el bibliotecario no puede determinar si el robot se está acercando.

En resumen, TRACE es una nueva forma de enseñar a los agentes de IA a ser buenos detectives. En lugar de esperar al final del caso para decir "Buen trabajo" o "Mal trabajo", otorga una tarjeta de puntuación después de cada pista encontrada. Esto ayuda a la IA a entender que reunir evidencia es valioso, incluso si la suposición final no es perfecta, lo que conduce a agentes de búsqueda más inteligentes, rápidos y confiables.

Resumen Técnico: TRACE (Asignación de Recompensa a Nivel de Turno mediante Estimación de Crédito para Agentes de Largo Alcance)

1. Planteamiento del Problema

Los agentes de Modelos de Lenguaje Extensos (LLM) resuelven tareas complejas a través de secuencias extendidas de interacciones con herramientas (por ejemplo, búsqueda web, ejecución de código) antes de producir una respuesta final. Aunque el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) ha tenido éxito en tareas de razonamiento de un solo turno (como matemáticas o programación) utilizando recompensas de resultado deterministas, la aplicación de esto a agentes de largo alcance presenta un desafío fundamental de asignación de crédito.

En los despliegues (rollouts) de múltiples turnos, una única recompensa terminal (éxito/fracaso) es dispersa y de alta varianza. Esta no logra distinguir entre:

Acciones útiles: Llamadas a herramientas tempranas que recopilan la evidencia necesaria pero que forman parte de una trayectoria que eventualmente falla.
Acciones redundantes o perjudiciales: Pasos intermedios que no contribuyen al objetivo o que desvían el curso de la acción.

El entrenamiento basado únicamente en el resultado asigna la misma ventaja a todos los turnos de una trayectoria, lo que provoca una infravaloración de la exploración productiva, una sobrevaloración de las acciones irrelevantes y un aumento de la varianza del gradiente a medida que crecen los horizontes de la trayectoria. Los métodos de supervisión de proceso existentes suelen requerir etiquetas a nivel de paso, jueces de LLM potentes o modelos de recompensa de proceso entrenados, lo que introduce complejidad, deriva o dependencia de una supervisión costosa.

2. Metodología: TRACE

Los autores proponen TRACE (Asignación de Recompensa a Nivel de Turno mediante Estimación de Crédito), un marco sin crítico (critic-free) que genera recompensas densas a nivel de turno sin necesidad de entrenar un modelo de recompensa de proceso adicional o un crítico aprendido.

Mecanismo Central

TRACE trata el despliegue del agente como una secuencia de transiciones de estado que ocurren en los límites de llamada a la herramienta (tool-call boundaries). En lugar de aprender una función de valor, utiliza un modelo de referencia congelado ( $\pi_{ref}$ ) como una sonda estable para estimar la "preparación" del prefijo actual de la trayectoria para producir la respuesta de oro.

Representación del Estado: Un despliegue se segmenta en prefijos $S_k$ en cada límite de llamada a la herramienta.
Estimación del Valor del Estado:
- El modelo de referencia congelado calcula la log-probabilidad de la respuesta de oro $y^*$ dado el prefijo $S_k$ : $\bar{\ell}_k = \frac{1}{|y^*|} \sum \log \pi_{ref}(y^*_t | S_k, y^*_{<t})$ .
- Para manejar problemas de escala donde los cambios en la log-probabilidad bruta pueden ser engañosos (por ejemplo, una pequeña ganancia es significativa cuando se está lejos de la respuesta pero insignificante cuando se está cerca), TRACE transforma esto en un valor de estado de log-ratio:
  $V(S_k) = \log \frac{-\bar{\ell}_0 + \epsilon}{-\bar{\ell}_k + \epsilon}$
  donde $\epsilon$ es un desplazamiento (offset). Este valor mide el cierre relativo de la brecha de verosimilitud de la respuesta inicial.
Recompensa a Nivel de Turno mediante Diferencia Temporal (TD):
- La recompensa para una transición $S_k \to S_{k+1}$ se deriva del error de diferencia temporal (error TD o diferencia de valor):
  $\delta_k = V(S_{k+1}) - V(S_k) = \log \frac{d_k}{d_{k+1}}$
- Interpretación: Se asigna una recompensa positiva si la llamada a la herramienta y su observación hacen que la respuesta de oro sea más predecible (aumentando el valor del estado). Se asigna una recompcción negativa si la trayectoria se aleja de la respuesta.
- Propiedad Telescópica: La suma de los créditos TD de un solo paso se despliega (telescopa) hasta el cambio de valor total entre el inicio y el final de la trayectoria. Esto asegura que los turnos intermedios redundantes no puedan inflar artificialmente el crédito total.
Mirada Adelante (Look-Ahead) y Anclaje:
- Para tener en cuenta los efectos retardados (por ejemplo, una consulta de búsqueda que solo rinde frutos después de abrir un documento), TRACE utiliza un retroceso TD de K-pasos truncado con un factor de descuento $\gamma_{td}$ .
- El turno final combina la señal de progreso TD con la ventaja a nivel de resultado ( $A^{out}$ ) estándar de la Optimización de Política Relativa de Grupo (GRPO), asegurando que la corrección final siga siendo el objetivo de entrenamiento último.
Optimización: La política se actualiza utilizando un objetivo recortado (clipped objective) que mezcla la ventaja del resultado y el crédito TD a nivel de turno, sin normalizar los valores de turno a través del grupo de prompts.

3. Contribuciones Clave

Crédito Denso Sin Crítico: TRACE proporciona recompensas densas a nivel de turno para agentes de largo alcance sin entrenar un crítico separado, un modelo de recompensa de proceso o depender de etiquetas humanas o sintéticas a nivel de paso.
Referencia Congelada como Sonda: Repropone un modelo de referencia congelado (típicamente utilizado para la regularización KL) como un estimador de valor estable, midiendo cuánto aumenta cada interacción de herramienta la predictibilidad de la respuesta de oro.
Formulación de Log-Ratio TD: El método introduce una transformación de log-ratio de las probabilidades de la respuesta para crear un valor de estado robusto que normaliza el crédito a través de diferentes niveles de confianza y evita la inflación de recompensas por pasos redundantes.
Entrenamiento de RL Puro: El enfoque permite el entrenamiento efectivo de modelos base utilizando RL puro (resultado + recompensas a nivel de turno) sin una etapa de ajuste fino supervisado (SFT) de arranque en frío, entrenamiento medio agéntico o datos de la web en vivo.

4. Resultados Experimentales

Los autores evaluaron TRACE en tareas de búsqueda compleja de largo alcance utilizando arquitecturas base Qwen3-4B y Qwen3-30B-A3B.

Benchmark de Web Cerrada (BrowseComp-Plus):
- Qwen3-4B: Mejoró de una puntuación base de 7.2 a 35.6.
- Qwen3-30B-A3B: Mejoró de una puntuación base de 8.4 a 42.6.
- TRACE superó significativamente a las líneas base de solo resultado (GRPO, GSPO, GiGRPO) y se acercó o superó a agentes de investigación profunda externos más grandes (por ejemplo, TongyiDS-30B-A3B) a pesar de utilizar un modelo base más pequeño y una supervisión mínima.
Transferencia a la Web Abierta:
- El comportamiento de búsqueda aprendido se transfirió a benchmarks de la web abierta (BrowseComp, GAIA, xbench-DeepSearch).
- El agente 30B-A3B logró 12.9 en BrowseComp, 52.0 en GAIA y 45.0 en xbench-DeepSearch, demostrando la generalización más allá del corpus de entrenamiento.
Dinámica de Aprendizaje:
- TRACE mostró una mejora más temprana y una convergencia más rápida en comparación con las líneas base de solo resultado.
- Facilitó una expansión más rápida de la longitud de interacción (escala de la trayectoria) en las etapas tempranas del entrenamiento, ya que la señal a nivel de turno recompensaba el progreso intermedio incluso antes de que la respuesta final fuera correcta.

5. Significado y Afirmaciones

El artículo afirma que el crédito a nivel de turno anclado al verificador es un componente crítico faltante para entrenar agentes de largo alcance mediante RL puro.

Eficiencia: TRACE demuestra que los modelos base poseen primitivas latentes de razonamiento y uso de herramientas que pueden desbloquearse con señales de crédito más densas, eliminando la necesidad de SFT costoso o complejos flujos de supervisión de procesos.
Generalización: El método enseña una estrategia de interacción general (buscar, leer, refinar) que se transfiere a través de diferentes entornos de recuperación e idiomas, no solo se sobreajusta al corpus de entrenamiento.
Limitaciones: Los autores señalan modestamente que el método actual depende de respuestas compactas y verificables (cadenas de texto cortas). Para tareas con salidas largas, estructuradas o de naturaleza abierta (por ejemplo, parches de código de múltiples archivos), el proxy de log-probabilidad puede ser menos confiable, lo que sugiere la necesidad de estimadores de valor de estado alternativos en trabajos futuros.

En resumen, TRACE establece que la asignación de crédito en los límites de llamada a la herramienta mediante un modelo de referencia congelado es una estrategia efectiva, escalable y eficiente en términos de datos para mejorar el rendimiento de los agentes de largo alcance.