🤖 AI

PATH-Bench: Path-Dependent Evaluation of Lifelong Agents

Este artículo presenta PATH-Bench, un punto de referencia para evaluar cómo la secuencia de experiencias acumuladas impacta a los agentes de LLM de por vida, y propone el Uso Selectivo de Experiencias (SEU, por sus siglas en inglés), un método que filtra las memorias dependientes de la trayectoria para reducir el olvido y mejorar la transferencia hacia adelante.

Autores originales: Xidong Yang, Xingyi Zhang, Wenhao Li, Wenyan Liu, Junjie Sheng, Yun Hua, Wei Yin, Tao Fang, Chuyun Shen, Xiangfeng Wang

Publicado 2026-08-04

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xidong Yang, Xingyi Zhang, Wenhao Li, Wenyan Liu, Junjie Sheng, Yun Hua, Wei Yin, Tao Fang, Chuyun Shen, Xiangfeng Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un robot superinteligente a ser un asistente útil. En el mundo de la inteligencia artificial, hay un gran sueño: crear agentes de "aprendizaje continuo" que no solo respondan preguntas una vez y luego las olviden, sino que realmente aprendan de sus interacciones pasadas, construyan una memoria y mejoren con el tiempo. Piensa en esto como un estudiante que no solo estudia para un examen y luego tira los apuntes, sino que mantiene un cuaderno de notas cada vez más grande con trucos, hechos y lecciones aprendidas de cada uno de sus días.

Sin embargo, hay un problema complicado. Si simplemente dejas que un robot aprenda absolutamente todo y lo vuelque en su memoria, podría confundirse. Imagina a un estudiante intentando resolver un problema de matemáticas mientras su cerebro está inundado de recuerdos de un partido de fútbol, una receta de cocina y una lección de historia, todo al mismo tiempo. Algunos de esos recuerdos podrían ayudar, pero otros podrían estorbar. Los científicos llaman a esto "dependencia de la trayectoria" (path dependence), lo que significa que cómo y en qué orden el robot aprende las cosas cambia lo que recuerda y qué tan bien se desempeña después. La gran pregunta es: ¿Importa el camino de aprendizaje del robot y, si es así, cómo nos aseguramos de que conserve lo bueno y olvide lo malo?

Esto es exactamente lo que los investigadores detrás de PATH-Bench se propusieron investigar. Construyeron un campo de pruebas especial para ver cómo diferentes agentes de IA manejan sus memorias crecientes. En lugar de solo observar cómo aprenden de forma aleatoria, crearon un experimento controlado donde podían alimentar a los agentes con "historias" específicas: algunas llenas de consejos útiles, otras llenas de consejos confusos o engañosos. Querían ver si el orden de estas experiencias cambiaba la capacidad de los agentes para resolver nuevas tareas, y si los agentes podían distinguir entre un recuerdo útil y uno que distrae.

Esto es lo que descubrieron, y es un poco más complicado que simplemente decir que "más memoria es mejor".

Primero, descubrieron que tener una memoria no hace automáticamente que una IA sea más inteligente. De hecho, para algunos agentes, añadir un banco de memoria ¡incluso hizo que funcionaran peor que si no tuvieran memoria en absoluto! Resulta que el simple hecho de almacenar interacciones pasadas no es suficiente; el agente necesita saber qué memorias son útiles para el trabajo actual. Si un agente toma un recuerdo que suena similar pero que en realidad es irrelevante, puede confundirse y cometer errores. Es como intentar arreglar un grifo que gotea leyendo un manual sobre cómo hornear un pastel; el libro es real, pero es la herramienta equivocada para el trabajo.

Segundo, los investigadores descubrieron que lo que funciona como memoria depende enteramente del tipo de tarea. Para tareas simples de un solo paso (como escribir una sola línea de código), los agentes que recordaban detalles específicos y concretos del pasado funcionaban mejor. Pero para tareas complejas de múltiples pasos (como usar un montón de herramientas diferentes para planificar un viaje), los agentes que recordaban patrones de alto nivel y reglas abstractas funcionaban mucho mejor. Es la diferencia entre recordar los ingredientes exactos que usaste para un pastel específico frente a recordar la regla general de que "los huevos hacen que las cosas queden esponjosas". Un enfoque gana para el pastel, el otro gana para la repostería en general.

Tercero, y quizás lo más sorprendente, descubrieron que aprender algo nuevo no significa que lo conserves para siempre. Un agente puede mostrar una gran mejora justo después de aprender una nueva habilidad (llamada "transferencia hacia adelante" o forward transfer), pero luego puede olvidar completamente esa habilidad más tarde cuando se enfrenta a nuevas y confusas experiencias. Por el contrario, una nueva experiencia a veces puede remodelar o incluso borrar las ganancias que el agente obtuvo anteriormente. Es como aprender un paso de baile, volverse muy bueno en él y luego sentir que tu cerebro se ha saturado tanto con nuevos y conflictivos pasos de baile que olvidas el original por completo. El camino que tomas importa: si aprendes la secuencia "correcta" de cosas, conservas tus habilidades; si aprendes la secuencia "incorrecta", podrías perderlas.

Para solucionar estos problemas, los autores propusieron una nueva estrategia llamada Uso Selectivo de la Experiencia (SEU, por sus siglas en inglés). Piensa en esto como un filtro inteligente o un portero para la memoria del agente. En lugar de dejar que cada recuerdo recuperado entre en el cerebro del agente, el SEU lo verifica contra la tarea actual. Si un recuerdo es directamente útil, se le permite la entrada. Si es útil solo como un patrón general, se simplifica y se deja pasar. Pero si es probable que cause confusión o interferencia, se bloquea.

Cuando probaron este nuevo filtro, los resultados fueron prometedores. En casi todos los agentes y tareas que probaron, el SEU redujo consistentemente la cantidad de "olvido" y ayudó a los agentes a transferir sus habilidades a nuevos problemas de manera más efectiva. No solo hizo que recordaran más; hizo que recordaran mejor.

En resumen, este artículo nos enseña que para que la IA aprenda verdaderamente como un estudiante de por vida, no puede simplemente acumular cada experiencia. Debe ser selectiva. Necesita entender la forma de la tarea que enfrenta y curar sus memorias cuidadosamente, dejando entrar las lecciones útiles y filtrando el ruido. El camino del aprendizaje no es solo un detalle secundario; es el personaje principal en la historia de cómo una IA crece.

Resumen Técnico: PATH-Bench: Evaluación de la Dependencia de la Trayectoria en Agentes de Aprendizaje Continuo

Declaración del Problema

Los agentes de modelos de lenguaje de gran tamaño (LLM) de aprendizaje continuo (lifelong learning) buscan acumular y preservar la experiencia útil a lo largo del tiempo, manteniendo típicamente un estado de aprendizaje externo (memorias o habilidades) mientras mantienen el modelo base congelado para evitar el olvido catastrófico y altos costos computacionales. Sin embargo, las evaluaciones existentes para el aprendizaje continuo pasan por alto la dependencia de la trayectoria (path dependence): el fenómeno donde la secuencia específica e historia de tareas previas moldea qué es lo que un agente transfiere y retiene.

Las evaluaciones actuales suelen depender de secuencias de tareas fijas o aleatorizadas, fallando al no controlar cómo la experiencia acumulada —ya sea útil, engañosa o conflictiva— interactúa con las tareas subsiguientes. Estudios preliminares sobre LifelongAgentBench indican que diferentes trayectorias de tareas sobre el mismo conjunto de tareas pueden alterar el ranking relativo de los agentes. Además, las métricas estándar de aprendizaje continuo (transferencia hacia adelante, transferencia hacia atrás, olvido) son computacionalmente costosas de aplicar a escala en agentes de LLM, que requieren razonamiento de múltiples pasos e interacción con el entorno. Existe una necesidad crítica de un marco que rastree eficientemente cómo la dependencia de la trayectoria de las tareas moldea el rendimiento de por vida de los agentes, distinguiendo entre la utilidad de la representación de la experiencia y la estructura de la trayectoria de aprendizaje.

Metodología: PATH-Bench

Los autores presentan PATH-Bench, un benchmark diseñado para evaluar agentes de aprendizaje continuo bajo historias controladas y dependientes de la trayectoria. El marco opera a través de cuatro etapas principales:

1. Construcción del Pool de Tareas

El benchmark utiliza dos conjuntos de datos distintos para cubrir diferentes estructuras de interacción:

BigCodeBench: Un benchmark de generación de código de un solo turno.
WildToolBench: Un benchmark de uso de herramientas de múltiples turnos basado en el comportamiento real del usuario.
Las tareas se filtran basadas en el "margen de mejora" (asegurando que no sean ni demasiado fáciles ni demasiado difíciles para el LLM base) para garantizar un potencial de mejora medible.

2. Estimación de Transferencia en Contexto (In-Context Transfer)

Para evitar el costo computacional de simular la evolución completa del agente para cada par de tareas, PATH-Bench estima las relaciones de tareas dirigidas utilizando aprendizaje en contexto (ICL) multi-modelo.

Para cada par ordenado de tareas $(t_i, t_j)$ , un LLM congelado es instado con $t_i$ como una demostración de un solo paso (one-shot) para resolver $t_j$ .
La ganancia de transferencia $M_{i,j}$ se calcula como la diferencia de rendimiento entre el desempeño condicionado por la demostración y el desempeño zero-shot.
Tres modelos (DeepSeek-V4-Flash, GPT-5.4-mini, GLM-5.0) votan sobre el signo de la ganancia (Positiva, Neutral, Negativa). Un consenso (al menos dos modelos) determina la matriz de relación final $V$ , excluyendo los pares con votos mixtos.

3. Muestreo de Secuencias Centrado en Sondas (Probe-Centered Sequence Sampling)

En lugar de evaluar conjuntos completos de tareas repetidamente, PATH-Bench construye secuencias centradas alrededor de una tarea sonda específica ( $T_{probe}$ ).

Construcción de la Historia: El muestreador selecciona una tarea sonda y construye una historia intermedia de tareas basada en la matriz de transferencia $V$ . Las historias se configuran como dominantes de positividad (mayoría de tareas útiles) o dominantes de negatividad (mayoría de tareas de interferencia).
Protocolo: La secuencia comienza con un arranque en frío (cold-start) de la sonda, seguido de un bloque de calentamiento (warm-up), y luego tareas intermedias intercaladas donde la sonda reaparece a intervalos fijos. Solo las tareas intermedias actualizan el estado externo del agente; las reapariciones de la sonda sirven únicamente como puntos de evaluación.

4. Métricas de Evaluación

El marco cuantifica el rendimiento utilizando cuatro métricas derivadas de la trayectoria de la sonda:

Rendimiento Promedio (AP): Capacidad de resolución de tareas a lo largo de toda la secuencia.
Transferencia hacia Adelante (FWT): Mejora de las ocurrencias posteriores de la sonda con respecto al baseline de arranque en frío.
Transferencia hacia Atrás (BWT): El efecto retroactivo beneficioso de la experiencia posterior en la sonda (cuánto suben las sondas subsecuentes respecto a la referencia de calentamiento).
Olvido (FGT): La degradación de la capacidad de la sonda con respecto a la referencia post-calentamiento.

Contribuciones Clave

1. El Marco PATH-Bench

PATH-Bench se presenta como el primer benchmark que rastrea la transferencia y la retención en agentes de LLM bajo historias controladas. Reemplaza la enumeración exhaustiva de historias con un muestreo guiado por relaciones y reemplaza la re-evaluación de conjuntos completos con el seguimiento longitudinal de sondas.

2. Estudio Empírico de Ocho Agentes

Los autores evaluaron ocho agentes representativos en tres categorías:

Agentes RAG: BGE-M3 RAG, HippoRAG-v2.
Agentes de Memoria Agéntica: Clin, AWM, SimpleMem, MemRL.
Agentes de Habilidades (Skill Agents): AutoSkill, SkillClaw.

Hallazgos Clave:

La Utilidad de la Experiencia es Dependiente del Contexto: La experiencia acumulada no mejora el rendimiento de manera universal. Su utilidad depende de si la representación de la experiencia coincide con la estructura de interacción de la tarea. Para tareas de código de un solo turno, la experiencia concreta y específica de la tarea (ej. AutoSkill) funcionó mejor. Para tareas de herramientas de múltiples turnos, las abstracciones compactas (ej. Clin) superaron a los trazos concretos.
Disociación de Transferencia y Retención: Una fuerte transferencia inmediata hacia adelante no garantiza la retención. Los agentes pueden exhibir una alta FWT mientras sufren simultáneamente un olvido significativo (FGT), particularmente cuando la representación de la experiencia no coincide con la estructura de la tarea.
Dinámicas Dependientes de la Trayectoria: La experiencia posterior puede remodelar las ganancias adquiridas anteriormente. Incluso en historias dominantes de positividad, el rendimiento suele erosionarse con el tiempo. Los agentes son altamente susceptibles a los efectos de recencia, donde el intervalo de historia más reciente domina el estado del agente, a menudo invalidando la historia acumulada.

3. Uso Selectivo de la Experiencia (SEU)

Guiados por el hallazgo de que la inyección indiscriminada de experiencia recuperada causa interferencia, los autores proponen el Uso Selectivo de la Experiencia (SEU).

Mecanismo: SEU actúa como un arnés entre el módulo de recuperación y el modelo de inferencia. Evalúa los elementos recuperados frente a la tarea actual y decide:
1. Preservar: Admitir como detalle concreto si es directamente reutilizable.
2. Abstraer: Admitir como guía compacta si solo el patrón de alto nivel se transfiere.
3. Ignorar: Filtrar la posible interferencia.
Resultados: SEU fue evaluado en un subconjunto de 20 secuencias extraídas de las 50 secuencias utilizadas en los experimentos principales. Consistientemente redujo el olvido en todos los agentes, conjuntos de datos e historias de transferencia. También mejoró la transferencia hacia adelante en la mayoría de los entornos, demostando que regular la influencia de la experiencia acumulada por la trayectoria es más crítico que simplemente acumular más datos.

Significancia y Reivindicaciones

El artículo afirma que PATH-Bench proporciona un marco de evaluación controlado que revela las limitaciones en los diseños actuales de agentes de aprendizaje continuo, específicamente la falta de selectividad en el uso de la experiencia. Los autores argumentan que el cuello de botella para los agentes de aprendizaje continuo no es la capacidad de almacenar experiencia, sino la capacidad de juzgar su utilidad para la tarea actual.

Al demostrar que la utilidad de la experiencia depende conjuntamente de la representación y la estructura de la tarea, y que la experiencia posterior puede remodelar las ganancias previas, este trabajo ofrece una guía accionable para diseñar agentes más robustos. El arnés SEU propuesto sirve como una prueba de concepto de que filtrar la experiencia en el tiempo de inferencia puede desacoplar la transferencia del olvido, conduciendo a un aprendizaje continuo más estable.

Los autores reconocen las limitaciones, señalando que el benchmark actual cubre solo dos dominios de tareas (generación de código y uso de herramientas) y utiliza un único modelo base de LLM, identificando la extensión a dominios más amplios y diversos modelos como una dirección para el trabajo futuro.