ExpWeaver: LLM Agents Learn from Experience via Latent RAG

Resumen Técnico: ExpWeaver: Agentes de LLM aprenden de la experiencia mediante RAG latente

Planteamiento del Problema
Integrar interacciones pasadas como experiencias reutilizables es un enfoque crítico para mejorar la planificación y el razonismo de los agentes de Modelos de Lenguaje Extensos (LLM). Sin embargo, los métodos existentes se limitan en gran medida al espacio de texto explícito. Los enfoques actuales suelen almacenar las experiencias como resúmenes textuales y recuperarlas mediante similitud semántica, concatenándolas en la ventana de contexto del modelo. Este paradigma introduce ineficiencias significativas:

1. Sobrecarga de Tokens: La concatenación explícita consume un espacio sustancial de la ventana de contexto, lo que limita el número de experiencias recuperables y aumenta los costos de inferencia.
2. Desacoplamiento Arquitectónico: La mayoría de los métodos emplean un módulo de Generación Aumentada por Recuperación (RAG) separado (por ejemplo, recuperadores basados en embeddings o motores de búsqueda) que opera independientemente de las representaciones internas del LLM. Esta separación impide la optimización conjunta de la recuperación y la generación hacia el objetivo de la tarea descendente.
3. Cuellos de Botella de Representación: La recuperación a nivel de texto depende de la similitud semántica superficial, lo que puede fallar al capturar correspondencias estructurales más profundas en las estrategias de resolución de problemas requeridas para tareas complejas de razonamiento o codificación.

Metodología: ExpWeaver
Para abordar estas limitaciones, los autores proponen ExpWeaver, un marco que permite a los agentes de LLM aprender de la experiencia mediante generación aumentada por recuperación latente. A diferencia del trabajo previo, ExpWeaver realiza la recuperación directamente dentro del espacio latente del LLM sin requerir un módulo RAG separado. El marco consta de tres componentes principales:

1. Banco de Experiencias con Alineación On-Policy:

   • Las trayectorias pasadas (consulta, traza de razonamiento, salida, recompensa) se comprimen en resúmenes textuales y se codifican en embeddings latentes densos ($z$) utilizando el mismo LLM ($p_\theta$) empleado para la generación.
   • Específicamente, el embedding se deriva del estado oculto del último token en la capa final del transformador ($z = h_\theta(s)$).
   • Este diseño asegura la alineación on-policy: a medida que la política evoluciona durante el entrenamiento, las experiencias recientes residen naturalmente en una región de embedding compatible, creando un sesgo de recencia implícito análogo al aprendizaje por refuerzo on-policy.

2. Generación Aumentada por Recuperación Latente:

   • Recuperación Latente: En cada paso de decodificación $t$, el estado oculto actual $h_t$ sirve como consulta para recuperar un conjunto top-$K$ de embeddings de experiencia ($Z_t$) del banco de experiencias mediante similitud de coseno. No se necesita un recuperador externo.
   • Agregación por Atención Cruzada: Los embeddings recuperados se agregan mediante un mecanismo de atención cruzada utilizando un token de consulta ($u$) aprendible. Esto permite al modelo ponderar dinámicamente las experiencias basándose en su relevancia con el estado de generación actual.
   • Integración con Compuerta (Gated Integration): La señal de experiencia agregada se integra en el estado oculto a través de un mecanismo residual con compuerta. Compuertas de retención ($r_t$) e entrada ($i_t$) aprendibles, junto con un coeficiente de mezcla ($a_t$), controlan el equilibrio entre preservar el estado oculto original e incorporar conocimiento externo. Esto evita que una influencia excesiva de la experiencia interrumpa el flujo de razonamiento del modelo.

3. Entrenamiento de Extremo a Extremo con Aprendizaje por Refuerzo:

   • Todo el pipeline (política $\theta$ y parámetros de experiencia $\psi_{exp}$) se optimiza conjuntamente utilizando Optimización de Política Relativa de Grupo (GRPO).
   • El marco soporta tanto tareas generativas (por ejemplo, QA, codificación) produciendo salidas textuales mediante decodificación mejorada por experiencia, como tareas de ranking (por ejemplo, recomendación) mediante el cálculo de puntuaciones de relevancia entre el estado oculto final y los embeddings candidatos.

Contribuciones Clave

• Marco de Espacio Latente Unificado: ExpWeaver unifica la recuperación y la generación dentro de un espacio de representación compartido, eliminando la necesidad de un recuperador separado y evitando la sobrecarga de tokens de la concatenación de texto.
• Recuperación Adaptativa: Al realizar la recuperación en cada paso de decodificación basada en el estado oculto actual, el sistema aprende la utilización de la experiencia dependiente de la consulta, capturando patrones estructurales profundos en lugar de una mera superposición de texto superficial.
• Agnosticismo de Tarea: La arquitectura se extiende naturalmente a diversos tipos de tareas, incluyendo respuesta a preguntas, razonamiento matemático, generación de código, predicción científica y recomendación secuencial.

Resultados Experimentales
Los autores evaluaron ExpWeaver en ExpBench, un benchmark que abarca 13 tareas diversas a través de tres escenarios: Genérico (QA, Razonamiento, Codificación), Científico (Química Farmacéutica) y Recomendación.

• Desempeño: ExpWeaver logró resultados de vanguardia (SOTA) en 12 de las 13 tareas, superando al baseline más fuerte (Search-R1) en un promedio de 6.8%.
• Eficiencia de Tokens: Mientras que los métodos de recuperación basados en texto como Search-R1 requirieron de 1.5 a 2 veces más tokens debido a la concatenación explícita, ExpWeaver mantuvo una eficiencia de tokens comparable a los baselines no de recuperación (por ejemplo, HRPO), consumiendo solo un ~10% más de tokens mientras entregaba una precisión significativamente mayor.
• Generalización: ExpWeaver demostró una superior generalización transdominio. En configuraciones de transferencia zero-shot, superó al baseline más fuerte por un 16.32%, y por un 15.21% en transferencia few-shot, indicando que las representaciones de experiencia latente capturan patrones de resolución de problemas más transferibles.
• Estudios de Ablación: Los experimentos confirmaron la necesidad de la agregación por atención cruzada sobre el simple pooling e identificaron un rango de inicialización óptimo para el coeficiente de mezcla para equilibrar la integración de la experiencia con la preservación del estado oculto.

Significancia y Reivindicaciones
El artículo afirma que ExpWeaver representa un cambio significativo en el aprendizaje de la experiencia para los agentes de LLM. Al pasar de operaciones explícitas a nivel de texto a la integración en el espacio latente, el marco supera los cuellos de botella de escalabilidad y adaptabilidad de los métodos anteriores. Los autores aseguran que este enfoque permite a los agentes aprender de manera más eficiente de las interacciones pasadas, logrando un desempeño superior con menores costos computacionales. Además, la generalización transdominio demostrada sugiere que las representaciones de experiencia latente son lo suficientemente robustas como para transferir patrones aprendidos a dominios no vistos, acelerando potencialmente el desarrollo en campos especializados como la investigación científica donde los datos etiquetados son escasos. El trabajo posiciona a ExpWeaver como un paso hacia una utilización de conocimiento más eficiente, unificada y efectiva en los modelos de lenguaje extensos.