Resumen Técnico: PEAM - Memoria Paramétrica para Agentes Encarnados

1. Declaración del Problema

Los agentes encarnados actuales basados en Modelos de Lenguaje Grande (LLM), particularmente en entornos complejos como Minecraft, dependen en gran medida de la memoria no paramétrica. En estos sistemas, las trayectorias pasadas, las reflexiones y las habilidades se almacenan externamente (por ejemplo, en bases de datos vectoriales o bibliotecas de habilidades) y se vuelven a inyectar en el prompt en el momento de la inferencia. Aunque esto permite la recuperación, presenta limitaciones significativas:

• Latencia y Costo: Cada ciclo de decisión requiere recuperar y serializar experiencias pasadas, lo que aumenta el uso de la ventana de contexto y la latencia de inferencia.
• Política Estática: La política paramétrica subyacente del agente (el modelo base o el módulo entrenable) permanece inalterada a través de las tareas. Incluso si una biblioteca externa crece, el agente no "aprende" a ejecutar habilidades de manera más eficiente; simplemente las recupera.
• Falta de Consolidación: Los sistemas existentes manejan la adquisición de experiencia (mediante bibliotecas de habilidades) pero carecen de un mecanismo para la consolidación—el proceso de transformar trazas episódicas seleccionadas en competencia paramétrica duradera e internalizada.

El artículo postula que la memoria duradera en los sistemas cognitivos surge de dos sistemas complementarios: un almacén episódico rápido y un almacén paramétrico distribuido lento, acoplados mediante una consolidación fuera de línea. PEAM busca operacionalizar esto para agentes encarnados creando una vía para que la experiencia pase de la recuperación externa a los parámetros entrenables del agente.

2. Metodología

PEAM (Memoria Paramétrica para Agentes Encarnados) es un marco de dos niveles diseñado para internalizar la experiencia en habilidades paramétricas.

Arquitectura

• Nivel Lento (Deliberativo): Un LLM grande (por ejemplo, GPT-4o) maneja el razonamiento abierto, la síntesis de código y la verificación de resultados. Explora el entorno, detecta fallos y genera trayectorias corregidas.
• Nivel Rápido (Paramétrico): Una arquitectura multimodal de Mezcla de Expertos (MoE) LoRA construida sobre una base Qwen3-VL-8B-Instruct. Ejecuta habilidades consolidadas de forma reflexiva con baja latencia.
• Almacén Episódico: Una memoria externa que alberga trayectorias exitosas y pares de fallo-corrección generados por el nivel lento.

Mecanismos Principales

PEAM aborda tres preguntas críticas: Qué internalizar, Cuándo internalizar y Cómo internalizar.

A. Cómo: Consolidación de Éxito y Pares de Fallo-Corrección

PEAM trata el fallo como una señal de entrenamiento de primera clase. El almacén episódico contiene:

1. Trayectorias de Éxito ($D_{succ}$): Ejecuciones exitosas verificadas.
2. Pares de Fallo-Corrección ($D_{cpair}$): Pares de una trayectoria fallida ($\tau_f$) y un éxito subsiguiente corregido ($\tau_c$) bajo el mismo contexto.

El módulo rápido actualiza adaptadores aislados por categoría específicos ($\theta_c$) utilizando un objetivo conjunto:
$$\mathcal{L}_{PEAM}(\theta_c) = \mathcal{L}_{BC}(\theta_c; D^{(c)}_{succ}) + \lambda \mathcal{L}_{PEAM-DPO}(\theta_c; D^{(c)}_{cpair})$$

• Clonación de Comportamiento (BC): Asegura que el adaptador aprenda el andamiaje sintáctico absoluto (por ejemplo, envoltorios de código) requerido para que el analizador de acciones funcione.
• PEAM-DPO (Optimización Directa de Preferencias): Una función de pérdida contrastiva donde la trayectoria corregida se prefiere sobre la fallida. Esto enseña al agente cómo corregir acciones, no solo qué tiene éxito.
• Aislamiento: Las actualizaciones se restringen al adaptador de categoría específico (por ejemplo, Elaboración, Combate), evitando interferencias con otras habilidades.

B. Qué: Puntuación de Merecedor de Parametrización (PV)

No todas las experiencias deben internalizarse. PEAM utiliza una función de puntuación para clasificar candidatos basándose en:

• Ahorro de Costos ($U_{cost}$): Costo de recuperación estimado ahorrado (frecuencia $\times$ longitud del código).
• Estabilidad ($U_{stab}$): Consistencia del éxito a través de contextos.
• Redundancia ($P_{redun}$): Penaliza la similitud con habilidades ya internalizadas.
• Riesgo de Olvido ($R_{forget}$): Un proxy estructural; si una habilidad comparte categoría con parámetros existentes, corre el riesgo de interferencia (aunque el aislamiento mitiga esto, la puntuación tiene en cuenta la identidad de la categoría).

Solo los candidatos en el cuantil superior-$q$ de las puntuaciones PV se consideran para la consolidación.

C. Cuándo: Consolidación Auto-Disparada (STC)

En lugar de un calendario fijo, PEAM utiliza un mecanismo auto-disparado sin escala. La consolidación se activa cuando la tasa de fallos reciente de una habilidad excede significativamente su línea base histórica, determinado por una prueba estadística (puntuación Z) en lugar de un umbral absoluto específico de la tarea. Esto permite que el disparador se transfiera entre diferentes distribuciones de tareas sin reajuste.

3. Contribuciones Clave

1. Marco de Memoria Paramétrica: PEAM desplaza la memoria de los agentes encarnados de la recuperación en tiempo de inferencia a habilidades residentes en parámetros, reduciendo la latencia y el consumo de tokens mientras mejora el rendimiento a largo plazo.
2. El Fallo como Señal de Entrenamiento: A diferencia de los sistemas que convierten los fallos en reflexiones textuales para los prompts, PEAM entrena directamente sobre pares de trayectorias de fallo-corrección utilizando un objetivo conjunto de BC y DPO. Esto permite que el agente aprenda las diferencias conductuales específicas entre el fallo y el éxito.
3. Resistencia al Olvido Arquitectónica: Al utilizar adaptadores LoRA físicamente aislados por categoría, PEAM logra un aprendizaje continuo a nivel de parámetros. Internalizar una habilidad de combate no sobrescribe los parámetros utilizados para la elaboración, eliminando el olvido catastrófico por diseño en lugar de por regularización.
4. Disparadores de Consolidación Sin Escala: La introducción de un mecanismo de consolidación auto-disparado que depende de estadísticas relativas de fallos permite que el agente se auto-evolucione sin un ajuste manual de umbrales específicos de la tarea.

4. Resultados Experimentales

Los experimentos se realizaron en Minecraft (1.19) utilizando el marco VOYAGER, comparando PEAM con agentes basados en recuperación (VOYAGER, Optimus-1), variantes de memoria no paramétrica (Reflexion) y líneas base paramétricas (Ajuste Fino Completo, LoRA Compartido, EWC).

• Éxito en Tareas: PEAM logró un 69.7% de éxito en tareas de largo alcance, superando a la línea base de recuperación más fuerte (VOYAGER con 54.5%) en +15.2 puntos porcentuales (McNemar $p=0.018$).
• Eficiencia: PEAM redujo la latencia mediana por llamada en un 42% (5.5s $\to$ 3.2s) y el consumo de tokens por tarea en un 85% (31.2K $\to$ 4.6K) al eliminar la necesidad de re-inyectar bibliotecas de habilidades en el momento de la inferencia.
• Resistencia al Olvido: En experimentos de consolidación secuencial (Elaboración $\to$ Recolección $\to$ Combate), PEAM mostró un 0% de olvido en habilidades aprendidas previamente. Por el contrario, las líneas base de LoRA compartido perdieron un 32.4% de rendimiento, y el ajuste fino completo perdió un 78.5%.
• Insights de Ablación:
  • BC + DPO: Un adaptador DPO puro falló en generar código compatible con el analizador (0/12 casos), mientras que el objetivo conjunto tuvo éxito (12/12). El término BC es esencial para mantener la sintaxis desplegable.
  • Aislamiento: Eliminar el aislamiento por categoría causó un olvido significativo, confirmando que el aislamiento estructural es el principal impulsor de la retención.
  • Robustez del Disparador: El mecanismo auto-disparado mantuvo un rendimiento consistente a través de diferentes distribuciones de tareas (centradas en elaboración vs. centradas en combate) sin reajuste, a diferencia de las líneas base de umbral fijo.

5. Significado y Afirmaciones

El artículo afirma que PEAM demuestra una vía viable para que los agentes encarnados transiten de acumular historias externas a internalizar experiencias seleccionadas como parte de su política central.

• Eficiencia vs. Recuperación: Los resultados sugieren que, aunque una recuperación más rica (por ejemplo, contexto multimodal) ayuda, los beneficios operativos de internalizar habilidades en parámetros (latencia, reducción de tokens y ejecución directa) proporcionan ganancias que la recuperación por sí sola no puede capturar.
• Aprendizaje Continuo Estructural: El trabajo argumenta que la resistencia al olvido en agentes encarnados debe estar respaldada por la arquitectura (aislamiento de parámetros) en lugar de únicamente por técnicas de regularización.
• Hallazgos Metodológicos: El artículo destaca que los márgenes de preferencia en el paso hacia adelante (puntuaciones DPO) no siempre predicen la desplegabilidad del código generado, enfatizando la necesidad de objetivos conjuntos que preserven las restricciones sintácticas. También señala que el re-corte de trayectorias puede servir como un sustituto manejable para la evaluación entre distribuciones cuando los datos emparejados del mundo real son escasos.

Los autores concluyen que los agentes encarnados no deben actuar meramente como políticas fijas con memoria externa; requieren una vía de consolidación donde la experiencia seleccionada se convierta en parte de la política misma, permitiendo la auto-evolución y una ejecución eficiente.