Personalizing Embodied Multimodal Large Language Model Agents over Long-term User Interactions

Resumen Técnico: POLAR – Personalización de Agentes Multimodales Encarnados Basados en Modelos de Lenguaje de Gran Escala sobre Interacciones a Largo Plazo con el Usuario

1. Enunciado del Problema

Los agentes encarnados basados en Modelos de Lenguaje de Gran Escala Multimodales (MLLM) han demostrado potencial para resolver tareas físicas complejas. Sin embargo, los enfoques existentes se centran principalmente en instrucciones genéricas y en el reconocimiento de objetos a nivel de categoría. En escenarios del mundo real, la asistencia personalizada a menudo requiere una localización a nivel de instancia basada en un contexto implícito acumulado a lo largo de interacciones a largo plazo.

Cuando un usuario realiza una solicitud como "traeme mis zapatos" en un hogar con múltiples pares, el agente debe determinar la instancia específica pretendida basándose en el historial previo (por ejemplo, "los zapatos que usé en mi última carrera"). Los agentes actuales basados en MLLM enfrentan dos desafíos principales en este contexto:

1. Insuficiencia de las Entradas Actuales: Basarse únicamente en la instrucción actual y la observación visual suele ser inadecuado para resolver referencias ambiguas y personalizadas.
2. Ineficacia del Contexto en Bruto: Aunque las interacciones previas contienen información específica del usuario necesaria, los registros de interacción en bruto son no estructurados, ruidosos y difíciles de procesar directamente mediante razonamiento por parte de los MLLM, lo que a menudo conduce a una degradación del rendimiento en configuraciones de contexto largo.

2. Metodología: El Marco POLAR

Los autores proponen POLAR (Agente Personalizado a Largo Plazo con Recuperación), un marco aumentado con memoria multimodal diseñado para organizar las interacciones previas en una memoria estructurada y relevante para la tarea. POLAR opera en dos etapas distintas: Memorización y Utilización.

A. Representación de la Memoria (Grafo de Conocimiento Multimodal)
POLAR estructura la memoria como un grafo $M = (V, E)$ que contiene tres tipos de nodos:

• Nodos de Objeto: Identidades únicas para los objetos (por ejemplo, ID de Objeto).
• Nodos de Memoria Semántica: Estos capturan el contexto personalizado asociado a un objeto. En lugar de almacenar registros en bruto, POLAR reformula las interacciones en declaraciones textuales concisas y de granularidad fina que describen atributos únicos específicos del usuario (por ejemplo, "usados en días de nieve"). Esto evita la entrelazación de información y ayuda a la precisión de la recuperación.
• Nodos de Memoria Episódica: Estos almacenan la trayectoria del agente, la instrucción cruda del usuario y las imágenes de referencia. Crucialmente, las trayectorias en bruto se convierten en resúmenes textuales compactos que capturan experiencia relevante para la planificación (por ejemplo, estado de éxito/fracaso, habitaciones improductivas, observaciones informativas) en lugar de preservar cada paso de bajo nivel.

Las aristas del grafo están marcadas con fecha para soportar actualizaciones temporales y recuperación consciente de la recencia. Si una nueva interacción coincide con un objeto existente o un nodo semántico, el grafo se actualiza de forma incremental en lugar de duplicar entradas.

B. Utilización y Planificación
Durante la ejecución de la tarea, POLAR recupera memorias relevantes para guiar al agente:

1. Recuperación: Dada una instrucción actual $I_k$, el sistema recupera los $k$ nodos de memoria semántica superiores utilizando similitud de incrustaciones (mediante el codificador BGE-M3).
2. Localización: El agente recorre las conexiones del grafo desde los nodos semánticos recuperados hasta los nodos de objeto correspondientes, recopilando las instrucciones asociadas y las memorias episódicas.
3. Razonamiento y Planificación: La política del MLLM razona sobre los objetos candidatos recuperados para localizar la instancia objetivo pretendida. Luego, aprovecha la memoria episódica asociada (experiencias de búsqueda pasadas) para guiar la planificación de rutas de alto nivel y la selección de acciones de bajo nivel.

El propio agente encarnado sigue un marco de planificación jerárquica:

• Planificación de Alto Nivel: Genera una ruta aproximada (secuencia de habitaciones/puntos de referencia) basada en un grafo de escena y un razonamiento global.
• Planificación de Bajo Nivel: Selecciona acciones ejecutables (Mover, Girar, Detener) basándose en observaciones visuales egocéntricas.

3. Configuración Experimental

• Conjunto de Datos: La evaluación se basa en PinNED, un conjunto de datos de localización de instancias personalizadas en escenas de Habitat-Matterport3D (HM3D).
• Escenarios: Se diseñaron tres escenarios de evaluación:
  • Composicional: Requiere combinar evidencia de múltiples episodios previos (Único vs. Conjunto).
  • Distractor: Requiere distinguir el objetivo de objetos de la misma categoría que son semántica o visualmente similares.
  • Temporal: Prueba la capacidad para manejar contextos en evolución o cambios en las asociaciones de objetos a lo largo del tiempo.
• Líneas Base:
  • Sin previo: Utiliza solo la instrucción actual y las observaciones.
  • Interacción en bruto: Proporciona al agente 15 registros de interacciones previas en bruto muestreados aleatoriamente.
• Backbones: Evaluado en múltiples MLLM, incluidos modelos de código abierto (Qwen3-VL, Qwen2.5-VL) y modelos propietarios (GPT-5, GPT-4o-mini, Gemini-2.5-Flash).

4. Resultados Clave

• Mejoras de Rendimiento: POLAR supera consistentemente tanto a las líneas base sin previo como a la de interacción en bruto en todos los backbones de MLLM y escenarios.
  • La línea base sin previo a menudo falla, confirmando que las observaciones actuales por sí solas son insuficientes para la localización personalizada.
  • La línea base de interacción en bruto muestra mejoras inconsistentes; en algunos casos, el contexto no estructurado introduce ruido que obstaculiza el rendimiento.
• Localización de Instancias: POLAR reduce significativamente los errores de Coincidencia de Categoría (CM) (llegar a la categoría correcta pero a la instancia incorrecta), demostrando una capacidad superior para resolver la intención del usuario entre candidatos de la misma categoría.
• Análisis del Diseño de Memoria:
  • Memoria Semántica: Proporciona una recuperación de mayor granularidad en comparación con la recuperación dispersa o densa sobre interacciones en bruto, aislando la información relevante para la solicitud de manera más efectiva.
  • Memoria Episódica: Los resúmenes estructurados de trayectorias pasadas producen tasas de éxito más altas que las trayectorias en bruto o la recuperación simple solo de instrucciones, demostrando que extraer experiencia relevante para la planificación es crítico.
• Robustez Temporal: POLAR tiene un rendimiento notablemente mejor en los escenarios Conjunto y Temporal, lo que indica que su grafo centrado en objetos conecta eficazmente información distribuida y maneja la evolución del contexto.

5. Significado y Afirmaciones

El artículo afirma que la personalización efectiva a largo plazo para agentes encarnados requiere más que simplemente extender las ventanas de contexto o almacenar registros de interacción en bruto. La contribución central es la demostración de que estructurar la memoria es esencial.

Específicamente, los autores afirman que:

1. La Memoria Estructurada es Necesaria: Convertir interacciones previas no estructuradas en memoria relevante para la tarea (semántica y episódica) es crucial para una localización de instancias y una planificación fiable.
2. Roles Duales de la Memoria: La asistencia personalizada requiere tipos de memoria distintos: memoria semántica para la recuperación de atributos específicos del usuario de granularidad fina y memoria episódica para reutilizar experiencias de búsqueda pasadas y guiar la planificación futura.
3. Resolución de Contexto Implícito: Los agentes deben ser capaces de interpretar la intención implícita del usuario acumulada con el tiempo, una capacidad que los MLLM actuales carecen sin la ampliación de memoria estructurada.

El trabajo concluye que POLAR cierra la brecha entre el seguimiento de instrucciones genéricas y la verdadera asistencia personalizada al organizar el historial multimodal en un grafo de conocimiento recuperable y amigable para el razonamiento.