EgoSelf: From Memory to Personalized Egocentric Assistant

1. El Problema

Los asistentes egocéntricos (basados en datos de visión en primera persona, como los de gafas AR/VR) tienen el potencial de ofrecer servicios altamente personalizados al capturar el comportamiento y el contexto del usuario. Sin embargo, existen dos desafíos fundamentales que dificultan la creación de asistentes verdaderamente efectivos:

1. Organización de datos no estructurados: Los flujos de video egocéntrico son continuos, extremadamente largos y no estructurados. La información relevante está enterrada en una gran cantidad de contenido redundante. Los modelos actuales de lenguaje multimodal (MLLM) de largo contexto suelen tratar todo el contenido de manera uniforme, careciendo de una modelización estructurada de las interacciones y sus relaciones.
2. De la recuperación factual a la personalización real: Incluso si se recupera información histórica precisa (recuperación de hechos), existe una brecha entre "recordar qué pasó" y "entender al usuario". Anticipar preferencias o predecir acciones futuras requiere internalizar patrones de comportamiento específicos del usuario, algo que los enfoques basados puramente en recuperación aumentada (RAG) no logran a escala, ya que sufren degradación de precisión cuando el historial crece.

2. Metodología: EgoSelf

El marco EgoSelf propone un sistema que construye una comprensión personalizada progresiva a partir de experiencias en primera persona, inspirándose en el Sistema de Memoria del Yo (SMS) de Conway. La arquitectura se compone de tres pilares principales:

A. Memoria de Interacción Basada en Grafos

En lugar de almacenar videos crudos, EgoSelf segmenta el flujo continuo en eventos de interacción discretos y construye un grafo heterogéneo ($G = (V, E)$):

• Nodos:
  • Nodos de Evento: Capturan experiencias episódicas (descripción de actividad, objetos interactuados, contenido de voz, ubicación y timestamp).
  • Nodos de Entidad: Representan conocimiento semántico persistente sobre objetos y personas, actuando como anclajes estables a través de eventos dispares.
• Aristas (Conexiones):
  • Evento-Evento: Conectan eventos basándose en causalidad (dependencias lógicas), co-actividad (parte de la misma actividad de alto nivel) y relaciones temporales.
  • Evento-Entidad: Vinculan los eventos con los objetos y personas participantes.
• Perfil de Usuario: Se deriva del grafo mediante la agrupación y resumen de comportamientos recurrentes. Este perfil compacto captura hábitos a largo plazo y preferencias estables, sirviendo como contexto de alto nivel para la generación de respuestas.

B. Recuperación de Memoria

Para responder a una consulta, el sistema utiliza un proceso de tres etapas:

1. Búsqueda por Similitud: Calcula la similitud de embeddings entre la consulta y los nodos del grafo.
2. Filtrado Restringido por Grafos: Mantiene solo los eventos que están conectados a los nodos de entidad seleccionados, eliminando coincidencias semánticas irrelevantes que carecen de anclaje en la entidad correcta.
3. Expansión de Contexto: Enrich el conjunto filtrado incorporando eventos vecinos (multihop) para proporcionar un contexto temporal y relacional completo.

C. Tarea de Aprendizaje de Hábitos (Habit Learning)

Para internalizar patrones de comportamiento y pasar de la recuperación a la predicción, EgoSelf introduce una tarea de aprendizaje auto-supervisado:

• Formulación: Dada una cadena de eventos históricos ($V_{\le t}$), el modelo debe predecir un resumen de los eventos futuros ($V_{> t}$).
• Generación de Datos: Se utiliza un LLM de razonamiento para identificar puntos de partición semánticamente coherentes en el grafo y dividir el video en "pasado" y "futuro", creando pares de entrenamiento.
• Objetivo: Este entrenamiento fuerza al modelo a aprender regularidades conductuales individuales y asociaciones causales latentes, mejorando su capacidad para anticipar las acciones del usuario.

3. Contribuciones Clave

1. Marco EgoSelf: Un sistema novedoso que organiza observaciones a largo plazo en un grafo de interacción heterogéneo con nodos de entidad persistentes y perfiles de usuario compactos.
2. Aprendizaje de Hábitos Auto-supervisado: Diseño de una tarea de predicción de interacciones futuras basada en el grafo histórico para internalizar patrones de comportamiento específicos del usuario.
3. Rendimiento Estatal del Arte (SOTA): Demostración experimental de que EgoSelf supera a los modelos baselines en diversas tareas de personalización egocéntrica.

4. Resultados Experimentales

El sistema se evaluó en el benchmark EgoLifeQA, que incluye datos multimodales de siete días de actividades diarias de seis participantes.

• Rendimiento General: EgoSelf logró el mejor promedio en el benchmark, superando a modelos fuertes como GPT-4o, LLaVA-OneVision y EgoGPT. Destacó especialmente en tareas de HabitInsight (comprensión de hábitos) y EventRecall (recuerdo de eventos temporales).
• Longitud del Historial: A diferencia de otros métodos que degradan su rendimiento a medida que aumenta la longitud del historial (>24 horas), EgoSelf mantuvo un rendimiento estable y superior tanto en consultas de corto como de largo alcance.
• Recuperación: En métricas de Hit@k, EgoSelf mostró una tasa de acierto significativamente más alta y estable en comparación con EgoRAG a lo largo de 7 días, evitando la degradación continua observada en los baselines.
• Análisis Cualitativo: Los casos de uso muestran que EgoSelf recupera eventos estructuralmente conectados y filtra el ruido, mientras que los métodos basados en recuperación simple a menudo seleccionan eventos aislados e irrelevantes, llevando a respuestas incorrectas.

5. Significado e Impacto

El trabajo de EgoSelf es significativo porque cierra la brecha entre la recuperación de información y la comprensión del usuario. Al modelar explícitamente las relaciones causales y temporales entre eventos y entidades, y al entrenar al modelo para predecir comportamientos futuros, el sistema logra una personalización genuina.

Esto permite que los asistentes egocéntricos no solo respondan a preguntas factuales ("¿dónde dejé mis llaves?"), sino que anticipen necesidades basadas en hábitos ("¿qué te gustaría comer hoy basado en tu rutina?"). El enfoque de grafos estructurados ofrece una solución escalable y robusta para la gestión de memoria a largo plazo en la interacción humano-IA, sentando las bases para asistentes personales verdaderamente adaptativos y conscientes del contexto.