EgoSelf: From Memory to Personalized Egocentric Assistant

1. O Problema

Os assistentes egocêntricos (baseados em dados de primeira pessoa, como óculos de AR/VR) têm o potencial de oferecer serviços altamente personalizados, entendendo hábitos, preferências e rotinas únicas de cada usuário. No entanto, existem dois desafios fundamentais não resolvidos pela literatura atual:

• Organização de Dados Não Estruturados: Os fluxos de vídeo egocêntricos são contínuos, extremamente longos e não estruturados. Modelos de linguagem multimodal (MLLMs) existentes tratam todo o conteúdo de forma uniforme, sem modelar estruturalmente as interações ou suas relações, o que leva a uma degradação na precisão da recuperação de informações à medida que o histórico do usuário cresce (problema de "ruído" em métodos baseados apenas em similaridade semântica).
• Memória vs. Personalização Real: Existe uma lacuna entre simplesmente "lembrar" fatos (recuperação de itens perdidos) e "entender" o usuário (antecipar preferências e prever ações futuras). Trabalhos anteriores focam em reconhecimento de ações de curto prazo ou em segmentos isolados, falhando em internalizar padrões comportamentais de longo prazo necessários para uma assistência genuinamente personalizada.

2. Metodologia: O Framework EgoSelf

O EgoSelf é proposto como um framework que constrói uma compreensão personalizada progressiva a partir de experiências de primeira pessoa, inspirado no Sistema de Memória do Self (SMS) de Conway. A arquitetura divide-se em três componentes principais:

A. Memória de Interação Baseada em Grafos

Em vez de armazenar vídeos brutos ou apenas embeddings vetoriais, o sistema constrói um grafo heterogêneo ($G = (V, E)$) que organiza a memória:

• Nós:
  • Nós de Evento: Capturam episódios discretos de interação (ex: "comprar batatas fritas"), contendo legendas, objetos, fala, localização e timestamp.
  • Nós de Entidade: Representam conhecimento semântico persistente sobre objetos e pessoas (ex: "iPhone", "Mãe"), servindo como âncoras estáveis que conectam eventos dispersos ao longo do tempo.
• Arestas:
  • Evento-Evento: Conectam eventos com base em causalidade, co-atividade (pertencem à mesma atividade de alto nível) e temporalidade.
  • Evento-Entidade: Ligam eventos aos objetos/pessoas envolvidos.
• Recuperação: O sistema utiliza uma estratégia de três etapas: (1) busca por similaridade de embeddings, (2) filtragem baseada em grafos (mantendo apenas eventos conectados às entidades relevantes) e (3) expansão de contexto (adicionando vizinhos multihop para fornecer contexto relacional completo).

B. Perfil de Usuário Compacto

Para além do grafo detalhado, o sistema gera um perfil de usuário ($P$) que resume padrões comportamentais de longo prazo.

• Agrupa registros de ações por significado semântico.
• Filtra clusters por frequência, mantendo apenas padrões estáveis e descartando comportamentos esporádicos.
• Utiliza LLMs para resumir esses padrões em descrições de alto nível (ex: "Prefere comida frita", "Rotina de ir à cantina"), servindo como prior contextual para a geração de respostas.

C. Tarefa de Aprendizado de Hábitos (Habit Learning)

Para internalizar os padrões comportamentais do usuário nos parâmetros do modelo, o EgoSelf introduz uma tarefa de aprendizado auto-supervisionado:

• Formulação: Dada uma cadeia histórica de eventos no grafo, o modelo deve prever a próxima interação ou um resumo de eventos futuros.
• Geração de Dados: Utiliza um LLM de raciocínio para identificar pontos de divisão semântica no grafo, criando pares de treinamento (histórico $\to$ futuro) e um verificador para garantir a coerência.
• Objetivo: Forçar o modelo a aprender regularidades comportamentais individuais e associações causais específicas do usuário, indo além da simples recuperação de fatos.

3. Contribuições Principais

1. Framework EgoSelf: Uma nova arquitetura para assistentes egocêntricos que organiza observações de primeira pessoa de longo prazo em um grafo de interação heterogêneo com nós de entidade persistentes e perfis de usuário compactos.
2. Aprendizado de Hábitos Auto-supervisionado: O design de uma tarefa de previsão de interações futuras baseada no grafo histórico para internalizar padrões comportamentais específicos do usuário, permitindo personalização real.
3. Desempenho State-of-the-Art: Demonstração experimental de que o sistema supera modelos baselines em tarefas de personalização, recuperação e raciocínio temporal.

4. Resultados Experimentais

O modelo foi avaliado no benchmark EgoLifeQA, que contém atividades diárias de seis participantes ao longo de sete dias, com cinco tipos de tarefas (Log de Entidade, Recordação de Evento, Insight de Hábito, Mapa de Relação e Mestre de Tarefa).

• Desempenho Geral: O EgoSelf alcançou a melhor média geral (40.6%) no benchmark, superando modelos fortes como GPT-4o (36.2%), Gemini (36.9%) e o baseline especializado EgoGPT (36.0%).
• Tarefas Específicas: Destacou-se particularmente em HabitInsight (44.3% vs 31.1% do EgoGPT) e EventRecall (42.9%), validando a eficácia da memória estruturada e do aprendizado de hábitos.
• Robustez Temporal: Em testes com diferentes comprimentos de histórico:
  • Para históricos curtos (<2h), obteve 31.3%.
  • Para históricos longos (>24h), manteve 38.8% de precisão, enquanto métodos concorrentes (como EgoRAG) sofreram degradação significativa ou instabilidade.
• Recuperação: O EgoSelf manteve uma taxa de acerto (Hit@7) estável e superior ao longo de 7 dias, enquanto o baseline (EgoRAG) apresentou degradação contínua devido à falta de modelagem relacional estruturada.

5. Significado e Impacto

O trabalho do EgoSelf representa um avanço significativo na área de visão egocêntrica e assistentes pessoais de IA.

• Mudança de Paradigma: Transita da simples recuperação de informações (RAG tradicional) para a internalização de padrões comportamentais. O sistema não apenas "busca" o que aconteceu, mas "aprende" como o usuário age.
• Escalabilidade: A estrutura de grafo com nós de entidade persistentes resolve o problema de degradação de performance em históricos longos, permitindo que o assistente mantenha consistência mesmo após dias de interação.
• Aplicabilidade Prática: A capacidade de antecipar necessidades e sugerir ações baseadas em hábitos reais (ex: sugerir pratos preferidos ou lembrar onde objetos foram deixados) torna os assistentes de realidade aumentada verdadeiramente úteis e adaptativos, aproximando a interação humano-IA de uma colaboração natural e de longo prazo.

Em suma, o EgoSelf demonstra que a combinação de memória estruturada em grafos, perfis de usuário abstratos e treinamento de previsão de hábitos é essencial para criar assistentes pessoais que compreendem e se adaptam à individualidade humana.