Memory-Augmented Vision-Language Agents for Persistent and Semantically Consistent Object Captioning

1. O Problema

Os Modelos Visão-Linguagem (VLMs) modernos, como BLIP-2, Qwen-VL e LLaVA, alcançaram desempenho de ponta na descrição de imagens estáticas. No entanto, quando aplicados a agentes corporificados (embodied agents) que navegam em ambientes 3D, eles enfrentam limitações críticas:

• Inconsistência Semântica: O mesmo objeto físico é descrito de maneiras contraditórias ou inconsistentes dependendo do ponto de vista, distância ou oclusão (ex: um sofá pode ser descrito como "cama" em um ângulo e "sofá" em outro).
• Falta de Permanência do Objeto: Os modelos tratam cada entrada visual como independente, sem manter uma identidade persistente do objeto ao longo do tempo.
• Desacoplamento de Tarefas: Métodos anteriores tentam resolver isso agregando descrições offline ou usando pipelines multi-estágio que separam a exploração, a associação de dados e o aprendizado de legendas. Isso impede que o agente ajuste ativamente sua navegação para resolver ambiguidades perceptivas em tempo real.

2. Metodologia: EPOS-VLM

Os autores propõem o EPOS-VLM (Embodied Persistent Object Semantics), um agente unificado de Visão-Linguagem-Ação que opera dentro de um único framework autoregressivo.

Arquitetura e Componentes Principais:

• Memória Episódica Estruturada: O agente mantém uma memória episódica que armazena, para cada objeto observado, um identificador persistente (oid), sua posição 3D estimada e um histórico de legendas geradas anteriormente.
• Tokenização da Memória: A memória é serializada em uma representação textual estruturada (usando tokens especiais como [OBJ-ID], [POS], [CAP-HISTORY]) e injetada diretamente no contexto de linguagem do modelo VLM pré-treinado. Isso permite que o modelo raciocine sobre histórias de objetos de longo prazo sem modificar a arquitetura base.
• Saída Unificada Autoregressiva: O modelo processa a observação RGB atual, um mapa explorado de visão superior e a memória episódica anterior para gerar uma sequência de saída que inclui simultaneamente:
  1. Associação de Dados: Tokens [MATCH] que vinculam detecções temporárias atuais a IDs persistentes na memória ou tokens [NEW_ID] para novos objetos.
  2. Legendas de Nível de Objeto: Descrições consistentes que agregam informações de múltiplas visualizações.
  3. Ação de Navegação: Decisões de movimento (ex: move_forward, turn_left) para coletar informações mais informativas.

Estratégia de Treinamento (Auto-supervisionado):

• Geração de Pseudo-Legendas (3D-CPS): Para supervisionar o treinamento, os autores coletam dados em ambientes 3D fotorealistas. Um método chamado 3D-Aware Consistent Pseudo-Captioner (3D-CPS) agrega legendas de múltiplas visualizações de um mesmo objeto. Ele utiliza a frequência de atributos descritos e recortes de imagem geometricamente selecionados para filtrar ruídos e inconsistências, gerando uma "verdade fundamental" (pseudo-legenda) que é invariante ao ponto de vista.
• Política de Exploração: O agente é treinado para navegar ativamente em direção a regiões de alta "desacordo" (disagreement) nas legendas, revisitando objetos para refinar sua representação semântica.

3. Principais Contribuições

1. Modelo Unificado: Um modelo de Visão-Linguagem-Ação que aprende conjuntamente associação de dados, legendagem de objetos e seleção de ações, eliminando a necessidade de pipelines desconectados.
2. Tokenização de Memória Episódica: Uma técnica inovadora para incorporar memória de longo prazo diretamente na arquitetura autoregressiva de um VLM, permitindo raciocínio sobre a história de objetos.
3. Dataset e Benchmark: Criação de um dataset de legendagem corporificada com pseudo-legendas e um conjunto de testes manualmente anotado para avaliar a consistência semântica e a associação de objetos.

4. Resultados Experimentais

O modelo foi avaliado em ambientes simulados (Habitat com HM3D e Gibson) e comparado com VLMs de ponta (Qwen, BLIP-2, InternVL) e métodos anteriores de agregação (IC3, ECO-score, LD-CPS).

• Precisão de Legenda: O EPOS-VLM superou todos os VLMs off-the-shelf e pipelines multi-estágio. Houve um aumento de +11.86% nas pontuações padrão de legenda (ex: SPICE) e +7.39% na auto-similaridade da legenda (consistência) em comparação com a linha de base.
• Consistência Semântica: O modelo alcançou a maior similaridade de cosseno (Mean CS) entre legendas do mesmo objeto em diferentes pontos de vista (89.37 vs 81.98 do método anterior) e a menor dispersão (IQR), indicando descrições muito mais estáveis.
• Associação de Dados e Escalabilidade:
  • A precisão na associação de objetos foi comparável ou superior a métodos baseados em nuvem de pontos densos.
  • Eficiência Computacional: Enquanto métodos baseados em nuvem de pontos crescem linearmente em tempo de inferência e memória (chegando a 1 GB), o EPOS-VLM mantém um tempo de inferência constante (0.7s) e uso de memória extremamente baixo (<10 kB), graças à representação esparsa baseada em tokens.
• Generalização: O modelo treinado em HM3D generalizou bem para o conjunto de dados Gibson (diferente em layout e aparência), mantendo a consistência semântica.
• Impacto da Política de Ação: Experimentos mostraram que a política de exploração do EPOS-VLM (que visa resolver ambiguidades) é crucial. Políticas aleatórias ou baseadas apenas em cobertura geométrica resultaram em consistência significativamente menor.

5. Significado e Conclusão

O trabalho demonstra que a consistência semântica em agentes corporificados não é uma propriedade inerente da entrada visual, mas sim um resultado da memória e da exploração ativa.

Ao integrar a memória episódica diretamente no processo de geração de linguagem e ação, o EPOS-VLM permite que agentes construam representações de objetos robustas e persistentes ao longo do tempo. Isso é fundamental para aplicações de robótica e IA que exigem raciocínio de longo prazo, mapeamento semântico e tomada de decisão baseada em linguagem em ambientes dinâmicos. A abordagem também resolve o gargalo de escalabilidade, provando que representações textuais esparsas de memória são suficientes para tarefas complexas de associação de objetos, dispensando representações geométricas densas e custosas.