🤖 AI

Personalizing Embodied Multimodal Large Language Model Agents over Long-term User Interactions

Este artigo apresenta o POLAR, um framework multimodal aprimorado com memória que organiza interações de longo prazo do usuário em um grafo de conhecimento para permitir que agentes incorporados recuperem efetivamente contexto personalizado para melhorar a execução de tarefas e o raciocínio ao longo do tempo.

Autores originais: Jeongeun Lee, Chanyoung Park, Dongha Lee

Publicado 2026-05-27

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jeongeun Lee, Chanyoung Park, Dongha Lee

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um mordomo robô muito inteligente. Este robô é ótimo em seguir instruções como: "Vá buscar a xícara vermelha" ou "Encontre os sapatos". Ele consegue ver o mundo e compreender a linguagem. Mas eis o problema: no mundo real, as pessoas nem sempre falam em termos claros e técnicos.

Se você pedir ao seu robô: "Traga-me meus sapatos", e você tiver três pares diferentes de sapatos em casa, o robô ficará travado. Ele sabe o que é um "sapato", mas não sabe qual par você quer. Talvez você sempre use as tênis azuis quando chove, ou os saltos altos para suas reuniões de terça-feira. Sem conhecer seu histórico pessoal, o robô apenas está chutando.

Este artigo apresenta um novo sistema chamado POLAR para resolver esse problema. Pense no POLAR como dar ao robô um diário especial e organizado que o ajuda a lembrar seus hábitos e preferências específicos ao longo de um longo período.

Veja como o POLAR funciona, dividido em partes simples:

1. O Problema: A Memória Curta do Robô

Robôs atuais são como pessoas com atenção muito curta. Se você fizer uma pergunta baseada em algo que disse semanas atrás, eles frequentemente esquecem os detalhes. Podem lembrar da ideia geral ("Ah, você gosta de sapatos"), mas não conseguem lembrar da história específica ("Você comprou aquelas tênis azuis em um dia de neve no inverno passado"). Como não conseguem conectar os pontos, frequentemente pegam o item errado.

2. A Solução: O "Diário Inteligente" do POLAR

O POLAR não salva apenas uma gravação de vídeo de cada vez que o robô se moveu (o que seria uma pilha bagunçada e desorganizada de dados). Em vez disso, ele organiza seu histórico em um grafo de memória estruturado com dois tipos específicos de anotações:

Anotações de "Quem e O Que" (Memória Semântica):
Imagine um cartão para cada objeto em sua casa. No cartão das suas "tênis azuis", o robô anota fatos específicos: "Compradas no inverno passado", "Usadas em dias de neve", "Usadas para corridas matinais". São fatos curtos e claros sobre você e sua relação com aquele objeto.
Anotações de "Como Eu Encontrei" (Memória Episódica):
Isso é como um diário de viagem. Ele lembra das viagens passadas do robô. Por exemplo: "Da última vez que procurei por essas tênis, verifiquei a sala de estar primeiro, mas elas não estavam lá. Eu as encontrei na garagem." Isso ajuda o robô a saber onde procurar na próxima vez, evitando que ele perca tempo em salas erradas.

3. Como Funciona na Vida Real

Quando você dá um comando vago como: "Traga-me meus sapatos de dia de neve", eis o que o POLAR faz:

Lê as Pistas: Examina seu novo pedido e pesquisa em seu diário organizado.
Encontra a Correspondência: Vê a anotação no cartão das "tênis azuis" que diz "Usadas em dias de neve". Percebe: "Ah, o usuário quer estes sapatos, não os vermelhos!"
Planeja a Rota: Verifica seu diário de viagem e lembra: "Da última vez, eu as encontrei na garagem, não no quarto." Assim, pula o quarto e vai direto para a garagem.

4. O Que os Experimentos Mostraram

Os pesquisadores testaram este sistema com diferentes "cérebros" de robô (modelos de IA) em uma casa simulada. Eles compararam três abordagens:

O Robô "Sem Memória": Olha apenas para o que vê agora. (Falha frequentemente porque não sabe qual sapato você quer).
O Robô "Dados Brutos": Tenta ler todos os seus logs de vídeo e conversas passadas de uma vez. (Fica confuso com excesso de informações bagunçadas).
O Robô POLAR: Usa o diário organizado.

Os Resultados:
O robô POLAR foi muito melhor em encontrar o exato item que você queria, especialmente quando havia muitos itens semelhantes (como três pares de sapatos) ou quando seu pedido era muito vago. Ele também descobriu o caminho mais rápido até o item porque lembrou onde havia procurado antes.

A Grande Conclusão

O artigo conclui que, para um robô ser verdadeiramente útil a longo prazo, não basta ter uma "memória longa" (armazenar tudo). Ele precisa de uma memória inteligente (organizar informações em fatos e experiências úteis). O POLAR transforma interações passadas bagunçadas em um guia claro, permitindo que o robô entenda não apenas o que você está pedindo, mas quem você é ao pedir isso.

Resumo Técnico: POLAR – Personalização de Agentes Multimodais Corporificados de Grandes Modelos de Linguagem sobre Interações de Longo Prazo com o Usuário

1. Declaração do Problema

Agentes corporificados baseados em Grandes Modelos de Linguagem Multimodal (MLLM) demonstraram potencial na resolução de tarefas físicas complexas. No entanto, as abordagens existentes focam principalmente em instruções genéricas e reconhecimento de objetos em nível de categoria. Em cenários do mundo real, a assistência personalizada frequentemente exige ancoragem em nível de instância baseada em contexto implícito acumulado ao longo de interações de longo prazo.

Quando um usuário emite um pedido como "traga-me meus sapatos" em uma casa com vários pares, o agente deve determinar a instância específica pretendida com base no histórico anterior (por exemplo, "os sapatos que usei na minha última corrida"). Agentes atuais baseados em MLLM enfrentam dois desafios principais nesse cenário:

Insuficiência das Entradas Atuais: Confiar apenas na instrução atual e na observação visual é frequentemente inadequado para resolver referências personalizadas e ambíguas.
Ineficácia do Contexto Bruto: Embora interações anteriores contenham informações necessárias específicas do usuário, os registros brutos de interação são não estruturados, ruidosos e difíceis para MLLMs raciocinarem diretamente, levando frequentemente à degradação do desempenho em configurações de contexto longo.

2. Metodologia: O Framework POLAR

Os autores propõem o POLAR (Agente Personalizado de Longo Prazo com Recuperação), um framework multimodal aumentado por memória projetado para organizar interações anteriores em memória estruturada e relevante para a tarefa. O POLAR opera em duas etapas distintas: Memorização e Utilização.

A. Representação de Memória (Grafo de Conhecimento Multimodal)
O POLAR estrutura a memória como um grafo $M = (V, E)$ contendo três tipos de nós:

Nós de Objeto: Identidades únicas para objetos (por exemplo, ID do Objeto).
Nós de Memória Semântica: Estes capturam contexto personalizado associado a um objeto. Em vez de armazenar registros brutos, o POLAR reformula interações em declarações textuais concisas e de alta granularidade que descrevem atributos únicos específicos do usuário (por exemplo, "usado em dias de neve"). Isso previne o emaranhamento de informações e auxilia na precisão da recuperação.
Nós de Memória Episódica: Estes armazenam a trajetória do agente, a instrução bruta do usuário e imagens de referência. Crucialmente, trajetórias brutas são convertidas em resumos textuais compactos que capturam experiência relevante para o planejamento (por exemplo, status de sucesso/fracasso, salas improdutivas, observações informativas) em vez de preservar cada passo de baixo nível.

As arestas no grafo são carimbadas com data e hora para suportar atualizações temporais e recuperação consciente da recência. Se uma nova interação corresponder a um nó de objeto ou semântico existente, o grafo é atualizado incrementalmente em vez de duplicar entradas.

B. Utilização e Planejamento
Durante a execução da tarefa, o POLAR recupera memórias relevantes para guiar o agente:

Recuperação: Dada uma instrução atual $I_k$ , o sistema recupera os $k$ nós de memória semântica superiores usando similaridade de incorporação (via codificador BGE-M3).
Ancoragem: O agente percorre as conexões do grafo a partir dos nós semânticos recuperados até os nós de objeto correspondentes, reunindo instruções associadas e memórias episódicas.
Raciocínio e Planejamento: A política do MLLM raciocina sobre os objetos candidatos recuperados para ancorar a instância-alvo pretendida. Em seguida, aproveita a memória episódica associada (experiências de busca passadas) para guiar o planejamento de caminho de alto nível e a seleção de ações de baixo nível.

O próprio agente corporificado segue um framework de planejamento hierárquico:

Planejamento de Alto Nível: Gera um caminho grosseiro (sequência de salas/pontos de passagem) com base em um grafo de cena e raciocínio global.
Planejamento de Baixo Nível: Seleciona ações executáveis (Mover, Virar, Parar) com base em observações visuais egocêntricas.

3. Configuração Experimental

Conjunto de Dados: A avaliação é construída sobre o PinNED, um conjunto de dados de ancoragem de instância personalizada em cenas Habitat-Matterport3D (HM3D).
Cenários: Três cenários de avaliação foram projetados:
- Composicional: Requer combinar evidências de múltiplos episódios anteriores (Único vs. Conjunto).
- Distrator: Requer distinguir o alvo de objetos semanticamente/visualmente semelhantes da mesma categoria.
- Temporal: Testa a capacidade de lidar com contextos em evolução ou mudanças nas associações de objetos ao longo do tempo.
Linhas de Base:
- Sem-priori: Usa apenas instrução atual e observações.
- Interação-bruta: Fornece ao agente 15 registros brutos de interação anteriores amostrados aleatoriamente.
Backbones: Avaliado em múltiplos MLLMs, incluindo modelos de código aberto (Qwen3-VL, Qwen2.5-VL) e modelos proprietários (GPT-5, GPT-4o-mini, Gemini-2.5-Flash).

4. Resultados Chave

Ganhos de Desempenho: O POLAR supera consistentemente as linhas de base sem-priori e interação-bruta em todos os backbones de MLLM e cenários.
- A linha de base sem-priori frequentemente falha, confirmando que observações atuais sozinhas são insuficientes para ancoragem personalizada.
- A linha de base interação-bruta mostra melhorias inconsistentes; em alguns casos, o contexto não estruturado introduz ruído que prejudica o desempenho.
Ancoragem de Instância: O POLAR reduz significativamente os erros de Correspondência de Categoria (CM) (chegar à categoria correta mas à instância errada), demonstrando capacidade superior de resolver a intenção do usuário entre candidatos da mesma categoria.
Análise de Design de Memória:
- Memória Semântica: Fornece recuperação de granularidade mais fina em comparação com recuperação esparsa ou densa sobre interações brutas, isolando informações relevantes para a solicitação de forma mais eficaz.
- Memória Episódica: Resumos estruturados de trajetórias passadas produzem taxas de sucesso mais altas do que trajetórias brutas ou recuperação simples apenas por instrução, provando que extrair experiência relevante para o planejamento é crítico.
Robustez Temporal: O POLAR desempenha notavelmente melhor nos cenários Conjunto e Temporal, indicando que seu grafo centrado em objetos conecta efetivamente informações distribuídas e lida com a evolução do contexto.

5. Significado e Alegações

O artigo alega que a personalização eficaz de longo prazo para agentes corporificados requer mais do que simplesmente estender janelas de contexto ou armazenar registros brutos de interação. A contribuição central é a demonstração de que estruturar a memória é essencial.

Especificamente, os autores afirmam que:

Memória Estruturada é Necessária: Converter interações anteriores não estruturadas em memória relevante para a tarefa (semântica e episódica) é crucial para ancoragem de instância e planejamento confiáveis.
Papéis Duplos de Memória: A assistência personalizada requer tipos distintos de memória: memória semântica para recuperação de atributos específicos do usuário de alta granularidade e memória episódica para reutilizar experiências de busca passadas para guiar o planejamento futuro.
Resolução de Contexto Implícito: Agentes devem ser capazes de interpretar a intenção implícita do usuário acumulada ao longo do tempo, uma capacidade que os MLLMs atuais carecem sem aumento de memória estruturada.

O trabalho conclui que o POLAR preenche a lacuna entre o seguimento de instruções genéricas e a verdadeira assistência personalizada, organizando o histórico multimodal em um grafo de conhecimento recuperável e amigável ao raciocínio.