Resumo Técnico: Navegação de Objetos Centrada no Usuário (UcON)

Declaração do Problema

Os benchmarks existentes de Navegação de Objetos (ON) baseiam-se principalmente em priores de cena gerais, assumindo que o posicionamento de objetos adere a normas de senso comum (ex: camas ficam em quartos, sofás perto de TVs). No entanto, em ambientes domésticos do mundo real, o posicionamento de objetos é frequentemente ditado por hábitos individuais em vez de regras universais. Por exemplo, um usuário pode ter o hábito de deixar um livro no sofá em vez de no escritório. Essa discrepância limita a adaptabilidade dos agentes de navegação em configurações personalizadas. Os métodos atuais de estado da arte (SOTA), que frequentemente utilizam Grandes Modelos de Linguagem (LLMs) para raciocínio baseado em priores de cena, falham em considerar esses posicionamentos específicos e baseados em hábitos, levando a uma degradação significativa de desempenho quando os objetos não estão localizados onde o senso comum dita.

Metodologia

1. O Benchmark UcON

Os autores introduzem o User-centric Object Navigation (UcON), um novo benchmark projetado para avaliar e melhorar a busca de objetos em ambientes personalizados.

• Escala e Escopo: O UcON abrange 489 categorias distintas de objetos e incorpora aproximadamente 22.600 hábitos de usuários. É o primeiro benchmark a formalizar e avaliar explicitamente a navegação de objetos condicionada por hábitos nesta escala.
• Geração de Tarefas: O benchmark utiliza um pipeline de três etapas usando o GPT-4 para gerar hábitos de usuários em linguagem natural e os correspondentes posicionamentos de objetos. Esses posicionamentos são validados quanto à plausibilidade física e consistência semântica dentro do simulador Omnigibson.
• Ambiente: Cada episódio começa com uma "cena moldada pelo hábito", onde objetos específicos são reposicionados de acordo com uma Base de Conhecimento de Hábitos do Usuário (UHKB) amostrada. O agente deve navegar até um objeto alvo usando um conjunto de ações (Mover, Rotacionar, Olhar, Abrir, Concluído) dentro de um limite de 300 passos.
• Desafio: A dificuldade central reside em resolver conflitos espaciais onde múltiplos hábitos podem existir, e o agente deve usar evidências de exploração para priorizar a localização correta impulsionada pelo hábito sobre os priores de cena gerais.

2. Módulo de Recuperação de Hábitos (HRM)

Para abordar as limitações dos LLMs no processamento de prompts longos contendo centenas de hábitos, os autores propõem um Módulo de Recuperação de Hábitos (HRM).

• Mecanismo: Inspirado em Geração Aumentada por Recuperação (RAG), o HRM utiliza o modelo BGE-M3 para calcular a similaridade entre um template de consulta (ex: "Recuperar hábitos sobre {ObjetoAlvo}") e os hábitos armazenados na UHKB.
• Função: Ele seleciona os $p$ hábitos mais relevantes para incluir no prompt para o modelo de fundação. Isso simplifica o processo de raciocínio ao filtrar informações irrelevantes e focar o LLM em comportamentos do usuário relevantes para a tarefa.

3. Configuração Experimental

• Simulações: Realizadas em 22 cenas no Omnigibson.
• Validação no Mundo Real: Experimentos foram realizados em um robô Unitree GO2 Edu equipado com uma câmera RGB-D Astra Pro Plus, rodando em hardware de nível de consumo (workstation RTX 3090).
• Baselines: O estudo avalia métodos SOTA incluindo PixelNav, LGX, L3MVN, VTN e ZSON. Esses métodos foram modificados para aceitar hábitos de usuário como entrada, com alguns componentes (como detectores de objetos) substituídos pelo ground truth para estabelecer limites superiores (upper bounds).

Principais Resultados

• Degradação de Desempenho do SOTA: Os métodos SOTA atuais exibem quedas substanciais de desempenho no benchmark UcON em comparação com os benchmarks tradicionais de ON. Métodos de ponta a ponta (VTN, ZSON) e abordagens baseadas em modelos de fundação (PixelNav, LGX) lutam porque seu raciocínio é fundamentado no senso comum, que é violado pelo posicionamento de objetos baseado em hábitos.
• Benefício dos Hábitos do Usuário: A integração de hábitos de usuário melhora significavelmente a Taxa de Sucesso (SR) e o Sucesso ponderado pelo Comprimento do Caminho (SPL) para a maioria dos métodos. Por exemplo, o método LGX com GPT-4 viu seu SR aumentar de 25,1% (Sem Hábitos) para 27,8% (Hábitos Completos) e 30,6% (Hábitos Recuperados).
• Eficácia do HRM: O Módulo de Recuperação de Hábitos proposto supera até mesmo a configuração de hábito "Ground Truth" (onde apenas o hábito direto para o objeto alvo é fornecido). Os autores hipotetizam que isso ocorre porque o mecanismo de recuperação traz à tona hábitos indiretamente relacionados (ex: hábitos sobre uma "mesa de café da manhã" ao procurar por um "saquinho de chá") que fornecem marcos contextuais cruciais, permitindo estratégias de exploração mais eficientes.
• Viabilidade no Mundo Real: Estudos de caso em ambientes reais pequenos e grandes demonstram que agentes que utilizam hábitos recuperados conseguem localizar objetos obscurecidos da visão imediata ao raciocinar sobre o comportamento do usuário (ex: procurando perto de um sofá porque o usuário lê lá), enquanto agentes sem hábitos falham ou buscam sem rumo.

Significância e Alegações

O artigo afirma que o UcON é o primeiro framework de avaliação abrangente para navegação integrada a hábitos, combinando de forma única uma ampla gama de categorias de objetos com padrões comportamentais personalizados.

Os autores enfatizam que:

1. Hábitos de usuário são um sinal crítico: Agentes de serviço doméstico eficazes devem não apenas reconhecer, mas também alavancar os hábitos do usuário para facilitar a busca eficiente de objetos, especialmente quando os objetos desafiam o posicionamento do senso comum.
2. Limitações de raciocínio: Confiar apenas em LLMs para raciocinar sobre longas listas de hábitos é insuficiente; mecanismos de recuperação são necessários para aumentar a precisão da inferência, particularmente para modelos menores.
3. Direções Futuras: Embora o trabalho foque na utilização de hábitos (raciocinar sobre um conjunto de hábitos conhecido), ele identifica a aquisição de hábitos (aprender hábitos através da observação de longo prazo) e a recuperação consciente do contexto como direções importantes para pesquisas futuras.

O artigo conclui que integrar hábitos de usuário e utilizar módulos de recuperação são passos essenciais para criar agentes incorporados (embodied agents) robustos e personalizados, capazes de servir humanos em ambientes domésticos dinâmicos e do mundo real.