💻 computer science

LH-AVLN: A Benchmark for Long-Horizon Audio-Visual-Language Navigation

Este artigo apresenta o LH-AVLN, um novo benchmark para navegação audiovisual-linguística de longo horizonte que desafia agentes com missões de múltiplos objetivos em ambientes internos acusticamente ricos, e propõe o PAG-Nav, um agente livre de treinamento que aproveita efetivamente o áudio binaural para busca enquanto depende da verificação visual-semântica para a conclusão do objetivo.

Autores originais: Rufeng Chen, Yue Chang, Zili Shao, Zhaofan Zhang, Li Chen, Hechang Chen, Hui Xiong, Sihong Xie

Publicado 2026-07-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Rufeng Chen, Yue Chang, Zili Shao, Zhaofan Zhang, Li Chen, Hechang Chen, Hui Xiong, Sihong Xie

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a ser o detetive doméstico definitivo. Normalmente, quando ensinamos robôs a se moverem por uma casa, damos a eles uma missão simples: "Vá encontrar a bola vermelha". Eles olham ao redor com seus olhos de câmera, talvez lembrem onde estiveram e caminham até avistarem o objeto. Este campo da ciência é chamado de "navegação incorporada", onde o robô aprende a se mover pelo mundo real para resolver uma tarefa. Mas há um problema: a maioria desses jogos de treinamento é completamente silenciosa. O robô só consegue ver o que está diretamente à frente de sua lente. Se a bola estiver atrás de uma porta fechada ou escondida em um canto escuro, o rob o robô fica travado, cego para qualquer coisa fora de sua visão atual.

Agora, imagine dar a esse robô um superpoder: ouvidos. No mundo real, o som não viaja apenas em linha reta; ele rebate nos cantos e se infiltra pelas frestas. Um robô com bons ouvidos poderia ouvir um cachorro latindo na sala ao lado ou uma torneira pingando atrás de uma parede, dando-lhe uma pista de para onde ir mesmo quando ele ainda não consegue ver o objeto. Este artigo faz uma pergunta grande e complicada: o que acontece se combinarmos esses dois superpoderes — visão e audição — mas tornarmos a missão muito mais difícil? Em vez de encontrar apenas uma coisa, e se o robô tivesse que encontrar uma lista inteira de itens diferentes, alguns descritos por palavras, outros por imagens e outros apenas pelo nome, tudo isso enquanto os sons na casa continuam mudando conforme ele resolve o quebra-cabeça?

Os pesquisadores por trás deste estudo, liderados por Rufeng Chen e colegas da Universidade de Ciência e Tecnologia de Hong Kong e da Universidade de Jilin, construíram um novo desafio chamado LH-AVLN. Pense nisso como um videogame de alto nível e múltiplos níveis para robôs. Neste jogo, o robô é deixado em uma casa 3D e recebe uma "missão global" contendo de dois a quatro objetivos diferentes. Esses objetivos são complicados: um pode ser "encontrar o sofá" (uma categoria), outro pode ser "encontrar o sofá cinza claro ao lado das cortinas translúcidas" (uma descrição) e um terceiro pode ser "encontrar esta imagem específica de uma cama" (uma referência de imagem).

A verdadeira reviravolta, porém, é o som. Neste jogo, cada item que o robô procura faz um barulho. Mas aqui está o detalhe: os sons não são alvos fixos. À medida que o robô encontra e conclui um objetivo, o ruído desse item para. Enquanto isso, os itens que ele ainda não encontrou continuam fazendo barulho, alternando-se para serem os mais altos. Isso cria uma situação confusa. Se o robô está procurando um sofá, mas ouve uma descarga de vaso sanitário (porque ele ainda não encontrou o vaso sanitário), o som é uma distração. O robô tem que descobrir: "Esse som está me ajudando a encontrar meu alvo atual ou é uma pista falsa que me leva a uma tarefa diferente e inacabada?"

Para testar isso, os autores criaram um enorme conjunto de dados com mais de 150.000 episódios onde robôs têm que navegar por essas missões ruidosas e de múltiplos objetivos. Eles descobriram que os robôs existentes, mesmo os inteligentes que são ótimos em seguir instruções ou lembrar mapas visuais, falham terrivelmente. Quando o som se torna confuso ou a missão se prolonga, esses robôs se perdem ou desistem. Eles não conseguem distinguir entre uma pista útil e um ruído de distração.

Para mostrar o quão difícil isso é, a equipe construiu seu próprio agente robô chamado PAG-Nav. Este robô não usa um treinamento complexo para aprender; em vez disso, utiliza uma estratégia inteligente. Ele mantém um mapa mental de toda a casa, rastreando por onde passou, o que viu e de onde vêm os sons. Ele usa o som para guiar sua busca quando não consegue enxergar nada, mas se recusa a dizer "eu encontrei!" até conseguir uma visão clara e nítida do objeto para garantir que é o correto. Mesmo com essa estratégia inteligente, o robô tem sucesso em apenas cerca de 2% a 3% das missões ordenadas e de 3% a 5% das não ordenadas.

O principal achado deste artigo é que adicionar o som a missões longas e complexas torna as coisas significativamente mais difíceis, não mais fáceis, para a tecnologia atual. Os autores sugerem que, embora o som seja uma ferramenta poderosa para encontrar coisas escondidas da visão, ele se torna um pesadelo se o robô não conseguir discernir qual som pertence a qual tarefa. Eles argumentam que o futuro da navegação robótica não é apenas sobre ver melhor ou ouvir melhor, mas sobre aprender a ignorar o ruído e focar na pista certa no momento certo. O artigo conclui que ainda estamos longe de resolver esse quebra-cabeça, deixando muito espaço para futuros inventores construírem robôs que possam realmente navegar em um mundo ruidoso e de múltiplas tarefas.

Resumo Técnico: LH-AVLN

Definição do Problema

A navegação incorporada está evoluindo de episódios curtos e de objetivo único para missões de longo horizonte. No entanto, os benchmarks de longo horizonte existentes são amplamente "acusticamente silenciosos", forçando os agentes a dependerem exclusivamente de campos visuais ou de memória visual-semântica. Por outro lado, as tarefas de navegação audiovisual existentes geralmente focam em um único objetivo onde a deixa acústica é fixa para aquele objetivo específico.

LH-AVLN (Navegação Áudio-Visual-Linguística de Longo Horizonte) aborda essa lacuna introduzindo um benchmark que combina três fatores geralmente avaliados separadamente:

Especificações de Objetivos Heterogêneos: Os objetivos são definidos por categoria de objeto, descrições de linguagem natural ou imagens de referência.
Rastreamento de Progresso de Longo Horizonte: Os agentes devem completar missões que compreendem de 2 a 4 objetivos, exigindo memória persistente e rastreamento de progresso da tarefa.
Deixas Acústicas Espacializadas Persistentes: Diferente das tarefas de objetivo único, os sons no LH-AVLN estão vinculados à missão, e não a um alvo estático. Alvos não concluídos emitem alternadamente áudio binaural espacializado.

Desafio Central: A dificuldade central é o aterramento de pistas condicionado à tarefa (task-conditioned cue grounding). As pistas acústicas não são alvos fixos; são informações dependentes do progresso. Um som pode guiar a busca por um objetivo não concluído, mas, à medida que o agente completa as sub-tarefas, esse mesmo som pode se tornar irrelevante ou um distrator. O agente deve raciocinar sobre a fonte física de um som, associá-lo ao objetivo incompleto correto, suprimir pistas irrelevantes e realizar a verificação visual-semântica antes da submissão.

Metodologia

O Benchmark (LH-AVLN)

Construído sobre o SoundSpaces 2.0 utilizando cenas do Matterport3D, o LH-AVLN gera episódios com as seguintes características:

Observações: Os agentes recebem observações RGB-D egocêntricas, pose e áudio binaural.
Estrutura da Missão: Uma missão global $G = \{g_i\}_{i=1}^N$ ( $N \in \{2,3,4\}$ ) é fornecida no início. Os objetivos podem ser ordenados (sequência predefinida) ou não ordenados (o agente escolhe a ordem).
Dinâmica de Áudio: Cada instância de alvo está associada a uma fonte de som espacializada. Alvos não concluídos emitem pistas alternadamente. Uma vez que um alvo é submetido com sucesso, sua fonte sonora é desativada. A fonte sonora ativa muda ao longo do tempo, potencialmente atraindo o agente para objetivos incompletos irrelevantes.
Modalidades de Objetivo:
- Categoria: Rótulo do objeto (ex: "sofá").
- Descrição: Expressão de referência em linguagem natural (ex: "o sofá cinza claro ao lado das cortinas translúcidas").
- Imagem: Imagem de referência da instância do alvo.
- Restrição: Objetivos de descrição e imagem não incluem rótulos de categoria ou identificadores de instância, exigindo que o agente infira a semântica.

Agente de Referência: PAG-Nav

Os autores introduzem o PAG-Nav, um agente modular livre de treinamento (training-free) projetado para estabelecer uma linha de base diagnóstica. Ele opera sob o princípio de usar o áudio para busca fora da linha de visão (non-line-of-sight), reservando o pareamento visual-semântico para a verificação final.

Componentes da Arquitetura:

Percepção Condicionada ao Objetivo: Codifica objetivos heterogêneos (categoria, texto, imagem) em embeddings de consulta. Projeta observações em semântica de sala, hipóteses de objetos e pistas de localização acústica.
Mapa Semântico Temporal Uniforme: Um módulo de memória persistente ( $M_t$ $M_{t}$ ) que unifica:
- Memória de Sala ( $R_t$ ): Contexto semântico.
- Memória de Objeto ( $O_t$ ): Hipóteses de objetos persistentes e associações de objetivos.
- Memória de Áudio ( $A_t$ ): Composta por Memória de Intensidade (acumulando força acústica local para confirmação) e Memória de Direção/Bearing (armazenando observações direcionais para exploração).
Planejamento Progressivo de Estado de Objetivo: O agente alterna entre três estágios baseados no status de aterramento do objetivo ativo:
- Busca (Search): Quando não há um candidato confiável, o agente utiliza priors semânticos e o bearing acústico para explorar fronteiras.
- Aterramento de Candidato (Candidate Grounding): Quando existem candidatos plausíveis, o agente os pontua usando compatibilidade visual-semântica, priors contextuais e consistência de intensidade de áudio.
- Verificação de Instância (Instance Verification): O agente navega até uma pose específica para verificar visualmente o candidato antes de emitir uma ação de Submit. As pistas acústicas guiam a aproximação, mas a verificação visual gatilha a conclusão.

Contribuições Principais

Benchmark LH-AVLN: Um novo conjunto de avaliação para navegação de longo horizonte que integra execução de múltiplos objetivos, modalidades de objetivos heterogêneos e pistas acústicas dinâmicas e alternadas. Ele destaca o desafio de distinguir pistas acústicas relevantes de distratores conforme os estados da missão mudam.
Linha de Base Diagnóstica (PAG-Nav): Um agente livre de treinamento que modela explicitamente a separação entre a busca acústica e a verificação visual, demonstrando que a memória cross-modal persistente é essencial para essas tarefas.
Análise Empírica: Uma avaliação abrangente mostrando que os agentes de estado da arte atuais (visão-linguagem, baseados em memória e áudio-visuais) enfrentam dificuldades significativas com as missões completas do LH-AVLN, revelando modos de falha específicos em rejeição de distratores e planejamento de longo horizonte.

Resultados Experimentais

Os experimentos foram conduzidos tanto em configurações de missão ordenada quanto não ordenada com 2 a 4 objetivos.

Desempenho da Linha de Base: Agentes de visão-linguagem existentes (ex: MTU3D, 3D-Mem) alcançaram taxas de sucesso de tarefa completa muito baixas (ex: ~1,7% de SR em configurações ordenadas) devido à falta de entrada de áudio para busca fora da linha de visão. Agentes pré-treinados em áudio-visual (ex: SAVI) mostraram um Oracle Success (OSR) não trivial, indicando que o áudio ajuda a localizar regiões sonoras, mas falharam em completar missões completas devido à incapacidade de aterrar objetivos heterogêneos ou gerenciar o progresso de múltiplos objetivos.
Desempenho do PAG-Nav: O PAG-Nav superou todas as linhas de base, alcançando o maior Sucesso (SR) e Oracle Success Rate (OSR) em ambos os cenários (ex: 2,3% de SR ordenado, 3,1% de SR não ordenado).
Insight Chave: Os resultados confirmam que, embora o áudio ajude a se aproximar de regiões sonoras, a navegação de longo horizonte bem-sucedida requer a capacidade de suprimir sons irrelevantes à tarefa, rastrear o progresso do objetivo e realizar a verificação de instância visual-semântica. O baixo desempenho de todos os agentes, incluindo o PAG-Nav, indica um espaço substancial para progressos futuros.

Significância e Alegações

O artigo afirma que o LH-AVLN muda fundamentalmente o paradigma da navegação áudio-visual de "seguir um som até um alvo" para "raciocinar sobre a relevância dos sons em um estado de missão em mudança".

Aterramento Acústico vs. Fusão: Os autores argumentam que o desafio central não é a fusão multimodal genérica, mas o aterramento de pistas condicionado à tarefa. Os agentes devem determinar qual som corresponde ao objetivo atual não concluído e quais sons se tornaram distratores.
Limitações dos Métodos Atuais: O benchmark revela que os agentes incorporados atuais carecem de mecanismos para lidar com pistas acústicas persistentes e alternadas em tarefas de múltiplos estágios. Eles têm dificuldade em manter a memória cross-modal necessária para ligar sons a objetivos específicos ao longo do tempo.
Direções Futuras: O artigo posiciona o LH-AVLN como uma ferramenta diagnóstica para impulsionar a pesquisa em agentes capazes de gerenciamento dinâmico de pistas, planejamento de longo horizonte e verificação visual-semântica robusta em ambientes acusticamente ricos.