🤖 AI

UESF-Bench: Benchmarking and Probing for Unified Embodied Seeking and Following

Este artigo introduz o UESF-Bench, um benchmark de larga escala para busca e seguimento unificados de humanos incorporados que aborda as limitações das avaliações existentes ao exigir que os agentes primeiro localizem um alvo descrito em linguagem antes de rastreá-los persistentemente, e propõe o framework SeekFollow-VLA para gerenciar efetivamente a transição entre essas duas fases.

Autores originais: Kun Yu, Jianhua Yang, Yixiang Chen, Changwei Wang, Hongyuan Yu, Yan Huang, Fushuo Huo, Ya Jing, Zhumin Chen, Keji He

Publicado 2026-07-16

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Kun Yu, Jianhua Yang, Yixiang Chen, Changwei Wang, Hongyuan Yu, Yan Huang, Fushuo Huo, Ya Jing, Zhumin Chen, Keji He

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a ser o parceiro ideal. No mundo da robótica, há uma grande diferença entre apenas "ver" e "entender". Para um robô ser verdadeiramente útil, ele precisa de IA Incorporada (Embodied AI)—um cérebro que vive dentro de um corpo, permitindo que ele se mova pelo mundo real, não apenas encare uma tela. Ele também precisa de habilidades de Visão-Linguagem-Ação (Vision-Language-Action), que é uma forma elegante de dizer que ele deve observar o que está acontecendo, ouvir o que você diz e, então, mover-se fisamente para fazer algo a respeito. Pense nisso como um jogo de esconde-esconde onde o robô tem que ouvir uma pista como "Encontre o cara de jaqueta vermelha", correr pela casa para encontrá-lo e, depois, manter-se por perto sem esbarrar nele. Por que isso importa? Porque, na vida real, as pessoas nem sempre estão paradas bem na frente de um robô esperando para serem seguidas. Frequentemente, elas estão escondidas em outro cômodo, ou o robô perdeu o rastro delas. Se um robô puder apenas seguir alguém que já consegue ver, ele não será muito útil. Ele precisa ser capaz de caçá-las primeiro e, depois, mudar de marcha para segui-las, tudo isso enquanto descobre quem é quem em uma sala lotada.

Este artigo apresenta um novo desafio e uma nova solução para exatamente esse problema. Os autores, uma equipe de pesquisadores de várias universidades e empresas, perceberam que a maioria dos testes existentes para seguidores robóticos era fácil demais: eles assumiam que a pessoa alvo já estava parada ali, visível desde o início. Eles argumentam que isso ignora a parte mais importante do trabalho: a busca. Para corrigir isso, eles construíram um novo e enorme parquinho chamado UESF-Bench (Unified Embodied Seeking and Following Benchmark). É como um nível de videogame gigante com mais de 1,43 milhão de diferentes cenários, apresentando mais de 4.800 pessoas digitais únicas e mais de 770 ambientes diferentes. Neste benchmark, o robô recebe uma instrução única como, "Encontre o homem baixo de cabelo castanho na cozinha e siga-o", e ele tem que fazer duas coisas: primeiro, buscar ativamente por ele quando ele estiver fora de vista e, segundo, mudar perfeitamente para o modo de seguir assim que o encontrar, mesmo que ele se perca em uma multidão novamente.

Os pesquisadores descobriram que simplesmente dizer a um robô para "fazer ambos" não é suficiente; ele fica confuso. Eles testaram três maneiras diferentes de construir o cérebro do robô. A primeira era um "Cabeça Única" (Single Head), onde o robô tentava usar um único cérebro tanto para buscar quanto para seguir. A segunda era uma "Cabeça Dupla" (Dual Head) com uma troca básica, e a terceira era um "Roteador Direcionado pela Tarefa" (Task-Driven Router), um sistema mais inteligente que atua como um guarda de trânsito, dizendo explicitamente ao robô quando parar de buscar e começar a seguir com base no que ele vê. Os resultados mostraram que a abordagem de "Cabeça Única" foi um desastre, com o robô tendo sucesso em apenas 4% dos testes de uma única pessoa. Mesmo a "Cabeça Du dupla" básica teve dificuldades, mantendo-se em 5%. No entanto, o "Roteador Direcionado pela Tarefa" (que eles chamam de SeekFollow-VLA) foi um divisor de águas. Em testes de uma única pessoa, ele teve sucesso 35% das vezes e, nos testes de múltiplas pessoas, que são muito mais difíceis (onde pessoas falsas estão escondidas para enganar o robô), ele ainda conseguiu uma taxa de sucesso de 20%, superando de longe os outros.

O artigo sugere que a chave para o sucesso não é apenas ter uma câmera melhor ou um cérebro mais rápido, mas sim ter um sinal interno claro que saiba quando o trabalho mudou de "caçar" para "pastorear". Os pesquisadores mostraram que seu roteador inteligente aprende a agir como um detetive primeiro, escaneando a sala com alta intensidade, e depois muda instantaneamente para o modo de guarda fiel no momento em que avista a pessoa certa. Eles também observaram que, embora este novo método seja muito melhor para encontrar e seguir, ele esbarra nas coisas um pouco mais frequentemente em salas lotadas, sugerindo que ser um ótimo caçador às vezes torna você um pouco desajeitado. Em última análise, o artigo argumenta que, para construir robôs que possam realmente nos ajudar no mundo real, precisamos parar de testá-los em tarefas estáticas e fáceis e começar a desafiá-los com a realidade bagunçada e confusa de encontrar alguém que está escondido e, depois, manter o acompanhamento através do caos.

Resumo Técnico: UESF-Bench e SeekFollow-VLA

Definição do Problema

Os atuais benchmarks de IA incorporada para seguimento de humanos, como o EVT-Bench, tipicamente assumem que o alvo humano está visível no início do episódio. Essa simplificação negligencia um requisito crítico do mundo real: um agente deve frequentemente primeiro localizar um alvo descrito por linguagem que está inicialmente fora de vista e, em seguida, transitar perfeitamente para um seguimento persistente em ambientes dinâmicos.

Pesquisas existentes tratam a busca humana e o seguimento humano como tarefas separadas, muitas vezes dependendo de fortes vieses ambientais ou pistas explícitas. Além disso, elas falham em abordar a continuidade da interação, especificamente o desafio das transições de fase implícitas. Um agente deve determinar autonomamente quando mudar de busca para seguimento e, inversamente, se deve retomar a busca ou tentar uma recuperação local quando um alvo é temporariamente perdido. Este artigo formula o Busca-e-Segue Visual Incorporado (Embodied Visual Seek-and-Follow) como uma tarefa unificada onde um agente deve lidar com exploração guiada semanticamente, troca de comportamento confiável e ancoragem de identidade atrasada sob distratores, tudo baseado em uma única instrução de linguagem natural fundida.

Metodologia: SeekFollow-VLA

Para abordar esses desafios, os autores propõem o SeekFollow-VLA, um framework de Modelo de Linguagem-Visão-Ação (VLA) projetado para busca e seguimento unificados.

Arquitetura

Backbone: O modelo utiliza um Modelo de Linguagem-Visão pré-treinado, Qwen3-4B, como seu backbone.
Codificação Visual: Emprega um codificador visual de duas torres (DINO-V3 e SigLIP) para processar observações RGB egocêntricas. As características são extraídas em uma resolução unificada (384×384) e fundidas. Para equilibrar detalhe e eficiência, o sistema usa um mecanismo de janela deslizante: tokens de grão fino para o quadro atual e tokens de grão grosso para quadros históricos ( $k=31$ ).
Fusão Multimodal: Os tokens visuais são projetados no espaço latente de linguagem via um projetor de cross-modality e concatenados com tokens de instrução fundidos.

Designs de Cabeça de Ação

A inovação central reside na investigação de três arquiteturas alternativas de cabeça de ação para gerenciar a transição implícita entre busca e seguimento:

Cabeça Única (Single Head): Um MLP compartilhado mapeia a representação multimodal diretamente para waypoints. Isso serve como um baseline, mas corre o risco de "confusão de modo" entre os distintos objetivos de busca e rastreamento.
Cabeças Duplas com Roteador Consciente de Fase (Dual Heads with Phase-Aware Router): Duas cabeças separadas (Busca e Seguimento) são combinadas usando pesos de roteamento aprendidos puramente a partir do objetivo de predição de waypoint final.
Cabeças Duplas com Roteador Dirigido pela Tarefa (Dual Heads with Task-Driven Router - Proposto): Esta variante introduz supervisão explícita para o processo de roteamento. Além dos pesos de roteamento, o roteador prevê logits de tipo de tarefa ( $g_T$ $g_{T}$ ) supervisionados por um rótulo de estágio de verdade fundamental ( $z_T$ $z_{T}$ ).
- $z_T = 0$ (Busca) até que o alvo seja encontrado com sucesso pela primeira vez (definido como estando a menos de 1,7m e de frente para o agente).
- $z_T = 1$ (Seguimento) a partir de então.
- Função de Perda: O objetivo de treinamento combina a perda de predição de waypoint ( $L_{wp}$ ) com uma perda de entropia cruzada auxiliar consciente de estágio ( $L_{stage}$ ), ponderada por $\beta_{nav} = 10$ . Isso encoraja explicitamente o modelo a aprender o roteamento de tarefa correto entre os modos.

Principais Contribuições

Formulação da Tarefa: O artigo define a busca e seguimento visual incorporado como uma tarefa unificada que exige que um agente localize um alvo descrito por linguagem inicialmente fora de vista e, em seguida, transite para um seguimento persistente sem sinais de fase explícitos.
UESF-Bench: Os autores constroem o Unified Embodied Seeking and Following Benchmark, um dataset de larga escala contendo 1,43 milhão de amostras em mais de 770 ambientes e mais de 4.800 avatares diversos. Ele cobre cenários de pessoa única e múltiplas pessoas (multidão), abordando a falta de um padrão de avaliação unificado para esta tarefa específica.
Framework SeekFollow-VLA: Um framework VLA apresentando um mecanismo de roteamento dirigido pela tarefa que permite a inferência de fase latente e modelagem de transição, reduzindo efetivamente a confusão de modo entre comportamentos de busca e seguimento.
Validação Empírica: Experimentos extensos demonstram que o design de cabeça dupla dirigido pela tarefa supera significativamente os baselines de cabeça única e de cabeça dupla consciente de fase, particularmente em ambientes desafiadores com múltiplas pessoas.

Resultados Experimentais

Experimentos foram conduzidos no conjunto de teste UESF-Bench usando métricas incluindo Taxa de Sucesso da Tarefa (TSR), Taxa de Colisão (CR), Razão de Seguimento (FR) e Search SPL.

Configuração de Pessoa Única:
- O DualHead-TD alcançou um TSR de 0,35, superando significativamente o SingleHead (0,04) e o DualHead-PA (0,05).
- Também alcançou o maior FR (0,92) e Search SPL (0,53).
- Os resultados indicam que a supervisão explícita dirigida pela tarefa é necessária para resolver a ambiguidade comportamental e melhorar a eficiência da busca.
Configuração de Múltiplas Pessoas:
- O desempenho geralmente declinou devido à interferência de distratores, mas o DualHead-TD manteve o TSR mais alto (0,20) comparado a 0,04 dos outros baselines.
- O DualHead-TD alcançou um Search SPL de 0,55, demonstrando superior identificação de alvo e eficiência de busca mesmo em cenas lotadas.
- Embora o DualHead-PA tenha mostrado um FR ligeiramente superior (0,85 vs 0,82), o TSR e o Search SPL superiores do DualHead-TD destacam sua eficácia na tarefa unificada, onde a transição bem-sucedida e a recuperação do alvo são críticas.
Dinâmica de Roteamento: A visualização dos pesos do roteador confirmou que o Roteador Dirigido pela Tarefa aprende uma separação funcional clara: atribuindo peso próximo a 100% à cabeça de busca durante a exploração e transicionando bruscamente para a cabeça de seguimento após a descoberta do alvo, mantendo a estabilidade a partir de então.

Significância e Alegações

O artigo afirma que o UESF-Bench é o primeiro benchmark de larga escala para busca e seguimento humano guiado por linguagem de forma unificada em ambientes incorporados. Ao ir além da suposição de visibilidade inicial do alvo, o trabalho aborda uma forma mais realista de interação incorporada.

Os autores argumentam que tratar busca e seguimento como tarefas independentes falha em capturar a continuidade da interação do mundo real. O SeekFollow-VLA proposto demonstra que um framework unificado com roteamento explícito dirigido pela tarefa pode gerenciar efetivamente as transições de fase implícitas e a ancoragem de identidade atrasada exigidas para uma interação humano-robô robusta. Os resultados sugerem que, para tarefas incorporadas complexas, os vieses indutivos arquiteturais que modelam explicitamente as transições de estágio são cruciais para o desempenho, particularmente em ambientes com distratores.