Resumo Técnico: TAVIS – Um Benchmark para Visão Ativa Egocêntrica e Olhar Antecipatório em Aprendizado por Imitação

Declaração do Problema

O aprendizado por imitação (IL) para manipulação visuomotora avançou rapidamente, porém a maioria dos benchmarks e métodos existentes depende de câmeras fixas em terceira pessoa ou de grande angular. Embora sistemas independentes recentes tenham demonstrado que políticas que controlam seu próprio olhar (visão ativa) melhoram o desempenho na manipulação, o campo carece de uma infraestrutura de avaliação compartilhada. Os benchmarks atuais (por exemplo, LIBERO, RLBench, CALVIN) assumem câmeras fixas e não conseguem isolar a visão ativa como uma variável controlada. Além disso, os artefatos existentes de visão ativa são frequentemente travados em hardware específico de configurações de robôs reais, impedindo a comparação entre sistemas. Consequentemente, a comunidade não consegue quantificar sistematicamente o que a visão ativa contribui, em quais tipos de tarefas ou sob quais condições. Adicionalmente, nenhum benchmark atual mede se as políticas aprendidas adquirem olhar antecipatório—o comportamento humano onde o olhar precede o movimento da mão para sinalizar intenção—uma dimensão crítica para a legibilidade na Interação Humano-Robô (HRI).

Metodologia

Os autores introduzem o TAVIS (Tilburg Active Vision Imitation Learning), uma infraestrutura de avaliação baseada em simulação construída sobre IsaacLab e IsaacLab-Arena. O TAVIS foi projetado para isolar os papéis da visão ativa por meio de dois conjuntos de tarefas complementares e duas encarnações de tronco humanoide (GR1T2 e Reachy2).

1. Conjuntos de Tarefas

• TAVIS-Head (Busca Global): Contém cinco tarefas que exigem reorientação da cabeça (pan/tilt de pescoço) para busca global, desambiguação de desordem e sinalização de intenção. As tarefas incluem conditional-pick (olhar para um cartão de pista), wait-then-act (monitoramento temporal), clutter-pick-cube, clutter-pick-lift e multi-shelf-scan.
• TAVIS-Hands (Oclusão Local): Contém três tarefas onde o movimento da cabeça é insuficiente devido à oclusão, exigindo câmeras montadas no pulso. As tarefas incluem peeking-box (determinar um lado aberto de uma caixa), occluded-reach (alcançar atrás de uma tela) e blocked-clutter-pick-cube (localizar um objeto com a câmera da cabeça mascarada).

2. Coleta de Dados e Protocolo

• Demonstrações: Aproximadamente 2.200 episódios foram coletados via teleoperação em primeira pessoa usando um Meta Quest 3. O operador controla os braços e o pescoço (olhar) do robô simultaneamente.
• Gravação Pareada: Crucialmente, cada episódio é gravado simultaneamente com uma câmera montada na cabeça (ativa) e uma câmera fixa no espaço de trabalho (passiva). Isso permite uma comparação pareada onde a única variável é o modo da câmera, mantendo todos os outros fatores (demonstração, layout da cena, trajetória) constantes.
• Divisões de Distribuição: O benchmark inclui divisões In-Distribution (ID) e Out-of-Distribution (OOD) (ood-spatial para posicionamento de objetos, ood-init-pose para pose de reinicialização do robô) para testar a generalização e a robustez contra memorização.

3. Primitivas de Avaliação

O TAVIS introduz três eixos específicos de avaliação:

• Headcam vs. Fixedcam: Uma comparação direta do desempenho da política usando visão ativa versus visão passiva em trajetórias idênticas.
• GALT (Gaze-Action Lead Time): Uma métrica nova fundamentada em ciência cognitiva e HRI. Ela quantifica o intervalo temporal entre a cabeça atingir uma fixação final ($t_{head}$) e a conclusão de uma pegada ($t_{hand}$). Um GALT positivo indica olhar antecipatório. A métrica é derivada exclusivamente da propriocepção (ações comandadas), tornando-a portável para avaliação em robôs reais.
• Divisões ID/OOD: Estendendo o paradigma LIBERO-Pro para visão ativa, a fim de distinguir interpolação de extrapolação.

Contribuições Principais

1. O Benchmark TAVIS: Uma plataforma composável que apresenta dois conjuntos de tarefas, duas encarnações de robô e um espaço de ação canônico unificado de 19 dimensões. Ele libera ~2.200 episódios de demonstrações pareadas headcam/fixedcam no formato LeRobot v3.0.
2. Novas Primitivas de Avaliação:
   • Um protocolo pareado headcam-vs-fixedcam para isolar os benefícios da visão ativa.
   • GALT, uma métrica cinemática para quantificar o olhar antecipatório, preenchendo a lacuna entre o aprendizado robótico e a literatura de ciência cognitiva/HRI.
   • Divisões controladas de distribuição ID/OOD para testar a generalização sob estresse.
3. Análises de Linha de Base: Experimentos usando Diffusion Policy e $\pi_0$ (modelos Visão-Linguagem-Ação) fornecem a primeira comparação sistemática de IL com visão ativa.

Resultados Experimentais

Os autores treinaram políticas de múltiplas tarefas e de tarefa única no TAVIS e relataram as seguintes descobertas:

• Benefícios da Visão Ativa são Condicionais à Tarefa: A visão ativa geralmente melhora o desempenho, mas os ganhos não são uniformes. No TAVIS-Head, câmeras montadas na cabeça superaram câmeras fixas (por exemplo, +28 pontos percentuais em conditional-pick para GR1T2). No entanto, os benefícios foram negligenciáveis ou negativos em tarefas onde o espaço de trabalho já era totalmente observável (por exemplo, wait-then-act em GR1T2 mostrou uma regressão de -23pp). No TAVIS-Hands, onde as câmeras da cabeça são estruturalmente não informativas, as câmeras de pulso foram essenciais, alcançando taxas de sucesso de 70–77% em configurações ID.
• Treinamento de Múltiplas Tarefas: Políticas de múltiplas tarefas superaram as linhas de base de tarefa única, particularmente no conjunto TAVIS-Hands, sugerindo que a visão ativa se beneficia de representações compartilhadas entre tarefas.
• Sensibilidade à Mudança de Distribuição: As políticas degradaram-se abruptamente sob mudanças OOD controladas. Para o TAVIS-Head, as taxas de sucesso caíram de 43,0% (ID) para 6,6% sob perturbações ood-init-pose. A degradação foi mais severa para câmeras montadas na cabeça do que para câmeras fixas em certos cenários OOD, destacando a fragilidade das políticas de visão ativa a mudanças de pose.
• Aquisição de Olhar Antecipatório: Políticas treinadas exclusivamente por imitação (sem otimização explícita de GALT) adquiriram olhar antecipatório. O GALT mediano para políticas aprendidas foi comparável à referência do teleoperador humano (aproximadamente 2–3 segundos de antecedência), com desvios dentro de ~7–10% para a maioria das tarefas. Isso sugere que o acoplamento temporal entre olhar e ação é uma propriedade emergente de imitação de alta qualidade.

Significado e Afirmações

O artigo posiciona o TAVIS como uma infraestrutura necessária para superar o gargalo atual na pesquisa de visão ativa. Ao fornecer um benchmark compartilhado com variáveis controladas, ele permite a comparação justa de sistemas diversos que anteriormente não podiam ser comparados devido a diferenças em hardware e definições de tarefas.

Os autores afirmam que o TAVIS demonstra:

1. Que a visão ativa é benéfica, mas condicional à tarefa, não uma atualização universal.
2. Que as políticas atuais de IL são frágeis sob mudanças de distribuição, particularmente quando dependem de olhar ativo.
3. Que a imitação pura é suficiente para aprender padrões de olhar antecipatório que espelham o comportamento humano, validando o uso de dados de teleoperação para treinar agentes robóticos legíveis.

O benchmark foi projetado para ser extensível, permitindo a adição de novos robôs, tarefas e eixos OOD (por exemplo, texturas visuais, mudanças em nível de cena) para explorar ainda mais os limites da visão ativa egocêntrica.