Resumo Técnico: Gaze2Act

Declaração do Problema

Embora os modelos Visão-Linguagem-Ação (VLA) tenham avançado a aprendizagem robótica por meio de instruções em linguagem, eles enfrentam um gargalo fundamental na manipulação interativa: a linguagem sozinha frequentemente é insuficiente para transmitir a intenção humana precisa. Os usuários frequentemente lutam para descrever explicitamente qual objeto específico interagir entre candidatos visualmente semelhantes, onde exatamente agir sobre um objeto (interação de granularidade fina) ou como revisar dinamicamente os alvos durante a execução. Abordagens existentes que traduzem linguagem em representações espaciais (por exemplo, caixas delimitadoras ou máscaras) herdam a ambiguidade intrínseca da linguagem e carecem da continuidade temporal necessária para atualizações de intenção em tempo real e dinâmicas. A limitação central identificada é a ausência de um sinal de intenção direto, continuamente atualizado e espacialmente preciso que complemente instruções de linguagem estáticas.

Metodologia

Os autores propõem Gaze2Act, um framework que aumenta as políticas VLA com o olhar humano como um sinal de intenção dinâmico. O sistema opera em um robô humanoide Unitree G1 utilizando uma espinha dorsal GROOT N1.5 (com um VLM Eagle2 congelado e uma cabeça de ação Diffusion Transformer). A metodologia procede através de três etapas integradas:

1. Ancoragem de Olhar entre Vistas

Para superar a lacuna entre a visão em primeira pessoa (ego) do humano e a perspectiva do robô, o Gaze2Act emprega um mecanismo de correspondência semântica sem marcadores, sem treinamento e sem calibração:

• Extração de Características: Utiliza DINOv3 (ViT-L/16) para extrair características de patches de múltiplas camadas tanto da imagem egocêntrica do humano quanto da observação do robô.
• Correspondência de Granularidade Fina: Ao acionar por voz, o sistema segmenta um objeto de referência na visão humana usando SAM3. Em seguida, corresponde essa referência às máscaras candidatas geradas na visão do robô, calculando a média das características de patches e selecionando a máscara com a maior similaridade de cosseno.
• Correspondência de Granularidade Fina: Para localizar pontos de interação específicos dentro do objeto selecionado, o sistema extrai um vetor de características de vizinhança ao redor do ponto de olhar na visão humana e corresponde-o às características densas dentro da máscara grosseira na visão do robô.
• Saída: Este processo produz uma representação espacial unificada consistindo em uma máscara de alvo ($m_t$) e um ponto de fixação ($p_t$).

2. Prompting de Olhar no Nível de Percepção

As pistas ancoradas ($m_t, p_t$) são renderizadas diretamente na observação visual do robô para fornecer orientação espacial explícita:

• Sobreposição de Contorno: Um contorno colorido é desenhado ao longo da fronteira da máscara de alvo para especificar o objeto de interesse, permitindo instruções em linguagem agnósticas à categoria (por exemplo, "pegue o objeto contornado").
• Mapa de Calor de Olhar: O ponto de fixação é convertido em um mapa de calor gaussiano isotrópico 2D centrado em $p_t$ dentro da região da máscara. Isso fornece um sinal suave e robusto para interações de nível de parte de granularidade fina, substituindo entradas de ponto único frágeis.

3. Condicionamento de Olhar no Nível de Ação

Para garantir que o sinal de olhar influencie diretamente a tomada de decisão da política além da percepção visual, o sistema injeta informações de olhar na cabeça de ação:

• Construção de Token de Olhar: A máscara e o ponto de fixação são codificados em um token espacial compacto ($c^{gaze}_t$). Isso envolve um caminho de posição (codificação sinusoidal) e um caminho de objeto (usando um codificador ViT DINOv3 congelado no corte do alvo).
• Atenção Cruzada Desacoplada: Uma nova ramificação de atenção cruzada é adicionada em paralelo ao caminho visão-linguagem existente dentro do Diffusion Transformer (DiT). Esta ramificação injeta o token de olhar no processo de remoção de ruído através de projeções separadas de Chave/Valor.
• Injeção Estabilizada: A projeção de saída da ramificação de olhar é inicializada com zeros. Isso garante que a ramificação adicionada atue como uma "no-op" inicialmente, preservando o conhecimento prévio da política pré-treinada enquanto permite que a influência do olhar seja aprendida gradualmente a partir do objetivo de manipulação.

Contribuições Principais

1. Olhar como Interface de Intenção Contínua: O artigo propõe o olhar humano como uma modalidade nova, contínua e dinâmica para políticas VLA, permitindo especificação precisa de alvos em cenários de nível de objeto, nível de parte e dinamicamente evolutivos.
2. Framework Gaze2Act: Um sistema completo que ancora o olhar em primeira pessoa no espaço visual do robô sem marcadores ou calibração, integrando essas pistas tanto por prompting visual no nível de percepção quanto por condicionamento espacial no nível de ação.
3. Avaliação Abrangente no Mundo Real: Testes extensivos em um humanoide Unitree G1 em sete categorias de tarefas e 16 tarefas com robô real, demonstrando melhorias consistentes sobre baselines em desambiguação, localização e direção dinâmica.

Resultados Experimentais

O framework foi avaliado em 16 tarefas envolvendo objetos ambíguos, objetos não vistos, objetos transparentes, tarefas composicionais, agarramento de subpartes e direção de intenção dinâmica.

• Desambiguação de Objetos: Em tarefas com objetos ambíguos, não vistos ou transparentes, o Gaze2Act alcançou uma precisão de intenção significativamente maior (por exemplo, 92–100% em objetos ambíguos) comparado a baselines apenas de linguagem (Vanilla GROOT: ~34%) e baselines baseadas em máscaras (RoboGround/ControlVLA: ~60–80%).
• Interação de Granularidade Fina: Para agarramento de subpartes (por exemplo, cabo de martelo vs. cabeça) e ações condicionadas a partes, o Gaze2Act alcançou uma precisão de intenção média de 80,4% e sucesso na tarefa de 72,4%, enquanto as baselines não podiam fornecer condições específicas de parte.
• Direção de Intenção Dinâmica: Em tarefas de longo horizonte onde o alvo muda no meio da execução, o Gaze2Act redirecionou com sucesso o robô em 14 de 30 tentativas, superando as baselines (4–5/30) que lutaram para atualizar a manipulação em andamento apesar das atualizações de máscara.
• Estudos de Ablação: Os resultados confirmaram que tanto o prompting no nível de percepção quanto o condicionamento no nível de ação são complementares. O prompting visual sozinho melhorou o sucesso no nível de parte, enquanto o condicionamento no nível de ação melhorou a vinculação de objetos em tarefas composicionais. A inicialização zero da ramificação de olhar mostrou-se crítica para o ajuste fino estável.

Significado e Alegações

O artigo alega que o Gaze2Act demonstra que o olhar humano fornece uma modalidade natural, de baixa carga e altamente expressiva para controle VLA com humano no loop. Ao aproveitar a coordenação "olho-leva-mão" inerente ao comportamento humano, o framework supera a ambiguidade e a descontinuidade temporal de interfaces apenas de linguagem. Os autores afirmam que sua abordagem permite que robôs atendam a regiões relevantes e executem interações precisas sob intenção dinâmica, efetivamente fechando a lacuna entre descrição de tarefa de alto nível (linguagem) e execução espacial de baixo nível (olhar). O trabalho destaca que o olhar não é meramente um sinal observacional, mas uma manifestação direta da intenção motora que pode ser integrada perfeitamente em arquiteturas VLA modernas para aprimorar capacidades de manipulação interativa.