Hierarchical Policies from Verbal and Egocentric Human Signals for Natural Human-Robot Interaction

Declaração do Problema

As políticas atuais de robôs para interação humano-robô (HRI) dependem quase exclusivamente de instruções de linguagem para transmitir a intenção humana. Embora a linguagem seja flexível, ela frequentemente falha em capturar todo o espectro da comunicação humana. Em interações naturais, os seres humanos frequentemente dependem de sinais não verbais — como o olhar (gaze) e gestos de apontar, além de atividades em curso — para fundamentar seus pedidos verbais. Depender apenas da linguagem força os usuários a fornecerem descrições totalmente especificadas e verbosas (ex: "Dê-me o perfil metálico com a ponta hexagonal localizado à esquerda da chave de fenda verde"), o que é cognitivamente oneroso e impreciso. Por outro lado, abordagens não verbais existentes muitas vezes têm dificuldade com sinais transitórios ou fracos (ex: olhares breves) quando processados através de pipelines modulares. O desafio central é desenvolver um framework de robô que possa interpretar conjuntamente fluxos contínuos de sinais verbais e não verbais em tempo real para inferir intenções e executar ações de forma natural.

Metodologia: O Framework EDITH

Os autores apresentam o EDITH, um framework de robô projetado para integrar fluxos ao vivo da visão de primeira pessoa de um humano (contexto egocêntrico), o olhar (eye gaze) e a fala na política de controle do robô. O sistema compreende dois componentes principais: uma configuração de hardware e uma arquitetura de política hierárquica.

1. Sistema de Hardware
O EDITH utiliza óculos Project Aria usados pelo usuário humano. Estes óculos transmitem:

• Contexto Egocêntrico ($C^{ego}_t$): Imagens RGB de primeira pessoa.
• Coordenadas do Olhar (Gaze): Dados de rastreamento ocular em tempo real projetados sobre o quadro de vídeo.
• Fala: Áudio transcrito em instruções de linguagem ($\ell_t$) via uma API.
  Estes sinais são sincronizados com o estado proprioceptivo do robô e observações de câmera ($o_t$) através de timestamps, criando um fluxo multimodal alinhado.

2. Arquitetura de Política Hierárquica
Para lidar com a riqueza e o ruído dos sinais humanos, o EDITH emprega uma política hierárquica consistindo em um planejador de alto nível ($\pi_h$) e um executor de baixo nível ($\pi_l$), conectados por uma fila de tarefas assíncrona ($Q$).

• Política de Alto Nível ($\pi_h$): Implementada usando um Modelo de Linguagem-Visão (VLM), especificamente o Gemini-3.1-Flash-Lite.

  • Entrada: Processa uma janela deslizante do contexto egocêntrico do humano e instruções de linguagem. A entrada é renderizada como um clipe de vídeo onde marcadores de olhar são sobrepostos aos quadros e a fala é adicionada como legendas alinhadas no tempo.
  • Função: $\pi_h$ infere a intenção humana e a decompõe em uma sequência de sub-tarefas.
  • Saída: Cada sub-tarefa consiste em um par composto por uma instrução detalhada (ex: "Pegue a chave de fenda com o cabo vermelho") e um quadro-chave (keyframe) ($C^{key}$). O quadro-chave é um frame específico recuperado do fluxo de entrada onde o sinal não verbal (ex: a fixação do olhar ou o gesto de apontar) é expresso de forma mais clara. Isso fundamenta a intenção visualmente, resolvendo ambiguidades que a linguagem sozinha não consegue resolver.
  • Mecanismo: As sub-tarefas são anexadas a uma fila de tarefas $Q$. Se nenhuma intenção for detectada, a fila permanece inalterada.

• Política de Baixo Nível ($\pi_l$): Implementada através do ajuste fino (fine-tuning) de um modelo pré-treinado de Visão-Linguagem-Ação (VLA) ($\pi0.5$).

  • Entrada: Recebe a observação atual do robô ($o_t$), a instrução da sub-tarefa do topo da fila e o respectivo quadro-chave.
  • Função: $\pi_l$ executa a sub-tarefa prevendo ações de baixo nível do robô ($a_t$) e uma probabilidade de conclusão ($p_t$).
  • Mecanismo: Uma vez que $p_t$ excede um limiar, a sub-tarefa é removida da fila e a próxima é executada.

3. Estratégia de Treinamento

• Coleta de Dados: Demonstrações são coletadas onde um ator humano (usando óculos Aria) interage com um teleoperador de robô. O teleoperador cumpre as solicitações baseadas nos sinais multimodais do humano. As trajetórias são segmentadas em sub-tarefas e anotadas com instruções detalhadas, quadros-chave e probabilidades de conclusão.
• Dropout de Modalidade: Para evitar que a política de baixo nível dependa de apenas uma modalidade (ex: ignorar o quadro-chave se o texto for suficiente), os autores empregam uma estratégia de dropout de modalidade durante o treinamento. Com probabilidade igual, eles: (i) mantêm ambas as modalidades, (ii) substituem a instrução por uma versão subespecificada (forçando a dependência do quadro-chave), ou (iii) substituem o quadro-chave por uma imagem em branco (forçando a dependência da instrução).

Principais Resultados

Os autores avaliaram o EDITH em três tarefas desafiadoras de HRI: Muffin-Serving (Servir Muffins), Tumbler-Sorting (Ordenar Copos) e Tool-Passing (Passar Ferramentas). Em todas as tarefas, as instruções de linguagem foram intencionalmente subespecificadas, exigindo que o robô interpretasse pistas não verbais.

• Desempenho: O EDITH alcançou uma Taxa de Sucesso (SR) média de 59,7% e um Progresso de Tarefa (TP) de 84,7%.
• Comparação com Baselines:
  • Baselines de apenas linguagem (end-to-end $\pi^{lang}_l$ e hierárquico $\pi^{lang}_h + \pi^{lang}_l$) tiveram desempenho pobre, com SRs médios abaixo de 6,5%.
  • Uma política end-to-end usando contexto egocêntrico sem o mecanismo de quadro-chave hierárquico ($\pi^{ego+lang}_l$) mostrou desempenho inconsistente, falhando significativamente em tarefas onde a atenção humana era intermitente (ex: Tool-Passing).
• Estudos de Ablação:
  • Remover o quadro-chave (keyframe) causou uma queda de ~50% na taxa de sucesso, destacando a necessidade de fundamentação visual para prevenir alucinações do VLM e frases ambíguas.
  • Remover o contexto egocêntrico (usando apenas quadros da visão do robô) levou a uma queda de ~34% devido a problemas de paralaxe, onde gestos de apontar são ambíguos da perspectiva do robô, mas claros da perspectiva do humano.
• Robustez: O EDITH manteceu o desempenho mesmo quando os humanos estavam distraídos (ex: checando o celular), enquanto os baselines end-to-end degradaram significativamente.
• Estudo com Usuários: Um estudo com 16 participantes mostrou que o EDITH reduziu significativamente a carga de instrução (demanda mental, esforço, frustração) em comparação com os baselines de apenas linguagem ($p < 0.001$). Os usuários acharam muito mais fácil transmitir intenção via utterances breves e gestos do que via descrições verbais detalhadas.

Significância e Alegações

O artigo afirma que o EDITH demonstra a promessa de aproveitar sinais não verbais junto com instruções verbais para permitir uma interação humano-robô natural. As principais contribuições são:

1. Integração de Sinais Egocêntricos: Ele captura e utiliza com sucesso a visão de primeira pessoa contínua e o olhar para fundamentar as ações do robô, indo além das limitações das interfaces baseadas apenas em texto.
2. Design Hierárquico: A separação da inferência de intenção (alto nível) e execução de ação (baixo nível), juntamente com o uso de quadros-chave (keyframes), lida efetivamente com sinais não verbais ruidosos e transitórios que pipelines modulares ou modelos end-to-end têm dificuldade em processar.
3. Redução do Fardo do Usuário: Ao permitir que os usuários dependam de pistas não verbais naturais, o sistema reduz significativamente a carga cognitiva necessária para se comunicar com robôs.

Os autores reconhecem limitações, incluindo latência devido ao processamento baseado em janelas e redução da generalização para usuários com atributos físicos significativamente diferentes (ex: altura) daqueles presentes nos dados de treinamento, sugerindo trabalhos futuros em coleta de dados diversos e VLMs de streaming em tempo real.