Resumo Técnico: HALO – Política Visuomotora com Consciência de Histórico para Aprendizado de Imitação Robótica de Longo Horizonte

1. Declaração do Problema

Robôs de uso geral operando em ambientes parcialmente observáveis (ex: residências) devem realizar tarefas de manipulação de longo horizonte que exigem a recordação de informações que não estão mais presentes nos inputs sensoriais atuais. Exemplos incluem lembrar a localização de objetos, rastrear contagens numéricas, recordar o tempo de eventos ou compreender mudanças relacionais entre objetos.

Políticas visuomotoras reativas padrão falham nesses cenários porque carecem de memória. Embora abordagens existentes tentem abordar isso por meio de representações de memória projetadas à mão, regras de recuperação específicas de modalidade ou compressão aprendida (ex: resumos de estado latente), elas frequentemente têm dificuldade com a generalização. Elas dependem de suposições específicas de tarefas que limitam a escalabilidade em diversas tarefas de manipulação.

A aplicação direta de recuperação de memória baseada em atenção (ex: Transformers) ao aprendizado de imitação offline introduz dois desafios fundamentais:

1. Correlações Espúrias: A política pode aprender a atender a observações passadas que se correlacionam com o comportamento do especialista nos dados de treinamento, mas que não são causalmente relevantes para a execução da tarefa, levando a uma baixa generalização no tempo de teste.
2. Acúmulo de Erros e Deriva do Modelo: Na execução de malha fechada (closed-loop), pequenos erros de previsão se acumulam ao longo do tempo. Condicionar a política a grandes quantidades de informação histórica ruidosa pode amplificar esses erros, levando a falhas em cascata e deriva do modelo ao longo de longos horizontes.

2. Metodologia: HALO

Os autores propõem o HALO (Política visuomotora com consciência de histórico para aprendizado de imitação robótica de longo horizonte), um framework projetado para permitir a execução end-to-end de tarefas que abrangem até oito minutos através da recuperação de informações relevantes do histórico. A ideia central é que, embora a atenção forneça um mecanismo geral de recuperação, ela deve ser guiada em direção à informação relevante para a tarefa e restringida para evitar o condicionamento em histórico irrelevante ou ruidoso.

A. Visão Geral da Arquitetura

O HALO parametriza uma política visuomotora $\pi_\theta(a_t | \tau_t, l)$ com três componentes principais:

1. Encoders: Encoders específicos de modalidade ($g_{obs}$, $g_{act}$) mapeiam inputs heterogêneos (RGB, propriocepção, ações passadas) em um espaço latente comum.
2. Backbone da Política: Um backbone baseado em Transformer ($f_\theta$) realiza a recuperação de memória sobre o histórico codificado $M_t$ e processa a informação.
3. Cabeças de Predição: Uma cabeça de ação específica da tarefa ($h_{act}$) prevê comandos de controle de baixo nível, e uma cabeça de predição de texto ($h_{text}$) fornece supervisão auxiliar.

B. Mecanismos Principais

1. Destilação de Priores de VLM via Questionamento de Vídeo-Resposta (VQA)

Para mitigar correlações espúrias, o HALO aproveita Modelos de Linguagem-Visão (VLMs) para destilar priores sobre quais informações históricas são relevantes para a tarefa.

• Mecanismo: A política é co-treinada para tanto imitar ações do especialista quanto responder perguntas sobre o histórico da trajetória.
• Geração de VQA: Um pipeline de múltiplos estágios gera pares VQA de alta qualidade a partir de trajetórias de longo horizonte. Isso envolve:
  1. Sumarização de trajetória-para-texto: Combinando detectores de objetos e VLMs para criar descrições textuais de elementos da cena e atividades.
  2. Síntese de perguntas: Um LLM gera perguntas que investigam requisitos de memória específicos (ex: localizações de objetos, ordenação de eventos) vinculados a frames específicos.
  3. Verificação: Um verificador LLM filtra pares incorretos ou fracamente relevantes.
• Objetivo de Treinamento: A política minimiza uma perda conjunta: $L(\theta) = L_{IL}(\theta) + \lambda L_{VQA}(\theta)$. O objetivo de VQA força o módulo de recuperação a atender a partes específicas do histórico onde ocorreram eventos relevantes para a tarefa, fornecendo supervisão direta sobre o que recuperar.

2. Esparsificação de Atenção Top-k

Para reduzir o impacto dos erros acumulados durante o controle de malha fechada, o HALO restringe a política a condicionar-se apenas a um subconjunto esparso de informações armazenadas.

• Mecanismo: Em vez de atender a todo o histórico, a política calcula similaridades query-key e seleciona apenas os top-$k$ entradas de memória mais relevantes.
• Treinamento: Um estimador straight-through é usado para lidar com a operação top-k não diferenciável. Os gradientes reforçam a seleção de entradas que melhoram a predição de ação ou a precisão do VQA, enquanto penalizam entradas irrelevantes.
• Benefício: Isso limita a influência de informações ruidosas, reduzindo a deriva do modelo e mitigando falhas em cascata.

3. Principais Contribuições

• Recuperação de Memória Geral: Introduz um mecanismo de recuperação de memória aprendido e end-to-end que evita suposições específicas de tarefas ou regras projetadas à mão.
• Recuperação Guiada por VQA: Propõe o uso de supervisão de Questionamento de Vídeo-Resposta gerada automaticamente para direcionar a atenção para informações relevantes para a tarefa, transferindo efetivamente os priores de VLM para a política visuomotora.
• Atenção Esparsa para Robustez: Demonstra que a esparsificação top-k reduz efetivamente a deriva do modelo em controle de malha fechada de longo horizonte ao filtrar o ruído acumulado.
• Avaliação Abrangente: Valida a abordagem no benchmark REMEMBENCH e em cinco tarefas do mundo real através de duas plataformas robóticas (manipuladores fixos e móveis).

4. Resultados Experimentais

Simulação (REMEMBENCH)

Avaliado em tarefas que exigem memória espacial, relacional, numérica e de tempo de evento:

• Desempenho Geral: O HALO alcançou uma taxa de sucesso média de 41%, superando o Standard Transformer (22%), SAM2Act++ (20%), ReMemBer (18%) e Hand-Designed Features (29%).
• Estudos de Ablação:
  • Remover a supervisão VQA reduziu o sucesso médio em 10% (para 31%), destacando a importância dos priores de VLM para identificar o histórico relevante.
  • Remover a esparsificação top-k (usando atenção total) reduziu o desempenho em 9%, confirmando seu papel na redução da deriva.
  • O co-treinamento de VQA e predição de ação superou uma abordagem de pré-treino seguido de fine-tuning em 20% (64% vs. 44%), sugerindo que o treinamento conjunto é crucial para moldar a recuperação de forma eficaz.
• Comparações: O HALO superou métodos alternativos de esparsificação (janela, estendido, hierárquico, atenção de portão/gated) e modelos de memória não-associativos (LSTM, Mamba, Transformer-XL).

Avaliação no Mundo Real

Avaliado em cinco tarefas do mundo real (incluindo colaboração humano-robô):

• O HALO alcançou uma taxa de sucesso média de 55%, comparada a 36% do baseline Standard Transformer.
• Melhorias notáveis foram observadas em tarefas desafiadoras de longo horizonte, como aquecer um fogão por até oito minutos e armazenar múltiplos objetos.
• A análise da tarefa "Retrieve Object" mostrou que o HALO reduziu falhas de manipulação em 8% e falhas de memória em 25% comparado ao baseline.

5. Significância e Alegações

O artigo afirma que o HALO fornece uma solução geral para controle de longo horizonte em ambientes parcialmente observáveis ao aprender a recuperar informações relevantes para a tarefa diretamente dos dados.

• Versatilidade: Ao contrário de métodos anteriores que dependem de representações fixas (ex: centradas em objetos) ou resumos de texto, o HALO se adapta a diversos tipos de informação (espacial, numérica, temporal) sem engenharia manual.
• Necessidade de Aterramento (Grounding): Os autores enfatizam que, embora os priores de VLM sejam úteis para selecionar informações relevantes, eles são insuficientes por si só para controle de baixo nível (alcançando apenas 18% de sucesso sem o aterramento de ação). A combinação de recuperação guiada por VLM e imitação com aterramento de ação é crítica.
• Robustez: O trabalho demonstra que a recuperação seletiva via esparsificação top-k é uma estratégia prática e eficaz para mitigar os erros compostos inerentes à execução de malha fechada de longo horizonte.

Os autores concluem que sua abordagem permite o controle confiável sobre horizontes de tempo estendidos (até oito minutos) ao equilibrar a necessidade de um contexto histórico rico com a necessidade de filtrar ruído e correlações irrelevantes. Um trabalho futuro é proposto para explorar estratégias de consulta ativa e aprendizado de memória entre episódios.