Resumo Técnico: Política de Prompt de Comportamento (BPP)

Declaração do Problema

Ensinar novas habilidades a robôs tradicionalmente exige o retreinamento exaustivo ou o ajuste fino (fine-tuning) para cada tarefa específica, o que é ineficiente e limita a implantação rápida. Embora os grandes modelos de linguagem tenham demonstrado sucesso no aprendizado em contexto (adaptação a novas tarefas via exemplos de poucos disparos/few-shot em tempo de teste), a robótica ficou atrás em alcançar capacidades semelhantes para manipulação. As abordagens existentes frequentemente dependem de descrições de linguagem ou imagens de objetivo, que podem fornecer informações incompletas sobre a execução espacial e temporal específica necessária para uma tarefa. Além disso, muitos métodos de aprendizado de poucos disparos na robótica dependem de meta-aprendizado com atualizações de gradiente ou transformações espaciais explícitas, o que pode não escalar bem para distribuições de tarefas de alta diversidade.

Os autores propõem o Behavior Prompting (Prompt de Comportamento), um paradigma onde um robô executa uma nova tarefa em tempo de inferência dado um único exemplo humano (o "prompt de comportamento"). Este prompt consiste em observações, propriocepção e ações no espaço sensoriomotor do robô, definindo simultaneamente a tarefa e fornecendo um exemplo concreto de como executá-la.

Metodologia

1. Política de Prompt de Comportamento (BPP)

A principal contribuição algorítmica é a Behavior Prompting Policy (BPP), uma arquitetura visuomotora em contexto projetada para traduzir um prompt de comportamento e a observação atual em ações do robô. A arquitetura compreende três componentes principais:

• Fragmentação e Incorporação de Prompt (Prompt Chunking & Embedding): O prompt de comportamento (uma sequência de observações, propriocepção e ações) é temporariamente subamostrado (tipicamente para 1Hz) para eficiência. A sequência é dividida em "fragmentos" (chunks), onde cada fragmento contém um passo de tempo de observação ($o$) e propriocepção ($q$), juntamente com a sequência de ações ($a$) que leva ao próximo fragmento. Um mecanismo de Agrupamento por Atenção (Attention Pooling) funde $\{o, q, a\}$ em um único embedding de fragmento ($p_i$).
• Codificador de Prompt (Prompt Encoder): Este é um decodificador transformer que extrai informações relevantes da sequência de prompts ($P = [p_0, \dots, p_n]$) condicionado à observação atual. A observação atual é tokenizada e processada via atenção cruzada (cross-attention) com os embeddings de fragmento do prompt. Isso permite que o modelo identifique correspondências temporais e diferenças espaciais entre a demonstração do prompt e o ambiente atual.
• Decodificador de Ação (Action Decoder): A informação do prompt extraída, concatenada com a observação atual e um passo de tempo de difusão, é alimentada em um Modelo de Difusão (especificamente uma arquitetura baseada em CNN com condicionamento FiLM). O decodificador realiza a denoização iterativa para gerar ações de malha fechada (closed-loop).

Estratégia de Treinamento: A BPP é treinada usando clonagem de comportamento padrão em conjuntos de dados de aprendizado de imitação multitarefa. Para cada passo de treinamento, uma única demonstração é amostrada como o prompt, e um lote de observações de horizonte recuante e ações futuras é amostrado de outras demonstrações da mesma tarefa. Crucialmente, nenhuma correspondência espacial ou temporal explícita é imposta entre o prompt e o lote de treinamento; o modelo aprende de ponta a ponta para aproveitar o prompt.

2. Interface iPhUMI

Para abordar os requisitos de dados para o prompt de comportamento, os autores introduzem a iPhUMI, uma interface de manipulação portátil. Adaptada da garra UMI, ela substitui a GoPro por um iPhone 15 Pro. Principais características incluem:

• Localização Instantânea: Utiliza o ARKit do dispositivo para SLAM em tempo real, eliminando a necessidade de mapeamento de ambiente tedioso.
• Prompt Sem Fio: Permite que um operador humano transmita prompts de comportamento sem fio para uma estação de trabalho, permitindo o condicionamento imediato da política no tempo de teste para novas tarefas.

Avaliação e Benchmarks

Os autores introduzem dois novos benchmarks para avaliar a adaptação em tempo de teste, focando em alta diversidade de tarefas em vez de complexidade de tarefa única:

1. DrawAnything: Um ambiente de desenho (simulado e real) que requer adaptação de ação contínua e granular.
   • Sim: Treinado em 2.000 tarefas geradas proceduralmente; testado em 50 desenhos humanos não vistos.
   • Real: Utiliza um braço robótico ARX com uma câmera de pulso iPhone. Treinado em 1.000 tarefas; testado em 10 tarefas não vistas.
2. LIBERO-Gen: Uma extensão do benchmark de manipulação LIBERO com significativamente mais tarefas.
   • Combinação: Estende 10 tarefas para 174, testando a habilidade de escolher um de dois bowls idênticos e colocá-lo em um de nove locais.
   • Cadeia (Chain): Estende 10 tarefas para 321, testando interações sequenciais de dois passos (ex: abrir gaveta, depois colocar objeto).

Resultados Principais

• Adaptação Superior: Em tarefas de desenho não vistas (DrawAnything-Sim), a BPP alcançou uma redução de erro de 80,7% em comparação com a linha de base de Imagem de Objetivo (Goal-Image) e uma redução de 33,3% em comparação com o ICRT (um modelo anterior de prompt de comportamento).
• Robustez à Complexidade: Nos benchmarks LIBERO-Gen, a BPP superou as linhas de base (Imagem de Objetivo, Linguagem e ICRT) e rivalizou com o $\pi_{0.5}$ (um modelo de fundação VLA com 100K passos de ajuste fino LoRA), apesar de a BPP não possuir pré-treinamento de fundação.
• Mecanismo de Atenção: A visualização da atenção do codificador de prompt (Fig. 5) revela que a BPP rastreia efetivamente a progressão da tarefa. Para tarefas contínuas (desenho), a atenção segue o prompt de perto; para tarefas discretas (LIBERO), a atenção rastreia "marcos" (milestones) (ex: próximo objeto a interagir).
• Requisitos de Dados: Ablações sistemáticas mostraram que a diversidade de tarefas é o principal motor da capacidade de prompting. Coletar menos demonstrações por tarefa em um número maior de tarefas distintas produz melhor adaptação em tempo de teste do que muitas demonstrações para poucas tarefas.

Significância e Alegações

O artigo afirma que o prompt de comportamento fornece uma maneira flexível e escalável de ensinar novas habilidades a robôs sem o ajuste fino caro. Ao aproveitar uma única demonstração humana como um prompt, os usuários podem especificar tarefas ou definir novas capacidades robóticas "on the fly".

Os autores enfatizam que:

1. Prompts sensoriomotores são mais expressivos do que linguagem ou imagens de objetivo para tarefas que exigem comportamentos de baixo nível específicos ou estratégias espaço-temporais.
2. A diversidade de tarefas nos dados de treinamento é crítica para permitir a adaptação zero-shot para tarefas não vistas.
3. O iPhUMI serve como uma interface prática tanto para a coleta de dados de treinamento diversos quanto para a especificação de prompts de comportamento no tempo de teste, preenchendo a lacuna entre a intenção humana e a execução do robô.

O trabalho posiciona o prompt de comportamento como um passo para permitir que robôs adaptem o conhecimento de pré-treinamento para novos ambientes (ex: uma casa específica) através de uma única demonstração, simplificando o problema da adaptação ao fornecer informações ricas sobre o ambiente alvo e a estratégia de manipulação desejada.