Resumo Técnico: DeMiAn – Anotação Multi-Aspecto Densa para Aprendizado de Políticas Robóticas

1. Declaração do Problema

A escalabilidade do aprendizado de políticas robóticas está atualmente limitada pelo alto custo de coleta de demonstrações de operadores qualificados. Embora conjuntos de dados modernos requeiram milhares de horas de teleoperação em hardware dedicado, a linguagem associada a essas demonstrações frequentemente permanece subutilizada. Conjuntos de dados típicos rotulam clipes com instruções curtas e de alto nível (por exemplo, "abra a gaveta") que falham em capturar explicitamente as ricas relações espaciais, transições de contato, estados de corporificação e estruturas de subobjetivos já presentes nos pixels visuais.

Abordagens existentes para "linguagem densa" em robótica geralmente comprometem-se com um único estilo de legenda (por exemplo, primitivas de movimento, cadeia de pensamento ou ancoragem de cena) e aplicam-no uniformemente. Este artigo argumenta que nenhum estilo de anotação único domina em todas as tarefas; ao contrário, a estrutura de linguagem ótima depende das demandas específicas do primitivo de manipulação. O desafio é aproveitar o baixo custo de geração de linguagem densa para amplificar o sinal em corpora de demonstrações fixos, sem incorrer na latência ou no custo de nova coleta de dados.

2. Metodologia: DeMiAn

Os autores propõem o DeMiAn (Anotação Multi-Aspecto Densa), um framework end-to-end operando em duas etapas: um pipeline de anotação no tempo de treinamento e um instrutor aprendido no tempo de inferência.

2.1 Quatro Aspectos de Anotação Complementares

O DeMiAn re-rotula segmentos de vídeo existentes ao longo de quatro dimensões distintas, cada uma trazendo à tona informações estruturais omitidas por rótulos de tarefas padrão:

1. Movimento Físico: Descreve ação temporal e ancoragem de contato (por exemplo, alcançar, agarrar, levantar, interações com objetos).
2. Composição da Cena: Fornece ancoragem espacial (por exemplo, layout do espaço de trabalho, objetos visíveis, distrações e relações espaciais).
3. Pose do Braço: Foca na corporificação e ancoragem do estado de contato (por exemplo, postura do braço, estado da garra, orientação relativa ao ambiente).
4. Raciocínio: Captura ancoragem causal e de subobjetivos (por exemplo, o propósito do segmento, dependências de segmentos vizinhos e fases de preparação versus execução).

2.2 Pipeline no Tempo de Treinamento

Um pipeline automático usando um Modelo Visão-Linguagem (VLM), especificamente o Qwen3-VL-30B, re-anota conjuntos de dados existentes (RoboCasa 365, MolmoBot e EgoVerse). Para cada segmento de vídeo, o VLM é instruído com quadros amostrados e contexto para gerar uma legenda de duas frases para cada um dos quatro aspectos. Este processo é aplicado a mais de 1 milhão de clipes sem coletar novas demonstrações.

2.3 Instrutor Aprendido no Tempo de Inferência

Para abordar o fato de que diferentes tarefas se beneficiam de diferentes tipos de anotação, o DeMiAn emprega um pequeno instrutor aprendido (treinado via Ajuste Fino Supervisionado no Qwen3.5-2B).

• Treinamento: O instrutor é treinado para prever o aspecto de anotação ótimo para uma dada tarefa. A distribuição alvo é derivada de uma "tabela de recompensa" construída executando a política de ação com cada um dos quatro aspectos de verdade fundamental e registrando a taxa de sucesso (SR). O instrutor aprende a aproximar um oráculo por tarefa, amostrando alvos via softmax sobre essas recompensas.
• Implantação: O instrutor executa assincronamente ao lado da política de ação. Ele recebe o instantâneo inicial da cena e a descrição da tarefa como entrada, gera a anotação densa apropriada e a injeta no prompt da política no próximo limite de bloco de ação. Este design esconde a latência de geração atrás da execução, garantindo nenhum atraso adicional no ritmo de controle do robô.

2.4 Arquiteturas de Política

O método é avaliado em duas arquiteturas distintas:

• DeMiAn VLA: Construído sobre o openpi 0.5 (backbone PaliGemma com especialista em ação de correspondência de fluxo), utilizando anotações densas como um sinal auxiliar de treinamento conjunto.
• DeMiAn WAM: Um Modelo Mundo-Ação baseado em vídeo usando Cosmos-Predict 2.5 (backbone DiT), onde a linguagem densa condiciona o objetivo de previsão de vídeo durante o meio-treinamento e a cabeça de ação durante o pós-treinamento.

3. Contribuições Principais

1. Pipeline Automático Multi-Aspecto: Um sistema baseado em VLM que traz à tona quatro aspectos estruturais complementares (movimento, cena, pose, raciocínio) a partir de demonstrações robóticas e humanas existentes.
2. Instrutor Assíncrono Aprendido: Um modelo pequeno que seleciona o aspecto de anotação apropriado à tarefa na implantação, fechando a lacuna entre baselines de aspecto fixo e um oráculo por tarefa sem introduzir latência de inferência.
3. Evidência de Generalização: Demonstração empírica de que esta abordagem generaliza para tarefas compostas (via troca de prompt orientada a subobjetivos) e cenas e objetos fora da distribuição (OOD).
4. Fronteira Computação-Desempenho: Uma comparação controlada mostrando que a re-anotação densa melhora o trade-off computação-desempenho tanto no meio-treinamento de WAM quanto no pós-treinamento de VLA, mesmo quando os FLOPs para geração de anotação são cobrados contra o orçamento.

4. Resultados Experimentais

Avaliado em RoboCasa 365 (17 tarefas atômicas de cozinha) e MolmoSpaces (9 benchmarks em 4 famílias de tarefas):

• Lacuna do Oráculo: Nenhum aspecto de anotação fixo único domina. Um oráculo por tarefa (selecionando o melhor aspecto por tarefa) melhora a taxa de sucesso média (SR) em 8 pontos percentuais sobre a baseline apenas de tarefa no VLA RoboCasa (atingindo 52% vs. 44%).
• Desempenho do Instrutor: O instrutor aprendido eleva a SR média para 49%, fechando a lacuna para dentro de 2–3 pontos do oráculo. Isso representa um aumento de +5 pontos percentuais sobre a baseline, superando significativamente a seleção aleatória de aspectos.
• Generalização:
  • Em tarefas compostas (por exemplo, "Prepare Café"), a política DeMiAn-VLA com o instrutor alcança 18% de sucesso na tarefa completa, superando a baseline (13%) e aproximando-se do desempenho de prompts atômicos de verdade fundamental (22%).
  • O sistema mostra generalização OOD mais forte em cenas e objetos do MolmoSpaces comparado a baselines apenas de tarefa.
• Eficiência Computacional:
  • No meio-treinamento de WAM (em 50 mil clipes EgoVerse), anotações densas permitem que o modelo alcance SR downstream mais alta com orçamentos computacionais mais baixos comparado à baseline.
  • No pós-treinamento de VLA (em 1 milhão de clipes MolmoBot), o DeMiAn iguala o desempenho da baseline em tarefas específicas (NextTo, Color) com ~62% menos computação (economizando ~1,3 × 10²⁰ FLOPs).

5. Significado e Alegações

O artigo postula que a densidade da linguagem é uma alavanca barata e prática para escalar o aprendizado de políticas robóticas. Ao tratar o tipo de anotação como uma escolha de design aprendível em vez de um formato de prompt fixo, o DeMiAn extrai significativamente mais sinal dos conjuntos de dados existentes.

Os autores afirmam que:

• Re-anotação é viável: Gerar anotações densas é ordens de magnitude mais barato do que coletar novas demonstrações, e o custo computacional é recuperado pela eficiência de amostragem aprimorada.
• Dependência da tarefa é crítica: A abordagem "tamanho único" para linguagem densa é subótima; a capacidade de selecionar dinamicamente o aspecto de anotação certo por tarefa é essencial para atingir o desempenho máximo.
• Escalabilidade: O método escala efetivamente através de diferentes famílias de modelos (VLA e WAM) e escalas de dados (de 11 mil clipes a 1 milhão de clipes), sugerindo que é uma estratégia complementar à escalabilidade de demonstrações.

Limitações: Os autores observam que as anotações herdam vieses do VLM congelado, a avaliação atual é apenas de simulação (RoboCasa/MolmoSpaces) e o esquema de quatro aspectos é heurístico. Eles também reconhecem que o instrutor ainda não fecha totalmente a lacuna do oráculo em todas as tarefas, particularmente nas fases finais de tarefas compostas.