Resumo Técnico: Avaliação de Generalização de Afordância com o BusyBox

Declaração do Problema

Modelos de Visão-Linguagem-Ação (VLA) têm demonstrado capacidades promissoras de generalização nos espaços de linguagem e visão, como a compreensão de instruções novas ou o reconhecimento de objetos em novos ambientes. No entanto, uma lacuna crítica permanece na generalização de afordância (affordance generalization): a capacidade de um robô manipular objetos desconhecidos ao reconhecer suas afordâncias físicas (ex: botões, interruptores, controles deslizantes) com base na aparência visual e experiência prévia com objetos similares. Embora as interfaces projetadas por humanos frequentemente padronizem esses elementos para facilitar a generalização humana, os VLAs atuais têm dificuldade em transferir essas habilidades básicas de manipulação para novas configurações físicas, mesmo quando as afordâncias subjacentes permanecem idênticas. Os benchmarks existentes frequentemente focam em manipulação rica em contato ou em ambientes simulados que carecem das imperfeições físicas e da modularidade necessárias para testar a verdadeira generalização de afordância.

Metodologia

O Benchmark BusyBox

Os autores introduzem o BusyBox, um benchmark físico, modular e reconfigurável projetado para a avaliação sistemática da generalização de afordância de VLAs.

• Design: O BusyBox consiste em seis módulos intertravados: um display (E Ink com LEDs), botões, controles deslizantes (sliders), um botão rotativo (knob), interruptores e fios. Esses componentes são impressos em 3D para garantir uma alta relação resistência-peso, tornando-os manejáveis por robôs bimanual padrão (ex: Mobile Aloha com um limite de carga de 750g).
• Reconfigurabilidade: Os módulos podem ser trocados, rotacionados (90°, 180°, 270°) e rearranjados para criar distintas configurações visuais enquanto preservam o mesmo conjunto de afordâncias. O artigo define três configurações específicas para avaliação:
  1. Canônica: O arranjo padrão usado para a coleta de dados.
  2. Semi-embaralhada (Semi-shuffled): Três módulos (botões, fios, display) são movidos ou rotacionados em relação à configuração canônica.
  3. Totalmente embaralhada (Fully shuffled): Todos os cinco módulos manipuláveis são movidos ou rotacionados em relação à configuração canônica.
• Instrumentação: O sistema inclui instrumentação eletrônica opcional (Raspberry Pi 0, expansão USB, sensores baseados em Arduino) para registrar automaticamente o estado de todos os controles (posições de interruptores, valores de sliders, estados de fios) a 10 Hz. Isso permite a verificação precisa da conclusão da tarefa sem depender exclusivamente da observação visual.

Coleta de Dados

• Plataforma Robótica: Um robô bimanual Trossen Mobile Aloha equipado com câmeras de pulso.
• Dataset: Os autores coletaram 1.993 demonstrações teleoperadas cobrindo oito famílias de tarefas (pressionar botões, mover controles deslizantes, girar botões rotativos, inverter interruptores, puxar/inserir fios, mover a caixa, e movimentos de braço).
• Protocolo: Para garantir robustez, os estados iniciais foram randomizados via script (variando posições de sliders, estados de interruptores, configurações de fios e orientação da caixa), em vez de depender da intuição do operador. Os teleoperadores seguiram diretrizes estritas para garantir eficiência e movimento ativo, com técnicas específicas para tarefas bimanuais (ex: apoiar a caixa enquanto inverte interruptores).
• Anotação: Todas as demonstrações são anotadas com linguagem, referenciando instruções de tarefas, cores, posições e garras específicas.

Protocolo Experimental

Os autores avaliaram dois modelos VLA de peso aberto (open-weight) de última geração: $\pi_0.5$ e GR00T-N1.6.

1. Ajuste Fino (Fine-tuning): Ambos os modelos foram ajustados exclusivamente no dataset coletado da configuração canônica do BusyBox.
2. Avaliação: Os modelos ajustados foram testados em um conjunto fixo de 60 instruções de tarefa em todas as três configurações (Canônica, Semi-embaralhada, Totalmente embaralhada).
3. Critério de Sucesso: Uma tentativa foi considerada bem-sucedida apenas se a tarefa fosse concluída dentro de 30 segundos e todos os controles não mencionados na instrução permanecessem em seus estados iniciais. Este critério rigoroso penaliza o "excesso de resolução" (over-solving) ou a perturbação de outras partes do sistema.

Resultados Principais

Os experimentos revelam uma lacuna significativa entre o desempenho em distribuição (in-distribution) e a generalização de afordância:

• Desempenho In-Distribution (Canônica): Tanto o $\pi_0.5$ quanto o GR00T-N1.6 performaram razoavelmente bem na configuração canônica, indicando que a qualidade e diversidade do dataset foram suficientes para aprender as tarefas específicas quando as condições visuais correspondiam aos dados de treinamento.
• Desempenho Fora de Distribuição (Embaralhado): O desempenho degradou drasticamente nas configurações embaralhadas, apesar de as afordâncias serem idênticas às do treinamento.
  • Semi-embaralhada: As taxas de sucesso caíram significativamente em todas as categorias, incluindo aquelas onde o módulo alvo (ex: interruptores) permaneceu em sua posição original. Os autores hipotetizam que a mudança no vizinhança visual dos módulos confundiu os modelos.
  • Totalmente embaralhada: O desempenho degradou ainda mais. O GR00T-N1.6 exibiu uma tendência a "alucinar" posições de módulos baseando-se na memória proprioceptiva da configuração canônica, movendo os braços para onde um módulo deveria estar, em vez de onde ele está. O $\pi_0.5$ frequentemente travava ao encontrar layouts visuais inesperados.
• Diferenças Comportamentais: O GR00T-N1.6 tendia a continuar ajustando controles mesmo após a conclusão da tarefa (às vezes "desfazendo" a tarefa), enquanto o $\pi_0.5$ tendia a parar imediatamente após a conclusão, mas tinha dificuldade em se recuperar de incompatibilidades visuais.

Principais Contribuições

1. Benchmark BusyBox: Um benchmark físico e de código aberto para avaliar a generalização básica de afordância, incluindo arquivos CAD completos para impressão 3D e uma lista de materiais para eletrônicos.
2. Dataset: Um dataset de 1.993 demonstrações de manipulação bimanual anotadas com linguagem na configuração canônica do BusyBox.
3. Baselines Empíricos: Um protocolo experimental e resultados de baseline demonstrando que mesmo fortes VLAs de peso aberto ($\pi_0.5$, GR00T-N1.6) lutam com a generalização de afordância quando as configurações visuais mudam, destacando uma grande área para melhorias futuras.

Significância

O artigo postula que a generalização de afordância é um requisito fundamental para que robôs operem fluentemente em ambientes projetados por humanos e sejam percebidos como inteligentes. Ao demonstrar que os atuais modelos de ponta ($\pi_0.5$, GR00T-N1.6) falham em generalizar habilidades básicas de manipulação através de simples rearranjos físicos, este trabalho identifica uma limitação crítica na pesquisa atual de VLA. O BusyBox foi desenhado para ser facilmente reproduzível em laboratórios de robótica para encorajar a comunidade a desenvolver e avaliar novos métodos para melhorar essa meta-habilidade específica. Os autores enquadram o BusyBox não apenas como um banco de testes, mas como uma ferramenta para inspirar experimentos em raciocínio espacial, correção verbal e interação humano-robô, buscando inspiração no jogo Keep Talking and Nobody Explodes.