Chain Of Interaction Benchmark (COIN): When Reasoning meets Embodied Interaction

1. O Problema

Os agentes robóticos generalistas precisam realizar raciocínio interativo e causalmente dependente para operar em cenários do mundo real. Diferente de tarefas simples de manipulação, tarefas de longo horizonte em ambientes parcialmente observáveis exigem que o robô interaja continuamente com o ambiente, adquira informações, atualize suas crenças e ajuste seus planos dinamicamente.

• Exemplo: Para pegar uma maçã de um armário, o robô pode precisar abrir múltiplas portas e gavetas antes que a maçã se torne visível e alcançável.
• Limitação Atual: Os benchmarks existentes (como CALVIN, Libero, RoboCASA) focam predominantemente em tarefas simplificadas ou em percepção, falhando em avaliar sistematicamente a capacidade de raciocínio interativo (a necessidade de ciclos de "interação-raciocínio-interação"). Modelos atuais de Visão-Linguagem-Ação (VLA) e abordagens baseadas em código (CodeAsPolicy) mostram lacunas significativas entre a compreensão visual e a execução motora, falhando em tarefas que exigem adaptação contínua.

2. Metodologia e Contribuições Principais

Os autores introduzem o COIN (Chain Of Interaction), um benchmark projetado para avaliar o raciocínio interativo em manipulação robótica realista. O trabalho é estruturado em três pilares principais:

A. Estrutura do Benchmark (COIN-50, COIN-Primitive, COIN-Composition)

O benchmark é organizado hierarquicamente em 90 tarefas totais, cobrindo três domínios de raciocínio:

1. Raciocínio Centrado no Objeto: Inferência de propriedades físicas, raciocínio espacial, compreensão de mecanismos e raciocínio visual.
2. Raciocínio Centrado no Robô: Otimização de controle e consciência corporal (ex: evitar colisões).
3. Raciocínio Composicional: Resolução de problemas mediada por ferramentas, adaptação a falhas, planejamento hierárquico e uso de experiência.

As tarefas são divididas em:

• COIN-Primitive (20 tarefas): Habilidades fundamentais de manipulação (abrir/fechar, pegar/colocar, empurrar/puxar, rotação) que servem como blocos de construção.
• COIN-Composition (20 tarefas): Tarefas de complexidade intermediária que testam a generalização frente a variações visuais ou de instrução.
• COIN-50 (50 tarefas): Tarefas completas de raciocínio interativo que exigem raciocínio causal de múltiplos passos sob observabilidade parcial. A média de passos por tarefa é de 988,9, significativamente maior que benchmarks anteriores.

B. Coleta de Dados e Teleoperação de Baixo Custo

• Sistema de Teleoperação: Desenvolvimento de um sistema baseado em smartphone (usando ARKit/ARCore) com custo de hardware inferior a $20. O sistema captura dados de pose 6-DoF e permite controle estável a 20Hz, mesmo em dispositivos mais antigos.
• Dataset COIN-Primitive: Coleta de 1.000 demonstrações (50 por tarefa) para as 20 tarefas primitivas, capturadas de 5 pontos de vista diferentes. Este dataset é crucial para o ajuste fino (fine-tuning) de modelos VLA.

C. Métricas de Avaliação Sistemática

Foi desenvolvido um framework de avaliação com seis métricas complementares para analisar não apenas o sucesso, mas a qualidade e robustez:

• Taxa de Sucesso (SR) e Taxa de Sucesso por Classe (CSR): Desempenho geral e por domínio de raciocínio.
• Score de Perguntas Visuais (VS): Avalia a capacidade de raciocínio perceptual através de perguntas sobre o estado do ambiente.
• Estabilidade da Trajetória (TS) e Controle da Garra (GS): Métricas finas para avaliar a suavidade, aceleração, jerk (jerk é a 3ª derivada da posição) e coordenação braço-garra.
• Score de Capacidade de Generalização (GCS): Compara o sucesso em tarefas primitivas versus composicionais para medir a adaptabilidade.

3. Resultados Experimentais

Os autores avaliaram abordagens CodeAsPolicy (Voxposer, Rekep) e modelos VLA (Gr00t N1, Pi0, CogACT), incluindo arquiteturas hierárquicas (H-VLA).

• Desempenho Geral: Existe uma lacuna massiva entre humanos e IA. Humanos alcançaram 40% de sucesso em simulação (100% no real), enquanto os melhores modelos de IA atingiram apenas ~3% nas tarefas COIN-50.
• Falhas do CodeAsPolicy:
  • Arquitetura de planejamento não interativa: Os modelos não atualizam planos com base no feedback ambiental (ex: se não consegue pegar um objeto, repete o mesmo loop sem novas estratégias).
  • Lacuna entre planejamento e execução: Dificuldade em manipular objetos articulados (portas, gavetas) devido à representação baseada em pontos-chave.
• Falhas dos Modelos VLA e H-VLA:
  • Controle Instável: Movimentos "trêmulos" (jerk) e baixa precisão no timing da garra.
  • Falha Catastrófica de Generalização: Modelos que funcionam em tarefas primitivas (16-19% de sucesso) falham completamente (0-6%) quando submetidos a variações mínimas em tarefas composicionais.
  • Integração Fraca: A interface baseada apenas em linguagem natural é insuficiente para comunicar a complexidade da interação física entre o robô e o ambiente.

4. Significado e Conclusão

O COIN demonstra que o raciocínio interativo é um gargalo fundamental para a adoção de robôs no mundo real. Os resultados indicam que:

1. A simples extensão do horizonte temporal não é suficiente; a densidade de interações de raciocínio é o desafio real.
2. Há uma desconexão crítica entre a compreensão visual (VLM) e a execução motora (VLA).
3. As abordagens atuais falham em ciclos de "pensar-executar-pensar" necessários para ambientes parcialmente observáveis.

Direções Futuras Sugeridas:

• Desenvolvimento de controles VLA mais suaves e estáveis.
• Melhoria na percepção multimodal para integrar melhor a compreensão visual com o seguimento de instruções.
• Novos paradigmas de integração VLM-VLA que vão além de interfaces de linguagem (ex: vetores latentes).
• Frameworks CodeAsPolicy adaptativos com feedback em malha fechada para replanejamento dinâmico.

Em suma, o COIN estabelece um novo padrão para avaliar a inteligência corporal (embodied AI), provando que os modelos atuais ainda estão longe de operar de forma autônoma e robusta em tarefas complexas do dia a dia que exigem raciocínio causal e interativo.