Resumo Técnico: BRICKCRAFT

Declaração do Problema

A montagem autônoma de blocos entrelaçados por robôs representa um desafio formidável na manipulação de longo horizonte, exigindo a integração perfeita de raciocínio de tarefas de alto nível, fundamentação espacial e manipulação fina rica em contato. Os paradigmas existentes de controle monolítico ponta a ponta lutam com dependências de longo prazo e os extensos requisitos de dados necessários para modelar restrições estruturais complexas. Além disso, a ponte entre planos semânticos de alto nível e a execução visuomotora de baixo nível é particularmente difícil na montagem de blocos devido a dois fatores confusos: (1) ambiguidade visual causada por unidades geométricas periódicas e características repetitivas, e (2) multimodalidade espacial, onde múltiplas poses de montagem localmente válidas, mas discretas, existem para interfaces de encaixe. As soluções atuais frequentemente dependem de estados cinemáticos explícitos (vulneráveis a ruídos de percepção) ou imagens de objetivo implícitas (difíceis de fundamentar fisicamente), falhando em fornecer orientação robusta para robôs em cenários de montagem com folgas apertadas.

Metodologia

O artigo apresenta o BRICKCRAFT, um framework composicional projetado para transformar projetos digitais de blocos em produtos físicos através de três fases distintas:

1. Raciocínio de Montagem Orientado a Habilidades

O BRICKCRAFT decompõe tarefas de montagem de longo horizonte em uma sequência de subobjetivos acionáveis usando uma estratégia de montagem por desmontagem.

• Formulação Relativa: Em vez de poses absolutas, cada etapa de montagem é definida por uma tupla $(b_{ref}, b_{tgt}, \tau)$, onde um bloco alvo ($b_{tgt}$) é anexado a um bloco de referência ($b_{ref}$) dentro da estrutura parcial existente.
• Codificação de Tarefa Geométrica: A relação espacial relativa é parametrizada por um vetor 4D $\tau = [\tau_x, \tau_y, \tau_z, \tau_\theta]$, representando deslocamentos espaciais discretos em unidades de pinos e orientação planar relativa. Esta formulação abstrai diversas tarefas de montagem em um conjunto finito de habilidades primitivas reutilizáveis.
• Algoritmo de Busca: Uma Busca em Profundidade (DFS) explora caminhos de desmontagem viáveis a partir do estado de objetivo, validando movimentos candidatos contra quatro critérios: Conectividade ($C_{con}$), Observabilidade ($C_{obs}$), Operabilidade ($C_{op}$) e Estabilidade ($C_{stab}$).

2. Fundamentação da Intenção de Montagem (Manuais Situados)

Para bridar a lacuna entre planos simbólicos e execução física, o framework introduz manuais situados. Esta estratégia projeta intenções de montagem abstratas sobre observações do robô em tempo real para fornecer orientação espacial explícita.

• Geração de Referência Visual: Um motor de simulação (Blender) renderiza o estado esperado da montagem, gerando uma imagem fotorealista e máscaras semânticas para a estrutura global e o bloco de referência específico.
• Segmentação de Entidade Física: Um modelo YOLOv8-seg ajustado finamente segmenta o espaço físico para identificar a estrutura montada, a garra e o bloco alvo.
• Alinhamento e Rastreamento de Máscaras: Uma transformação afina alinha a máscara de referência simulada com a observação física. Um módulo de rastreamento (SAM 2) mantém a consistência temporal dessas máscaras.
• Aumento Visual: O sistema cria um "manual situado" sobrepondo a máscara de referência rastreada ao fluxo de vídeo bruto da câmera. Regiões fora das máscaras ativas são escurecidas (atenuadas para 25% de brilho) com uma transição em gradiente, criando um efeito de holofote que destaca entidades relevantes para a tarefa e suprime distrações visuais.

3. Execução Visuomotora Composicional

O pipeline de execução encadeia habilidades visuomotoras aprendidas sob a orientação de manuais situados.

• Arquitetura de Política: A habilidade de montagem é formulada como uma Política de Difusão condicionada a observações visuais de dupla visão (aumentadas com o manual situado), estado proprioceptivo e a codificação de tarefa $\tau$.
• Modalidades de Entrada: As observações incluem vistas das câmeras do espaço de trabalho e do pulso, pose do efetuador final, estado da garra e forças externas 3D estimadas a partir de torques das juntas para aprimorar a consciência de contato.
• Encadeamento de Habilidades: Tarefas de longo horizonte são executadas como uma sequência de habilidades de pegar e montar: $\{S^{(1)}_{pick} \rightarrow S^{(1)}_{asm} \rightarrow \dots \rightarrow S^{(N)}_{asm}\}$.
• Verificação: Pré e pós-condições verificam a visibilidade do alvo, a viabilidade cinemática e a consistência geométrica entre o estado físico e o plano simbólico para prevenir a acumulação de erros.

Contribuições Principais

1. Framework BRICKCRAFT: Um framework composicional para montagem de blocos entrelaçados de longo horizonte que desacopla o raciocínio de tarefas da execução.
2. Formulação Relativa de Tarefa: Uma abordagem inovadora que mapeia diversas tarefas de montagem para um conjunto finito de habilidades primitivas, ancorando etapas a blocos de referência por meio de codificações geométricas relativas.
3. Manuais Situados: Uma estratégia que fundamenta intenções simbólicas em observações em tempo real, segmentando e destacando entidades relevantes para a tarefa, resolvendo efetivamente a ambiguidade visual e fornecendo orientação espacial explícita.
4. Validação Empírica: Experimentos abrangentes no mundo real demonstrando forte generalização composicional para estruturas não vistas.

Resultados Experimentais

O framework foi avaliado em um braço Kinova Gen3 com uma garra Robotiq usando blocos LEGO Duplo.

• Conjunto de Dados: 692 trajetórias de demonstração em mais de 60 configurações, aumentadas com o pipeline de manual situado.
• Desempenho de Passo Único: O BRICKCRAFT alcançou uma taxa de sucesso de 86,25% em 240 ensaios em 48 estruturas distintas (24 vistas, 24 não vistas).
  • Superou significativamente as linhas de base: Política de Difusão Condicionada à Imagem de Objetivo (GI-DP) e $\pi_0.5$ Condicionado à Imagem de Objetivo (GI-$\pi_0.5$).
  • A GI-DP sofreu uma queda de desempenho de 12,5–15,0% em estruturas não vistas, enquanto a GI-$\pi_0.5$ permaneceu limitada abaixo de 50% de sucesso.
  • Visualizações EigenCAM confirmaram que os manuais situados concentram a atenção visual nas relações geométricas, enquanto as linhas de base exibiram ativações dispersas vulneráveis a distrações.
• Desempenho de Longo Horizonte: O sistema completou com sucesso tarefas de montagem para quatro estruturas distintas (Pirâmide, Escadas, Casa, Castelo), incluindo o "Castelo", que foi totalmente não visto durante o treinamento.
  • As taxas de conclusão foram altas para estruturas totalmente suportadas (Pirâmide, Escadas), mas mostraram ligeiros declínios para estruturas com regiões centrais não suportadas (Casa, Castelo) devido a erros acumulados e deformação estrutural.
• Estudos de Ablação: A estratégia de escurecimento de fundo para manuais situados superou alternativas de caixas delimitadoras em 10–12,5%, sugerindo que transições suaves preservam contornos geométricos melhor do que bordas artificiais.

Significado e Alegações

O artigo afirma que o BRICKCRAFT aborda o gargalo crítico de fundamentar o raciocínio semântico de alto nível na execução física para tarefas de montagem complexas. Ao introduzir manuais situados, o framework resolve efetivamente a ambiguidade visual inerente a estruturas geométricas repetitivas, permitindo que robôs aprendam a partir de demonstrações limitadas e generalizem para configurações novas e não vistas.

Os autores enfatizam que, embora habilidades individuais sejam proficientes, o pipeline de execução composicional é essencial para a confiabilidade de longo horizonte. O framework demonstra que decompor tarefas complexas em primitivas relativas e reutilizáveis, combinadas com orientação espacial explícita, oferece um caminho viável para sistemas corporativos inteligentes capazes de operar em cenários complexos do mundo real. O trabalho sugere que a ponte entre raciocínio simbólico e habilidades atômicas fundamentadas espacialmente é uma direção promissora para implantar agentes robustos em cenários de manipulação mais amplos, embora o sistema atual seja limitado à montagem de blocos entrelaçados e careça de capacidades reativas de autocorreção para recuperação de falhas.