Learning 3D Affordances for Blade Insertion in Cluttered Stowing

Resumo Técnico: Aprendizado de Aferências 3D para Inserção de Lâminas em Estocagem com Aglomeração

Definição do Problema
A estocagem robótica envolve a inserção de uma lâmina rígida em cestos de tecido densamente aglomerados para varrer itens e criar espaço. Esta tarefa requer o raciocínio sobre aferências de espaço livre (free-space affordances): identificar volumes de espaço 3D onde uma ferramenta pode navegar com segurança sem colidir com a geometria circundante. Ao contrário das aferências de contato de superfície (onde uma ferramenta toca um objeto), as aferências de espaço livre dependem do volume navegável restringido pelas paredes do cesto e itens ocluídos.

Abordagens padrão tratam isso como um problema de regressão ou generativo sobre poses SE(3) (posicionamentos de ferramenta de 6-DoF). No entanto, os dados de produção são inerentemente unimodais: para qualquer configuração de cesto dada, o sistema executa apenas uma estratégia, embora existam múltiplos caminhos de inserção geometricamente válidos. Treinar modelos generativos (ex: flow matching) em dados de pose unimodais faz com que eles colapsem para um único modo, falhando em recuperar o conjunto diverso de soluções geométricas válidas. Além disso, o raciocínio no espaço de pose desloca a inferência do domínio onde a viabilidade geométrica é naturalmente definida (ocupação 3D), tornando difícil determinar se posicionamentos não observados são fisicamente possíveis.

Metodologia: VulcanVoxel
Os autores propõem o VulcanVoxel, um framework que mantém a inferência no domínio espacial em vez de projetá-la no espaço de pose. A hipótese central é que as aferências da lâmina são objetos espaciais (subconjuntos de espaço 3D) e devem ser inferidas como tal.

1. Representação: O sistema reconstrói a cena a partir de um único quadro RGB-D em uma grade de ocupação 3D multicanal ($32^3$ voxels). Os canais codificam:
   • Ocupação combinada de paredes e objetos ($O_{occupy}$).
   • Ocupação apenas de objetos ($O_{object}$).
   • Ocupação da lâmina de verdade fundamental ($O_{blade}$).
2. Arquitetura: O VulcanVoxel utiliza um Autoencoder de Máscara de U-Net 3D (MAE).
   • Objetivo de Treinamento: Em vez de prever uma distribuição de pose, o modelo é treinado para reconstruir o canal de ocupação da lâmina mascarado, condicionado à geometria observada da cena.
   • Mascaramento de Canais: Durante o treinamento, combinações aleatórias dos três canais são mascaradas. Isso força o modelo a aprender relações geométricas entre canais (ex: inferir onde uma lâmina se encaixa dadas as posições da parede e dos objetos) em vez de memorizar padrões de execução.
   • Função de Perda: Devido à esparsidade dos voxels da lâmina, o modelo utiliza uma combinação de Focal Loss e Dice Loss para lidar com o desequilíbrio de classes e impor coerência de forma.
3. Pipeline de Inferência:
   • O modelo gera um campo de probabilidade 3D de ocupação válida da lâmina.
   • Extração de Pose: Componentes conectados válidos no campo de ocupação são identificados. Poses SE(3) candidatas são enumeradas ao redor desses componentes e pontuadas com base na sobreposição volumétrica com o campo previsto. Isso adia a extração de pose para uma etapa post-hoc, garantindo que o raciocínio espacial ocorra primeiro.
4. Destilação: Para lidar com a latência de inferência (o modelo voxel-para-voxel leva ~2,3s), um estudante destilado é treinado para prever a ocupação da lâmina diretamente de imagens RGB em ~30ms. Este estudante usa um codificador ViT e um decodificador 3D, elevando características 2D para 3D via restrições geométricas derivadas da calibração da câmera.

Principais Contribuições

1. Inferência Espacial para Aferências de Espaço Livre: O artigo demonstra que representar aferências como campos de ocupação 3D, em vez de distribuições de pose SE(3), permite que os modelos recuperem previsões multimodais a partir de dados de produção unimodais.
2. Análise de Representação: Através de ablações sistemáticas (comparando modalidades de entrada, representações de saída e objetivos de treinamento), os autores mostram que:
   • Operar no domínio espacial é necessário, mas não suficiente.
   • O objetivo de reconstrução (aprender o que é geometricamente consistente) é o fator crítico que permite a multimodalidade, distinguindo o VulcanVoxel de baselines de flow-matching operando no mesmo domínio espacial.
3. Generalização para Falhas: O modelo consegue identificar volumes de espaço livre geometricamente válidos mesmo em configurações de cesto onde o sistema de produção falhou, transformando efetivamente episódios de falha em sinais de treinamento informativos.
4. Dataset StowAffordance: O lançamento de um dataset de larga escala contendo mais de 10.000 ciclos reais de inserção de lâmina com observações RGB-D, trajetórias SE(3) e rótulos de resultado.

Resultados
Avaliado em 1.000 episódios reais de teste (julho de 2025) e conjuntos adicionais de tempo/alta aglomeração:

• Cobertura: O VulcanVoxel alcança uma Cobertura Top-5 (Cov5) de 0,89, superando significativamente o melhor baseline baseado em pose (Voxel FM Pose) com 0,71. Isso significa que em 89% das cenas, pelo menos uma das cinco poses previstas é geometricamente válida.
• Multimodalidade: O VulcanVoxel prevê uma média de 2,7 modos distintos por cena com um espalhamento espacial ($\sigma$) de 8,4 cm. Em contraste, baselines de flow-matching colapsam para modos únicos ($N_m \approx 1,0$) ou produzem um espalhamento geometricamente incoerente.
• Precisão: Embora o custo de previsão única do VulcanVoxel seja ligeiramente superior ao melhor baseline de pose (0,81 vs 0,60), ele iguala o desempenho de produção em precisão de previsão única, oferecendo uma diversidade vastamente superior.
• Destilação: O modelo estudante RGB alcança inferência de 30ms (46x de aceleração) enquanto recupera ~65% da qualidade de previsão do professor e mantém a multimodalidade parcial.
• Generalização de Falhas: Em ciclos de falha de produção, o VulcanVoxel mantém alta cobertura (>0,80), sugerindo que muitas falhas de produção derivam de questões de execução/feedback de força, e não de erros perceptivos.

Significância e Alegações
O artigo argumenta que as aferências de ferramentas são objetos espaciais, e inferi-las no espaço de pose SE(3) descarta a estrutura geométrica essencial para o raciocínio de viabilidade. Ao manter a inferência no domínio 3D nativo e usar um objetivo de reconstrução, o modelo aprende "onde as lâminas se encaixam" como uma condição geométrica local, em vez de "onde as lâminas foram inseridas" como uma distribuição global.

Os autores alegam que esta abordagem é uma solução canônica para o aprendizado de aferência de espaço livre em manipulação de ferramentas rígidas. Eles postulam que este princípio se estende além da estocagem para qualquer domínio de manipulação onde a compatibilidade geométrica seja a restrição primária, sugerindo que a inferência espacial deve ser a abordagem padrão quando os dados de produção são abundantes, mesmo que esses dados sejam unimodais. O trabalho destaca que o gargalo em tais tarefas é frequentemente o domínio da inferência (pose vs. espaço) e o objetivo de treinamento (generativo vs. reconstrução), e não a capacidade do modelo ou a escala de dados.