Affostruction: 3D Affordance Grounding with Generative Reconstruction

Título: Affostruction: Grounding de Apropriação (Affordance) 3D com Reconstrução Generativa

1. O Problema

A manipulação robótica exige que os robôs não apenas identifiquem objetos, mas compreendam como interagir com eles (suas apropriações ou affordances, como "onde segurar" ou "onde empurrar").

• Limitação Atual: Os métodos existentes de grounding de apropriação geralmente operam diretamente em nuvens de pontos parciais (obtidas por câmeras RGB-D com oclusões). Eles preveem apropriações apenas nas superfícies visíveis, falhando em inferir regiões oclusas (ex: a alça de uma xícara vista de frente).
• Limitação de Reconstrução: Métodos de reconstrução 3D ou geração 3D existentes focam apenas na geometria ou na aparência visual, sem prever propriedades funcionais (apropriações), ou não utilizam dados de profundidade e poses de câmera para alinhar a geometria gerada com a realidade.
• Desafio Central: Como reconstruir a geometria completa de um objeto a partir de observações parciais e, simultaneamente, prever onde as interações funcionais ocorrem em toda a forma (incluindo partes não observadas), lidando com a ambiguidade inerente de que uma mesma query pode ter múltiplas regiões válidas.

2. Metodologia: Affostruction

O Affostruction é um framework generativo que integra três estágios principais para reconstruir a geometria completa e mapear apropriações em toda a forma 3D. Ele se baseia no modelo fundacional TRELLIS, mas introduz extensões críticas para lidar com observações parciais e múltiplas visões.

Estágio 1: Reconstrução Generativa Multi-visão (Generative Multi-view Reconstruction)

• Fusão de Vóxeis Esparsos: Em vez de processar visões independentemente, o método funde características do DINOv2 (extraídas de imagens RGB-D) em um espaço de vóxeis esparsos 3D.
• Condicionamento: Utiliza mapas de profundidade e parâmetros intrínsecos/extrínsecos da câmera para projetar características visuais no espaço 3D. Vóxeis sobrepostos têm suas características médias; vóxeis não sobrepostos são unidos.
• Treinamento Estocástico: O modelo é treinado com 1 a 8 visões aleatórias por iteração. Isso permite que o modelo aprenda a extrapolar geometria não observada a partir de poucas visões, mantendo uma complexidade computacional constante (O(1) em tokens), ao contrário de métodos de difusão multi-visão que crescem linearmente com o número de visões.
• Objetivo: Extrapolara geometria completa a partir de observações parciais, alinhada com a orientação real do objeto.

Estágio 2: Grounding de Apropriação Baseado em Fluxo (Flow-based Affordance Grounding)

• Modelagem de Distribuição: Reconhecendo que as apropriações são inerentemente ambíguas (uma query como "agarrar" pode ter múltiplas regiões válidas), o modelo não faz previsões discriminativas (um único mapa de calor), mas gera distribuições de probabilidade.
• Arquitetura: Utiliza um sparse flow transformer que gera mapas de calor de apropriação condicionados a queries de linguagem natural (codificadas via CLIP).
• Função de Perda: Utiliza uma combinação de Binary Cross-Entropy e Dice Loss dentro de um framework de Rectified Flow para modelar padrões de ocupação binária das regiões funcionais.

Estágio 3: Seleção Ativa de Visão Guiada por Apropriação (Affordance-driven Active View Selection)

• Estratégia: O sistema utiliza os mapas de calor de apropriação previstos na geometria reconstruída para selecionar a "próxima melhor visão".
• Métrica: Calcula a visibilidade das regiões de alta apropriação para várias poses candidatas e seleciona aquela que maximiza a visibilidade das áreas funcionais.
• Ciclo Fechado: A nova visão adquirida é fundida, refinando tanto a reconstrução 3D quanto o grounding de apropriação, permitindo uma melhoria iterativa sob orçamentos limitados de visões.

3. Contribuições Principais

1. Reconstrução Generativa Multi-visão: Propõe uma fusão de vóxeis esparsos condicionada a profundidade e poses de câmera, permitindo a reconstrução de geometria completa a partir de observações parciais com complexidade constante, superando a limitação de métodos que apenas preenchem superfícies visíveis.
2. Grounding de Apropriação Baseado em Fluxo: Introduz um modelo generativo que captura a natureza multi-modal das interações funcionais, prevendo distribuições de apropriação em vez de previsões únicas, o que resulta em uma localização espacial mais precisa.
3. Seleção Ativa de Visão Guiada por Apropriação: Desenvolve uma estratégia onde as previsões de apropriação guiam a coleta de dados, priorizando visões que revelam regiões funcionais críticas, acelerando significativamente a convergência da reconstrução e do grounding.

4. Resultados Experimentais

Os experimentos foram realizados nos benchmarks Toky4K (reconstrução 3D) e Affogato (grounding de apropriação).

• Reconstrução 3D (Toky4K):

  • O Affostruction alcançou um IoU de 32,67, superando o estado da arte (TRELLIS e MCC) em 54,8%.
  • Superou métodos baseados apenas em RGB (TRELLIS) e métodos discriminativos baseados em profundidade (MCC), demonstrando que a combinação de condicionamento de profundidade com geração generativa fornece priores geométricos superiores.

• Grounding de Apropriação em Geometria Completa (Affogato):

  • Alcançou um aIoU (Average Intersection over Union) de 19,1, uma melhoria de 40,4% em relação ao melhor método existente (Espresso-3D).
  • Isso demonstra que a modelagem generativa de distribuições de apropriação supera abordagens discriminativas, mesmo sem fine-tuning específico de codificadores de visão e texto.

• Grounding de Apropriação a partir de Observações Parciais:

  • Em cenários de visão única, o método alcançou 9,26 aIoU, quase o dobro do melhor pipeline de duas etapas (MCC + Espresso-3D, que atingiu 4,74).
  • Isso confirma que a capacidade de reconstruir regiões oclusas é crítica para prever apropriações corretamente em todo o objeto.

• Seleção Ativa de Visão:

  • A estratégia guiada por apropriação alcançou uma melhoria 2,0x mais rápida no aIoU com apenas uma visão adicional em comparação com baselines sequenciais (rotação fixa), demonstrando eficiência em orçamentos limitados de visões.

• Eficiência:

  • O método é o mais rápido entre os comparados (7,20 segundos totais), graças à fusão de vóxeis esparsos que reduz o número de passos de amostragem necessários (5 passos vs. 25 do TRELLIS).

5. Significado e Impacto

O Affostruction representa um avanço significativo para a robótica e a visão computacional ao fechar a lacuna entre reconstrução geométrica e compreensão funcional.

• Para Robótica: Permite que robôs planejem interações (como agarrar ou empurrar) com base em uma compreensão completa do objeto, mesmo quando partes dele estão oclusas, e otimizam ativamente a coleta de dados para regiões críticas.
• Avanço Científico: Demonstra que a modelagem generativa baseada em fluxo (flow-based) é superior para tarefas que envolvem ambiguidade (como múltiplos pontos de agarramento) e que a integração de dados de profundidade multi-visão em modelos fundacionais 3D é essencial para a precisão geométrica.
• Aplicabilidade: O framework é escalável para cenas multi-objeto (com segmentação prévia) e oferece um ciclo de feedback onde a previsão funcional melhora a percepção geométrica e vice-versa.

Em resumo, o Affostruction não apenas "preenche" o que falta na visão do robô, mas "entende" a função do objeto completo, permitindo interações mais robustas e inteligentes em ambientes reais e parcialmente observáveis.