Resumo Técnico: INSTRUCT-PARTICULATE

Definição do Problema

Reconstruir a estrutura articulada de objetos 3D — decompondo-os em partes cinemáticas com parâmetros de junta associados — é fundamental para animação, jogos e simulação robótica. No entanto, o progresso neste domínio tem sido limitado pela escassez de dados 3D articulados de alta qualidade e anotados. Os métodos existentes dependem de pequenos conjuntos de dados curados manualmente (ex: PartNet-Mobility), o que limita sua capacidade de generalização para novas categorias de objetos ou geometrias diversas. Além disso, a ambiguidade inerente na definição da granularidade das partes e da semântica para um determinado objeto 3D frequentemente leva modelos treinados em dados heterogêneos a produzir resultados subótimos e "médios".

Metodologia

Os autores propõem o INSTRUCT-PARTICULATE, um modelo feed-forward projetado para inferir estruturas articuladas a partir de ativos 3D estáticos (malhas) guiados por instruções cinemáticas explícitas.

1. Construção e Escalonamento de Dados

Para superar a escassez de dados, os autores construíram um conjunto de dados heterogêneo de mais de 150.000 objetos 3D articulados utilizando três estratégias complementares:

• Rotulagem Pseudo-Label via VLM: Um pipeline que utiliza Modelos de Linguagem-Visão (VLMs) para extrair estruturas cinemáticas (nomes das partes, conectividade, tipos de juntas) a partir de renderizações multi-visão de 27.000 ativos 3D sintéticos. O VLM gera máscaras de segmentação que são projetadas inversamente para o 3D.
• Aumento de Modelos Segmentados por Partes: Para 120.000 ativos com decomposições de partes existentes (mas carecendo de rótulos cinemáticos), o pipeline gera legendas textuais para as partes. Crucialmente, para lidar com a ambiguidade (ex: pernas de mesa idênticas), o sistema utiliza pistas espaciais apenas quando existe uma orientação canônica; caso contrário, atribui legendas idênticas a partes semanticamente idênticas, baseando-se em prompts de pontos geométricos para distinção.
• Geração por Agente de Codificação: 10.000 objetos articulados totalmente supervisionados foram gerados usando o Articraft, um agente de codificação 3D especializado, fornecendo parâmetros de junta precisos.

2. Arquitetura do Modelo

O modelo emprega uma arquitetura codificador-decodificador escalável que processa uma malha 3D (representada como uma nuvem de pontos) e uma condição cinemática $C$. A condição $C$ inclui:

• Uma estrutura de árvore cinemática $K$ (partes e conectividade).
• Prompts de texto ($t_p$) descrevendo cada parte.
• Prompts de pontos 3D opcionais ($x_p$) indicando localizações específicas nas partes.

Codificação:

• Tokens de Forma: Pontos amostrados da malha são codificados com normais de superfície e características (via PartField) e comprimidos em tokens de forma latentes através de atenção cruzada (cross-attention).
• Tokens de Consulta (Query Tokens): Pontos adicionais amostrados na superfície são codificados para prever associações de partes.
• Tokens de Parte: Prompts de texto são codificados via CLIP e combinados com embeddings de prompts de pontos.

Os tokens são processados através de $B$ blocos de transformer. Os tokens de parte são atualizados via autoatenção e atenção cruzada com os tokens de forma para inferir parâmetros de articulação. Os tokens de consulta realizam atenção cruzada tanto com a forma quanto com os tokens de parte atualizados para determinar a pertinência à parte. Notavelmente, a autoatenção é omitida entre os tokens de consulta para garantir velocidade e independência em relação ao número de pontos de consulta.

Decodificação:

• Segmentação de Partes: Um MLP pontua pares consulta-parte para atribuir pontos de superfície a partes específicas.
• Parâmetros de Movimento de Junta: Para cada junta móvel, o modelo prevê parâmetros de movimento (direção do eixo, ponto de pivô e limites de movimento) de maneira sobre-parametrizada. Ele prevê, para cada ponto de consulta, o ponto mais próximo no eixo da junta e a localização do ponto nos limites inferior e superior da junta. Essas previsões por consulta são agregadas geometricamente para recuperar um único eixo de movimento e intervalo compartilhado para cada junta.

Principais Contribuições

1. Modelo INSTRUCT-PARTICULATE: Um modelo feed-forward de última geração que aceita um objeto 3D estático e instruções cinemáticas para produzir um objeto 3D totalmente articulado, incluindo segmentação de partes e parâmetros de movimento de junta.
2. Mecanismo de Dados Escalável: Um pipeline que utiliza VLMs e agentes de codificação para rotular pseudo-dados e gerar um conjunto de dados de grande escala e diverso com mais de 150 mil objetos 3D articulados, expandindo significativamente além das coleções manuais existentes.
3. Condicionamento Cinemático: Uma formulação inovadora onde instruções cinemáticas explícitas (estrutura, texto e pontos) disambiguam a estrutura articulada alvo, permitindo que o modelo aprenda com dados heterogêneos sem os reduzir a resultados médios subótimos.
4. Articulação Imagem-para-3D: Demonstração de um pipeline prático onde o modelo, combinado com geradores 3D prontos para uso, pode gerar ativos 3D articulados diversos e realistas diretamente de imagens do mundo real.

Resultados Experimentais

O modelo foi avaliado no dataset Lightwheel, que contém 243 objetos articulados de alta qualidade em 14 categorias, incluindo aquelas ausentes de datasets anteriores.

• Desempenho Quantitativo: O INSTRUCT-PARTICULATE superou consistentemente oito baselines existentes (incluindo SINGAPO, PAct, PhysX-Anything e URDF-Anything+) em todos os modos de entrada (Apenas Imagem, Malha e Malha + Cinemática).
  • No cenário "Malha + Cinemática", alcançou 97,3% de precisão de correspondência de partes e 95,9% de recall, com um 0,821 de gIoU para segmentação de pose de repouso e 0,757 de gIoU para geometria articulada.
  • Reduziu significativamente os erros de eixo de junta (Erro de Ângulo: 9,5°, Erro de Localização: 0,015) em comparação com os baselines.
• Estudos de Ablação:
  • Dados: Modelos treinados apenas com datasets existentes (PartNet-Mobility, GRScenes) sofreram overfitting severo e falharam na generalização. A inclusão dos dados rotulados por pseudo-labels e pelo agente de codificação proporcionou ganhos complementares tanto em segmentação quanto em estimativa de junta.
  • Condicionamento: A remoção do condicionamento cinemático levou a uma queda drástica no desempenho, confirmando que instruções explícitas são necessárias para resolver a ambiguidade na granularidade e semântica das partes. Prompts de pontos proporcionaram o maior ganho de desempenho entre os tipos de prompts.
• Resultos Qualitativos: O modelo recuperou com sucesso pequenas partes articuladas (botões, botões giratórios) e estruturas complexas (batedeiras, máquinas de café) onde os baselines falharam. Também demonstrou a capacidade de seguir prompts cinemáticos específicos, como distinguir gavetas esquerda vs. direita via texto ou lidar com 24 juntas de botões distintas.

Significância e Alegações

O artigo afirma que o INSTRUCT-PARTICULATE representa um passo significativo adiante no entendimento de objetos articulados ao abordar o gargalo da escassez de dados através de engenharia de dados escalável impulsionada por VLMs. Ao introduzir o controle cinemático, o modelo pode visar granularidades de anotação específicas, permitindo o uso de dados de treinamento heterogêneos que anteriormente seriam inutilizáveis.

Os autores afirmam que esta abordagem permite a geração de ativos articulados diversos e prontos para física diretamente de imagens do mundo real, preenchendo a lacuna entre a geração 3D estática e a simulação dinâmica. O trabalho é apresentado como uma solução prática para a criação de ativos de simulação para IA incorporada (embodied AI), indo além das limitações de pequenos conjuntos de dados anotados manualmente para um regime de aprendizado de larga escala e agnóstico a categorias.