💻 computer science

Artiverse: A Diverse and Physically Grounded Dataset for Articulated Objects

O artigo apresenta o Artiverse, um conjunto de dados diversificado e fisicamente fundamentado composto por 5.400 objetos 3D articulados de alta qualidade com anotações funcionais e físicas detalhadas, desenvolvido por meio de um pipeline semi-automatizado eficiente para avançar a pesquisa em análise de mobilidade de partes, geração de objetos e interação baseada em física.

Autores originais: Denys Iliash, Jiayi Liu, Egor Fokin, Qirui Wu, Ali Mahdavi-Amiri, Manolis Savva, Angel X. Chang

Publicado 2026-05-26

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Denys Iliash, Jiayi Liu, Egor Fokin, Qirui Wu, Ali Mahdavi-Amiri, Manolis Savva, Angel X. Chang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma caixa de brinquedos digital gigante. Por anos, os brinquedos dentro dela eram principalmente estátuas estáticas — bonitas de se ver, mas você não podia realmente brincar com elas. Se você tentasse puxar uma gaveta em uma cômoda digital, ela simplesmente atravessaria a madeira como um fantasma. Se você tentasse girar uma cadeira, ela permaneceria congelada no lugar.

O artigo apresenta o Artiverse, uma nova e massiva coleção de objetos 3D que não são apenas estátuas, mas brinquedos digitais totalmente funcionais e "vivos". Pense nisso como atualizar sua caixa de brinquedos de uma coleção de modelos de plástico para um conjunto de bonecos de ação de alta tecnologia, prontos para física, que funcionam realmente como objetos reais.

Aqui está a explicação do que eles construíram e como fizeram isso, usando analogias simples:

1. A Caixa de Brinquedos "Viva" (O Conjunto de Dados)

O Artiverse contém mais de 5.400 objetos feitos por humanos (como cadeiras, torradeiras e arquivos) em 88 categorias diferentes.

O Problema com Conjuntos de Dados Antigos: Coleções anteriores eram como "bonecos de papel". Tinham a forma certa, mas se você tentasse mover uma parte, elas não sabiam como se conectar. Também faltavam detalhes "internos" (como o espaço vazio dentro de um micro-ondas) e elas não sabiam o peso das coisas.
A Solução Artiverse: Cada objeto nesta nova caixa é fundamentado fisicamente.
- Tem peso: O computador sabe que uma alça de plástico pesa menos que uma de metal.
- Tem tamanho: Uma cadeira tem o tamanho de uma cadeira real, não de um gigante ou de um miniatura.
- Tem "ossos" e "articulações": Assim como um humano tem joelhos e cotovelos, esses objetos têm dobradiças, deslizantes e giratórios. O computador sabe exatamente como uma porta balança ou como uma gaveta desliza.
- Tem um "interior": Se você abrir um micro-ondas, pode ver a bandeja giratória dentro. Se você abrir uma geladeira, vê as prateleiras.

2. A Linha de Montagem do "Chef Robô" (O Processo de Anotação)

Construir 5.400 brinquedos complexos e móveis à mão levaria anos a uma equipe humana. Para acelerar isso, os pesquisadores construíram uma linha de montagem semi-automatizada.

Pense nisso como um chef robô tentando montar um sanduíche:

O Palpite do Robô: A IA olha para um modelo 3D e adivinha: "Esta parte é a alça, e esta parte é a porta. Acho que a porta balança em uma dobradiça."
O Degustador Humano: Um especialista humano olha para o palpite do robô. "Bom trabalho na alça, mas a porta está presa no lado errado. Corrija isso."
O Resultado: Este trabalho em equipe permitiu que eles reduzissem o tempo de trabalho manual em cerca de 30%. O robô faz o trabalho pesado, e os humanos apenas corrigem os erros, garantindo que tudo esteja perfeito.

3. Por Que Isso Importa (Os Experimentos)

O artigo testa se esta nova "caixa de brinquedos" é realmente útil para treinar programas de computador (robôs e IA).

O Teste "Como Isso Se Move?": Eles ensinaram um computador a olhar para uma imagem estática de uma cadeira e adivinhar como as partes se movem. Quando treinaram o computador usando o Artiverse, ele ficou muito melhor em adivinhar do que quando treinado nos antigos conjuntos de dados "fantasmagóricos". Ele aprendeu que cadeiras têm bases giratórias e que gavetas deslizam para fora.
O Teste "Construa Do Zero": Eles mostraram uma imagem de uma torradeira a um computador e pediram que ele construísse uma versão 3D que realmente funcionasse. O computador treinado no Artiverse construiu uma torradeira com uma alavanca funcional e partes internas realistas, enquanto computadores treinados em dados mais antigos lutaram para fazer coisas que se movessem corretamente.
O Teste "Simulador de Robô": Eles colocaram esses objetos em um simulador de física (um motor de videogame para robôs). Eles programaram com sucesso um braço robótico virtual para abrir uma gaveta de armário. Como a gaveta tinha peso real, articulações reais e atrito real, o robô não apenas "falhou" atravessando-a; ele realmente a puxou para abrir.

Resumo

O Artiverse é uma biblioteca massiva de objetos 3D prontos para o mundo real. Não é apenas uma imagem de uma cadeira; é uma cadeira digital em que você pode sentar, girar e levantar, com toda a física correta, materiais e partes móveis. Ao combinar palpites de IA com especialistas humanos, os pesquisadores criaram um conjunto de dados que ajuda a ensinar robôs e IA a entender, interagir e manipular o mundo físico ao seu redor.

Resumo Técnico: Artiverse

Declaração do Problema

Os conjuntos de dados 3D existentes para objetos articulados frequentemente carecem da fidelidade geométrica, realismo funcional e fundamentação física necessários para simulação realista e IA incorporada. Embora repositórios em grande escala (por exemplo, ShapeNet, Objaverse) ofereçam geometria diversificada, são predominantemente estáticos. Conjuntos de dados especializados para objetos articulados (por exemplo, PartNet-Mobility, AKB-48) fornecem anotações de movimento, mas são limitados em complexidade de juntas (principalmente um único grau de liberdade), realismo visual (texturas simplificadas, interiores ausentes) e atributos físicos (massa, material, escala métrica). Esforços recentes como ArtVIP e PhysX-3D começaram a abordar propriedades físicas, mas permanecem limitados em escala e diversidade de categorias. Consequentemente, há uma falta de ativos de alta qualidade e fundamentados fisicamente que capturem o espectro completo da interatividade funcional — decomposição estrutural, dependências cinemáticas e plausibilidade física — necessários para avançar a modelagem funcional e a simulação.

Metodologia

Os autores apresentam o Artiverse, um conjunto de dados de 5.402 objetos articulados criados por humanos em 88 categorias, agregados de 10 repositórios 3D diversos (incluindo ShapeNet, ABO, 3D-Future, HSSD, Objaverse e outros). A construção do Artiverse baseia-se em um pipeline de anotação semi-automatizado projetado para equilibrar escalabilidade com verificação humana de alta qualidade.

1. Seleção de Dados e Pré-processamento

Os modelos são filtrados de múltiplos repositórios usando um fluxo de trabalho de recuperação híbrido que combina análise automatizada de recursos (embeddings DuoDuoCLIP) e supervisão humana. Os objetos são padronizados para um sistema de coordenadas consistente com o eixo $y$ para cima, centralizados na origem e escalados para unidades métricas. As escalas métricas são inferidas usando LLMs (GPT-4o) para estimar dimensões físicas para subcategorias onde os dados originais estão ausentes.

2. Pipeline de Anotação Semi-Automatizado

O pipeline consiste em quatro etapas sequenciais, com verificação humana integrada em pontos críticos:

Segmentação de Partes Funcionais:
- Baseado em Modelos: Modelos específicos de categoria definem rótulos de partes funcionais (por exemplo, alças, tampas, prateleiras) e tipos de movimento.
- Segmentação com Poucos Exemplos: O modelo ASIA (Segmentação 3D Adaptativa usando poucas anotações de imagem) é treinado em um pequeno conjunto de exemplos anotados manualmente por categoria para gerar máscaras iniciais de partes 2D em renderizações multiview.
- Agregação 3D: Máscaras 2D são projetadas sobre supersegmentações de malha 3D. Superfícies internas não rotuladas recebem rótulos via propagação baseada em distância. Um algoritmo union-find agrupa segmentos conectados em instâncias de partes disjuntas.
- Verificação: Anotadores humanos corrigem erros de segmentação por meio de uma interface de usuário 3D, seguidos por verificação de especialistas.
Completude do Interior:
- Para garantir realismo físico, o pipeline aborda geometrias internas ausentes em três cenários:
  1. Partes Articuladas Parciais: Estende a geometria para partes como gavetas onde a caixa interna está ausente, garantindo plausibilidade em toda a faixa de movimento.
  2. Partes Articuladas Ausentes: Insere proceduralmente componentes internos ausentes (por exemplo, cestos de lava-louças, pratos giratórios de micro-ondas) referenciando modelos de objetos similares.
  3. Afordância de Interação Ausente: Adiciona elementos estruturais como prateleiras e racks a móveis ocos para suportar interação realista.
Anotação de Movimento:
- Proposta Automatizada: Heurísticas geométricas inferem parâmetros de junta (tipo, eixo, origem, limites) usando caixas delimitadoras alinhadas por PCA e análise de região de contato entre partes cinematicamente dependentes. Grafos cinemáticos são construídos com base na conectividade espacial e restrições de modelo.
- Verificação: Especialistas humanos validam a plausibilidade do movimento e ajustam parâmetros de junta usando uma interface web interativa que suporta cópia de movimento e pré-visualizações instantâneas.
Propriedades Físicas:
- Massa e Material: A massa por parte é estimada calculando o volume (via tetraedrização para partes sólidas ou deslocamento de casca para partes ocos) e multiplicando pela densidade do material. Rótulos de material e faixas de densidade são atribuídos com base em rótulos semânticos e faixas inferidas por LLMs.

3. Eficiência

A abordagem semi-automatizada reduz o tempo de anotação manual em 32,0% para segmentação e 33,5% para anotação de movimento em comparação com processos totalmente manuais. Aproximadamente 50,12% das propostas automáticas não requerem correção humana.

Principais Contribuições

Conjunto de Dados Artiverse: Uma coleção diversificada de 5.402 objetos articulados com anotações ricas, incluindo partes funcionais, dependências cinemáticas, juntas multi-DoF (por exemplo, universais, cilíndricas) e atributos físicos (escala métrica, material, massa). Cobre 88 subcategorias, expandindo significativamente a diversidade e complexidade dos conjuntos de dados existentes.
Pipeline Semi-Automatizado: Um fluxo de trabalho escalável que integra segmentação com poucos exemplos, raciocínio geométrico e verificação humana multiestágio para produzir anotações de alta qualidade de forma eficiente.
Avaliação e Validação: O artigo demonstra a utilidade do conjunto de dados através de:
- Análise de Mobilidade de Partes: O treinamento do modelo FPNGroupMot no Artiverse produz generalização superior em comparação com o treinamento no PartNet-Mobility, embora a complexidade do conjunto de dados apresente novos desafios para modelos existentes.
- Geração de Objetos Articulados: A avaliação da geração condicionada por imagem (SINGAPO, Articulate-Anything) mostra que modelos treinados no Artiverse produzem resultados mais estrutural e geometricamente consistentes do que aqueles que dependem exclusivamente de priores de VLM.
- Prontidão para Simulação: Os ativos são liberados nos formatos GLB, USD e URDF, permitindo integração perfeita em motores de física (por exemplo, Genesis) para tarefas de IA incorporada.

Resultados

Estatísticas: O Artiverse contém 24.607 partes e 23.640 juntas, com uma parcela significativa sendo juntas complexas multi-DoF (480 juntas de 2-DoF), em comparação com o foco em juntas de único DoF do PartNet-Mobility.
Avaliação Cruzada entre Conjuntos de Dados: Modelos treinados no Artiverse superam aqueles treinados no PartNet-Mobility em métricas de segmentação de partes e previsão de movimento (por exemplo, pontuações F1), indicando que a diversidade e qualidade do conjunto de dados melhoram a generalização do modelo.
Desempenho de Geração: Na geração de imagem para objeto articulado, o SINGAPO treinado no Artiverse alcança maior gIoU e taxas de colisão mais baixas (AOR) do que modelos que dependem de priores de VLM, destacando a importância de priores de dados estruturados para síntese detalhada de articulação.

Significância

O artigo afirma que o Artiverse serve como um recurso crítico para avançar a compreensão funcional de objetos articulados. Ao fornecer ativos fundamentados fisicamente, diversos e cinematicamente complexos, ele permite:

O desenvolvimento de métodos mais robustos baseados em aprendizado para análise de mobilidade de partes e geração de objetos articulados.
A criação de cenas interativas realistas e ambientes virtuais imersivos.
O treinamento e avaliação de agentes incorporados em simuladores baseados em física para tarefas interativas como manipulação de objetos.

Os autores posicionam o Artiverse não apenas como uma coleção de dados, mas como um benchmark que expõe as limitações dos métodos atuais no raciocínio sobre articulações complexas e multi-DoF, motivando assim pesquisas futuras em raciocínio unificado para comportamentos articulados. O conjunto de dados é liberado com formatos padronizados para facilitar a adoção imediata em tarefas de simulação e modelagem generativa.