💻 computer science

Artiverse: A Diverse and Physically Grounded Dataset for Articulated Objects

Het artikel introduceert Artiverse, een diverse en fysisch onderbouwde dataset bestaande uit 5.400 hoogwaardige gearticuleerde 3D-objecten met gedetailleerde functionele en fysische annotaties, ontwikkeld via een efficiënt semi-automatisch proces om onderzoek te bevorderen op het gebied van bewegingsanalyse van onderdelen, objectgeneratie en op fysica gebaseerde interactie.

Oorspronkelijke auteurs: Denys Iliash, Jiayi Liu, Egor Fokin, Qirui Wu, Ali Mahdavi-Amiri, Manolis Savva, Angel X. Chang

Gepubliceerd 2026-05-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Denys Iliash, Jiayi Liu, Egor Fokin, Qirui Wu, Ali Mahdavi-Amiri, Manolis Savva, Angel X. Chang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een gigantische digitale speelgoedkist voor. Jarenlang waren de speelgoedstukken erin voornamelijk statische standbeelden – mooi om naar te kijken, maar je kon er niet echt mee spelen. Als je probeerde een lade van een digitale commode open te trekken, gleed deze gewoon als een geest door het hout heen. Als je probeerde een stoel te draaien, bleef hij bevriezen op zijn plaats.

Het artikel introduceert Artiverse, een enorme nieuwe collectie 3D-objecten die niet alleen standbeelden zijn, maar volledig functionele, "levende" digitale speelgoedstukken. Denk hierbij aan het upgraden van je speelgoedkist van een verzameling plastic modellen naar een set high-tech, fysisch gereed actionfiguren die echt werken zoals echte objecten.

Hieronder volgt een uiteenzetting van wat ze hebben gebouwd en hoe ze dat hebben gedaan, met gebruikmaking van eenvoudige analogieën:

1. De "levende" speelgoedkist (De dataset)

Artiverse bevat meer dan 5.400 door mensen gemaakte objecten (zoals stoelen, broodroosters en archiefkasten) verspreid over 88 verschillende categorieën.

Het probleem met oude datasets: Vorige collecties waren als "papieren poppen". Ze hadden het juiste vorm, maar als je probeerde een onderdeel te bewegen, wist het niet hoe het verbonden moest zijn. Ze misten ook "binnenin"-details (zoals de lege ruimte binnenin een magnetron) en wisten niet hoe zware dingen waren.
De Artiverse-oplossing: Elk object in deze nieuwe kist is fysisch onderbouwd.
- Het heeft gewicht: De computer weet dat een plastic handvat lichter is dan een metalen.
- Het heeft afmetingen: Een stoel is de grootte van een echte stoel, niet van een reus of een miniatuur.
- Het heeft "botten" en "gewrichten": Net zoals een mens knieën en ellebogen heeft, hebben deze objecten scharnieren, schuifmechanismen en draaipunten. De computer weet precies hoe een deur zwaait of hoe een lade schuift.
- Het heeft een "binnenkant": Als je een magnetron opent, zie je het draaischijfje erin. Als je een koelkast opent, zie je de planken.

2. De "robotchef"-assemblagelijn (Het annotatieproces)

Het bouwen van 5.400 complexe, bewegende speelgoedstukken met de hand zou een menselijk team jaren kosten. Om dit te versnellen, bouwden de onderzoekers een semi-geautomatiseerde assemblagelijn.

Denk hierbij aan een robotchef die probeert een sandwich te maken:

De robot raadt: De AI kijkt naar een 3D-model en raadt: "Dit onderdeel is het handvat, en dit onderdeel is de deur. Ik denk dat de deur zwaait op een scharnier."
De menselijke proever: Een menselijk expert bekijkt de gok van de robot. "Goed gedaan met het handvat, maar de deur zit aan de verkeerde kant vast. Maak dat goed."
Het resultaat: Deze samenwerking stelde hen in staat de handmatige werktijd met ongeveer 30% te verkorten. De robot doet het zware werk, en de mensen repareren alleen de fouten, zodat alles perfect is.

3. Waarom dit belangrijk is (De experimenten)

Het artikel test of deze nieuwe "speelgoedkist" daadwerkelijk nuttig is voor het trainen van computerprogramma's (robots en AI).

De "Hoe beweegt het?"-test: Ze leerden een computer om naar een statische foto van een stoel te kijken en te raden hoe de onderdelen bewegen. Toen ze de computer trainden met Artiverse, werd het veel beter in het raden dan toen ze hem trainden op de oude, "geestachtige" datasets. Het leerde dat stoelen draaibare voeten hebben en dat laden naar buiten schuiven.
De "Bouw het van scratch"-test: Ze toonden een computer een foto van een broodrooster en vroegen hem om een werkende 3D-versie te bouwen. De computer die op Artiverse was getraind, bouwde een broodrooster met een werkende hendel en realistische interne onderdelen, terwijl computers die op oudere data waren getraind moeite hadden om dingen te maken die daadwerkelijk correct bewogen.
De "Robotsimulator"-test: Ze plaatsten deze objecten in een fysische simulator (een videospelletjesengine voor robots). Ze programmeerden succesvol een virtuele robotarm om een kastlade open te trekken. Omdat de lade echt gewicht, echte gewrichten en echte wrijving had, gleed de robot er niet zomaar "geglitcht" doorheen; hij trok hem daadwerkelijk open.

Samenvatting

Artiverse is een enorme bibliotheek van 3D-objecten die klaar zijn voor de echte wereld. Het is niet alleen een foto van een stoel; het is een digitale stoel waarop je kunt zitten, draaien en tillen, met alle juiste fysica, materialen en bewegende onderdelen. Door AI-gokken te combineren met menselijke experts, creëerden de onderzoekers een dataset die robots en AI helpt om de fysieke wereld om hen heen te begrijpen, ermee te interageren en ermee om te gaan.

Technische Samenvatting: Artiverse

Probleemstelling

Bestaande 3D-datasets voor gearticuleerde objecten missen vaak de geometrische fideliteit, functionele realisme en fysische onderbouwing die nodig zijn voor realistische simulatie en embodied AI. Hoewel grootschalige repositories (bijv. ShapeNet, Objaverse) diverse geometrieën bieden, zijn ze voornamelijk statisch. Gespecialiseerde datasets voor gearticuleerde objecten (bijv. PartNet-Mobility, AKB-48) bieden bewegingsannotaties, maar zijn beperkt in gewrichtscomplexiteit (voornamelijk één vrijheidsgraad), visueel realisme (vereenvoudigde texturen, ontbrekende interieurs) en fysische attributen (massa, materiaal, metrische schaal). Recente inspanningen zoals ArtVIP en PhysX-3D hebben begonnen met het adresseren van fysische eigenschappen, maar blijven beperkt in schaal en diversiteit van categorieën. Bijgevolg ontbreekt het aan hoogwaardige, fysisch onderbouwde activa die het volledige spectrum van functionele interactiviteit vastleggen – structurele decompositie, kinematische afhankelijkheden en fysische plausibiliteit – wat noodzakelijk is voor de vooruitgang van functionele modellering en simulatie.

Methodologie

De auteurs introduceren Artiverse, een dataset van 5.402 door mensen gemaakte gearticuleerde objecten over 88 categorieën, samengevoegd uit 10 diverse 3D-repositories (waaronder ShapeNet, ABO, 3D-Future, HSSD, Objaverse en anderen). De constructie van Artiverse berust op een semi-automatisch annotatieproces dat is ontworpen om schaalbaarheid in evenwicht te brengen met hoogwaardige menselijke verificatie.

1. Dataselectie en Preprocessing

Modellen worden gefilterd uit meerdere repositories met behulp van een hybride ophaalworkflow die geautomatiseerde feature-analyse (DuoDuoCLIP-embeddings) combineert met menselijk toezicht. Objecten worden gestandaardiseerd naar een consistente $y$ -up coördinatenframe, gecentreerd op nul en geschaald naar metrische eenheden. Metrische schalen worden afgeleid met behulp van LLM's (GPT-4o) om fysische afmetingen te schatten voor subcategorieën waar de oorspronkelijke data ontbreekt.

2. Semi-automatisch Annotatieproces

Het proces bestaat uit vier opeenvolgende fasen, waarbij menselijke verificatie is geïntegreerd op kritieke punten:

Functionele Partsegmentatie:
- Op sjablonen gebaseerd: Categorie-specifieke sjablonen definiëren labels voor functionele onderdelen (bijv. handvatten, deksels, planken) en bewegingstypen.
- Few-Shot Segmentatie: Het ASIA-model (Adaptive 3D Segmentation using few image annotations) wordt getraind op een kleine set handmatig geannoteerde voorbeelden per categorie om initiële 2D-partmaskers te genereren op multi-view renderings.
- 3D Aggregatie: 2D-maskers worden geprojecteerd op 3D-mesh over-segmentaties. Ongelabelde interne oppervlakken krijgen labels toegewezen via op afstand gebaseerde propagatie. Een union-find-algoritme clustert verbonden segmenten in disjuncte part-instanties.
- Verificatie: Menselijke annotatoren corrigeren segmentatiefouten via een 3D-UI, gevolgd door expertverificatie.
Interieurvoltooiing:
- Om fysiek realisme te waarborgen, behandelt het proces ontbrekende interne geometrieën in drie scenario's:
  1. Partiële Gearticuleerde Onderdelen: Breidt geometrie uit voor onderdelen zoals laden waar de binnenste doos ontbreekt, zodat plausibiliteit over het volledige bewegingsbereik wordt gewaarborgd.
  2. Ontbrekende Gearticuleerde Onderdelen: Voegt procedureel ontbrekende interne componenten toe (bijv. vaatwaskorven, magnetrondraaischijven) door te verwijzen naar sjablonen van vergelijkbare objecten.
  3. Ontbrekende Interactie-Affordantie: Voegt structurele elementen zoals planken en rekken toe aan holle meubels om realistische interactie te ondersteunen.
Bewegingsannotatie:
- Geautomatiseerd Voorstel: Geometrische heuristieken leiden gewrichtsparameters af (type, as, oorsprong, limieten) met behulp van PCA-uitgelijnde bounding boxes en contactgebiedsanalyse tussen kinematisch afhankelijke onderdelen. Kinematische grafieken worden geconstrueerd op basis van ruimtelijke connectiviteit en sjabloonbeperkingen.
- Verificatie: Menselijke experts valideren bewegingsplausibiliteit en passen gewrichtsparameters aan via een interactieve webinterface die bewegingskopieerfuncties en directe voorvertoningen ondersteunt.
Fysische Eigenschappen:
- Massa en Materiaal: De massa per onderdeel wordt geschat door het volume te berekenen (via tetrahedrisatie voor solide onderdelen of shell-offsetting voor holle onderdelen) en te vermenigvuldigen met de materiaaldichtheid. Materiaallabels en dichtheidsbereiken worden toegewezen op basis van semantische labels en door LLM's afgeleide bereiken.

3. Efficiëntie

De semi-automatische aanpak vermindert de handmatige annotatietijd met 32,0% voor segmentatie en 33,5% voor bewegingsannotatie in vergelijking met volledig handmatige processen. Ongeveer 50,12% van de automatische voorstellen vereist geen menselijke correctie.

Belangrijkste Bijdragen

Artiverse Dataset: Een diverse verzameling van 5.402 gearticuleerde objecten met rijke annotaties, waaronder functionele onderdelen, kinematische afhankelijkheden, multi-DoF-gewrichten (bijv. universeel, cilindrisch) en fysische attributen (metrische schaal, materiaal, massa). Het dekt 88 subcategorieën, waardoor de diversiteit en complexiteit van bestaande datasets aanzienlijk wordt uitgebreid.
Semi-automatisch Proces: Een schaalbaar workflow dat few-shot segmentatie, geometrisch redeneren en multi-stadia menselijke verificatie integreert om hoogwaardige annotaties efficiënt te produceren.
Benchmarking en Validatie: Het artikel demonstreert de bruikbaarheid van de dataset door middel van:
- Partmobiliteitsanalyse: Het trainen van het FPNGroupMot-model op Artiverse levert superieure generalisatie op in vergelijking met training op PartNet-Mobility, hoewel de complexiteit van de dataset nieuwe uitdagingen biedt voor bestaande modellen.
- Generatie van Gearticuleerde Objecten: Evaluatie van op afbeeldingen gebaseerde generatie (SINGAPO, Articulate-Anything) toont aan dat modellen die op Artiverse zijn getraind, meer structureel en geometrisch consistente resultaten opleveren dan die die uitsluitend vertrouwen op VLM-priors.
- Klaarheid voor Simulatie: Activa worden uitgeleverd in GLB-, USD- en URDF-formaten, wat naadloze integratie in fysica-engines (bijv. Genesis) voor embodied AI-taken mogelijk maakt.

Resultaten

Statistieken: Artiverse bevat 24.607 onderdelen en 23.640 gewrichten, waarbij een significant deel complexe multi-DoF-gewrichten zijn (480 2-DoF-gewrichten), in tegenstelling tot de focus op één vrijheidsgraad bij PartNet-Mobility.
Cross-Dataset Evaluatie: Modellen die op Artiverse zijn getraind, presteren beter dan die op PartNet-Mobility getraind zijn op het gebied van partsegmentatie en bewegingsvoorspellingsmetrieken (bijv. F1-scores), wat aangeeft dat de diversiteit en kwaliteit van de dataset de generalisatie van modellen verbeteren.
Generatieprestaties: Bij generatie van gearticuleerde objecten vanuit afbeeldingen bereikt SINGAPO, getraind op Artiverse, een hogere gIoU en lagere botsingspercentages (AOR) dan modellen die vertrouwen op VLM-priors, wat het belang van gestructureerde datapriors voor gedetailleerde articulatiesynthese onderstreept.

Betekenis

Het artikel beweert dat Artiverse dient als een kritieke resource voor de vooruitgang van het functionele begrip van gearticuleerde objecten. Door fysiek onderbouwde, diverse en kinematisch complexe activa te bieden, maakt het mogelijk:

De ontwikkeling van robuustere op leren gebaseerde methoden voor partmobiliteitsanalyse en generatie van gearticuleerde objecten.
Het creëren van realistische interactieve scènes en immersive virtuele omgevingen.
Het trainen en evalueren van embodied agents in op fysica gebaseerde simulators voor interactieve taken zoals objectmanipulatie.

De auteurs positioneren Artiverse niet alleen als een datacollectie, maar als een benchmark die de beperkingen van huidige methoden blootlegt bij het redeneren over complexe, multi-DoF-articulaties, waardoor toekomstig onderzoek in unificerend redeneren voor gearticuleerd gedrag wordt gemotiveerd. De dataset wordt uitgeleverd met gestandaardiseerde formaten om directe adoptie in simulatie- en generatieve modelleringstaken te faciliteren.