Technische Samenvatting: INSTRUCT-PARTICULATE

Probleemstelling

Het reconstrueren van de gearticuleerde structuur van 3D-objecten—het deconstrueren ervan in kinematische onderdelen met bijbehorende gewrichtsparameters—is cruciaal voor animatie, gaming en robotica-simulatie. Echter, de vooruitgang in dit domein is afgeremd door de schaarste aan hoogwaardige, geannoteerde gearticuleerde 3D-data. Bestaande methoden vertrouwen op kleine, handmatig gecureerde datasets (bijv. PartNet-Mobility), wat hun vermogen beperkt om te generaliseren naar nieuwe objectcategorieën of diverse geometrieën. Bovelijk leidt de inherente ambiguïteit in het definiëren van de granulariteit en semantiek van onderdelen voor een gegeven 3D-object er vaak toe dat modellen die getraind zijn op heterogene data suboptimale, "gemiddelde" resultaten produceren.

Methodologie

De auteurs stellen INSTRUCT-PARTICULATE voor, een feed-forward model ontworpen om gearticuleerde structuren af te leiden uit statische 3D-assets (meshes) geleid door expliciete kinematische instructies.

1. Dataconstructie en Schaling

Om de schaarste aan data te overwinnen, hebben de auteurs een heterogene dataset samengesteld van meer dan 150.000 gearticuleerde 3D-objecten met behulp van drie complementaire strategieën:

• VLM-gebaseerde Pseudo-labeling: Een pipeline die gebruikmaakt van Vision-Language Models (VLMs) om kinematische structuren (onderdeelnamen, connectiviteit, gewrichtstypes) te extraheren uit multi-view renderingen van 27.000 synthetische 3D-assets. De VLM genereert segmentatiemaskers die vervolgens naar 3D worden teruggeprojecteerd.
• Augmentatie van Part-Gesegmenteerde Modellen: Voor 120.000 assets met bestaande deconstructies van onderdelen (maar zonder kinematische labels) genereert de pipeline tekstuele bijschriften voor de onderdelen. Om de ambiguïteit (bijv. identieke tafelpoten) aan te pakken, gebruikt het systeem alleen ruimtelijke aanwijzingen wanneer er een canonieke oriëntatie bestaat; anders worden identieke bijschriften toegewezen aan semantisch identieke onderdelen, waarbij wordt vertrouwd op geometrische punt-prompts voor onderscheid.
• Coding Agent Generatie: 10.000 volledig gesuperviseerde gearticuleerde objecten werden gegenereerd met behulp van Artifiact, een gespecialiseerde 3D coding agent, die nauwkeurige gewrichtsparameters levert.

2. Modelarchitectuur

Het model maakt gebruik van een schaalbare encoder-decoder architectuur die een 3D-mesh (gerepresenteerd als een puntenwolk) en een kinematische conditie $C$ verwerkt. De conditie $C$ bevat:

• Een kinematische boomstructuur $K$ (onderdelen en connectiviteit).
• Tekstprompts ($t_p$) die elk onderdeel beschrijven.
• Optionele 3D-puntprompts ($x_p$) die specifieke locaties op onderdelen aangeven.

Encoding:

• Shape Tokens: Punten gesampled uit de mesh worden gecodeerd met oppervlaktenormalen en kenmerken (via PartField) en gecomprimeerd tot latente shape tokens via cross-attention.
• Query Tokens: Aanvullende punten gesampled op het oppervlak worden gecodeerd om de associatie met onderdelen te voorspellen.
• Part Tokens: Tekstprompts worden gecodeerd via CLIP en gecombineerd met punt-prompt embeddings.

Verwerking:
De tokens worden verwerkt door $B$ transformer blocks. Part tokens worden bijgewerkt via self-attention en cross-attention naar shape tokens om articulatieparameters af te leiden. Query tokens cross-attenen naar zowel shape als de bijgewerkte part tokens om lidmaatschap van een onderdeel te bepalen. Opvallend genoeg wordt self-attention tussen query tokens weggelaten om snelheid te garanderen en onafhankelijkheid van het aantal query-punten te waarborgen.

Decoding:

• Part Segmentatie: Een MLP scoort query-part paren om oppervlaktepunten toe te wijzen aan specifieke onderdelen.
• Gewrichtsbewegingsparameters: Voor elk beweegbaar gewricht voorspelt het model bewegingsparameters (asrichting, draaipunt en bewegingsgrenzen) op een over-geparameteriseerde wijze. Het voorspelt voor elk query-punt het dichtstbijzijnde punt op de gewrichtsas en de locatie van het punt bij de onderste en bovenste limieten. Deze per-query voorspellingen worden geometrisch geaggregeerd om één gedeelde bewegingsas en bereik voor elk gewricht te herstellen.

Belangrijkste Bijdragen

1. INSTRUCT-PARTICULATE Model: Een state-of-the-art feed-forward model dat een statisch 3D-object en kinematische instructies accepteert om een volledig gearticuleerd 3D-object te produceren, inclusief part segmentatie en gewrichtsbewegingsparameters.
2. Schaalbare Data Engine: Een pipeline die gebruikmaakt van VLMs en coding agents om een grootschalige, diverse dataset van meer dan 150k gearticuleerde 3D-objecten te pseudo-labelen en te genereren, wat de bestaande handmatig geannoteerde collecties aanzienlijk uitbreidt.
3. Kinematische Conditionering: Een nieuwe formulering waarbij expliciete kinematische instructies (structuur, tekst en punten) de ambiguïteit in de granulariteit en semantiek van onderdelen wegnemen, waardoor het model kan leren van diverse annotaties zonder deze te middelen tot suboptimale outputs.
4. Image-to-3D Articulatie: Demonstratie van een praktische pipeline waarbij het model, gecombineerd met off-the-shelf 3D-generatoren, diverse, realistische gearticuleerde 3D-assets direct uit afbeeldingen van de echte wereld kan genereren.

Experimentele Resultaten

Het model werd geëvalueerd op de Lightwheel dataset, die 243 hoogwaardige gearticuleerde objecten bevat over 14 categorieën, inclusief categorieën die afwezig waren in eerdere datasets.

• Kwantitatieve Prestaties: INSTRUCT-PARTICULATE presteerde consequent beter dan acht bestaande baselines (waaronder SINGAPO, PAct, PhysX-Anything, en URDF-Anything+) over alle inputmodi (Alleen Afbeelding, Mesh, en Mesh + Kinematica).
  • In de "Mesh + Kinematic" setting behaalde het een 97,3% part match precisie en 95,9% recall, met een 0,821 gIoU voor rest-pose segmentatie en een 0,757 gIoU voor gearticuleerde geometrie.
  • Het verminderde de fouten in de gewrichtsas aanzienlijk (Hoekfout: 9,5°, Locatiefout: 0,015) vergeleken met de baselines.
• Ablatie Studies:
  • Data: Modellen die alleen getraind zijn op bestaande datasets (PartNet-Mobility, GRScenes) vertoonden ernstige overfitting en faalden in generalisatie. De inclusie van de pseudo-gelabelde en door de coding agent gegenereerde data leverde complementaire winst op in zowel segmentatie als gewrichtsinschatting.
  • Conditionering: Het verwijderen van kinematische conditionering leidde tot een drastische prestatiedaling, wat bevestigt dat expliciete instructies noodzakelijk zijn om ambiguïteit in de granulariteit en semantiek van onderdelen op te lossen. Punt-prompts zorgden voor de grootste prestatiewinst onder de verschillende typen prompts.
• Kwalitatieve Resultaten: Het model slaagde erin om kleine gearticuleerde onderdelen (knoppen, regelaars) en complexe structuren (standmixers, koffiemachines) te herstellen waar baselines faalden. Het demonstreerde ook het vermogen om specifieke kinematische prompts te volgen, zoals het onderscheiden van linker versus rechter lades via tekst of het afhandelen van 24 afzonderlijke knop-gewrichten.

Betekenis en Claims

Het artikel claimt dat INSTRUCT-PARTICULATE een belangrijke stap voorwaarts is in het begrip van gearticuleerde objecten door de schaarste aan data aan te pakken via schaalbare, door VLM gedreven data engineering. Door kinematische controle te introduceren, kan het model zich richten op specifieke annotatie-granulariteiten, wat het gebruik van heterogene trainingsdata mogelijk maakt die voorheen onbruikbaar waren.

De auteurs stellen dat deze aanpak de generatie van diverse, physics-ready gearticuleerde assets rechtstreeks uit afbeeldingen van de echte wereld mogelijk maakt, waarmee de kloof tussen statische 3D-generatie en dynamische simulatie wordt overbrugd. Het werk wordt gepresenteerd als een praktische oplossing voor het creëren van simulatie-assets voor embodied AI, waarbij de beperkingen van kleine, handmatig geannoteerde datasets worden overstegen naar een regime van grootschalig, categorie-agnostisch leren.