PartRAG: Retrieval-Augmented Part-Level 3D Generation and Editing

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een foto van een stoel maakt en je wilt er direct een 3D-model van maken. Dat klinkt makkelijk, maar voor computers is het eigenlijk als proberen een compleet meubelstuk te bouwen terwijl je alleen naar één foto kijkt. De meeste AI's die dit proberen, maken vaak rommelige resultaten: de poten zijn niet recht, de zitting past niet, of als je één onderdeel wilt veranderen, stort het hele model in elkaar.

PartRAG is een nieuwe, slimme oplossing voor precies dit probleem. Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het Probleem: De "Vergeten Boek" van de AI

Stel je een kunstenaar voor die nooit boeken heeft gelezen. Als je vraagt om een tekening van een heel rare stoel met gekke poten, moet die kunstenaar het uit zijn hoofd bedenken. Vaak lukt dat niet goed; de poten worden eruit getrokken of zien er onnatuurlijk uit.

Bestaande AI's werken zo: ze hebben een "geheugen" vol met voorbeelden die ze tijdens het trainen hebben gezien. Maar als je iets vraagt dat zeldzaam is (de "lange staart" van geometrieën), raken ze in paniek en maken ze foute modellen. Bovendien, als je zegt: "Maak de poten langer", moet de AI vaak het hele model opnieuw tekenen, wat lang duurt en vaak de rest van de stoel verpest.

2. De Oplossing: PartRAG als een Slimme Bibliotheek

PartRAG verandert de regels door de AI een reusachtige, slimme bibliotheek te geven.

De Bibliotheek (Retrieval): In plaats van alleen uit zijn hoofd te werken, kijkt de AI eerst in deze bibliotheek. Als je een stoel met rare poten uploadt, zoekt de AI in zijn bibliotheek naar 1.236 andere stoelen die erop lijken. Hij pakt de beste voorbeelden van poten, rugleuningen en zittingen eruit.
De "Hierarchische Zoektocht": De AI is niet dom; hij zoekt op twee niveaus. Eerst kijkt hij naar het hele object (is het een stoel?), en dan zoomt hij in op de details (is dit een linkerpoot of een rechterpoot?). Dit zorgt ervoor dat hij de juiste bouwplaatjes uit de bibliotheek haalt.
Het Bouwen: De AI gebruikt deze gevonden voorbeelden als "inspiratie" terwijl hij het nieuwe model bouwt. Het is alsof je een puzzel maakt, maar in plaats van alle stukjes zelf te snijden, mag je kijken naar een foto van een vergelijkbare puzzel om te zien hoe de randen eruit moeten zien.

3. Het Magische Deel: De "Lego-Edit"

Dit is het coolste stukje. Stel je voor dat je een Lego-kasteel hebt gebouwd. Bij oude systemen, als je de toren wilde vervangen door een andere, moest je het hele kasteel afbreken en opnieuw bouwen.

PartRAG werkt als een modulair Lego-systeem:

Lokale Edit: Je kunt één stukje (bijvoorbeeld de poten) selecteren en zeggen: "Vervang dit door een ander type poot."
Geen Chaos: De AI vervangt alleen die poten. De rest van de stoel (de zitting, de rugleuning) blijft precies zoals hij was.
Snelheid: Omdat hij niet het hele model opnieuw hoeft te bedenken, duurt het slechts 5 tot 8 seconden. Je kunt dus live in de app zitten en je stoel aanpassen, net als in een video-game.

4. Waarom is dit zo goed?

Scherpere randen: De overgangen tussen de delen (bijvoorbeeld waar de poot in de zitting gaat) zijn veel strakker en natuurlijker.
Dunne onderdelen: AI's vinden dunne dingen (zoals een dunne handgreep of een draad) vaak lastig. PartRAG haalt voorbeelden van dunne onderdelen uit de bibliotheek, waardoor ze niet meer "vervagen" of verdwijnen.
Consistentie: Als je van kant wisselt (van links naar rechts kijken), blijft het model er hetzelfde uitzien. De AI houdt alle delen in een gemeenschappelijk "ruimtelijk geheugen" zodat ze niet uit elkaar vallen.

Samenvattend

PartRAG is als het geven van een bouwmeester met een supergeheugen en een toolbox.

Hij kijkt naar je foto.
Hij zoekt in zijn toolbox naar de perfecte onderdelen die bij je foto passen.
Hij bouwt het model snel en nauwkeurig.
Wil je iets veranderen? Hij pakt alleen dat ene onderdeel uit de toolbox, past het aan en plakt het terug, zonder de rest van je werk te verstoren.

Het maakt het creëren van 3D-objecten niet alleen sneller, maar ook veel betrouwbaarder en makkelijker aan te passen, alsof je speelt met digitale Lego-blokken die zichzelf perfect vormen.

Each language version is independently generated for its own context, not a direct translation.

1. Het Probleem

Het genereren van 3D-modellen uit één enkele afbeelding met een gedetailleerde deelstructuur (part-level structure) blijft een uitdaging. Bestaande systemen kampen met twee fundamentele beperkingen:

Beperkte diversiteit in geleerde priors: Pure generatieve modellen (zoals diffusion transformers) worstelen met de "long tail" van geometrieën. Wanneer een object afwijkt van frequente trainingspatronen (bijv. complexe scharnierende onderdelen of dunne structuren), ontstaan er onwaarschijnlijke geometrieën en inconsistenties tussen verschillende weergaven (multi-view inconsistency).
Gebrek aan precisie bij lokale bewerking: Bestaande systemen bieden weinig ondersteuning voor nauwkeurige, lokale bewerkingen. Gebruikers kunnen subcomponenten niet selectief vervangen of aanpassen zonder het hele object te destabiliseren, wat iteratief ontwerp arbeidsintensief maakt.

2. Methodologie: PartRAG

PartRAG is een Retrieval-Augmented Generation (RAG) framework dat een externe database van 3D-onderdelen koppelt aan een diffusion transformer om generatie te combineren met een bewerkbare representatie.

A. Hiërarchische Contrastieve Retrieval (HCR)

Om de diversiteit van de geometrie te vergroten, introduceert het paper een module die dichte afbeeldingspatches uitlijnt met 3D-part-latents op twee niveaus:

Part-niveau: Pools image tokens binnen de 2D-projectie van een specifiek onderdeel.
Object-niveau: Gemiddelde pooling van alle onderdelen.
Retrieval-mechanisme: Het systeem zoekt in een curateerde database van 1.236 part-annotated assets naar de beste visuele voorbeelden (exemplars).
Training: Er wordt gebruikgemaakt van een bidirectionele momentum queue (Algorithm 1) om een grote pool van negatieve samples te onderhouden tijdens contrastief leren. De gevonden tokens worden via cross-attention ingebracht in de diffusion backbone.

B. Dual-Lane Diffusion Transformer

De generator is gebaseerd op een 3D-native DiT (Diffusion Transformer) met 21 blokken. Deze werkt in twee kanalen:

Lokaal: Voor verfijning binnen een onderdeel.
Globaal: Voor coherentie tussen verschillende onderdelen.
De retrieved tokens worden als Key/Value (K/V) aan alle blokken toegevoegd, waardoor de generator externe geometrische priors kan benutten voor zeldzame configuraties.

C. Deel-niveau Bewerking (Part-Level Editing)

Om lokale bewerkingen mogelijk te maken zonder het hele object te regenereren, gebruikt PartRAG een gemaskerde flow-matching aanpak (Algorithm 3):

Gedeelde Canonieke Ruimte: Alle onderdelen worden bewaard in een gedeelde canonieke ruimte met een voorspelde rigide transformatie ( $T_i$ ).
Selectieve Resynthese: Bij een bewerking (bijv. "vervang de stoelpoten") worden alleen de latents van de doelonderdelen gedenoised, terwijl de latents van niet-doelonderdelen worden bevroren.
Consistentie: Omdat cross-attention nog steeds werkt op de intacte context, blijven de bewerkingen consistent over verschillende weergaven.
Operaties: Het systeem ondersteunt Part Swap (vervanging), Attribute Refinement (continue aanpassing zoals verlengen) en Compositional Assembly (meerdere delen tegelijk aanpassen).

3. Belangrijkste Bijdragen

PartRAG Framework: Een retrieval-versterkte generator die single-image conditionering combineert met een hiërarchisch contrastief doel, wat robuuste 2D-3D-correspondentie mogelijk maakt via een database van 1.236 objecten.
Bewerkingspipeline: Een methode die canonieke uitlijning behoudt, waardoor lokale swaps en verfijningen coherent worden doorgegeven over verschillende weergaven en samengestelde meshes, met interactieve bewerkingstijden van 5-8 seconden.
State-of-the-art Prestaties: Significante verbeteringen op benchmarks (Objaverse, ShapeNet, ABO) ten opzichte van bestaande methoden zoals PartCrafter.

4. Resultaten

De prestaties zijn geëvalueerd op drie datasets (Objaverse, ShapeNet, ABO) met de volgende resultaten:

Kwantitatieve Verbeteringen (Objaverse):
- Chamfer Distance (CD): Vermindering van 0.1726 naar 0.1528 (een verbetering van 11,5%).
- F-Score: Stijging van 0.7472 naar 0.844 (+9,7 punten).
- Scheiding van onderdelen: De IoU (overlap) daalde naar 0.025, wat aangeeft dat de randen van de onderdelen scherper en duidelijker zijn.
Efficiëntie:
- Inferentie: 38 seconden per object (vergelijkbaar met PartCrafter).
- Bewerking: Interactieve snelheid van 5-8 seconden per bewerking (5,8x sneller dan volledige regeneratie).
- Hardware: Werkt op een enkele RTX PRO 6000 GPU (gebruik <82GB VRAM tijdens training).
Kwalitatieve Resultaten:
- Scherpere randen tussen onderdelen.
- Betere weergave van dunne structuren (zoals handvatten en poten).
- Robuustheid bij scharnierende objecten zonder zelf-intersecties.

5. Betekenis en Impact

PartRAG markeert een verschuiving van puur generatieve priors naar een retrieval-gedreven aanpak voor gestructureerde 3D-synthese.

Oplossing voor de "Long Tail": Door te putten uit een database van echte 3D-voorbeelden, kan het systeem complexe en zeldzame geometrieën genereren die pure diffusion-modellen vaak falen om te modelleren.
Interactief Ontwerp: De mogelijkheid om onderdelen snel en selectief te bewerken zonder het hele model te regenereren, maakt het direct toepasbaar in workflows voor contentcreatie, robotica en augmented reality.
Schaalbaarheid: De methode is schaalbaar en efficiënt, wat de weg vrijmaakt voor toekomstig onderzoek in controleerbare, high-fidelity 3D-content creatie en embodied AI.

Kortom, PartRAG combineert de flexibiliteit van generatieve AI met de precisie en betrouwbaarheid van retrieval-systemen om een nieuwe standaard te zetten voor deel-gebaseerde 3D-generatie en bewerking.