CanoVerse: 3D Object Scalable Canonicalization and Dataset for Generation and Pose

Dit paper introduceert CanoVerse, een schaalbaar 3D-dataset en raamwerk dat door het standaardiseren van objectoriëntatie de stabiliteit van 3D-generatie en de precisie van vormretrieval aanzienlijk verbetert.

De kern

Stel je voor dat je een enorme bibliotheek bouwt met 3D-voorwerpen: stoelen, auto's, dieren, en speelgoed. Maar er is een groot probleem: elke stoel staat in de bibliotheek in een andere richting. Sommige kijken naar links, andere naar rechts, en weer andere liggen op hun kop.

Als je nu een computer wilt leren wat een "stoel" is, wordt het een chaos. De computer denkt misschien dat een stoel die op zijn kop staat, een heel ander object is dan een stoel die rechtop staat. Dit maakt het heel moeilijk voor kunstmatige intelligentie om goede 3D-afbeeldingen te maken of om voorwerpen correct te herkennen.

CanoVerse is de oplossing voor dit probleem, bedacht door een team van onderzoekers. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Draaiende" Bibliotheek

Vroeger hadden wetenschappers databases met 3D-voorwerpen, maar die waren te klein en te rommelig. Het was alsof je een woordenboek had, maar elk woord stond in een willekeurige lettergreep. Om dit op te lossen, moesten mensen voor elk voorwerp handmatig de juiste draaiing instellen.

• De oude manier: Een mens moet elke 3D-stoel in de computer vastpakken en draaien tot hij perfect staat. Dit duurt minuten per voorwerp. Als je 320.000 voorwerpen hebt, duurt dit eeuwen.

2. De Oplossing: Een Slimme "Kies-De-Beste" Machine

De onderzoekers hebben een nieuw systeem bedacht dat deze taak veel sneller maakt. In plaats van dat een mens elke stoel zelf moet draaien, doet de computer het zware werk en vraagt de mens alleen om een snelle keuze.

Stel je dit proces voor als het kiezen van de beste foto uit een reeks:

1. De Computer doet het zware werk: De computer kijkt naar een willekeurig gedraaide stoel en bedenkt direct 5 mogelijke manieren waarop deze "goed" zou kunnen staan (bijvoorbeeld: poten op de grond, rugleuning achteraan).
2. De Mens doet de snelle selectie: Een mens ziet deze 5 opties op het scherm en klikt in één seconde op de juiste.
3. Het Resultaat: In plaats van minuten te duwen en te trekken, duurt het nu slechts 2 tot 3 seconden per voorwerp.

Dit is alsof je eerder een hele auto moest bouwen om hem te testen, en nu alleen nog maar de wielen hoeft te controleren omdat de motor al perfect is gebouwd door de machine.

3. Het Goudmijntje: De CanoVerse Dataset

Met deze snelle methode hebben ze CanoVerse gemaakt. Dit is een gigantische verzameling van 320.000 objecten in 1.156 verschillende categorieën.

• Het is 10 keer groter dan eerdere verzamelingen.
• Alles staat perfect uitgelijnd: alle auto's kijken naar voren, alle bomen staan rechtop, en alle kopjes hebben de handvat naar rechts.

4. Waarom is dit zo geweldig? (De Analoge Effecten)

Wanneer je een computer leert met deze "opgeruimde" bibliotheek, gebeurt er magie:

• Beter 3D Tekenen: Als je de computer vraagt om een nieuwe stoel te tekenen, maakt hij er geen rommel van. Omdat hij weet hoe een stoel er normaal uitziet, maakt hij een stabiele, herkenbare stoel. Het is alsof je een kind leert tekenen met een boek waar alles netjes staat, in plaats van met een boek waar alles door elkaar ligt.
• Herkenning in het Donker: De computer kan nu een willekeurig punt van een object (een wolk van stippen) zien en direct zeggen: "Ah, dit is een hond, en hij kijkt naar links!" Zelfs als de hond er nog nooit eerder zo heeft uitgezien. Dit heet "zero-shot learning" (leren zonder voorbeelden).
• Zoeken met Woorden: Je kunt typen "een rode fiets" en de computer vindt de perfecte 3D-fiets, omdat hij weet dat fietsen altijd op twee wielen staan en niet op hun zijkant.

Samenvattend

CanoVerse is als het opzetten van een wereldwijde, perfect georganiseerde 3D-bibliotheek. Door slimme technologie te gebruiken om mensen te helpen in plaats van hen te vervangen, hebben ze een database gemaakt die groot genoeg is om computers echt "slim" te maken over hoe de wereld eruitziet. Het is de sleutel die 3D-technologie opent voor betere games, betere robots en slimme hulpmiddelen in de toekomst.

Technische samenvatting

Probleemstelling

In het huidige 3D-vision-landschap is oriëntatie een persistente bron van ongecontroleerde variatie. 3D-assets (zoals web-assets, scans en generatieve modellen) verschijnen vaak in willekeurige globale rotaties. Hoewel schaal en translatie routinematig worden genormaliseerd, wordt oriëntatie vaak genegeerd. Dit leidt tot de volgende problemen:

• Instabiliteit: Modellen moeten directionele ambiguïteit zelf oplossen, wat de stabiliteit van de representatie vermindert.
• Fragmentatie: Dezelfde objecten worden gezien als verschillende identiteiten door rotatie, wat shape-retrieval bemoeilijkt.
• Gebrek aan semantiek: Directionele semantiek (zoals "voorkant" of "bovenkant") kan niet puur uit geometrie worden afgeleid; deze moet consistent leren worden uit een groot aantal canonicalized (genormaliseerde) voorbeelden.
• Schalingsprobleem: Bestaande canonical datasets (zoals COD, Objaverse-OA) zijn te klein (maximaal ~32K objecten) omdat de huidige workflows zwaar vertrouwen op handmatige uitlijning, wat te duur en tijdrovend is om te schalen.

Methodologie

De auteurs stellen CanoVerse voor, een schaalbaar framework dat de uitlijning van 3D-objecten automatiseert en versnelt. Het proces bestaat uit twee fasen:

1. Generatie van Kandidaat-Poses (Candidate-Pose Generation)

In plaats van een continue zoektocht in de SO(3)-ruimte (alle mogelijke rotaties), wordt het probleem omgezet in het genereren van een beperkte set van betrouwbare kandidaat-poses per object.

• Gegevensvoorbereiding: Geometrische en semantische aanwijzingen worden geëxtraheerd (via Uni3D voor categorisering en Find3d voor segmentatie). Per categorie wordt een representatief template gedefinieerd met een menselijke conventie (bijv. bij een fiets is de z-as de voorkant).
• Verticale Uitlijning: Er worden twee criteria gebruikt:
  • Ondersteunend oppervlak: Berekening van stabiele evenwichtsposities (waar het zwaartepunt binnen het steunvlak ligt). Een Vision-Language Model (VLM) selecteert de meest natuurlijke "rechtop" positie.
  • PCA (Principal Component Analysis): Uitlijning van de hoofdassen van het object met het template, waarbij semantische cues worden gebruikt om de tekenambiguïteit van PCA-oplossingen op te lossen.
• Horizontale Uitlijning: Ook hier worden twee criteria toegepast:
  • Geometrisch: Minimering van de Chamfer Distance tussen het object en het template rond de verticale as.
  • Semantisch: Voor objecten met grote vormvariatie (bijv. camera's) wordt de oriëntatie bepaald op basis van semantische onderdelen (bijv. de lensrichting), gecombineerd met geometrische fit.
• Kandidaatset: Per object worden 5 specifieke kandidaat-poses gegenereerd die een combinatie van bovenstaande criteria vertegenwoordigen (bijv. alleen horizontaal, eerst verticaal dan horizontaal, inclusief 180° flips voor symmetrische objecten).

2. Interactieve Selectie (Interactive Selection)

• Mens-in-the-loop: Annotatoren krijgen een referentie-template en de renderings van de 5 gegenereerde kandidaat-poses.
• Selectie: De annotator kiest met één klik de beste uitlijning.
• Efficiëntie: Dit reduceert de tijd per object van minuten (bij volledige handmatige uitlijning) naar seconden, omdat de mens alleen hoeft te selecteren in plaats van te optimaliseren.

Belangrijkste Bijdragen

1. CanoVerse Dataset: Een massale canonical 3D-dataset met 320.000 objecten over 1.156 categorieën. Dit is een orde van grootte groter dan eerdere werken (bijv. COD met 32K).
2. Schaalbaar Canonicalization Framework: Een nieuwe pipeline die handmatige uitlijning transformeert van een dure, handmatige taak naar een hoogdoorvoer data-generatieproces. De annotatietijd daalt van ~100 seconden naar ~2,7 seconden per object, met behoud van hoge nauwkeurigheid.
3. Verbeterde Downstream Taken: Het bewijzen dat canonical data leidt tot betere prestaties in 3D-generatie, shape-retrieval en pose-estimatie.

Resultaten en Experimenten

De auteurs evalueren CanoVerse op drie hoofdgebieden:

• 3D Oriëntatie-estimatie:

  • Modellen getraind op CanoVerse (bijv. VI-Net) presteren aanzienlijk beter dan die getraind op bestaande datasets (NOCS, Objaverse-OA) of traditionele PCA-methoden.
  • Zero-shot Generalisatie: Het model toont sterke prestaties op out-of-distribution data (zoals de OmniObject3D scan-dataset), wat eerder onpraktisch was door gebrek aan canonical data.
  • Schalbaarheid: De nauwkeurigheid verbetert lineair met de datasetgrootte (van 32K tot 310K).

• 3D Object Generatie:

  • Fine-tuning van generatieve modellen (Hunyuan3D 2.1 en Trellis) op canonical data resulteert in stabielere poses en coherenter geometrie.
  • Er is een drastische reductie in pose-ambiguïteit (gemeten via IQR van hoekfouten) en verbeterde structurele consistentie.

• Cross-modale Shape Retrieval:

  • Voor zowel tekst-naar-3D als afbeelding-naar-3D retrieval tonen modellen getraind op canonical data betere Recall-scores. De canonicalisatie vermindert directionele ambiguïteit en helpt modellen intrinsieke 3D-semantiek beter te vangen.

• Kwaliteit en Efficiëntie:

  • De methode is 36x sneller dan handmatige Blender-annotatie voor ervaren annotatoren, met een vergelijkbare precisie (foutmarge < 6°).
  • Het presteert significant beter dan bestaande automatische methoden (zoals CaCa en ConDor) op Instance-Level Consistency (IC) en Ground Truth Equivariance Consistency (GEC).

Betekenis

CanoVerse lost een fundamentele bottleneck in 3D-vision op: het gebrek aan schaalbare, consistent georiënteerde data. Door directionele semantiek statistisch leerbaar te maken op datasetschaal, stelt deze dataset moderne 3D-modellen in staat om betrouwbare directionele priors te internaliseren. Dit is cruciaal voor de ontwikkeling van robuuste 3D-generatieve modellen, nauwkeurige pose-estimatie en betrouwbare cross-modale zoekopdrachten. De dataset en het framework vormen een nieuwe basis voor toekomstig onderzoek in oriëntatie-consistente 3D-learning.