Emergence of a Shared Canonical Object Frame from In-the-Wild Videos

Technische Samenvatting: Emergentie van een Gedeeld Canoniek Objectframe uit In-the-Wild Video's

Probleemstelling
Het vergelijken van objectoriëntaties en posities over verschillende instanties vereist het uitdrukken van hun poses binnen een gedeeld canoniek frame. Traditioneel berust het vaststellen van dergelijke frames op substantiële handmatige supervisie, waaronder uitgelijnde CAD-modellen, gecontroleerde synthetische rendering of zorgvuldige annotatie van real-world poses. Deze afhankelijkheid creëert een schaalbaarheidsprobleem: synthetische data introduceert een domeingap, terwijl geannoteerde real-world data beperkt blijft in categorie- en instantiediversiteit. Bijgevolg blijft het leren van canonieke objectrepresentaties die breed generaliseren over real-world data zonder handmatige canonieke pose-labels een openstaand probleem. Bovendien trainen bestaande zelfgesuperviseerde benaderingen vaak aparte modellen per categorie, waardoor ze niet in staat zijn om een gedeeld frame over verschillende objecttypen te produceren.

Methodologie
De auteurs stellen een zelfgesuperviseerde, categorie-agnostische aanpak voor die een gedeeld canoniek frame leert uit object-gecentreerde video's die in de vrije natuur (in the wild) zijn opgenomen, gebruikmakend van uitsluitend ruisachtige camerapozes die zijn gereconstrueerd via Structure-from-Motion (SfM). De kern van het mechanisme bestaat uit het routeren van alle trainingssequenties door een gedeelde geometrische bottleneck.

1. Gedeeld Canoniek Mesh: De methode definieert een vast, grof 3D-mesh (bijv. een eenheidskubus of sfeer) in een canoniek coördinatenframe. Dit mesh draagt geen categorie-specifieke geometrische details, waardoor het netwerk gedwongen wordt te vertrouwen op verschijning en semantische priors in plaats van vorm-matching.
2. Correspondentie-netwerk: Een neuraal netwerk leert om beeldpixels te mappen naar de vertices van dit gedeelde mesh. Het maakt gebruik van een feature extractor en een Transformer decoder, waarbij leerbare vertex-embeddings fungeren als queries tegen pixel-features. De output is een dichte distributie over mesh-vertices voor elke pixel, wat effectief 2D-3D correspondenties voorspelt.
3. Per-sequentie Uitlijning: Omdat SfM-reconstructies in willekeurige coördinatenframes bestaan, schat de methode een per-sequentie rotatie in om het SfM-frame uit te lijnen met het canonieke mesh-frame.
   • Initialisatie: Uitlijning wordt geïnitialiseerd via Principal Component Analysis (PCA) op de gemaskeerde SfM-puntenwolk om de grove geometrische omvang (bijv. elongatie) te vangen.
   • Verfijning: Tijdens de training schat het netwerk een rotatie in die de afstand minimaliseert tussen de door het netwerk voorspelde canonieke coördinaten en de door SfM afgeleide coördinaten (getransformeerd door de geschatte rotatie). Dit wordt geformuleerd als Wahba's probleem, opgelost via SVD, met gewichten gebaseerd op de entropie van de correspondentie-distributie om prioriteit te geven aan betrouwbare voorspellingen.
4. Trainingsdoelstelling: De uitgelijnde SfM-poses worden gebruikt om het canonieke mesh te rasteren, wat pseudo-labels genereert (zichtbare mesh-vertices) voor het correspondentie-netwerk. Het netwerk wordt getraind met een cross-entropy loss om deze pseudo-labels te matchen, samen met een mask-voorspellingskop die gesuperviseerd wordt door de zichtbaarheidsmasker. De uitlijning en het correspondentie-netwerk evolueren tijdens de training gezamenlijk.
5. Inference: Tijdens de testfase verwerkt het model een enkele RGB-afbeelding om dichte correspondenties en een segmentatiemasker te voorspellen. De 6D pose wordt gerecupereerd via EPnP met RANSAC, gebruikmakend van de voorspelde correspondenties, zonder dat per-sequentie uitlijningsstappen nodig zijn.

Belangrijkste Bijdragen

• Zelfgesuperviseerde Emergentie van een Canoniek Frame: Het artikel toont aan dat een gedeeld canoniek frame kan emergeren uit object-gecentreerde video's met uitsluitend ruisachtige SfM camera-poses, waardoor de noodzaak voor canonieke pose-annotaties vervalt.
• Geometrische Bottleneck: De auteurs tonen aan dat het routeren van diverse trainingssequenties door een gedeeld, grof canoniek mesh de cross-sequentie consistentie induceert. Dit maakt het mogelijk dat een gemeenschappelijk referentiekader emergeert door middel van multi-view uitlijning en de semantische priors van de feature extractor.
• Categorie-agnostische Generalisatie: De methode traint een enkel model over alle categorieën zonder categorie-conditionering. Het bereikt competitieve prestaties met canoniek gesuperviseerde methoden op meerdere benchmarks en generaliseert naar objectcategorieën die tijdens de training niet aanwezig waren.

Experimentele Resultaten
De methode werd getraind op ongeveer 160.000 in-the-wild object-gecentreerde video's uit de UCO3D dataset. Evaluatie werd uitgevoerd op vijf benchmarks: REAL275, Omni6DPose, Objectron, Pascal3D+ en ImageNet3D.

• Prestaties: Ondanks het ontbreken van canonieke pose-labels en het uitsluitend trainen op echte video, behaalde de methode de beste macro-gemiddelde prestaties over alle vijf de datasets vergeleken met gesuperviseerde baselines (bijv. OrientAnything V1/V2, QWEN3-VL) en categorie-specifieke zelfgesuperviseerde methoden.
• Data Schaal: Ablatie-studies bevestigden dat het schalen van de trainingsdata (het gebruiken van alle beschikbare sequenties in plaats van een beperkte subset) de prestaties significant verbetert, wat het belang van datavolume benadrukt voor het leren van generaliseerbare representaties.
• Ablaties: De studie toonde aan dat hoewel PCA-initialisatie de convergentie bevordert, de geleerde uitlijning cruciaal is voor het oplossen van de semantische oriëntatie (bijv. voorzijde- versus achterzijde). Een kubus-mesh bood een lichte inductieve bias ten opzichte van een sfeer, maar het principe van de geometrische bottleneck bleef robuust over verschillende vormen. Multi-view dekking (K=4 views) bleek essentieel voor betrouwbare uitlijning.

Betekenis en Beperkingen
Het artikel beweert dat deze aanpak de schaalbaarheidsproblematiek van canonieke supervisie aanpakt, wat categorie-agnostische pose-estimatie mogelijk maakt die overdraagbaar is naar ongeziene categorieën zonder test-time onboarding of handmatige labels. Het geleerde frame is grotendeels consistent over diverse objecttypen, waarbij per-categorie conventie-mappings clusteren in enkele modi.

De auteurs merken echter bescheiden beperkingen op met betrekking tot symmetrie. Het emerged frame is het meest consistent voor objecten met onderscheidende semantische assen. Voor continu symmetrische objecten, waarbij meerdere oriëntaties ononderscheidbaar bewijs opleveren, heeft de methode moeite omdat de pseudo-labels ruisachtig worden. Het artikel suggereert dat het oplossen van dergelijke ambiguïteiten zonder canonieke labels of symmetrie-priors een uitdaging blijft voor toekomstig werk.