3D-LFM: Lifting Foundation Model

Dit paper introduceert 3D-LFM, het eerste 3D-lifting foundation model dat met behulp van transformatoren diverse objectklassen kan reconstrueren zonder de beperkende noodzaak van corresponderende 3D-trainingsdata.

De kern

Stel je voor dat je een foto van een kat, een auto of een dansende mens bekijkt. Je ziet alleen een platte, tweedimensionale afbeelding (2D). Maar in je hoofd kun je je perfect voorstellen hoe die kat eruitziet in 3D: hoe zijn staart naar achteren krult, hoe zijn poten onder zijn lichaam staan.

3D-LFM is een slimme computerprogramma dat precies dat doet: het neemt een platte foto en "lift" deze direct omhoog naar een volledig driedimensionaal model. Wat dit programma zo speciaal maakt, is dat het geen expert hoeft te zijn voor elk specifiek object. Het is een universele meester die meer dan 30 verschillende soorten objecten (van mensen tot cheeta's en meubels) in één keer kan begrijpen.

Hier is een uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het oude probleem: De "Vaste Bouwpakketten"

Vroeger waren computerprogramma's voor 3D-reconstructie als specifieke bouwpakketten.

• Als je een 3D-model van een mens wilde maken, had je een pakketje nodig met alleen instructies voor mensen.
• Wou je een auto maken? Dan moest je een heel ander pakketje pakken.
• Als je een onbekend dier zag (bijvoorbeeld een zeldzame cheeta), kon het oude programma niets doen. Het wist niet welke "bouwplaat" het moest gebruiken. Het had altijd eerst moeten weten: "Ah, dit is een hond!" voordat het kon beginnen.

2. De oplossing: De "Meester-Bouwer" (3D-LFM)

3D-LFM is als een meester-bouwer die geen specifieke bouwplaatjes nodig heeft. Hij heeft een superkrachtige hersenstructuur (een zogenaamde Transformer) die leert naar de vorm en de structuur te kijken, in plaats van naar de naam van het object.

• De Analogie van de Lego: Stel je voor dat je een doos met losse Lego-blokjes hebt. Een oude computer zou zeggen: "Ik weet niet wat dit is, want ik heb geen instructie voor 'blauwe auto'."
  3D-LFM zegt echter: "Ik zie dat deze blokjes een structuur hebben die lijkt op een voertuig. Ik ga ze op een logische manier in elkaar zetten, ongeacht of het een auto, een boot of een vreemd dier is."

3. Hoe werkt het? (De Magische Trucs)

Het paper beschrijft drie slimme trucs die 3D-LFM gebruikt:

A. De "Onafhankelijke Danser" (Permutatie Equivariantie)
Stel je een dansgroep voor. In een oude computer moest de danser links altijd de "linkerhand" zijn en de danser rechts de "rechterhand". Als je de volgorde veranderde, raakte de computer in de war.
3D-LFM is als een dansgroep die onafhankelijk is van de volgorde. Het maakt niet uit of je de punten van links naar rechts of van rechts naar links invoert; het programma begrijpt direct dat "dit punt hier" en "dat punt daar" bij elkaar horen. Hierdoor kan het elk object aanpakken, zelfs als het aantal "punten" (zoals gewrichten) verschilt.

B. De "Standaard Maat" (Procrustean Alignment)
Soms is een olifant heel groot en een muis heel klein. Als je ze allebei in 3D probeert te tekenen, zou de computer kunnen denken: "Oh, de olifant is gewoon een enorme muis!"
3D-LFM gebruikt een trucje: het schuift alle objecten eerst naar een standaardmaat (een "kanoniek frame"). Het negeert even hoe groot of hoe gedraaid het object is, en concentreert zich puur op de vorm en de buigingen. Pas daarna past hij de grootte en draaiing weer aan. Dit zorgt ervoor dat hij de echte structuur leert kennen, zonder verward te raken door de grootte van het object.

C. De "Universele Vertaler" (Tokenized Positional Encoding)
Oude programma's hadden een woordenboek nodig om te weten dat punt 1 altijd de "neus" is en punt 2 de "oog". 3D-LFM heeft geen woordenboek nodig. Het gebruikt een wiskundige code (zoals een universele vertaler) die de positie van elk punt direct begrijpt, zonder dat het hoeft te weten wat het punt heet. Hierdoor kan het zelfs objecten reconstrueren die het nooit eerder heeft gezien (bijvoorbeeld een cheeta, terwijl het alleen katten en honden heeft geoefend).

4. Waarom is dit belangrijk?

• Het is een "Fundamenteel Model": Net zoals ChatGPT een taalmodel is dat alles kan schrijven, is 3D-LFM een model dat alles in 3D kan bouwen. Je hoeft geen nieuw programma te schrijven voor elke nieuwe soort dier of voorwerp.
• Het werkt met onvolledige data: Als een deel van het object verborgen is (bijvoorbeeld een hand achter een rug), kan 3D-LFM de rest nog steeds goed reconstrueren, omdat het de structuur begrijpt.
• Het is snel en efficiënt: Omdat het niet hoeft te zoeken in duizenden specifieke bouwplaatjes, maar gewoon de vorm analyseert, werkt het sneller en flexibeler.

Samenvatting in één zin

3D-LFM is als een universele 3D-architect die, zonder vooraf te weten wat voor object hij ziet, op basis van een platte foto direct een perfect driedimensionaal model bouwt, of het nu een mens, een auto of een zeldzame cheeta is.

Technische samenvatting

Titel: 3D-LFM: Lifting Foundation Model

Auteurs: Mosam Dabhi, László A. Jeni, Simon Lucey (Carnegie Mellon University & The University of Adelaide)

---

1. Het Probleem

Het "liften" van 2D landmerken (keypoints) uit een enkele RGB-afbeelding naar een 3D-structuur is een fundamenteel maar moeilijk probleem in de computer vision, vanwege de ill-posed aard ervan (er zijn oneindig veel 3D-oplossingen voor één 2D-projectie).

Bestaande methoden hebben twee grote beperkingen:

1. Afhankelijkheid van semantische correspondentie: Traditionele deep learning-methoden (zoals C3DPO, PAUL) vereisen dat de 2D-landmerken strikt semantisch corresponderen met de 3D-trainingdata. Dit betekent dat het model voor elke objectcategorie (bijv. een auto vs. een hond) een specifiek model nodig heeft met een vast aantal landmerken in een specifieke volgorde.
2. Gebrek aan schaalbaarheid: Het is onpraktisch om aparte modellen te trainen voor tientallen of honderden objectcategorieën, vooral als de datasets onbalans hebben of als er nieuwe, ongeziene categorieën (Out-of-Distribution of OOD) worden geïntroduceerd.

Het doel van dit paper is het ontwikkelen van een object-agnostisch model dat in staat is om 2D-landmerken van meer dan 30 verschillende categorieën (mensen, dieren, voorwerpen) direct naar 3D te liftten zonder voorafgaande kennis van de specifieke objectcategorie of de volgorde van de landmerken.

---

2. Methodologie

De kern van de 3D-LFM (3D Lifting Foundation Model) is een architectuur die gebaseerd is op Transformers en specifieke ontwerpelementen om correspondentieproblemen op te lossen.

A. Permutatie-Equivariantie en Token Positional Encoding (TPE)

• Probleem: Traditionele methoden gebruiken "Correspondence Positional Encoding" (CPE), die de index van een landmerk koppelt aan een specifieke betekenis (bijv. "linker elleboog"). Dit werkt niet als het aantal landmerken varieert of als de volgorde willekeurig is.
• Oplossing: 3D-LFM maakt gebruik van Token Positional Encoding (TPE) gebaseerd op analytische Random Fourier Features (RFF).
  • In plaats van te leren welke index welk gewricht is, encodeert TPE de relatieve posities van de 2D-landmerken.
  • Dit maakt het model permutatie-equivariant: de uitvoer verandert op een voorspelbare manier als de volgorde van de invoer verandert, maar de onderliggende 3D-structuur blijft behouden. Het model hoeft dus geen semantische correspondentie te kennen.

B. Graph-based Transformer Architectuur

Het model gebruikt een hybride attention-mechanisme binnen een graph-based transformer:

• Lokale Attention (Graph Attention - GA): Gebruikt een burenmatrix (adjacency matrix) om connectiviteit tussen gewrichten te modelleren (bijv. hand is verbonden met pols). Dit helpt bij het begrijpen van de lokale structuur.
• Globale Attention (Multi-Head Self-Attention - MHSA): Modellert de globale context van het hele object.
• Hybride Aggregatie: Deze twee worden gecombineerd om zowel lokale geometrie als globale vorm te leren.

C. Procrustean Alignment

Om het model te helpen focussen op de vervormbare (niet-rigide) aspecten van een object en niet op rotaties of translaties:

• De voorspelde 3D-structuur wordt eerst afgebeeld in een canonieke frame.
• Vervolgens wordt een Procrustean-algoritme (Orthographic-N-Point of Perspective-N-Point) toegepast om de voorspelling uit te lijnen met de ground truth (3D referentiestructuur).
• Dit reduceert de leerlast van het model aanzienlijk, omdat het alleen de vormveranderingen hoeft te leren, niet de rigide bewegingen.

D. Verwerking van Ontbrekende Data

Het model gebruikt een binair maskeringssysteem om occlusies (verduistering van landmerken) te hanteren. Landmerken die niet zichtbaar zijn, worden gemaskeerd, zodat het model kan trainen op incomplete data.

---

3. Belangrijkste Bijdragen

1. Eerste 3D Lifting Foundation Model: 3D-LFM is het eerste unified model dat 2D-3D lifting uitvoert voor meer dan 30 categorieën (mens, gezicht, handen, dieren, voertuigen, meubels) met één enkel model.
2. Object-Agnostisch Ontwerp: Het elimineert de noodzaak voor semantische correspondentie tussen 2D en 3D data. Het model kan landmerken in willekeurige volgorde verwerken.
3. Robuuste Generalisatie (OOD): Het model toont sterke prestaties op "Out-of-Distribution" data, inclusief:
   • Ongeziene diersoorten (bijv. cheeta's trainen op honden/katten).
   • Ongeziene objectcategorieën (bijv. treinen trainen op andere voertuigen).
   • Rig Transfer: Het kan trainen op het skelet van Human3.6M (17 gewrichten) en testen op Panoptic Studio (15 gewrichten) of COCO, zonder aanpassing.
4. Schaalbaarheid: Door TPE en hybride attention kan het model omgaan met onbalans in datasets en verschillende aantallen landmerken.

---

4. Resultaten

De auteurs evalueren 3D-LFM op diverse benchmarks en vergeleken het met state-of-the-art (SOTA) methoden:

• Multi-Object Prestaties (PASCAL3D+):
  • 3D-LFM presteert beter dan C3DPO, zelfs wanneer C3DPO geen objectspecifieke informatie krijgt.
  • Zonder objectspecifieke data stijgt de fout (MPJPE) bij C3DPO drastisch, terwijl 3D-LFM stabiel blijft.
• Specifieke Categorieën (H3WB Benchmark):
  • 3D-LFM slaat bestaande gespecialiseerde modellen (zoals Jointformer, SimpleBaseline, CanonPose) voor menselijk lichaam, gezicht en handen.
  • Bijvoorbeeld: MPJPE voor "Whole-body" daalt naar 64.13 mm (tegenover 81.5 mm voor de vorige SOTA Jointformer).
• Out-of-Distribution (OOD) Generalisatie:
  • Het model slaagt erin om 3D-reconstructies te maken voor dieren en objecten die niet in de training zaten (bijv. Chimpansees, Cheeta's, Treinen).
  • Rig Transfer: Er wordt een verbetering van tot wel 52.3% gezien bij het overschakelen tussen verschillende skeletconfiguraties (bijv. van 52 naar 83 gewrichten) dankzij TPE.
• Ablatie Studies:
  • De combinatie van Procrustean alignment en hybride attention levert de beste resultaten op.
  • TPE (Token Positional Encoding) is cruciaal voor prestaties bij onbalans en rig-transfer, en convergeren sneller dan leerbare MLP-projecties.

---

5. Betekenis en Toekomstperspectief

3D-LFM markeert een paradigmaverschuiving in 2D-3D lifting. Het beweegt weg van gespecialiseerde, krappe modellen naar een foundation model dat universeel toepasbaar is.

• Impact: Het vereenvoudigt de 3D-reconstructie voor diverse toepassingen zoals augmented reality, robotica en animatie, omdat er geen specifieke kalibratie per object nodig is.
• Beperkingen: Het model kan worstelen met extreme perspectiefvervormingen waarbij 2D-landmerken van verschillende categorieën op elkaar lijken (bijv. een tijger die eruit ziet als een primate door een rare hoek) of bij diepteambiguïteiten.
• Toekomst: De auteurs suggereren dat het integreren van visuele beeldfeatures (uit de afbeelding zelf) en temporele dynamiek (voor video) de volgende stap zou zijn om diepteambiguïteiten op te lossen en de robuustheid in complexe scenario's te vergroten.

Kortom, 3D-LFM bewijst dat het mogelijk is om één model te trainen dat "alles" kan reconstrueren in 3D, zolang er maar 2D-landmerken zijn, ongeacht het object of de volgorde van de punten.