💻 computer science

Densemarks: Learning Canonical Embeddings for Human Heads Images via Point Tracks

Dit paper introduceert DenseMarks, een nieuwe leermethode die via een Vision Transformer en contrastief verlies 2D gezichtsafbeeldingen omzet in een interpreteerbare 3D-canonieke embeddingruimte, waardoor robuuste, dichte correspondenties voor het hele hoofd (inclusief haar) mogelijk worden voor taken zoals tracking en 3D-reconstructie.

Oorspronkelijke auteurs: Dmitrii Pozdeev, Alexey Artemov, Ananta R. Bhattarai, Artem Sevastopolsky

Gepubliceerd 2026-04-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Dmitrii Pozdeev, Alexey Artemov, Ananta R. Bhattarai, Artem Sevastopolsky

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🧠 Wat is dit onderzoek eigenlijk?

Stel je voor dat je een foto van een persoon maakt. Als je die foto vergelijkt met een andere foto van dezelfde persoon (bijvoorbeeld met een andere hoed of een heel ander gezichtsuitdrukking), is het voor een computer heel lastig om te zeggen: "Oh, dit puntje op de neus in foto A is precies hetzelfde puntje als dat puntje op de neus in foto B."

Meer nog: computers hebben het vaak moeilijk met dingen die niet standaard zijn, zoals haar, een hoed, of een bril. Traditionele methoden kijken alleen naar de "veilige" plekken: de ogen, de neus en de mond. Maar als iemand een hoed opzet of zijn hoofd draait, raken die punten vaak kwijt.

DenseMarks is een nieuwe manier om een menselijk hoofd voor een computer te begrijpen. Het maakt van elke foto van een hoofd een soort 3D-landkaart die altijd hetzelfde blijft, ongeacht hoe de persoon eruitziet of wat hij doet.

🗺️ De Analogie: De "Universele Hoofd-Atlas"

Stel je voor dat je een enorme, onzichtbare kubus (een 3D-blok) hebt. Dit is de "DenseMarks-ruimte".

De Kubus als Landkaart: In deze kubus zit een perfecte, statische versie van een menselijk hoofd.
- De linkerkant van de kubus is altijd het linkeroor.
- Het midden is altijd de neus.
- De bovenkant is altijd het haar.
- Zelfs de achterkant van het hoofd en de haren zijn hierin vastgelegd.
Het Magische Trucje: Wanneer je een nieuwe foto van een persoon maakt (bijvoorbeeld iemand met een lange baard en een hoed), kijkt het nieuwe systeem (een AI) niet alleen naar de foto. Het vertaalt elk pixel van die foto direct naar een coördinaat in die Kubus.
- Het pixel op de linkeroor in de foto wordt gekoppeld aan het "linkeroor-deel" in de Kubus.
- Het pixel op de hoed wordt gekoppeld aan het "hoed-deel" in de Kubus.

Het resultaat? Of je nu een foto maakt van iemand met een pet, of iemand met lang haar, of iemand die zijn hoofd helemaal draait: voor de computer zitten die punten altijd op exact dezelfde plek in die Kubus.

🛠️ Hoe hebben ze dit gebouwd? (De "Bouwmeesters")

De onderzoekers hebben geen handmatig deze kaart getekend. Ze hebben een slimme manier bedacht om de AI het zelf te laten leren:

De Leermeester (De Tracker): Ze hebben duizenden video's van mensen gebruikt die praten (zoals in interviews). Ze hebben een bestaande, slimme tracker (een soort robot die punten in video's volgt) gebruikt om te zien hoe punten op het hoofd bewegen.
De "Spiegel"-Oefening: Ze lieten de AI twee foto's van dezelfde persoon bekijken. Als de AI zag dat punt A op foto 1 en punt B op foto 2 eigenlijk hetzelfde punt zijn (bijvoorbeeld de punt van de neus), dan moesten ze in de Kubus ook op dezelfde plek zitten.
De "Puzzel": Als de AI fouten maakte (bijvoorbeeld dacht dat het linkeroor links was, maar het was rechts), kreeg hij een "boete" (verliesfunctie). Na miljoenen pogingen leerde de AI: "Ah, als ik dit patroon zie, moet ik dit pixel sturen naar de linkerkant van de Kubus."

🚀 Waarom is dit zo cool? (De Toepassingen)

Omdat ze nu zo'n perfecte, consistente kaart hebben, kunnen ze veel coole dingen doen:

Onverwoestbare Tracking: Stel je wilt een 3D-animatie van een acteur maken. Zelfs als de acteur zijn hoofd heel snel draait of als er een hand voor zijn gezicht komt, blijft de computer weten waar de neus zit. Het systeem "weet" dat de neus er nog is, ook al is hij even niet zichtbaar.
Haar en Hoeden: Eerdere systemen gaven op bij haar. DenseMarks begrijpt dat een pluk haar een vast onderdeel is van het hoofd. Je kunt dus een hoed van de ene persoon "overnemen" en op het hoofd van een andere persoon plakken, en het ziet er natuurlijk uit.
Stereo Reconstructie: Als je twee foto's van een persoon hebt (van twee verschillende hoeken), kan het systeem precies berekenen hoe die persoon er in 3D uitziet, puur op basis van deze kaart.

🎯 Samenvatting in één zin

DenseMarks is als het geven van elke pixel op een menselijk hoofd een uniek "huisadres" in een universele 3D-ruimte, zodat computers mensen altijd en overal kunnen herkennen en volgen, zelfs als ze een hoed opzetten, hun haar veranderen of hun hoofd draaien.

Het is alsof je voor elke persoon een onzichtbare, perfect vormgegeven poppetje hebt die altijd meedraait met de foto, zodat je nooit meer de neus of het oor kwijtraakt.

Probleemstelling

Bestaande methoden voor het modelleren en volgen van menselijke hoofden (head tracking) in augmented reality (AR), virtual reality (VR) en filmproductie hebben vaak te kampen met beperkingen:

Sparce Landmarks: Traditionele trackers vertrouwen op een beperkt aantal specifieke gezichtspunten (bijv. ooghoeken, neus). Dit is kwetsbaar voor occlusies (verduistering) door extreme houdingen, expressies of accessoires.
Parametrische Modellen: Methoden die gebruikmaken van 3D Morphable Models (3DMM) zijn vaak beperkt tot een simpele mesh-topologie en kunnen complexe structuren zoals haar, hoeden of sieraden niet goed modelleren.
Ontbrekende Dichte Correspondenties: Er is een gebrek aan robuuste, dichte (per-pixel) semantische correspondenties die consistent zijn over verschillende personen en hoeken, inclusief niet-triviale delen van het hoofd.

Het doel van dit onderzoek is het creëren van een nieuwe, leerbare representatie die dichte, semantisch consistente correspondenties mogelijk maakt voor het volledige hoofd, inclusief haar en accessoires, ongeacht de houding of identiteit van de persoon.

Methodologie: DenseMarks

De auteurs stellen DenseMarks voor, een nieuwe representatie die een 2D hoofdafbeelding afbeeldt op een semantisch bewuste, volumetrische 3D-canonical space (een eenheidscube).

1. Architectuur en Representatie

Embedder: Een Vision Transformer (ViT) backbone (geïnitialiseerd met DINOv3) voorspelt voor elke pixel in de invoerafbeelding een 3D-coördinaat $(x, y, z)$ binnen een eenheidscube. Dit is de "canonical embedding".
Latent Cube: De canonical space wordt gediscretiseerd in een 3D-voxelrooster ( $N_d \times N_d \times N_d$ ). Elke voxel bevat een leerbaar latent feature-vectoren van dimensie $D$ .
Interpolatie: Om features te extraheren op niet-integrale posities in de cube, wordt trilineaire interpolatie (TriLerp) toegepast op het latent feature-rooster. Dit zorgt voor een continue en gladde semantische ruimte.

2. Trainingsstrategie

Omdat er geen ground-truth dichte correspondenties beschikbaar zijn voor in-the-wild video's, gebruiken de auteurs een self-supervised benadering met behulp van point tracking:

Data: Een dataset van 35.000 "talking head" video's (CelebV-HQ).
Pseudo-Ground Truth: Een state-of-the-art point tracker (CoTracker3) wordt gebruikt om punten over de video te volgen. Dit levert paren van overeenkomstige pixels $(K_{gt}^1, K_{gt}^2)$ op tussen twee frames.
Contrastive Loss: Het doel is om ervoor te zorgen dat overeenkomstige punten in verschillende frames naar dezelfde locatie in de canonical cube worden afgebeeld. Hiervoor wordt een CLIP-achtige contrastive loss gebruikt die de cosine-afstand tussen de features van gekoppelde punten minimaliseert en die van niet-gekoppelde punten maximaliseert.
Multi-task Regularisatie: Om de interpretatie en structuur van de ruimte te verbeteren, worden extra losses toegevoegd:
- Landmark Loss: De voorspelde posities van standaard gezichtspunten (300W-formaat) worden verankerd op vooraf gedefinieerde locaties in de cube.
- Segmentatie Loss: Een kleine segmentation head voorspelt semantische regio's (bijv. huid, haar, ogen) op basis van de features, wat zorgt voor betere semantische scheiding.
Ruimtelijke Gladheid: Een 3D-Gaussische filter wordt toegepast op het latent feature-rooster om te zorgen dat nabijgelegen punten in de cube vergelijkbare semantische informatie hebben.

Kernbijdragen

Nieuwe Representatie: DenseMarks introduceert een compacte, 3D-canonical space die dichte correspondenties voor het hele hoofd (inclusief haar en accessoires) mogelijk maakt, in tegenstelling tot eerdere methoden die zich beperkten tot het gezicht of parametrische meshes.
Robuustheid: De methode is uitzonderlijk robuust tegen extreme houdingen, occlusies en variaties in uiterlijk dankzij de sterke supervisie via point tracks en de structuur van de canonical space.
Interpretabele Ruimte: De canonical space is "queryable". Gebruikers kunnen een specifiek semantisch punt (bijv. "centrum van het voorhoofd") selecteren in de 3D-cube en dit direct toepassen op willekeurige afbeeldingen om het overeenkomstige punt te vinden.
Efficiëntie: Ondanks het gebruik van een ViT-backbone, zijn de uiteindelijke embeddings zeer compact (3D-coördinaten) en efficiënt voor downstream taken zoals matching en tracking.

Resultaten

De auteurs evalueren DenseMarks op diverse taken en vergelijken het met state-of-the-art foundation models (zoals DINOv3, Sapiens, Fit3D) en specifieke head-tracking methoden.

Point Querying: DenseMarks slaagt erin om specifieke semantische punten (zoals oren, wenkbrauwen, haar) consistent te lokaliseren over verschillende personen en hoeken, zelfs met een veel lagere embedding-dimensie (3) dan concurrenten (vaak >700).
Dense Warping: Bij het vervormen van bronafbeeldingen naar doelen op basis van nearest-neighbor matching in de embedding-ruimte, toont DenseMarks superieure semantische consistentie. Andere methoden matchen vaak op kleur of genereren artefacten.
Monoculaire Tracking: In een downstream toepassing (het volgen van een FLAME 3D-model op monoculaire video) verbetert DenseMarks de robuustheid aanzienlijk, vooral bij extreme houdingen en occlusies waar traditionele trackers falen.
Stereo Reconstructie: De methoden kunnen worden gebruikt voor 3D-reconstructie door correspondenties tussen meerdere weergaven te trianguleren zonder expliciete 3D-modellen.
Ablatie Studies: Experimenten tonen aan dat zowel de canonical space als de regularisatie (landmarks en segmentatie) essentieel zijn voor de prestaties. De methode is ook robuust tegen ruis in de point-tracks en landmark-detectie.

Significantie

DenseMarks vertegenwoordigt een belangrijke stap voorwaarts in de computer vision voor menselijke hoofden. Het lost het probleem op van het vinden van betrouwbare correspondenties in complexe, niet-rigide gebieden zoals haar, die vaak worden genegeerd door bestaande 3DMM-gebaseerde pipelines.

Door een semantisch gestructureerde, 3D-canonical space te leren zonder de noodzaak van dure 3D-ground-truth data, biedt de methode een veelzijdig fundament voor:

Hoge kwaliteit AR/VR avatars.
Robuuste video-tracking in uitdagende omgevingen.
Stereo reconstructie en 3D-herstel.
Interactieve toepassingen (bijv. "klikken" op een punt in een 3D-ruimte om dit in een video te vinden).

De openbaarmaking van de code en het modelcheckpoint zal waarschijnlijk verdere research in dichte semantische correspondenties en 3D-herstel van menselijke figuren stimuleren.