💻 computer science

JEPADepth: Masked Predictive Representation Learning for Self-Supervised Monocular Depth Estimation

JEPA Depth introduceert een zelfgesuperviseerd framework voor monoculaire diepte-inschatting dat standaard fotometrische pipelines verbetert door een gemaskeerde predictieve representatieleerdoelstelling te incorporeren die geïnspireerd is door I-JEPA, waarmee het state-of-the-art prestaties bereikt op benchmarks zoals KITTI en superieure zero-shot transfermogelijkheden zonder extra kosten tijdens de inferentie toe te voegen.

Oorspronkelijke auteurs: Ionuţ Grigore, Călin-Adrian Popa

Gepubliceerd 2026-07-30

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ionuţ Grigore, Călin-Adrian Popa

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij de wereld in 3D ziet, net zoals een mens dat doet, maar je hebt slechts één camera en geen liniaal om afstanden te meten. Dit is de uitdaging van "monoculaire dieptechatting". Lange tijd was de beste manier om een robot deze truc te leren, hem twee foto's te laten zien die een fractie van een seconde uit elkaar liggen en hem te vragen hoeveel de wereld is verschoven tussen die twee beelden. Het is alsof je je duim omhoog houdt en met één oog dicht en dan met het andere oog; je hersenen berekenen de afstand op basis van hoeveel je duim "sprong". In de wereld van AI wordt dit "fotometrische reconstructie" genoemd. De computer probeert één afbeelding te vervormen zodat deze op de andere lijkt, en als de wiskunde klopt, gaat de computer ervan uit dat hij de diepte correct heeft geraden.

Echter, deze methode is een beetje kwetsbaar. Het leunt zwaar op de aanname dat de verlichting hetzelfde blijft en dat objecten niet bewegen of van vorm veranderen. Als er een auto voorbijrijdt, of als de zon plotseling weerkaatst op een nat wegdek, raakt de computer in de war omdat zijn "duim-sprong"-wiskunde niet meer werkt. Het is alsof je een puzzel probeert op te lossen waarbij de stukjes steeds van kleur veranderen. Om deze robots slimmer en robuuster te maken, zoeken wetenschappers naar manieren om ze niet alleen te leren pixels te matchen, maar om de structuur van de scène te begrijpen—zoals weten dat een boom een solide object is met een stam en takken, ongeacht of de zon schijnt of het bewolkt is. Dit is waar het nieuwe paper, JEPADepth, met een slimme nieuwe trainingsmethode in beeld komt.

Het Grote Idee van het Paper: Leren door de Gaten In te Vullen

De auteurs, Ionut Grigore en Călin-Adrian Popa van de Politehnica Universiteit van Timișoara, stellen een methode voor genaamd JEPADepth. Beschouw hun aanpak als het geven van een "invultest" aan de robot, maar in plaats van woorden zijn de gaten delen van een afbeelding, en in plaats van de ontbrekende letters te raden, moet de robot de betekenis van de ontbrekende delen raden.

Op de oude manier (fotometrische reconstructie) probeert de robot de exacte kleuren en helderheid van een naburige afbeelding te kopiëren. Het is alsof een fotokopieermachine probeert een plaatje perfect te reproduceren. Als het papier gekreukeld is of de inkt uitgelopen is, faalt de kopie.

Op de nieuwe JEPADepth manier gebruikt de robot een "gemaskeerde voorspellende" strategie, geïnspireerd door een techniek genaamd I-JEPA. Zo werkt het:

De Maskering: De computer neemt een afbeelding en bedekt verschillende willekeurige stukken (zoals het plakken van post-its over delen van een foto).
De Gok: De robot kijkt naar de zichtbare delen (de context) en probeert te voorspellen hoe de verborgen delen eruit zouden moeten zien, niet in termen van exacte pixels (kleuren), maar in termen van "concepten" of "kenmerken" (zoals "dit is een boomstam" of "dit is een weg").
De Leraar: Een speciale "leraar"-netwerk (wat simpelweg een kopie is van het hoofdbrein die langzaam wordt bijgewerkt) geeft het juiste antwoord op wat die verborgen stukken vertegenwoordigen. De robot vergelijkt zijn gok met het antwoord van de leraar en leert van het verschil.

De magie is dat dit gebeurt in de "representatieruimte". Stel je voor dat de robot niet probeert de exacte tint groen van een blad te raden; hij raadt het idee van een blad. Dit maakt het de robot veel moeilijker om te misleiden met veranderingen in lichtinval of textuur. Als de zon anders op het blad valt, blijft het "idee" van het blad hetzelfde, waardoor de robot de diepte nog steeds goed krijgt.

Wat Ze Hebben Gevonden: Slimmer, Niet Alleen Groter

De onderzoekers hebben deze nieuwe methode getest op de KITTI dataset, een standaard collectie rijvideo's die worden gebruikt om zelfrijdende auto's te trainen. Ze vergeleken hun nieuwe JEPADepth-model met de beste bestaande methoden.

Hier is het goede nieuws: JEPADepth werkt.

Betere Nauwkeurigheid: Bij het testen op de KITTI-dataset versloeg de nieuwe methode de vorige "gouden standaard"-modellen. Zo behaalde het op een standaardtest een foutmarge (de zogenaamde AbsRel) van 0,101, wat beter was dan het vorige beste transformer-gebaseerde model (MonoViT) en aanzienlijk beter dan oudere CNN-gebaseerde modellen.
De "Zero-Shot" Superkracht: De meest opwindende bevinding is hoe goed de robot generaliseerde naar nieuwe plaatsen. Het model werd getraind alleen op KITTI (wat lijkt op snelwegen in Californië), maar ze testten het vervolgens op Cityscapes (een dataset van drukke Europese steden) en Make3D (een dataset van buitenomgevingen) zonder extra training of "fine-tuning".
- Op Cityscapes kwam JEPADepth gelijk te staan met de beste nauwkeurigheid en was het de beste performer in 5 van de 7 metrieken.
- Op Make3D behaalde het de beste nauwkeurigheid (AbsRel van 0,275) en de beste log-fout (RMSElog van 0,143), waarmee het zelfs de sterkste concurrenten versloeg.

Dit suggereert dat door te leren de "structuur" van de scène te voorspellen in plaats van alleen pixels te kopiëren, de robot een meer universeel begrip van de 3D-ruimte heeft geleerd dat werkt, zelfs in omgevingen die hij nog nooit eerder heeft gezien.

De Afweging: Een Beetje Extra Huiswerk, Geen Extra Huiswerk Later

Je vraagt je misschien af: "Maakt dit de robot langzamer of heeft hij een grotere computer nodig?" De auteurs waren voorzichtig in hun ontwerp zodat het antwoord nee is.

De "invul-de-gaten-training" (het JEPA-gedeelte) vereist inderdaad wat meer werk terwijl de robot leert. De computer moet een extra stap uitvoeren om voorspellingen te doen en deze te vergelijken met de leraar. Dit voegde ongeveer 16% toe aan de totale trainingstijd (ongeveer 8,6 uur in plaats van 7,4 uur op een enkele high-end GPU).

Echter, zodra de training voltooid is, worden de "leraar" en de "voorspellings"-delen van het brein weggegooid. De uiteindelijke robot die de wereld in gaat, is precies even groot en snel als de standaardversie. Het is als een student die thuis extra oefenopdrachten maakt om slimmer te worden, maar op de dag van het examen heeft hij alleen de kennis nodig die hij heeft opgedaan, niet de extra oefenbladen. Het paper bevestigt dat deze extra trainingskosten resulteren in een model dat net zo efficiënt is in gebruik, maar veel slimmer.

Wat het Paper Zegt Dat Het Niet Is

De auteurs waren ook duidelijk over wat hun methode niet is.

Het is geen wondermiddel dat alle dieptechattingproblemen oplost. Ze merken op dat hun huidige "decoder" (het deel dat het brein van de robot omzet in een definitieve dieptekart) nog relatief eenvoudig is. Ze probeerden deze te vervangen door een complexer ontwerp (genaamd DPT), maar dat hielp niet in hun zelfgesuperviseerde opstelling, wat suggereert dat de bottleneck in de manier waarop de robot zijn geleerde kenmerken gebruikt ligt, en niet alleen in de kenmerken zelf.
Het is geen methode die werkt zonder een sterk vertrekpunt. De experimenten toonden aan dat als ze begonnen met een willekeurig, ongetraind brein in plaats van een vooraf getraind "DINOv3"-brein, de methode hopeloos faalde. De "vul-de-gaten-in"-truc werkt alleen als de robot al over een goede woordenschat aan visuele concepten beschikt om mee te beginnen.
Het vertrouwt niet op pixel-perfecte reconstructie. Het paper betoogt expliciet tegen het idee dat het voorspellen van exacte pixelkleuren de beste manier is om diepte te leren. Hun tests toonden aan dat het voorspellen van "kenmerken" (de abstracte betekenis van de afbeelding) beter werkt dan proberen de exacte kleur van elke pixel te raden.

De Kern van het Verhaal

JEPADepth suggereert dat de toekomst van het leren van diepte aan robots niet alleen gaat over het laten zien van meer plaatjes of het helderder maken van de plaatjes. Het gaat erom hen te leren het verhaal van de scène te begrijpen. Door een "raad het verborgen deel"-spel toe te voegen aan de standaard trainingsroutine, creëerden de auteurs een model dat nauwkeuriger is, robuuster tegen veranderingen in licht en decor, en beter in het omgaan met nieuwe omgevingen die het nog nooit heeft gezien—en dat alles zonder de uiteindelijke robot zwaarder of langzamer te maken. Het is een veelbelovende stap naar het maken van zelfrijdende auto's en robots die de wereld echt kunnen "zien", in plaats van deze alleen maar te kopiëren.

Technische Samenvatting van JEPADepth: Masked Predictive Representation Learning voor Self-Supervised Monoculaire Diepte-inschatting

Probleemstelling
Self-supervised monoculaire diepte-inschatting vertrouwt doorgaans op fotometrische reconstructieverlies, wat geometrische consistentie afdwingt door bronframes te vervormen om overeen te komen met een doelframe. Hoewel effectief, is dit paradigma inherent gevoelig voor aannames zoals helderheidsconstantie en voldoende textuur. Het heeft vaak moeite met reflecterende oppervlakken, veranderingen in verlichting en niet-rigide beweging. Bovendien, omdat het verlies in de pixelruimte wordt berekend, kan optimalisatie de neiging hebben om verschijningsstatistieken te memoriseren in plaats van hogere-orde scène-structuur te leren, wat de robuustheid en cross-dataset transfer beperkt. Hoewel recente self-supervised representation learning (bijv. DINOv3) krachtige encoders produceert die semantische en structurele regelmatigheden vastleggen, benutten standaard diepte-pipelines deze kenmerken niet volledig om ruimtelijk redeneren verder te forceren dan louter pixelreconstructie.

Methodologie
De auteurs stellen JEPADepth voor, een framework dat een Image Joint-Embedding Predictive Architecture (I-JEPA) objectief integreert als een complementair trainingssignaal voor standaard fotometrische supervisie. De methode werkt als volgt:

Backbone en Architectuur: Het systeem maakt gebruik van een vooraf getrainde DINOv3 Vision Transformer (ViT) encoder om patch-level tokens uit invoerbeelden te extraheren. Deze tokens, die hogere-orde structuren zoals objectgrenzen en lay-out vastleggen, dienen als de feature space voor voorspelling. Een lichtgewicht convolutioneel Feature Pyramid Network (FPN) decoder wordt aan de encoder toegevoegd om patch-tokens op meerdere schalen te upsamplen en dispariteitskaarten te voorspellen.
I-JEPA Objectief: In plaats van pixels te reconstrueren, wordt het model getraind om latente representaties van gemaskeerde beeldregio's te voorspellen.
- Masking: Voor elk beeld selecteert een contextmasker zichtbare patches, terwijl targetmaskers de uitgesloten regio's selecteren.
- Voorspelling: Een predictor netwerk (een transformer) neemt de zichtbare context-embeddings en concludeert de embeddings voor de gemaskeerde target-regio's.
- Target Generatie: Een via Exponential Moving Average (EMA) bijgewerkte target encoder verwerkt het beeld om stop-gradient target-embeddings voor de gemaskeerde regio's te leveren.
- Verlies: Het model minimaliseert een L2-regressieverlies tussen de voorspelde target-embeddings en de stop-gradient target-embeddings in de representatieruimte.
Training en Inferentie: Het dieptenetwerk wordt end-to-end getraind met een gecombineerde verliesfunctie bestaande uit het standaard fotometrische view-synthesis verlies, een edge-aware smoothness regularisator en het JEPA-representatievoorspellingsverlies. Cruciaal is dat de predictor en de target encoder na de training worden weggegooid. Bijgevolg blijft de architectuur tijdens de inferentie identiek aan de baseline, wat geen extra computationele kosten of implementatie-overhead met zich meebrengt.

Belangrijkste Bijdragen

JEPA-Geregulariseerde Diepte-inschatting: Het artikel introduceert de eerste methode die een I-JEPA-geïnspireerd masked representation prediction objectief integreert in een standaard fotometrische self-supervised diepte-pipeline. Dit verschuift het aanvullende leersignaal van pixelruimte-reconstructie naar representatieruimte-voorspelling.
Verbeterde Prestaties zonder Inferentie-overhead: De auteurs demonstreren dat het toevoegen van het I-JEPA verlies aan een DINOv3-gebaseerd fotometrisch framework superieure resultaten oplevert vergeleken met training met enkel fotometrische supervisie. Deze winst wordt behaald zonder de inferentie-tijd model te wijzigen, aangezien de aanvullende componenten na training worden verwijderd.
Verbeterde Generalisatie: De methode vertoont verbeterde robuustheid onder domeinverschuiving. Modellen die uitsluitend op de KITTI-dataset zijn getraind, bereiken state-of-the-art of nabij-state-of-the-art zero-shot prestaties op Cityscapes en Make3D zonder fine-tuning.

Experimentele Resultaten
De auteurs evalueerden JEPADepth op de KITTI, Cityscapes en Make3D benchmarks:

KITTI (In-Domain): Op de standaard Eigen split bereikte JEPADepth een AbsRel van 0.101 en een $\delta_1$ van 0.898, waarmee het sterke CNN-gebaseerde baselines (bijv. Monodepth2, HR-Depth) overtrof en competitief bleef met transformer-gebaseerde benaderingen zoals MonoViT, ondanks het gebruik van minder parameters (24M vs. 27M). Op de verbeterde ground truth benchmark kwam het gelijk aan MonoViT op AbsRel (0.075).
Zero-Shot Transfer:
- Cityscapes: Getraind enkel op KITTI, trof JEPADepth gelijk aan de beste AbsRel (0.143) en behaalde de beste prestaties op vijf van de zeven metrieken (inclusief RMSE en $\delta_1$ ) vergeleken met andere methoden.
- Make3D: Het model behaalde de beste AbsRel (0.275) en RMSElog (0.143) onder alle vergeleken methoden, wat een relatieve winst betekent van 3.8% ten opzichte van MonoViT en 7.7% ten opzichte van de sterkste CNN-baseline (DIFFNet).
Ablatie-studies: Experimenten bevestigden dat end-to-end fine-tuning van de DINOv3 encoder essentieel is (het bevriezen ervan degradeert de prestaties naar een basis CNN-niveau). De voordelen van het JEPA-verlies bleken nauw verbonden met de kwaliteit van de vooraf getrainde representaties; willekeurige initialisatie leverde slechte resultaten op. Bovendien werd bewezen dat voorspelling in de representatieruimte superieur was aan reconstructie in de pixelruimte.

Betekenis en Claims
Het artikel claimt dat JEPADepth een praktische en effectieve verbetering biedt aan bestaande self-supervised diepte-pipelines. Door gebruik te maken van masked predictive learning in de representatieruimte, reguleert de methode het dieptenetwerk om ruimtelijke relaties en scène-structuur robuuster te begrijpen dan louter pixelreconstructie alleen. De auteurs benadrukken dat deze verbeteringen in nauwkeurigheid en cross-dataset generalisatie worden bereikt met een bescheiden trainings-overhead (~16% toename in wall-clock tijd) en nul extra kosten tijdens de inferentie. Het werk suggereert dat het integreren van predictive representation learning objectieven effectief de kloof kan overbruggen tussen statische feature extractie en dynamisch geometrisch redeneren in self-supervised visie-taken.

Het Grote Idee van het Paper: Leren door de Gaten In te Vullen

Wat Ze Hebben Gevonden: Slimmer, Niet Alleen Groter

De Afweging: Een Beetje Extra Huiswerk, Geen Extra Huiswerk Later

Wat het Paper Zegt Dat Het Niet Is

De Kern van het Verhaal

Meer zoals dit