💻 computer science

The JEPA Predictor: A Transferable Operator for Occluded Feature Completion

Dit artikel toont aan dat de voorspellende component van Joint-Embedding Predictive Architectures (JEPA's) bevroren kan worden en via een eenvoudige lineaire projectie kan worden overgedragen naar niet-JEPA encoders, wat hun prestaties op geoccludeerde inputs aanzienlijk verbetert door effectief ontbrekende kenmerken te completeren zonder het onderliggende model opnieuw te hoeven trainen.

Oorspronkelijke auteurs: William Nguyen, Christopher Nguyen

Gepubliceerd 2026-07-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: William Nguyen, Christopher Nguyen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een vriend probeert te herkennen in een drukke kamer, maar iemand heeft een enorme, ondoorzichtige doos over de helft van zijn gezicht geplaatst. Je brein is geweldig in het invullen van de gaten; het gebruikt het zichtbare oor, het haar en de context van de kamer om te raden hoe het verborgen gezicht eruitziet. In de wereld van kunstmatige intelligentie zijn computers ongelooflijk goed geworden in het herkennen van dingen wanneer ze het hele plaatje kunnen zien. Echter, wanneer delen van een afbeelding ontbreken — zoals een auto die gedeeltelijk achter een boom verborgen is of een medische scan die wordt onderbroken door een metalen implantaat — raken deze slimme computers vaak in de war en maken ze fouten.

Jarenlang hebben wetenschappers twee hoofdtypen "slimme ogen" (AI-modellen) gebouwd om dit op te lossen. Het ene type leert door te proberen de ontbrekende stukjes van een puzzel te raden (het voorspellen van de toekomst op basis van het heden), terwijl een ander type leert door verschillende afbeeldingen te vergelijken om overeenkomsten te vinden. Meestal, wanneer deze modellen klaar zijn met trainen, wordt het deel dat het "raden" doet weggegooid omdat het alleen nodig is tijdens de leerfase. Het eindproduct is alleen het "oog" dat de afbeelding ziet. Maar wat als dat weggegooide "raadmachine" eigenlijk een superkracht was die we vergeten waren te gebruiken? Dit artikel stelt een eenvoudige, speelse vraag: Kunnen we een "raadmachine" van het ene type AI nemen en deze aan een ander type AI vastschroeven om het te helpen door de mist van ontbrekende informatie heen te kijken?

De onderzoekers, William en Christopher Nguyen van Aitomatic, Inc., ontdekten dat het antwoord een luidruchtig "ja" is. Ze ontdekten dat het "voorspeller"-deel van een specifieke AI-architectuur genaamd JEPA (Joint-Embedding Predictive Architecture) fungeert als een universele vertaler voor ontbrekende informatie. Ondanks dat deze voorspeller getraind was op één specifiek type AI, toonden ze aan dat het "geplugd" kan worden in vier totaal verschillende, populaire AI-modellen (zoals CLIP, DINOv3, DINOv2 en MAE) met behulp van een eenvoudige wiskundige brug.

Zo werkte hun experiment: Stel je hebt een foto van een hond, maar 77% ervan is bedekt door een zwart rechthoek. Een standaard AI-model, dat alleen naar het kleine stukje van de hond kijkt dat zichtbaar is, zou kunnen raden dat het een kat of een rots is. De onderzoekers namen een "bevroren" (onveranderde) voorspeller van een JEPA-model en verbonden deze met de andere AI-modellen. Wanneer de AI het zichtbare deel van de hond zag, stuurde het die informatie via een eenvoudige lineaire brug naar de JEPA-voorspeller. De voorspeller gebruikte vervolgens zijn training om te "hallucineren" of te voorspellen hoe de kenmerken van de verborgen 77% van de hond eruit zouden moeten zien. Ten slotte combineerde het systeem de echte zichtbare delen met de voorspelde verborgen delen om tot een definitieve gok te komen.

De resultaten waren opmerkelijk, vooral wanneer de afbeeldingen zwaar geblokkeerd waren. Op een dataset van hondensoorten daalde de nauwkeurigheid van een standaard AI-model (CLIP) naar een verschrikkelijke 15,9% wanneer 77% van de afbeelding verborgen was. Maar zod{%_} ze de JEPA-voorspeller eraan koppelden, schoot de nauwkeurigheid omhoog naar 52,1%. Dat is een enorme sprong van 36 procentpunten. Op een andere dataset met minder categorieën herstelde het model bijna alle nauwkeurigheid die het had verloren door de ontbrekende stukjes.

Het artikel legt uit dat dit werkt vanwege een "kosten-baten"-balans. De eenvoudige brug die de twee modellen verbindt is niet perfect; het vervormt de informatie van de delen van de afbeelding die wel zichtbaar zijn lichtjes (de kosten). Echter, de voorspeller is ongelooflijk goed in het raden van de delen die ontbreken (de baten). Wanneer een afbeelding grotendeels zichtbaar is, is de vervormingskost te hoog en helpt het systeem niet veel. Maar wanneer een afbeelding zwaar geblokkeerd is (zoals bij 77% verborgenheid), overstijgt het voordeel van het hebben van een goede gok voor de ontbrekende delen de kleine kost van de vervorming volledig. De voorspeller wordt in essentie een draagbare "kenmerk-voltooiingsmodule" die werkt over verschillende AI-families heen zonder de hoofdmodellen opnieuw te hoeven trainen.

De onderzoekers testten ook wat er gebeurt als de ontbrekende delen willekeurig verspreid zijn als statische ruis op een tv-scherm, in plaats van een solide blok. In dat geval hielp de voorspeller niet veel, wat suggereert dat hij specifiek is ontworpen om grote, aaneengesloten blokken van ontbrekende informatie te verwerken, zoals een boom die een auto blokkeert of een afsnijding in een foto. Ze bewezen ook dat dit niet alleen de AI was die "gladde randen" maakte of pixels invulde; het was daadwerkelijk het reconstrueren van hoogwaardige kenmerken die de computer in staat stelden de identiteit van het object te begrijpen.

Kortom, dit artikel laat zien dat we niet altijd een nieuwe, gigantische AI vanaf nul moeten bouwen om met ontbrekende gegevens om te gaan. We kunnen een gespecialiseerde "raadmotor" die voor één taak is gebouwd nemen en, met een eenvoudige wiskundige adapter, gebruiken om andere AI-modellen een boost te geven, waardoor ze helder kunnen zien, zelfs wanneer het beeld gebroken is.

Technische Samenvatting: De JEPA-voorspeller als een Overdraagbare Operator voor de Voltooiing van Geoccludeerde Kenmerken

1. Probleemstelling

Bevroren beeldencoders worden frequent ingezet op gedeeltelijke inputs (bijv. geoccludeerde beelden uit autonome voertuigen of afgekapte medische scans). Naarmate het deel van de gemaskeerde patches ( $K$ ) toeneemt, lijden zelfs de sterkste discriminatieve encoders (zoals CLIP, DINOv2 en MAE) onder een steile degradatie van de nauwkeurigheid. Hoewel Masked Image Modeling (MIM) en contrastieve baselines bestaan, presteren deze doorgaans nog slechter onder zware occlusie.

Joint-Embedding Predictive Architectures (JEPA's) trainen een voorspeller-kop om kenmerken van zichtbare context te mappen naar kenmerken van doelposities. Echter, standaard downstream-protocollen verwerpen deze voorspeller en gebruiken alleen de encoder. Dit paper onderzoekt een kritieke kloof: Kan de bevroren JEPA-voorspeller, die traditioneel wordt weggegooid, dienen als een draagbare "kenmerk-voltooiings"-operator voor niet-JEPA encoders? Specifiek: kan het verloren gegane nauwkeurigheid door occlusie worden hersteld zonder de host-encoder of de voorspeller te hertrainen?

2. Methodologie

Het voorgestelde protocol verbindt een bevroren "host"-encoder (niet-JEPA) met een bevroren "donor" JEPA-voorspeller via een lichtgewicht brug.

Cross-Encoder Brug ( $W$ ): Om een niet-JEPA host te koppelen aan een JEPA donor, wordt een enkele lineaire projectie $W$ aangepast tussen de feature-ruimte van de host en de feature-ruimte van de donor JEPA-encoder. Dit gebeurt via closed-form ridge least squares op 500 niet-gemaskeerde ImageNet-1k afbeeldingen. $W$ wordt één keer per host-donor paar aangepast en hergebruikt voor alle maskeerfracties en datasets.
Test-Time Protocol:
1. Encoding: De host-encoder verwerkt de zichtbare (niet-gemaskeerde) patches van een invoerafbeelding.
2. Projectie: De zichtbare kenmerken worden geprojecteerd via $W$ naar de feature-ruimte van de donor JEPA.
3. Voorspelling: De bevroren JEPA-voorspeller consumeert de geprojecteerde zichtbare kenmerken en de posities van de gemaskeerde patches om voorspelde kenmerken voor de gemaskeerde regio's te genereren.
4. Stitching: De sequentie wordt gereconstrueerd door de geprojecteerde zichtbare kenmerken en de voorspelde gemaskeerde kenmerken te combineren.
5. Classificatie: Een lineaire probe, specifiek getraind op dezelfde maskeerfractie $K$ die bij testtijd wordt gebruikt (een "matched probe"), classificeert de voltooide kenmerksequentie.
Restricties: Geen parameters van de backbone (host of donor) worden bijgewerkt. Er vloeien geen gradiënten door de encoder of voorspeller tijdens de inferentie. De enige trainbare component is de lineaire probe die per maskeerfractie wordt aangepast.

3. Belangrijkste Bijdragen

Introductie van het Protocol: Een methode om een bevroren JEPA-voorspeller aan elke bevroren beeldencoder te koppelen via een enkele closed-form lineaire projectie, wat geen hertraining van de backbone vereist.
Empirische Benchmarking: Evaluatie over vier niet-JEPA hosts (CLIP, DINOv3, DINOv2, MAE), twee JEPA donors (I-JEPA, V-JEPA 2), drie maskeerfracties ( $K \in \{0.25, 0.56, 0.77\}$ ) en twee datasets (ImageNet-9, Stanford Dogs).
Identificatie van het Mechanisme: Karakterisering van een kosten-baten-dynamiek waarbij de lineaire projectie een vaste kost met zich meebrengt op zichtbare patches, terwijl de voorspeller een groeiend voordeel biedt op gemaskeerde patches. Dit verklaart waarom de lift monotoon is met $K$ en waar de lineaire brug faalt (lage $K$ bij fijnmazige taken).

4. Resultaten

Monotone Lift: Over alle host-donor paren heen groeit de nauwkeurigheidsverbetering ( $\Delta$ ) boven de gemaskeerde encoder-baseline monotoon met de maskeerfractie $K$ .
Prestaties bij Zware Occlusie:
- Op ImageNet-9 bij $K=0.77$ , herstelde CLIP in combinatie met de I-JEPA voorspeller het grootste deel van de nauwkeurigheid die verloren ging door maskering, met een lift van +23,46 procentpunt (pp) (bereikte 97,08% vs. 73,62% baseline).
- Op Stanford Dogs (fijnmazig 120-weg) bij $K=0.77$ , verhoogde dezelfde koppeling de nauwkeurigheid van 15,87% naar 52,05% (+36,18 pp).
- Zeven van de acht host-donor paren vertoonden statistisch significante positieve lifts (95% CI > 0) op beide datasets bij zware occlusie.
Host Afhankelijkheid: De lift is omgekeerd gecorreleerd met de natuurlijke occlusie-robuustheid van de host. CLIP (contrastief, minst robuust tegen occlusie) vertoonde de grootste winsten, terwijl DINOv3/DINOv2 (zelf-distillatie, meer robuust) kleinere maar nog steeds positieve lifts lieten zien.
Specialisatie binnen JEPA: Wanneer een JEPA-encoder wordt gekoppeld aan zijn eigen native voorspeller (zonder brug), behoudt deze een bijna volledige afbeelding-nauwkeurigheid zelfs bij $K=0,77$ , waarmee het de sterkste encoder-only baselines met aanzienlijke marges overtreft.
Mechanisme Validatie:
- Kosten-Baten: De lineaire brug $W$ is "verlieslatend" (lage $R^2$ op feature-variantie), wat een kost met zich meebrengt voor zichtbare patches. Echter, het voordeel van de voorspeller op gemaskeerde patches domineert bij hoge $K$ .
- Foutmodus: Bij lage $K$ (bijv. $K=0,25$ ) op fijnmazige taken overstijgt de projectiekost het marginale voordeel van de voorspeller, wat resulteert in negatieve lifts. Dit definieert de grens waar de lineaire brug bezwijkt.
- Contiguïteit: De lift is specifiek voor contigue occlusie (centrale rechthoekige maskers). Het stort in bij willekeurige Bernoulli-maskers waar lokale buren beschikbaar zijn, wat uitsluit dat eenvoudige lokale smoothing de oorzaak is.
- Latent vs. Pixel: De JEPA latent-voltooiing presteert aanzienlijk beter dan pixel-ruimte reconstructie (MAE decoder) gevolgd door her-encoding, wat de waarde van feature-ruimte extrapolatie bevestigt.

5. Betekenis en Claims

Het paper claimt dat de JEPA-voorspeller fungeert als een overdraagbare operator voor de voltooiing van geoccludeerde kenmerken die generaliseert over verschillende encoder-families.

Overdraagbaarheid: De voorspeller leert een functie van feature-positie-en-context die wordt gerespecteerd door diverse encoder-geometrieën, niet alleen door zijn native JEPA-familie.
Diagnostische Verschuiving: Het werk betoogt dat voor hergebruikte voorspellers waarbij de pretraining-loss de outputs niet dwingt tot de target encoder's metriek (bijv. V-JEPA 2), matched-probe nauwkeurigheid de geschikte diagnose is, in plaats van L2-reconstructiefout.
Praktische Bruikbaarheid: De aanpak vereist geen hertraining van grote modellen, enkel een eenmalige closed-form aanpassing van een kleine lineaire projectie en per maskeerfractie aangepaste lineaire probes.
Beperkingen: De auteurs merken op dat de lift verdwijnt bij lage maskeerfracties ( $K < 0,25$ ) en dat de methode momenteel beperkt is tot contigue occlusie en natuurlijke beelddistributies. De lineaire brug faalt op fijnmazige taken bij lage occlusie, wat suggereert dat er in toekomstig werk behoefte is aan niet-lineaire bruggen.

Het paper concludeert dat de conventionele rangschikking van zelf-gesuperviseerde encoders gebaseerd op volledige afbeelding-nauwkeurigheid niet uniform standhoudt wanneer een overdraagbare voltooiingsmodule wordt geïntroduceerd; de "beste" encoder voor geoccludeerde inputs hangt af van de maskeerfractie en de beschikbaarheid van een compatibele voorspeller.