💻 computer science

AV-JEPA: Extending LeJEPA to Audio-Visual Self-Supervised Learning

Dit artikel introduceert AV-JEPA, een gestroomlijnd audio-visueel zelfgesuperviseerd leerframework dat LeJEPA uitbreidt met een early-fusion Vision Transformer en modality dropout om competitieve prestaties en zero-shot retrieval-mogelijkheden te bereiken zonder afhankelijk te zijn van decoders, EMA-docenten of contrastieve negatieven.

Oorspronkelijke auteurs: Benjamin Robson, Santeri Mentu, Wenshuai Zhao, Arno Solin

Gepubliceerd 2026-07-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Benjamin Robson, Santeri Mentu, Wenshuai Zhao, Arno Solin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers als enthousiaste, onbeschreven bladen studenten zijn die alles willen leren, maar vastzitten in een klaslokaal zonder leraar en zonder tekstboeken. Dit is het domein van self-supervised learning (zelfgestuurd leren), een tak van kunstmatige intelligentie waarbij machines proberen zichzelf te onderwijzen door patronen te vinden in bergen ongelabelde data. Normaal gesproken heeft een computer, om te leren hoe hij een kat of een auto moet herkennen, een mens nodig die naar een plaatje wijst en zegt: "Dat is een kat." Maar wat als de computer kan leren door simpelweg naar de afbeelding te kijken en te raden wat er ontbreend is? Dat is de magie van masked learning: je dekt een deel van een afbeelding of geluid af, en de computer moet de gaten invullen. Lange tijd was de beste manier om dit te doen het dwingen van de computer om de ontbrekende stukjes pixel voor pixel te reconstrueren, zoals een puzzeloplosser die probeert een verbrijzelde vaas te herstellen. Maar er is een nieuwer, abstracter idee genaamd JEPA (Joint-Embedding Predictive Architecture). In plaats van te proberen de kapotte vaas te reconstrueren, vraagt JEPA de computer om de essentie of de "vibe" van het ontbrekende stukje te voorspellen. Het is als het raden van de smaak van een soep door de stoom te ruiken, in plaats van te proberen elk enkel ingrediënt te proeven. Dit artikel stelt een grote vraag: kan deze "vibe-raden"-methode werken wanneer de computer probeert twee verschillende zintuigen tegelijk te begrijpen—zicht en geluid?

De auteurs van dit artikel, een team uit Finland, zeggen "Ja!" en introduceren een nieuw model genaamd AV-JEPA. Denk aan AV-JEPA als een superintelligente detective die leert een plaats delict te begrijpen door naar de video te kijken en naar het geluid te luisteren, maar met een twist. In plaats van te proberen de ontbrekende videoframes of audiofrequenties te reconstrueren (wat lijkt op het proberen te hertekenen van de hele plaats delict vanuit het geheugen), leert deze detective de beleving van de scène te voorspellen wanneer één zintuig ontbreekt.

Dit is hoe ze het deden. Stel je voor dat je naar een video van een gitarist kijkt. Normaal gesproken ziet een computer de video en hoort hij de audio samen. AV-JEPA speelt echter een spelletje "verstoppertje" met de zintuigen. Het neemt een clip en maakt twee versies: één waarbij de video volledig zwart is gemaakt (zodat de computer alleen de gitaar hoort), en een andere waarbij het geluid is gedempt (zodat de computer alleen de gitaar ziet). De taak van het model is om naar de "alleen-audio"-versie te kijken en te voorspellen hoe de "alleen-video"-versie zou voelen, en vice versa. Het doet dit zonder dat een mens vertelt wat er gebeurt, en zonder te proberen de ontbrekende delen te reconstrueren. Het leert simpelweg de "ziel" van het geluid af te stemmen op de "ziel" van het beeld in een gedeelde mentale ruimte.

De resultaten zijn behoorlijk indrukwekkend voor een methode die het zware werk van het reconstrueren overslaat. Wanneer ze dit model testten op een dataset genaamd VGGSound (die video's van geluiden bevat), behaalde het model een nauwkeurigheid van 57,1% bij het identificeren van wat er in de video gebeurde. Op een andere enorme dataset, AudioSet, scoorde het 32,7 mAP (een maatstaf voor hoe goed het geluiden identificeert). Hoewel deze cijfers iets lager zijn dan de huidige topmodellen die de oude "reconstrueer de puzzel"-methode gebruiken (die tot 67% kan reiken op VGGSound), wijzen de auteurs erop dat AV-JEPA veel eenvoudiger is. Het heeft geen complexe extra onderdelen nodig om beelden te reconstrueren, noch heeft het een "leraar"-model nodig om het te begeleiden. Het leert gewoon uit zichzelf.

Een van de coolste dingen die het artikel vond, is dat het model vanzelf leerde om aandacht te besteden aan de juiste zaken. Wanneer ze keken naar waar het model naar "keek" terwijl het een geluid hoorde, richtte het zich vanzelf op de bron van het geluid. Als het een vogel horen tjilpen, keek het naar de vogel. Als het een fluit hoorde, keek het naar de mond van de muzikant. Het deed dit zonder dat iemand het ooit had geleerd om de geluidsbron te vinden; het begreep simpelweg dat het geluid en de visuele bron met elkaar verbonden waren omdat het de één uit de ander moest voorspellen.

Het artikel liet ook zien dat dit model "zero-shot" retrieval kan doen, wat een chique manier is om te zeggen dat het een video kan vinden door alleen op een geluid te zoeken, of een geluid kan vinden door alleen op een video te zoeken, zonder dat het expliciet getraind is voor die specifieke zoektaak. Het is als een bibliotheek waar je een boek kunt vinden door simpelweg een melodietje ervan te neuriën.

De auteurs zijn echter eerlijk over de beperkingen. Ze ontdekten dat het model zwaar bevooroordeeld is richting het geluid. Wanneer ze het model testten, werden de beslissingen van het model grotendeels gedreven door wat het hoorde, niet door wat het zag. Het is alsof de detective een genie is in het horen van aanwijzingen, maar een beetje wordt afgeleid door het visuele bewijs. Het artikel suggereert dat hoewel dit een enorme stap voorwaarts is voor een "schone" en eenvoudige architectuur, er nog steeds werk te verzetten is om het model zo goed te maken in zien als in horen, vooral vergeleken met de complexere modellen die jaren besteden aan het reconstrueren van beelden. Maar voor een methode die de reconstructiepuzzel wegwerpt en zich alleen richt op de verbinding tussen de zintuigen, is AV-JEPA een zeer veelbelovende nieuwe manier voor computers om te leren hoe de wereld klinkt en eruitziet.

Technische Samenvatting: AV-JEPA

Probleemstelling
Zelfgesuperviseerd leren (SSL) in het audio-visuele domein wordt gedomineerd door masked autoencoding (MAE) benaderingen (bijv. AV-MAE, CAV-MAE, MAViL). Hoewel effectief, vertrouwen deze methoden op het reconstrueren van gemaskeerde audio-spectrogrammen en video-patches met behulp van speciale decoder-netwerken. Dit paradigma introduceert architecturale overhead, vereist zorgvuldige afstemming van maskeringratio's en vereist vaak contrastieve negative-pair losses of complexe multi-term doelen. Bovendien missen deze reconstructie-gebaseerde methoden formele theoretische garanties met betrekking tot de kwaliteit van de geleerde embeddings. De Joint-Embedding Predictive Architecture (JEPA), die opereert in de latente ruimte door de embedding van één weergave te voorspellen vanuit een andere, biedt een veelbelovend alternatief. Echter, eerdere JEPA-implementaties, specifiek LeJEPA, zijn alleen gevalideerd op single-modality visuele taken en zijn niet uitgebreid naar cross-modale audio-visuele uitlijning.

Methodologie
De auteurs stellen AV-JEPA voor, een uitbreiding van LeJEPA naar audio-visueel zelfgesuperviseerd leren. De architectuur en de trainingspipeline zijn ontworpen om cross-modale uitlijning te bereiken zonder decoders, EMA-teachers of contrastieve negatives.

Architectuur: Het model maakt gebruik van een early-fusion Vision Transformer (ViT-Base). Ruwe audio (resampled naar 16 kHz) wordt omgezet in een mel-spectrogram, en videoframes worden verwerkt als tubelets. Beide modaliteiten worden getokeniseerd en geconcateneerd in een enkele sequentie samen met een leerbare [CLS] token. Modality-type embeddings onderscheiden tussen audio- en video-tokens. Een gedeelde 12-laagse ViT-encoder verwerkt deze gezamenlijke sequentie.
View Generation (Modality Dropout): In plaats van ruimtelijke maskering gebruikt AV-JEPA modality dropout als het gedeeltelijke-weergave mechanisme. Voor elk trainingsfragment genereert het model:
- Global Views: Zowel audio- als videomodaliteiten zijn aanwezig (met lichte augmentatie).
- Local Views: Twee weergaven worden gecreëerd waarbij één modaliteit op nul is gezet (alleen-audio en alleen-video).
  Dit setup creëert een impliciete cross-modale voorspellingsopgave waarbij het model de gezamenlijke representatie moet voorspellen vanuit een enkele modaliteit, volledig binnen de latente ruimte.
Doelfunctie: De training minimaliseert de LeJEPA loss, die bestaat uit twee termen:
1. Invariance: Minimaliseert de afstand tussen individuele view embeddings ( $z_i$ ) en het gezamenlijke view-centrum ( $\bar{z}$ ), waardoor single-modality embeddings worden uitgelijnd met de gezamenlijke representatie.
2. SIGReg (Sketched Isotropic Gaussian Regularization): Dwingt af dat de embedding-distributie overeenkomt met een isotrope Gaussische distributie ( $N(0, I)$ ). Dit is theoretisch bewezen de downstream voorspellingsrisico te minimaliseren. De regularisatie gebruikt een sliced characteristic-function test (Epps–Pulley) om univariate projecties van de embeddings te laten aansluiten bij de Gaussische doelstelling.
Training: Het model wordt voorgetraind op AudioSet-2M en fijngeproefd op VGGSound en AudioSet. Tijdens het fijnproeven worden classificatiekoppen (lineaire en attentive probes) aan de [CLS] token bevestigd.

Belangrijkste Bijdragen

Uitbreiding van JEPA naar Audio-Visueel Leren: De eerste toepassing van JEPA-gebaseerde SSL voor cross-modale audio-visuele representatie-lering.
Cross-Modale View Generation: Introductie van modality dropout om alternerende audio-only en video-only lokale weergaven te creëren, wat impliciete cross-modale voorspelling in de latente ruimte mogelijk maakt zonder reconstructiedoelen.
Clean Architectuur: Een verenigde early-fusion ViT-backbone die de noodzaak voor decoders, stop-gradients, EMA-teachers of contrastieve negative pairs elimineert.
Empirische Validatie: Demonstratie dat de resulterende backbone competitieve prestaties bereikt op standaard benchmarks en zero-shot cross-modale retrieval ondersteunt.

Resultaten

VGGSound Classificatie: Na pre-training op AudioSet-2M en fine-tuning bereikt AV-JEPA 57,1% top-1 nauwkeurigheid met een attentive probe en 56,6% met een lineaire probe. Dit vertegenwoordigt het eerste JEPA-gebaseerde resultaat op dit niveau van nauwkeurigheid voor audio-visuele classificatie.
AudioSet Classificatie: Het model bereikt 32,7 mAP op de AudioSet evaluatie-split. Per-modality analyse onthult een sterke audio-gestuurde representatie (26,0 mAP audio-only versus 12,8 mAP video-only), wat consistent is met de dominantie van audio in de klassen van de dataset.
Cross-Modal Retrieval: Het model ondersteunt out-of-the-box zero-shot audio-naar-video en video-naar-audio retrieval. Op VGGSound en AudioSet bereikt Recall@10 ongeveer 36%, wat aanzienlijk boven het toevalsniveau ligt, met symmetrische prestaties in beide richtingen.
Kwalitatieve Analyse: Attention maps van de laatste transformer-laag laten zien dat het model van nature let op geluid-producerende regio's in video (bijv. instrumenten, monden) en harmonische/temporele structuren in audio, ondanks het feit dat het geen lokalisatie-supervisie ontvangt.

Betekenis en Claims
Het artikel positioneert AV-JEPA als een theoretisch gefundeerd, architecturaal schoon alternatief voor de heersende masked autoencoding pipelines voor multimodale leerprocessen. Door gebruik te maken van het LeJEPA-framework, demonstreren de auteurs dat hoogwaardige cross-modale uitlijning kan worden bereikt zonder de complexiteit van reconstructie-decoders of contrastieve losses.

De auteurs erkennen beperkingen en merken op dat de huidige prestatiekloof met state-of-the-art MAE-gebaseerde methoden (die 63–67% bereiken op VGGSound en 42–53 mAP op AudioSet) waarschijnlijk voortkomt uit de afwezigheid van reconstructie/contrastieve doelen, het gebrek aan een video-specifieke pre-training fase, en de afwezigheid van ImageNet-initialisatie voor de visuele stroom. Zij suggereren dat toekomstig werk met langere pre-training, grotere modellen en hybride initialisatiestrategieën deze kloof verder kan dichten. Desalniettemin vestigt dit werk de status van JEPA als een levensvatbaar en veelbelovend paradigma voor audio-visueel zelfgesuperviseerd leren.

Meer zoals dit