💻 computer science

CEZSAR: A Contrastive Embedding Method for Zero-Shot Action Recognition

Het artikel stelt CEZSAR voor, een nieuwe contrastieve leermethode voor Zero-Shot Actierecognitie die semantische kloven en domeinverschuivingen aanpakt door video- en tekstembeddings in een gezamenlijke ruimte uit te lijnen met behulp van een automatische procedure voor negatieve steekproefneming, en die state-of-the-art resultaten behaalt op de UCF-101- en Kinetics-400-datasets.

Oorspronkelijke auteurs: Valter Estevam, Rayson Laroca, Helio Pedrini, David Menotti

Gepubliceerd 2026-05-05

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Valter Estevam, Rayson Laroca, Helio Pedrini, David Menotti

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert menselijke handelingen herkennen, zoals "paardrijden" of "basketballen". Meestal moet je, om een robot te leren, duizenden video's tonen van mensen die die specifieke dingen doen, en deze één voor één labelen. Maar wat als je wilt dat de robot een nieuwe handeling herkent, zoals "kettingzagen slepen", die het nog nooit heeft gezien? Je kunt geen voorbeelden tonen, omdat ze niet bestaan in de trainingsdata. Dit is de uitdaging van Zero-Shot Actieherkenning.

Het artikel introduceert een nieuwe methode genaamd CEZSAR om dit op te lossen. Hieronder wordt uitgelegd hoe het werkt, in eenvoudige bewoordingen:

De Twee Grote Problemen

De auteurs zeggen dat het moeilijk is om een robot nieuwe handelingen aan te leren zonder voorbeelden te tonen, vanwege twee belangrijke "struikelblokken":

Het Semantische Kloof (De Taalbarrière):
Stel je een robot voor die "Visueel" spreekt (het ziet pixels en vormen) en een andere die "Tekst" spreekt (het begrijpt woorden). Als je de tekst-robot vertelt: "Dit is een paardenrace", dan kent het het concept. Maar de visuele-robot ziet een wazige afbeelding van een paard en een baan. Het probleem is dat het "idee" van een paardenrace in de tekstwereld niet perfect overeenkomt met het "beeld" van een paardenrace in de visuele wereld. Het is alsof twee mensen verschillende dialecten spreken; ze begrijpen hetzelfde, maar de details gaan verloren bij vertaling.
- De Oplossing van het Artikel: CEZSAR bouwt een universele vertaler. Het dwingt de visuele robot en de tekst-robot om een gedeelde taal te leren, waarbij het beeld van een paardenrace en de zin "paardenrace" direct naast elkaar in hun geheugen zitten.
De Domeinverschuiving (De Contextval):
Stel je voor dat je een robot alleen traint op video's van mensen die in een park rennen. Als je het vervolgens vraagt om iemand te herkennen die op een loopband in een sportschool rent, kan het verward raken omdat de achtergrond (het "domein") totaal anders is. De robot heeft de park onthouden, niet de daad van rennen.
- De Oplossing van het Artikel: De auteurs realiseerden zich dat terwijl de visuele wereld veel verandert (verschillende parken, verschillende sportscholen), de tekstbeschrijving van "rennen" hetzelfde blijft. Door het visuele leren te verankeren aan de tekstbeschrijving, leert de robot de verwarrende achtergrond te negeren en zich te focussen op de handeling zelf.

Hoe CEZSAR Werkt (Het Recept)

De methode maakt gebruik van een "contrastieve" aanpak, wat lijkt op een spelletje "Warm en Koud".

De Opzet: Het systeem neemt een video en een zin die deze beschrijft.
Het Doel: Het probeert de video en de bijbehorende zin in een wiskundige ruimte "te laten omhelzen" (ze heel dicht bij elkaar brengen).
De Twist (Hard Negative Sampling): Dit is het slimme deel. Het systeem moet leren wat niet overeenkomt. In plaats dat mensen handmatig slechte matches vinden, genereert de computer deze automatisch.
- Het neemt een video van iemand die "paardrijdt".
- Het pakt een zin over "paardrijden" (de goede match).
- Het pakt een zin over "fietsen" of "pasta koken" (de slechte match).
- Het dwingt de computer om de "pasta koken"-zin ver weg te duwen van de "paardrijden"-video.
- De Magie: Ze gebruiken een slimme truc om deze "slechte matches" automatisch te vinden zonder menselijke hulp, waardoor er in slechts een paar uur op één computer miljoenen trainingsvoorbeelden worden gegenereerd.

De Resultaten

De auteurs testten dit op twee beroemde videodatasets (UCF-101 en Kinetics-400).

De Score: Hun methode behaalde een aanzienlijk hogere nauwkeurigheid dan eerdere methoden. Bijvoorbeeld, op een test met 101 verschillende handelingen die het nog nooit had gezien, verbeterde het de nauwkeurigheid met ongeveer 10 procentpunten ten opzichte van de volgende beste methode.
Waarom het werkte: Door het gebruik van tekstbeschrijvingen om het visuele leren te sturen, werd de robot veel beter in het onderscheiden van handelingen die op elkaar lijken (zoals "paardrijden" versus "paardenrennen") en raakte het niet in de war door verschillende achtergronden.

In het Kort

CEZSAR is een nieuwe manier om computers te leren handelingen herkennen die ze nog nooit hebben gezien. In plaats van alleen maar beelden te onthouden, leert het de computer beelden te koppelen aan hun beschrijvingen, gebruikmakend van een slim spelletje van "match en mismatch" om de kloof te overbruggen tussen wat we zien en wat we lezen. Hierdoor kan de computer nieuwe handelingen snel en nauwkeurig begrijpen, zelfs als het nog nooit een video van hen heeft gezien.

Technische Samenvatting: CEZSAR

Probleemdefinitie

Het artikel behandelt Zero-Shot Action Recognition (ZSAR) in video's, een taak die gericht is op het classificeren van actie-instanties die behoren tot klassen die niet aanwezig waren tijdens de trainingsfase van het model. De auteurs identificeren twee aanhoudende uitdagingen in bestaande ZSAR-benaderingen:

De Semantische Kloof: Een misalignement tussen het visuele domein (vertegenwoordigd door CNN's of Transformers) en het tekstuele domein (vertegenwoordigd door taalmodellen). Zelfs in gezamenlijke inbeddingsruimten wijkt de verdeling van visuele kenmerken vaak af van hun semantische tegenhangers. Bijvoorbeeld, acties zoals "Pommel Horse" (paard met zadel) en "Balance Beam" (evenwichtsbalk) delen vergelijkbare scènestructuren (turnhallen), maar verschillen in specifieke bewegingen en apparatuur, wat leidt tot verwarring in inbeddingsruimten.
Domeinverschuiving: Het verschil in waarschijnlijkheidsverdelingen tussen de trainingsset en de onzichtbare testset. Aangezien de testset tijdens het trainen onbekend is, worstelen modellen om te generaliseren naar nieuwe dataverdelingen.

Bestaande methoden vertrouwen vaak op door mensen gedefinieerde attributen of eenvoudige woordinbeddingen (bijv. Word2Vec, GloVe), die geen fijne semantische verschillen kunnen vastleggen of uitgebreide handmatige inspanning vereisen. Bovendien, hoewel groot-schalig voorgetrainde modellen zoals CLIP veelbelovend zijn, vereisen ze enorme rekenkracht en data (honderden miljoenen paren) die vaak ontoegankelijk zijn.

Methodologie: CEZSAR

De auteurs stellen CEZSAR (Contrastive Embedding Method for Zero-Shot Action Recognition) voor, een model dat is ontworpen om een gezamenlijke inbeddingsruimte te leren voor video's en natuurlijke taalbeschrijvingen met behulp van contrastief leren.

Architectuur

Het model bestaat uit twee primaire modules:

Visuele Inbeddingsmodule (VEM):
- Video's worden gesampled met 1 frame per seconde (FPS).
- Frames worden gecodeerd met een voorgetraind Convolutional Neural Network (CNN), specifiek ResNet-152, wat een feature-stack oplevert.
- Een volledig verbonden laag reduceert de dimensionaliteit, gevolgd door een Transformer Encoder met multi-head self-attention om temporale informatie te modelleren.
- De output wordt geprojecteerd in een gezamenlijke semantische ruimte (128 dimensies).
Zin-Inbeddingsmodule (SEM):
- Natuurlijke taalbeschrijvingen worden verwerkt met Sentence-BERT (SBERT) om 768-dimensionale inbeddingen te genereren.
- Deze worden via een volledig verbonden laag geprojecteerd in dezelfde gezamenlijke semantische ruimte.

Trainingsstrategie: Hard Negative Sampling

Een kerninnovatie is de procedure voor automatisch hard negative sampling, die de behoefte aan door mensen geannoteerde negatieve paren elimineert:

Semantische Filtering: Het model gebruikt een voorgetraind SBERT-model om de gelijkenis tussen zinnen te evalueren. Zinnen met een hoge cosinusgelijkenis (boven een drempelwaarde $\tau$ ) worden semantisch vergelijkbaar geacht.
Object-gebaseerde Augmentatie: Het systeem detecteert objecten in de video en genereert beschrijvende zinnen voor deze objecten. Het selecteert vervolgens negatieve beschrijvingen die voldoende verschillend zijn van zowel de door mensen geannoteerde beschrijving als de door objecten gegenereerde beschrijvingen.
Triplet-Generatie: Dit proces genereert triplets bestaande uit (video, positieve beschrijving, negatieve beschrijving). De auteurs rapporteren het genereren van ongeveer drie miljoen triplets uit het ActivityNet Captions-dataset.
Verliesfunctie: Het model wordt getraind met een Triplet Loss-functie, die de afstand tussen een video en zijn positieve beschrijving minimaliseert terwijl de afstand tot zijn negatieve beschrijving wordt gemaximaliseerd.

Classificatie

Tijdens inferentie mapt het model zowel de invoer-video als de klassenprototypen (gedefinieerd door zinsbeschrijvingen) naar de gezamenlijke inbeddingsruimte. Classificatie wordt uitgevoerd met behulp van een naaste-buurregel gebaseerd op cosinusgelijkenis. De uiteindelijke video-inbedding ($VidE$) kan optioneel semantische informatie op objectniveau ( $O(v)$ ) incorporeren naast ruwe visuele kenmerken ($VE(v)$), gecontroleerd door wegingsparameters $\alpha$ en $\beta$ .

Belangrijkste Bijdragen

Het artikel schetst drie hoofdcontributies:

Een Nieuwe Cross-Modale Contrastieve Methode: CEZSAR koppelt visuele kenmerken effectief aan zinbeschrijvingen, waardoor de semantische kloof tussen modaliteiten aanzienlijk wordt verkleind.
Modulaire Projectie: De architectuur staat toe dat video's en beschrijvingen via distincte sub-netwerken worden geprojecteerd, wat het opnemen van aanvullende modaliteiten (tekst, afbeeldingen of andere video's) faciliteert zonder het volledige contrastieve model opnieuw te trainen.
Efficiëntie en Robuustheid: De methode bereikt state-of-the-art resultaten op standaard benchmarks met behulp van één GPU en een fractie van de data en trainingtijd die nodig zijn voor groot-schalige modellen zoals CLIP.

Experimentele Resultaten

De methode werd geëvalueerd op de UCF-101 en Kinetics-400 datasets onder diverse zero-shot split-configuraties (bijv. 0% gezien klassen, 100% onzichtbare klassen).

UCF-101: Onder de 0/101-configuratie (alle klassen onzichtbaar) behaalde CEZSAR 95,2% nauwkeurigheid (gevisualiseerd in Fig. 1b), een aanzienlijke verbetering ten opzichte van de baseline ZSARCAP (67,2%) en andere state-of-the-art methoden. De opname van semantische informatie op objectniveau leverde marginale maar consistente verbeteringen op.
Kinetics-400: Het model presteerde beter dan alle vorige state-of-the-art methoden over alle testconfiguraties (25, 100 en 400 onzichtbare klassen). Voor de 400-klasse split behaalde het 23,8% nauwkeurigheid, wat de vorige beste score van 20,4% overtreft.
Moeilijke Samples: Op een subset van 15 moeilijke, sterk vergelijkbare klassen (bijv. onderscheid maken tussen "paardrijden" en "paardenrace") behaalde CEZSAR 63,3% nauwkeurigheid tegenover 47,4% voor ZSARCAP. De verwarringsmatrices wijzen op een substantiële reductie in classificatiefouten, met name voor groepen die vergelijkbare apparatuur of scenario's betreffen.

Betekenis en Claims

De auteurs claimen dat CEZSAR aantoont dat contrastief leren een rechttoe-rechtaanse maar effectieve aanpak is voor het overbruggen van de semantische kloof in ZSAR. Door het leren van visuele kenmerken te conditioneren op tekstuele beschrijvingen – een modaaliteit die minder vatbaar is voor domeinverschuiving – mitigeert het model het probleem van domeinverschuiving op natuurlijke wijze.

Het artikel benadrukt dat hoge prestaties in zero-shot herkenning niet noodzakelijkerwijs een infrastructuur voor pre-training op enorme schaal vereisen (bijv. duizenden GPU's en honderden miljoenen dataparen). In plaats daarvan kan een zorgvuldig ontworpen contrastief kader met automatisch negative sampling superieure resultaten behalen op standaard datasets met aanzienlijk minder middelen (1000x minder visuele representaties en 100x minder dataparen dan CLIP-grootte modellen, getraind in een paar uur op één GPU). Het werk suggereert dat de primaire drijver van prestatiewinst de effectieve verkleining van de semantische kloof is, en niet louter de hoeveelheid semantische informatie.