🤖 machine learning

VideoNet: A Large-Scale Dataset for Domain-Specific Action Recognition

Om de achteruitgang in de evaluatie van actieherkenning voor visueel-taalmodellen aan te pakken, introduceert dit artikel VideoNet, een grootschalige benchmark die 1.000 domeinspecifieke acties beslaat en een bijbehorende trainingsdataset voor video-VQA van 500.000 video's, waarmee wordt aangetoond dat fijnafstemming op deze data kleinere modellen in staat stelt grotere open-gewicht tegenhangers te overtreffen bij het herkennen van complexe, domeinspecifieke acties.

Oorspronkelijke auteurs: Tanush Yadav, Mohammadreza Salehi, Jae Sung Park, Vivek Ramanujan, Hannaneh Hajishirzi, Yejin Choi, Ali Farhadi, Rohun Tripathi, Ranjay Krishna

Gepubliceerd 2026-05-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tanush Yadav, Mohammadreza Salehi, Jae Sung Park, Vivek Ramanujan, Hannaneh Hajishirzi, Yejin Choi, Ali Farhadi, Rohun Tripathi, Ranjay Krishna

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een super slimme robot voor die boeken kan lezen, gedichten kan schrijven en over bijna alles kan praten. Je zou kunnen denken: "Geweldig! Hij kan waarschijnlijk ook een video bekijken en me precies vertellen wat er gebeurt, toch?"

Het artikel VideoNet zegt: "Niet zo snel."

Hoewel deze robots (zogenaamde Vision-Language Models) geweldig zijn in algemene taken, zijn ze verrassend slecht in het herkennen van specifieke, real-world handelingen die deskundige kennis vereisen. Om dit te bewijzen en het op te lossen, bouwden de onderzoekers een nieuwe "sportschool" voor robots genaamd VideoNet.

Hier is het verhaal van wat ze deden, eenvoudig uitgelegd:

1. Het Probleem: De Robot is een Generalist, geen Specialist

Denk aan huidige AI-modellen als een zeer goed gelezen middelbare scholier. Ze weten een beetje van alles. Als je ze een video toont van iemand die basketbal speelt, kunnen ze zeggen: "Dat is basketbal."

Maar als je ze vraagt onderscheid te maken tussen een "Tomahawk Dunk" en een "Alley-Oop Dunk", of het verschil te zien tussen een "Triple Axal" en een "Triple Lutz" in kunstschaatsen, raken ze in de war. Ze kunnen gokken, maar ze hebben het vaak fout.

De onderzoekers ontdekten dat, omdat er geen grote, diverse verzameling video's bestond die deze specifieke, lastige bewegingen toonden, de robots deze nooit echt hadden geoefend. Ze waren als een kok die weet hoe hij een basisomelet moet maken, maar nog nooit een soufflé heeft gezien.

2. De Oplossing: Het Bouwen van "VideoNet" (De ultieme quiz)

Om de robots te testen, bouwde het team VideoNet.

De Schaal: Het is een enorme bibliotheek met 1.000 verschillende handelingen verspreid over 37 verschillende werelden (domeinen).
De Werelden: Deze variëren van het bekende (Koken, Sport, Dansen) tot het zeer specifieke (Pen Spinning, Neurologisch Onderzoek, Haken, en zelfs Hechten).
De Moeilijkheidsgraad: Ze pikten niet zomaar willekeurige video's. Ze creëerden "Hard Negatives".
- Analogie: Stel je een quiz voor waarbij de vraag is "Wat is dit?" en de opties zijn "Een Golden Retriever" en "Een Golden Retriever met een tiny hoedje". Dat is lastig. VideoNet is daarop gebaseerd. Ze vonden video's waarbij de handelingen voor een ongeoefend oog bijna identiek lijken, waardoor de AI gedwongen wordt om naar de kleine details te kijken.

3. De Test: Robots versus Mensen

De onderzoekers legden de beste AI-robots (zoals Gemini en GPT) een test voor met VideoNet.

Het Resultaat: De robots hadden moeite. Zelfs de slimste haalden ongeveer 70% goed op een meerkeuzetest. Dat klinkt acceptabel, maar voor een super-intelligente robot is het een onvoldoende.
De "Few-Shot" Test: Ze probeerden de robots te helpen door ze eerst een paar voorbeelden te tonen (zoals een student een oefenopgave laten maken voor de echte toets).
- De Twist: Mensen werden veel beter in de taak wanneer ze voorbeelden zagen. De robots? Ze verbeterden nauwelijks, en sommige werden zelfs slechter. Het was alsof de robots verward raakten door de voorbeelden in plaats daarvan er iets van te leren. Ze konden de "punten niet verbinden" zoals mensen dat doen.

4. De Oplossing: De Robot vanaf Nieuw Af Leren

De onderzoekers realiseerden zich dat de robots niet faalden omdat ze "dom" waren; ze faalden omdat ze ongeschoold waren op deze specifieke gebieden.

De Trainingsdata: Ze bouwden een enorme trainingsdataset van bijna 500.000 videoclips. Ze gebruikten een slimme truc: in plaats van duizenden experts in te huren om elke video te labelen (wat te duur is), gebruikten ze AI om video's te vinden waarbij de handeling werd genoemd in de titel of de gesproken tekst (transcript).
Het Resultaat: Ze namen een kleinere robot (een model met 4 miljard parameters) en leerden deze met deze nieuwe data.
- De Magie: Na deze training werd deze kleinere robot beter in het herkennen van deze specifieke handelingen dan de grotere, ongetrainde robots (modellen met 8 miljard parameters). Het is als een toegewijde leerling die jarenlang een specifiek ambacht heeft geoefend en een generalistisch genie verslaat dat de gereedschappen nog nooit heeft aangeraakt.

5. De Grote Conclusie

Het artikel concludeert dat we, om AI de echte wereld echt te laten begrijpen, niet kunnen vertrouwen op het feit dat ze het "zelf uitzoeken" als we een vraag stellen. We moeten ze specifieke, hoogwaardige trainingsdata geven voor die specifieke taken.

Huidige Staat: AI is als een toerist die een beroemd monument kan herkennen, maar niet weet hoe hij een lekkende kraan repareert of een specifieke dansbeweging uitvoert.
De Bijdrage van VideoNet: Het biedt de kaart en de oefeningen om die toerist om te vormen tot een bekwame lokale expert.

Kortom: Het artikel bouwde een enorme, moeilijke test om te laten zien dat AI slecht is in specifieke real-world vaardigheden, en bouwde vervolgens een trainingshandleiding die een kleinere AI leerde om de grotere robots op die specifieke vaardigheden te verslaan.

Technische Samenvatting: VideoNet

Probleemstelling

Actierecognitie is al lang een hoeksteen van computervisie, maar moderne Vision-Language Models (VLM's) worden voor deze taak grotendeels niet meer geëvalueerd vanwege een schaarste aan diverse, uitdagende en domeinspecifieke data. Bestaande benchmarks richten zich vaak op grofgrijze labels (bijvoorbeeld "rotsklimmen") of fijnmazige temporele attributen die geen toepasbaarheid in de echte wereld hebben (bijvoorbeeld de draairichting van een object). Bijgevolg worden VLM's niet getest op hun vermogen om domeinspecifieke acties te herkennen—zoals een "driedubbele salto" in kunstschaatsen of een "stapgang" in de neurologie—die niet alleen waarneming vereisen, maar ook compositief redeneren om subtiele, expertniveau variaties te onderscheiden. Het ontbreken van dergelijke data verhindert onderzoekers om de generaliseerbaarheid van VLM's naar real-world, expertniveau taken te evalueren.

Methodologie

Opbouw van de Benchmark (VideoNet)

De auteurs introduceren VideoNet, een benchmark die 1.000 distincte acties over 37 domeinen (bijvoorbeeld sport, medisch, ambacht, dans) beslaat, georganiseerd in 7 categorieën. Het opbouwproces omvatte:

Generatie van Taxonomie: Een top-down aanpak met behulp van door experts geschreven bronnen en LLM's (aangevuld met webzoekopdrachten) om acties en hun visuele differentiatoren te definiëren.
Datacollectie-pijplijn: Een drie-traps menselijk annotatieproces:
- Collectie: Annotatoren vinden 7 clips per actie uit verschillende webbronnen.
- Verificatie: Annotatoren verifiëren of clips de actie bevatten en goed zijn bijgesneden. Niet-experts classificeren clips als "bevattende" of "niet-bevattende" de actie om complexiteit te verminderen.
- Bijsnijden: Slecht bijgesneden clips worden verfijnd door annotatoren die zijn getraind op de actiedefinities.
Labelverificatie: Expertverificatie op een subset van 620 clips bevestigde een nauwkeurigheidspercentage van 97,6%, wat de robuustheid van de pijplijn valideert.
Generatie van Hard Negatieven: Om te voorkomen dat modellen vertrouwen op cues op sceneniveau, genereerden de auteurs "hard negatieven" (acties visueel vergelijkbaar met het doel maar verschillend in techniek of beweging) met behulp van LLM's en redeneringsmodellen om co-voorkomende of ambiguïe acties eruit te filteren.
Evaluatie-instellingen:
- Meerkeuze: 4 opties (1 ground truth, 3 hard negatieven) per clip.
- Binair Few-Shot: Een binaire "Ja/Nee"-vraag met $k \in \{0, 1, 2, 3\}$ in-context video-voorbeelden.

Trainingsdataset

Omdat menselijke annotatie te duur is voor data op trainingsschaal, ontwikkelden de auteurs een volledig geautomatiseerde pijplijn om ~500k video-vraag-antwoord (VQA)-paren te verzamelen (gefilterd tot ~160k clips van hoge kwaliteit).

Bron: Web-gescrapte video's voor de 37 domeinen.
Lokalisatie: Gebruik van Gemini 2.5 Flash om tijdstippen van acties te lokaliseren.
Labelstrategieën: Drie filterstrategieën werden getest:
1. TranscriptLocalized: Actienaam verschijnt in het transcript in de buurt van de clip.
2. TranscriptLocalizedTitleMatch: Actienaam in transcript en titel.
3. SingleAction: Als de titel een actie noemt en de localisator slechts één clip vindt, wordt die clip gelabeld als de actie.
Fine-tuning: Een Molmo2-4B model werd op deze datasets gefinetuned.

Belangrijkste Resultaten

VLM-prestaties op VideoNet

Meerkeuze: Bestaande open-weight 8B-modellen worstelen, met slechts 45,0% nauwkeurigheid (Qwen3-VL-8B), terwijl het beste propriëtaire model (Gemini 3.1 Pro) 69,9% bereikt. Willekeurige kans is ongeveer 25%.
Binair Zero-Shot: In een ontspannen binaire setting (willekeurige kans 50%) bereiken open modellen 59,2% (Qwen3-VL-8B), terwijl propriëtaire modellen plateau rond 72%.
Few-Shot Learning: VLM's tonen een beperkt vermogen om te leren van visuele in-context voorbeelden.
- Niet-expert mensen verbeteren met +13,6% met 3-shot voorbeelden.
- VLM's verbeteren gemiddeld slechts met +2,9%, waarbij sommige modellen (bijvoorbeeld Gemini 3.1 Pro) zelfs een daling in prestaties vertonen.
- Dit suggereert dat VLM's de perceptiemechanismen missen voor efficiënt visueel few-shot learning in vergelijking met mensen.

Impact van Trainingsdata

Fine-tuning van het Molmo2-4B model op de SingleAction dataset (de kleinste maar hoogste kwaliteit subset) leverde een verbetering van 11,5 procentpunten op in de meerkeuze-setting, met een nauwkeurigheid van 53,5%.
Cruciaal, dit 4B gefinetunde model overtrof alle bestaande open-weight 8B-modellen en benaderde de prestaties van propriëtaire 8B+-modellen, wat aantoont dat domeinspecifieke trainingsdata kritischer is dan modelschaal voor deze taak.
Het gefinetunde 4B-model behaalde ook 66,6% in de binaire 0-shot setting, presterend beter dan de 3-shot prestatie van Qwen3-VL-8B (66,2%).

Betekenis en Claims

Het artikel claimt dat VideoNet actierecognitie revitaliseert als een relevante evaluatietaken voor het VLM-tijdperk door zich te richten op domeinspecifieke, fijnmazige acties. De auteurs betogen dat:

Huidige VLM's tekortschieten in het herkennen van domeinspecifieke acties, zelfs worstelend met ontspannen binaire settings en falend om visuele few-shot voorbeelden effectief te benutten.
Datakwaliteit en domeinspecificiteit van het grootste belang zijn; een kleinere, hoogwaardige trainingsdataset (SingleAction) stelde een 4B-model in staat om grotere 8B-modellen te overtreffen, wat de notie uitdaagt dat schaal alleen deze taken oplost.
Kloof Mens versus Model: De significante kloof tussen menselijke en model few-shot prestaties benadrukt een fundamentele beperking in het vermogen van huidige VLM's om visuele patronen te leren uit demonstraties.
Toekomstig Onderzoek: De dataset dient als testomgeving voor het verbeteren van waarneming, visueel redeneren en begrip van acties in de echte wereld, wat potentieel toepassingen kan ontsluiten in expert-ondersteunde domeinen zoals medische diagnostiek of sportcoaching.

De auteurs benadrukken dat hun werk de nodige infrastructuur (benchmark en trainingsdata) biedt om voorbij grofgrijze of synthetische temporele redeningstaken te gaan, richting echt, expertniveau video-begrip.