💬 NLP

Can Argus Judge Them All? Comparing VLMs Across Domains

Dit artikel introduceert ARGUS-EVAL, een nieuw framework dat Vision-Language Modellen evalueert door de benchmark-capaciteit af te wegen tegen de cross-dataset betrouwbaarheid, waarbij significante discrepanties worden onthuld tussen traditionele prestatierangschikkingen en de real-world stabiliteit van modellen zoals Qwen-2.5VL-3B-Instruct en CLIP.

Oorspronkelijke auteurs: Harsh Joshi, Gautam Siddharth Kashyap, Rafiq Ali, Ebad Shabbir, Niharika Jain, Sarthak Jain, Jiechao Gao, Usman Naseem

Gepubliceerd 2026-07-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Harsh Joshi, Gautam Siddharth Kashyap, Rafiq Ali, Ebad Shabbir, Niharika Jain, Sarthak Jain, Jiechao Gao, Usman Naseem

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een talentenscout bent voor een gigantisch, hightech circus. Je moet de beste "Vision-Language Models" (VLM's) inhuren—superintelligente robots die naar een plaatje kunnen kijken en kunnen vertellen wat er gebeurt, vergelijkbare plaatjes kunnen vinden of puzzels over die plaatjes kunnen oplossen.

Normaal gesproken, wanneer je een robot kiest, kijk je gewoon naar het rapportcijfer. Je ziet een score zoals "95% op de Wiskundetoets" en denkt: "Perfect! Dit is er een!" Maar dit artikel, met de titel "Can Argus Judge Them All?", stelt dat dit rapportcijfer een beetje een truc is. Het suggereert dat een robot een test kan halen, maar volledig in elkaar kan zakken zodenteen je hem uit het klaslokaal haalt en in de rommelige, onvoorspelbare echte wereld brengt.

De auteurs noemen dit de "Capability-Reliability Gap" (de kloof tussen capaciteit en betrouwbaarheid). Het is alsof je een gymnast inhuurt die een perfecte achterwaartse salto doet op een zachte, gevoerde mat in de gymzaal (de benchmark), maar wankelt en valt wanneer hij dit probeert op een springkussen of een winderig podium (de echte wereld).

Het Nieuwe Beoordelingssysteem: ARGUS-EVAL

Om dit op te lossen, hebben de onderzoekers een nieuw beoordelingssysteem gebouwd genaamd ARGUS-EVAL. In plaats van alleen naar één eindscore te kijken, controleren ze de robots op vier verschillende zaken:

De Testscore (Capaciteit): Hoe goed presteert het op de standaardexamens?
De Consistentiescore: Als je dezelfde soort test geeft, maar met iets andere vragen of plaatjes, presteert het dan nog steeds goed?
De "Toughness"-score (Robuustheid): Als je het plaatje verpest (het wazig maakt) of de tekst (typefouten toevoegt), begrijpt het dan nog steeds wat er aan de hand is, of stort het in?
De Efficiëntiescore: Hoe snel is het, en hoeveel batterij (of computergeheugen) verbruikt het?

De Race: Wie Won Er?

Het team heeft vijf beroemde robotmodellen door deze hindernisbaan gehaald: CLIP, BLIP, LXMERT, Gemma-3-4B en Qwen-2.5VL-3B-Instruct. Ze hebben ze getest op drie taken: het vinden van bijpassende afbeeldingen en tekst (Retrieval), het beschrijven van afbeeldingen (Captioning) en het oplossen van logische puzzels (Reasoning).

Dit is wat ze ontdekten, en het is een beetje een plotwending:

De "Sterveling" (Qwen):
Als je alleen naar het traditionele rapportcijfer zou kijken, was Qwen-2.5VL-3B-Instruct de duidelijke winnaar. Het behaalde overal de hoogste scores.

In het spel van het vinden van afbeeldingen kreeg het 82,7% van de beste matches goed (R@1).
Bij het beschrijven van plaatjes schreef het zinnen met een BLEU-4 score van 47,2 en een CIDEr score van 141,6.
In de logische puzzels kreeg het 97,4% goed op de CLEVR-test.

Het artikel sugggeert dat als je de absoluut slimste robot nodig hebt voor een taak waarbij nauwkeurigheid alles is, Qwen degene is die je moet kiezen.

De "Betrouwbare Veteraan" (Gemma):
Maar hier komt de adder onder het gras. Wanneer de jury de "Consistentie"- en "Toughness"-scores toevoegde, veranderde de rangorde. Gemma-3-4B werd de meest betrouwbare robot van allemaal.

Hoewel Qwen iets beter was in de ruwe tests, was Gemma stabieler. Het raakte niet zo snel in paniek wanneer de tests vreemd werden of de plaatjes wazig waren.
Sterker nog, toen de auteurs alle nieuwe betrouwbaarheidsscores toevoegden, steeg de totale score van Gemma naar 0,891, terwijl die van Qwen daalde naar 0,868.
Het artikel suggereert dat Gemma de betere keuze is als je een robot nodig hebt die niet bezwijkt wanneer de zaken chaotisch worden.

De "Snelheidsduivel" (CLIP):
Dan is er CLIP. Het was niet de slimste in het oplossen van puzzels of het schrijven van mooie beschrijvingen. Maar het was de snelste en lichtste.

Het kon een afbeelding verwerken in slechts 31 ms (milliseconden).
Het had slechts 0,9 GB aan geheugen nodig.
Het artikel merkt op dat voor apparaten met kleine batterijen of zwakke computers (zoals een Raspberry Pi), CLIP de duidelijke winnaar is omdat het geen enorme hoeveelheden middelen opeist.

De Belangrijkste Les

De belangrijkste bevinding van dit artikel is dat je niet zomaar de robot kunt kiezen met de hoogste testscore.

De auteurs hebben dit zorgvuldig gemeten over verschillende datasets en vonden dat modellen met vergelijkbare testscores in de echte wereld heel verschillend kunnen reageren. Ze beargumenteren expliciet tegen het idee dat "hogere capaciteit altijd een hogere betrouwbaarheid betekent." Ze lieten zien dat in veel gevallen de robot die er op papier het beste uitziet (Qwen), in werkelijkheid minder stabiel kan zijn dan de robot die er iets minder indrukwekkend uitziet (Gemma).

Ze hebben ook gemeten hoe deze robots draaien op verschillende hardware. Op een krachtige server (NVIDIA A100) was CLIP 31 ms snel, terwijl Gemma 138 ms en Qwen 142 ms duurde. Maar op kleinere apparaten werd het verschil in snelheid en geheugengebruik nog dramatischer: CLIP bleef licht en snel, terwijl de anderen steeds zwaarder werden.

Wat Dit Niet Vertelt

Het artikel is voorzichtig in wat het niet heeft gedaan. Ze hebben niet elke mogelijke real-world scenario getest, en ze hebben geen robots getest die speciaal getraind (fine-tuned) zijn voor specifieke taken. Ze hebben alleen de robots getest "zoals ze zijn", direct uit de doos (zero-shot).

Ze hebben ook niet elk soort "rommelig" plaatje getest, alleen een specifieke set wazige of ruizige plaatjes. Dus hoewel ze suggereren dat Gemma betrouwbaarder is en Qwen slimmer, beweren ze niet dat dit het definitieve laatste woord is over elke bestaande robot.

De Conclusie

Als je een systeem bouwt waarbij je de absoluut beste antwoorden nodig hebt en je beschikt over krachtige computers, dan is Qwen misschien je beste optie. Maar als je een robot nodig hebt die kalm blijft wanneer er dingen misgaan, of als je werkt op een kleiner apparaat waar snelheid belangrijk is, dan is Gemma of CLIP misschien wel een slimmere keuze.

Het artikel concludeert dat we moeten stoppen met het kijken naar slechts één getal op een rapportcijfer. We moeten naar het hele plaatje kijken: hoe slim de robot is, hoe stabiel hij is en hoeveel energie hij verbruikt. Pas dan kunnen we echt beoordelen of een robot klaar is voor de echte wereld.

Technische Samenvatting: Kan Argus ze allemaal beoordelen? Het vergelijken van VLMs over verschillende domeinen

Probleemstelling
Vision-Language Models (VLMs) worden steeds vaker ingezet in industriële toepassingen zoals retrieval-systemen, platforms voor contentgeneratie en besluitvormingsworkflows. Momenteel wordt de modelselectie voornamelijk gestuurd door benchmark-ranglijsten die zijn afgeleid van downstream-taken zoals retrieval, captioning en redeneren. De auteurs identificeren echter een kritieke beperking in deze aanpak: modellen met een vergelijkbare geaggregeerde benchmarkprestatie vertonen vaak substantieel verschillende gedragingen over verschillende datasets en evaluatiecondities heen. Deze discrepantie creëert een "Capability-Reliability Gap" (capaciteits-betrouwbaarheidsgat), waarbij een model dat de benchmark-capaciteit ( $P(M)$ ) maximaliseert, niet noodzakelijkerwijs de betrouwbaarheid ( $R(M)$ ) maximaliseert in praktische implementatiescenario's. Traditionele evaluaties slagen er niet in om prestatiestabiliteit over heterogene benchmarks of robuustheid onder perturbaties te vangen, wat kan leiden tot mismatches tussen theoretische ranglijsten en geobserveerde modelstabiliteit.

Methodologie: ARGUS-EVAL
Om dit gat te dichten, introduceren de auteurs ARGUS-EVAL, een op capaciteit en betrouwbaarheid georiënteerd evaluatiekader ontworpen om modelgedrag te karakteriseren via een vierdimensionale beoordelingsvector $A(M) = \{P(M), CDC(M), RR(M), E(M)\}$ .

Benchmark-capaciteit ( $P(M)$ ): Vertegenwoordigt de geaggregeerde prestatie over retrieval-, captioning- en redeneertaken. Dit wordt berekend als het gemiddelde van genormaliseerde scores van vijf datasets: COCO, Flickr30k en Visual Genome (voor retrieval en captioning), en CLEVR en VCR (voor redeneren).
Cross-Dataset Consistentie ($CDC(M)$): Meet de prestatiestabiliteit over heterogene benchmarks. Het kwantificeert de variatie in de scoreverdeling van een model over verschillende datasets; hogere waarden duiden op een kleinere prestatievariatie.
Robuustheidbehoud ($RR(M)$): Meet de prestatiebehoud onder gecontroleerde beeld- en tekstperturbaties. Dit wordt berekend als de ratio van de benchmark-capaciteit na perturbatie ten opzichte van de schone benchmark-capaciteit.
Efficiëntie ( $E(M)$ ): Brengt implementatiekenmerken in kaart, inclusief inferentie-latentie, geheugenvoetafdruk, FLOPs en throughput. Deze metrieken worden genormaliseerd en geaggregeerd om de geschiktheid van het model voor diverse hardwareomgevingen te reflecteren.

Het kader evalueert vijf representatieve VLMs: CLIP, BLIP, LXMERT, Gemma-3-4B en Qwen-2.5VL-3B-Instruct. Alle modellen worden getest met officiële pretrained checkpoints onder een gemeenschappelijk zero-shot protocol zonder fine-tuning.

Belangrijkste Resultaten
De empirische evaluatie onthult significante divergenties tussen capaciteitsgeoriënteerde en betrouwbaarheidsgeoriënteerde ranglijsten:

Capaciteitsdominantie: Qwen-2.5VL-3B-Instruct behaalt de sterkste algehele benchmark-capaciteit ( $P(M)$ ). Het registreert de hoogste scores in retrieval (R@1 = 82,7% op COCO), captioning (BLEU-4 = 47,2, CIDEr = 141,6 op COCO) en redeneren (97,4% nauwkeurigheid op CLEVR).
Betrouwbaarheid en Robuustheid: Wanneer betrouwbaarheidsmetrieken worden geïntegreerd, verschuift de ranglijst. Gemma-3-4B vertoont een superieur robuustheidsbehoud ($RR = 0,901$) onder perturbaties vergeleken met Qwen ($RR = 0,890$). Bij gevolg is Gemma de hoogste algehele ARGUS-EVAL-score (0,891) behaald wanneer consistentie en robuustheid worden meegewogen, waarmee het Qwen (0,868) overtreft.
Efficiëntie: CLIP vertoont het sterkste efficiëntieprofiel, met de laagste latentie (31 ms op NVIDIA A100) en de kleinste geheugenvoetafdruk (0,9 GB), waardoor het zeer geschikt is voor omgevingen met beperkte middelen, ondanks lagere generatieve capaciteiten.
De Capability-Reliability Gap: De studie bevestigt dat het model dat de capaciteit maximaliseert (Qwen) niet samenvalt met het model dat de betrouwbaarheid maximaliseert (Gemma). Dit valideert het bestaan van de gap, waarbij hoge benchmarkscores geen gegarandeerde consistente prestaties over diverse condities bieden.

Significantie en Claims
Het artikel beweert dat ARGUS-EVAL het eerste verenigde kader is dat gezamenlijk benchmark-capaciteit, cross-dataset consistentie, robuustheidsbehoud en efficiëntie beoordeelt. De auteurs stellen dat het uitsluitend vertrouwen op traditionele benchmark-ranglijsten beperkt inzicht biedt in de stabiliteit van modellen bij echte implementaties. Door aan te tonen dat instructie-getunede modellen (zoals Gemma) een meer gebalanceerde afweging kunnen bieden tussen capaciteit en betrouwbaarheid vergeleken met modellen die strikt benchmark-scores maximaliseren, pleit het werk voor een verschuiving in de evaluatiemethodologie. De auteurs positioneren ARGUS-EVAL als een instrument om verantwoorde modelbeoordeling te ondersteunen, waarbij zij gebruikers aanmoedigen om verder te gaan dan enkelvoudige metriek-optimalisatie naar een holistisch beeld dat stabiliteit en efficiëntie omvat voordat men overgaat tot implementatie.

Beperkingen
De auteurs erkennen dat het kader momenteel een beperkte set representatieve datasets evalueert en niet de volledige diversiteit van real-world implementatiescenario's dekt. De robuustheidsanalyse is beperkt tot vooraf gedefinieerde perturbaties, en efficiëntiemetingen worden uitgevoerd op een specifieke set hardwareplatforms (NVIDIA A100, Jetson Nano, Raspberry Pi 5), die mogelijk niet generaliseerbaar zijn naar alle omgevingen. Bovendien is de evaluatie strikt zero-shot en wordt het niet gebruikt om gefinetunede of taakspecifieke adaptaties te beoordelen.

Het Nieuwe Beoordelingssysteem: ARGUS-EVAL

De Race: Wie Won Er?

De Belangrijkste Les

Wat Dit Niet Vertelt

De Conclusie

Meer zoals dit