💬 NLP

Can Argus Judge Them All? Comparing VLMs Across Domains

Dieses Paper führt ARGUS-EVAL ein, ein neuartiges Framework, das Vision-Language-Modelle bewertet, indem es die Benchmark-Fähigkeit mit der datensatzübergreifenden Zuverlässigkeit abwägt und signifikante Diskrepanzen zwischen traditionellen Leistungsrankings und der Echtzeit-Stabilität bei Modellen wie Qwen-2.5VL-3B-Instruct und CLIP aufzeigt.

Ursprüngliche Autoren: Harsh Joshi, Gautam Siddharth Kashyap, Rafiq Ali, Ebad Shabbir, Niharika Jain, Sarthak Jain, Jiechao Gao, Usman Naseem

Veröffentlicht 2026-07-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Harsh Joshi, Gautam Siddharth Kashyap, Rafiq Ali, Ebad Shabbir, Niharika Jain, Sarthak Jain, Jiechao Gao, Usman Naseem

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Talentscout für einen riesigen, hochtechnologischen Zirkus. Sie müssen die besten „Vision-Language-Modelle“ (VLMs) anwerben – superintelligente Roboter, die ein Bild betrachten und sagen können, was gerade passiert, ähnliche Bilder finden oder Rätsel über sie lösen können.

Normalerweise wählen Sie einen Roboter aus, indem Sie einfach auf seinen Zeugnisbericht schauen. Sie sehen eine Note wie „95 % im Mathetest“ und denken: „Perfekt! Das ist er!“ Aber dieses Papier mit dem Titel „Can Argus Judge Them All?“ argumentiert, dass dieser Zeugnisbericht ein wenig ein Trick ist. Es legt nahe, dass ein Roboter die Prüfung zwar mit Bravour bestehen kann, aber in dem Moment zusammenbricht, in dem man ihn aus dem Klassenzimmer in die chaotische, unvorhersehbare reale Welt entlässt.

Die Autoren nennen dies die „Capability-Reliability Gap“ (die Lücke zwischen Leistungsfähigkeit und Zuverlässigkeit). Es ist, als würde man einen Turner anheuern, der einen perfekten Rückwärtssalto auf einer weichen, gepolsterten Matte in der Turnhalle macht (der Benchmark), aber wackelt und stürzt, wenn er ihn auf einem Hüpfkissen oder einer windigen Bühne versucht (die reale Welt).

Das neue Bewertungssystem: ARGUS-EVAL

Um dies zu beheben, haben die Forscher ein neues Bewertungssystem namens ARGUS-EVAL entwickelt. Anstatt nur auf eine einzige Endnote zu schauen, prüfen sie die Roboter in vier verschiedenen Bereichen:

Die Testnote (Leistungsfähigkeit/Capability): Wie gut schneidet es bei den Standardprüfungen ab?
Der Konsistenz-Score: Wenn man ihm die gleiche Art von Test, aber mit leicht unterschiedlichen Fragen oder Bildern gibt, schneidet es dann immer noch gut ab?
Der „Toughness“-Score (Robustheit): Wenn man das Bild verändert (unscharf macht) oder den Text manipuliert (Tippfehler einfügt), kann es dann immer noch etwas erkennen, oder bricht es zusammen?
Der Effizienz-Score: Wie schnell ist es und wie viel Batterie (oder Computerarbeitsspeicher) verbraucht es?

Das Rennen: Wer hat gewonnen?

Das Team hat fünf berühmte Robotermodelle durch diesen Hindernisparcours geschickt: CLIP, BLIP, LXMERT, Gemma-3-4B und Qwen-2.5VL-3B-Instruct. Sie haben sie bei drei Aufgaben getestet: dem Finden passender Bilder und Texte (Retrieval), dem Beschreiben von Bildern (Captioning) und dem Lösen von Logikrätseln (Reasoning).

Hier ist das Ergebnis, und es gibt eine Wendung in der Handlung:

Der „Musterstudent“ (Qwen):
Wenn man nur auf das traditionelle Zeugnis geschaut hätte, wäre Qwen-2.5VL-3B-Instruct der klare Gewinner gewesen. Es hatte überall die höchsten Punktzahlen.

Im Spiel des Bildfindens erreichte es 82,7 % der Top-Treffer (R@1).
Beim Beschreiben von Bildern schrieb es Sätze mit einem BLEU-4-Wert von 47,2 und einem CIDEr-Wert von 141,6.
Bei den Logikrätseln löste es 97,4 % korrekt im CLEVR-Test.

Das Papier legt nahe, dass, wenn Sie das absolut intelligenteste Modell für eine Aufgabe benötigen, bei der es auf Genauigkeit ankommt, Qwen die Wahl ist.

Der „Zuverlässige Veteran“ (Gemma):
Aber hier ist der Haken. Als die Jury die „Konsistenz“- und „Toughness“-Scores hinzufügte, drehten sich die Ranglisten um. Gemma-3-4B wurde tatsächlich das zuverlässigste Modell insgesamt.

Während Qwen bei den Roh-Tests etwas besser war, war Gemma stabiler. Es geriet nicht so schnell in Panik, wenn die Tests seltsam wurden oder die Bilder unscharf waren.
Tatsächlich stieg Gemmas Gesamtwertung, als die Autoren alle neuen Zuverlässigkeitswerte hinzufügten, auf 0,891, während Qwens Wert auf 0,868 sank.
Das Papier legt nahe, dass Gemma die bessere Wahl ist, wenn Sie einen Roboter brauchen, der nicht zusammenbricht, wenn die Dinge chaotisch werden.

Der „Sprinter“ (CLIP):
Dann ist da noch CLIP. Es war nicht der intelligenteste beim Lösen von Rätseln oder beim Schreiben eleganter Beschreibungen. Aber es war am schnellsten und leichtgewichtigsten.

Es konnte ein Bild in nur 3-31 ms (Millisekunden) verarbeiten.
Es benötigte nur 0,9 GB Arbeitsspeicher.
Das Papier stellt fest, dass CLIP der klare Gewinner für Geräte mit kleinen Batterien oder schwachen Computern (wie einem Raspberry Pi) ist, da es keine Ressourcen verschlingt.

Die große Lehre

Die wichtigste Erkenntnis dieses Papers ist, dass man nicht einfach den Roboter auswählen kann, der die höchste Testnote hat.

Die Autoren haben dies über verschiedene Datensätze hinweg sorgfältig gemessen und festgestellt, dass Modelle mit ähnlichen Testnoten sich in der realen Welt sehr unterschiedlich verhalten können. Sie argumentieren explizit gegen die Vorstellung, dass „höhere Leistungsfähigkeit immer eine höhere Zuverlässigkeit bedeutet“. Sie haben gezeigt, dass in vielen Fällen das Modell, das auf dem Papier am besten aussieht (Qwen), tatsächlich weniger stabil sein kann als dasjenige, das etwas weniger beeindruckend wirkt (Gemma).

Sie haben auch gemessen, wie diese Roboter auf unterschiedlicher Hardware laufen. Auf einem leistungsstarken Server (NVIDIA A100) war CLIP 31 ms schnell, während Gemma 138 ms und Qwen 142 ms benötigten. Aber auf kleineren Geräten wurde der Unterschied in Geschwindigkeit und Speicherverbrauch noch dramatischer, wobei CLIP leicht und schnell blieb, während die anderen immer schwerfälliger wurden.

Was uns das nicht sagt

Das Papier ist vorsichtig damit, was es nicht getan hat. Es hat nicht jeden erdenklichen realen Szenario getestet und auch keine Roboter getestet, die speziell für bestimmte Aufgaben trainiert (feinjustiert) wurden. Sie haben die Roboter nur so getestet, wie sie sind, also „out of the box“ (Zero-Shot).

Sie haben auch nicht jede Art von „chaotischem“ Bild getestet, sondern nur einen spezifischen Satz an unscharfen oder verrauschten Bildern. Daher behaupten sie zwar, dass Gemma zuverlässiger und Qwen intelligenter ist, aber sie erheben nicht den Anspruch, dass dies das letzte Wort über jeden existierenden Roboter ist.

Das Fazit

Wenn Sie ein System bauen, bei dem Sie die absolut besten Antworten benötigen und über leistungsstarke Computer verfügen, könnte Qwen Ihre beste Wahl sein. Aber wenn Sie einen Roboter brauchen, der ruhig bleibt, wenn etwas schiefgeht, oder wenn Sie auf einem kleineren Gerät arbeiten, bei dem die Geschwindigkeit entscheidend ist, könnte Gemma oder CLIP tatsächlich die klügere Wahl sein.

Das Paper kommt zu dem Schluss, dass wir aufhören müssen, nur auf eine einzige Zahl auf einem Zeugnis zu schauen. Wir müssen das Gesamtbild betrachten: wie intelligent der Roboter ist, wie stabil er ist und wie viel Energie er verbraucht. Nur dann können wir wirklich beurteilen, ob ein Roboter bereit für die reale Welt ist.

Technisches Resümee: Kann Argus sie alle beurteilen? Vergleich von VLMs über verschiedene Domänen hinweg

Problemstellung
Vision-Language-Modelle (VLMs) werden zunehmend in industriellen Anwendungen wie Retrieval-Systemen, Plattformen zur Inhaltserstellung und Entscheidungsunterstützungs-Workflows eingesetzt. Derzeit wird die Modellauswahl primär durch Benchmark-Rankings geleitet, die aus Downstream-Aufgaben wie Retrieval, Captioning und Reasoning abgeleitet werden. Die Autoren identifizieren jedoch eine kritische Einschränkung dieses Ansatzes: Modelle mit ähnlicher aggregierter Benchmark-Leistung weisen oft substanziell unterschiedliche Verhaltensweisen über Datensätze und Evaluierungsbedingungen hinweg auf. Diese Diskrepanz erzeugt eine „Capability-Reliability Gap“ (Fähigkeits-Zuverlässigkeits-Lücke), bei der ein Modell, das die Benchmark-Fähigkeit ( $P(M)$ ) maximiert, nicht zwangsläufig die Zuverlässigkeit ( $R(M)$ ) in praktischen Einsatzszenarien maximiert. Traditionelle Evaluationen erfassen weder die Leistungsstabilität über heterogene Benchmarks noch die Robustheit unter Perturbationen, was zu potenziellen Mismatch zwischen theoretischen Rankings und beobachteter Modellstabilität führen kann.

Methodik: ARGUS-EVAL
Um diese Lücke zu schließen, führen die Autoren ARGUS-EVAL ein, ein auf Fähigkeit und Zuverlässigkeit ausgerichtetes Evaluierungs-Framework, das das Modellverhalten durch einen vierdimensionalen Bewertungsvektor $A(M) = \{P(M), CDC(M), RR(M), E(M)\}$ charakterisiert.

Benchmark-Fähigkeit ( $P(M)$ ): Repräsentiert die aggregierte Leistung über Retrieval-, Captioning- und Reasoning-Aufgaben. Sie wird als Mittelwert der normalisierten Scores aus fünf Datensätzen berechnet: COCO, Flickr30k und Visual Genome (für Retrieval und Captioning) sowie CLEVR und VCR (für Reasoning).
Cross-Dataset-Konsistenz ($CDC(M)$): Misst die Leistungsstabilität über heterogene Benchmarks hinweg. Sie quantifiziert die Variation der Score-Verteilung eines Modells über verschiedene Datensätze; höhere Werte deuten auf eine geringere Leistungsvariation hin.
Robustheits-Retention ($RR(M)$): Misst die Erhaltung der Leistung unter kontrollierten Bild- und Text-Perturbationen. Sie wird als das Verhältnis der Benchmark-Fähigkeit nach der Perturbation zur sauberen Benchmark-Fähigkeit berechnet.
Effizienz ( $E(M)$ ): Erfasst Deployment-Charakteristika, einschließlich Inferenz-Latenz, Speicherbedarf, FLOPs und Durchsatz. Diese Metriken werden normalisiert und aggregiert, um die Eignung des Modells für verschiedene Hardware-Umgebungen widerzuspiegeln.

Das Framework evaluiert fünf repräsentative VLMs: CLIP, BLIP, LXMERT, Gemma-3-4B und Qwen-2.5VL-3B-Instruct. Alle Modelle werden unter Verwendung offizieller vortrainierter Checkpoints unter einem gemeinsamen Zero-Shot-Protokoll ohne Fine-Tuning getestet.

Kernergebnisse
Die empirische Evaluation zeigt signifikante Divergenzen zwischen fähigkeitsorientierten und zuverlässigkeitsorientierten Rankings auf:

Dominanz der Fähigkeit: Qwen-2.5VL-3B-Instruct erzielt die stärkste allgemeine Benchmark-Fähigkeit ( $P(M)$ ). Es verzeichnet die höchsten Scores in Retrieval (R@1 = 82,7 % auf COCO), Captioning (BLEU-4 = 47,2, CIDEr = 141,6 auf COCO) und Reasoning (97,4 % Genauigkeit auf CLEVR).
Zuverlässigkeit und Robustheit: Wenn Zuverlässigkeitsmetriken einbezogen werden, verschiebt sich das Ranking. Gemma-3-4B demonstriert eine überlegene Robustheits-Retention ($RR = 0,901$) unter Perturbationen im Vergleich zu Qwen ($RR = 0,890$). Infolgedessen erreicht Gemma den höchsten ARGUS-EVAL-Gesamtwert (0,891), wenn Konsistenz und Robustheit berücksichtigt werden, und übertrifft damit Qwen (0,868).
Effizienz: CLIP weist das stärkste Effizienzprofil auf, mit der niedrigsten Latenz (31 ms auf NVIDIA A100) und dem kleinsten Speicherbedarf (0,9 GB), was es trotz geringerer generativer Fähigkeiten hochgradig geeignet für ressourcenbeschränkte Umgebungen macht.
Die Capability-Reliability Gap: Die Studie bestätigt, dass das Modell, welches die Fähigkeit maximiert (Qwen), nicht mit dem Modell übereinstimmt, welches die Zuverlässigkeit maximiert (Gemma). Dies validiert die Existenz der Lücke, bei der hohe Benchmark-Scores keine konsistente Leistung unter diversen Bedingungen garantieren.

Bedeutung und Ansprüche
Das Paper behauptet, dass ARGUS-EVAL das erste vereinheitlichte Framework ist, das Benchmark-Fähigkeit, Cross-Dataset-Konsistenz, Robustheits-Retention und Effizienz gemeinsam bewertet. Die Autoren argumentieren, dass die alleinige Nutzung traditioneller Benchmark-Rankings nur begrenzte Einblicke in die Modellstabilität im realen Einsatz bietet. Durch den Nachweis, dass Instruction-tuned Modelle (wie Gemma) einen ausgewogeneren Trade-off zwischen Fähigkeit und Zuverlässigkeit bieten können als Modelle, die strikt auf die Maximierung von Benchmark-Scores optimiert sind, plädieren die Autoren für einen Wechsel der Evaluierungsmethodik. Die Autoren positionieren ARGUS-EVAL als Werkzeug zur Unterstützung einer verantwortungsvollen Modellbewertung und ermutigen Praktiker dazu, über die Optimierung einzelner Metriken hinauszugehen und vor dem Deployment eine ganzheitliche Sichtweise zu einbeziehen, die Stabilität und Effizienz einschließt.

Limitierungen
Die Autoren räumen ein, dass das Framework derzeit eine begrenzte Anzahl repräsentativer Datensätze evaluiert und nicht die volle Diversität realer Einsatzszenarien abdeckt. Die Robustheitsanalyse beschränkt sich auf vordefinierte Perturbationen, und die Effizienzmessungen werden auf einer spezifischen Auswahl von Hardware-Plattformen (NVIDIA A100, Jetson Nano, Raspberry Pi 5) durchgeführt, was sich möglicherweise nicht auf alle Umgebungen generalisieren lässt. Darüber hinaus ist die Evaluation strikt Zero-Shot und bewertet keine feinabgestimmten oder aufgabenspezifischen Anpassungen.