💬 NLP

Can Argus Judge Them All? Comparing VLMs Across Domains

Cet article introduit ARGUS-EVAL, un nouveau cadre qui évalue les modèles de vision-langage en équilibrant la capacité des benchmarks avec la fiabilité inter-jeux de données, révélant des écarts significatifs entre les classements de performance traditionnels et la stabilité en conditions réelles à travers des modèles tels que Qwen-2.5VL-3B-Instruct et CLIP.

Auteurs originaux : Harsh Joshi, Gautam Siddharth Kashyap, Rafiq Ali, Ebad Shabbir, Niharika Jain, Sarthak Jain, Jiechao Gao, Usman Naseem

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Harsh Joshi, Gautam Siddharth Kashyap, Rafiq Ali, Ebad Shabbir, Niharika Jain, Sarthak Jain, Jiechao Gao, Usman Naseem

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un recruteur de talents pour un cirque technologique massif. Vous devez embaucher les meilleurs « Modèles Vision-Langage » (VLM) — des robots super intelligents capables de regarder une image et de dire ce qui s'y passe, de trouver des images similaires ou de résoudre des énigmes à leur sujet.

D'habitude, quand vous choisissez un robot, vous regardez simplement son bulletin de notes. Vous voyez un score comme « 95 % au test de mathématiques » et vous vous dites : « Parfait ! C'est celui-là qu'il nous faut ! » Mais ce document, intitulé « Can Argus Judge Them All? », soutient que ce bulletin est un peu un tour de passe-passe. Il suggère qu'un robot peut exceller au test mais s'effondrer dès qu'on le sort de la salle de classe pour l'emmener dans le monde réel, désordonné et imprévisible.

Les auteurs appellent cela le « Capability-Reliability Gap » (l'écart entre capacité et fiabilité). C'est comme embaucher un gymnaste qui réussit un salto arrière parfait sur un tapis moelleux dans une salle de sport (le benchmark), mais qui vacille et tombe lorsqu'il essaie de le faire sur un château gonflable ou une scène venteuse (le monde réel).

Le nouveau système de notation : ARGUS-EVAL

Pour corriger cela, les chercheurs ont construit un nouveau système de jugement appelé ARGUS-EVAL. Au lieu de regarder simplement un score final, ils vérifient les robots sur quatre points différents :

Le score de test (Capacité) : Est-ce qu'il réussit bien les examens standards ?
Le score de cohérence : Si on lui donne le même type de test mais avec des questions ou des images légèrement différentes, est-ce qu'il performe toujours bien ?
Le score de « Robustesse » : Si on dégrade l'image (la rend floue) ou le texte (ajoute des fautes de frappe), est-ce qu'il arrive toujours à comprendre, ou est-ce qu'il plante ?
Le score d'efficacité : Est-il rapide, et combien de batterie (ou de mémoire informatique) consomme-t-il ?

La course : Qui a gagné ?

L'équipe a soumis cinq modèles de robots célèbres à ce nouveau parcours du combattant : CLIP, BLIP, LXMERT, Gemma-3-4B et Qwen-2.5VL-3B-Instruct. Ils les ont testés sur trois missions principales : trouver des images et du texte correspondants (Retrieval), décrire des images (Captioning) et résoudre des énigmes logiques (Reasoning).

Voici ce qu'ils ont découvert, et c'est un véritable coup de théâtre :

L'« Étudiant brillant » (Qwen) :
Si l'on ne regardait que le bulletin de notes traditionnel, Qwen-2.5VL-3B-Instruct était le grand vainqueur incontesté. Il avait les scores les plus élevés partout.

Dans le jeu de recherche d'images, il a trouvé les meilleures correspondances dans 82,7 % des cas (R@1).
Lorsqu'il décrivait des images, il écrivait des phrases avec un score BLEU-4 de 47,2 et un score CIDEr de 141,6.
Dans les énigmes logiques, il a réussi 97,4 % des tests CLEVR.

Le papier suggère que si vous avez besoin du robot le plus intelligent pour un travail où la précision est primordiale, Qwen est celui qu'il faut choisir.

Le « Vétéran fiable » (Gemma) :
Mais voici le piège. Lorsque les juges ont ajouté les scores de « Cohérence » et de « Robustesse », le classement s'est inversé. Gemma-3-4B est devenu le plus fiable dans l'ensemble.

Bien que Qwen soit légèrement meilleur aux tests bruts, Gemma était plus stable. Il ne paniquait pas autant lorsque les tests devenaient bizarres ou que les images devenaient floues.
En fait, lorsque les auteurs ont ajouté tous les nouveaux scores de fiabilité, le score total de Gemma a bondi à 0,891, tandis que celui de Qwen est tombé à 0,868.
Le papier suggère que Gemma est le meilleur choix si vous avez besoin d'un robot qui ne se brisera pas quand les choses deviennent désordonnées.

Le « Rapide » (CLIP) :
Ensuite, il y a CLIP. Il n'était pas le plus intelligent pour résoudre des énigmes ou écrire des descriptions sophistiquées. Mais il était le plus rapide et le plus léger.

Il pouvait traiter une image en seulement 31 ms (millisecondes).
Il n'avait besoin que de 0,9 Go de mémoire.
Le papier note que pour les appareils avec de petites batteries ou des ordinateurs peu puissants (comme un Raspberry Pi), CLIP est le grand gagnant car il ne monopolise pas les ressources.

La grande leçon

La principale conclusion de ce papier est que vous ne pouvez pas simplement choisir le robot ayant le score de test le plus élevé.

Les auteurs ont mesuré cela avec précision à travers différents jeux de données et ont constaté que des modèles ayant des scores de test similaires peuvent se comporter de manière très différente dans le monde réel. Ils soutiennent explicitement l'idée que « une capacité plus élevée ne signifie pas toujours une fiabilité accrue ». Ils ont montré que, dans de nombreux cas, le robot qui semble le meilleur sur le papier (Qwen) peut en réalité être moins stable que celui qui semble légèrement moins impressionnant (Gemma).

Ils ont également mesuré la façon dont ces robots fonctionnent sur différents matériels. Sur un serveur puissant (NVIDIA A100), CLIP était rapide à 31 ms, tandis que Gemma mettait 138 ms et Qwen 142 ms. Mais sur de plus petits appareils, l'écart de vitesse et d'utilisation de la mémoire est devenu encore plus spectaculaire, CLIP restant léger et rapide alors que les autres devenaient de plus en lourds.

Ce que cela ne nous dit pas

Le papier précise bien ce qu'il n'a pas fait. Ils n'ont pas testé tous les scénarios possibles du monde réel, et ils n'ont pas testé des robots qui auraient été spécialement entraînés (fine-tunés) pour des tâches spécifiques. Ils n'ont testé les robots que « tels quels », sans entraînement préalable (zero-shot).

Ils n'ont pas non plus testé tous les types d'images « désordonnées », seulement un ensemble spécifique d'images floues ou bruitées. Ainsi, bien qu'ils suggèrent que Gemma est plus fiable et que Qwen est plus intelligent, ils ne prétendent pas que c'est la parole finale sur tous les robots existants.

À retenir

Si vous construisez un système où vous avez besoin des meilleures réponses et que vous disposez d'ordinateurs puissants, Qwen pourrait être votre meilleur choix. Mais si vous avez besoin d'un robot qui garde son calme quand les choses tournent mal, ou si vous travaillez sur un petit appareil où la vitesse est cruciale, Gemma ou CLIP pourraient s'avérer être des choix plus intelligents.

Le papier conclut que nous devons cesser de regarder un seul chiffre sur un bulletin de notes. Nous devons regarder l'image globale : à quel point le robot est intelligent, à quel point il est stable et quelle énergie il utilise. Ce n'est qu'alors que nous pourrons réellement juger s'il est prêt pour le monde réel.

Résumé Technique : Argus peut-il tous les juger ? Comparaison des VLM à travers différents domaines

Problématique
Les modèles de vision-langage (VLM) sont de plus en plus déployés dans des applications industrielles telles que les systèmes de recherche, les plateformes de génération de contenu et les flux de travail d'aide à la décision. Actuellement, la sélection des modèles est principalement guidée par des classements de benchmarks dérivés de tâches en aval comme la recherche, le légendage et le raisonnement. Cependant, les auteurs identifient une limitation critique de cette approche : des modèles présentant des performances globales de benchmark similaires peuvent présenter des comportements substantiellement différents selon les jeux de données et les conditions d'évaluation. Cette divergence crée un « Écart Capacité-Fiabilité » (Capability-Reliability Gap), où un modèle maximisant la capacité de benchmark ( $P(M)$ ) ne maximise pas nécessairement la fiabilité ( $R(M)$ ) dans les scénarios de déploiement réels. Les évaluations traditionnelles ne parviennent pas à capturer la stabilité des performances à travers des benchmarks hétérogènes ou la robustesse face aux perturbations, menant à des décalages potentiels entre les classements théoriques et la stabilité observée des modèles.

Méthodologie : ARGUS-EVAL
Pour combler cet écart, les auteurs introduisent ARGUS-EVAL, un cadre d'évaluation orienté vers la capacité et la fiabilité, conçu pour caractériser le comportement des modèles à travers un vecteur d'évaluation quadridimensionnel $A(M) = \{P(M), CDC(M), RR(M), E(M)\}$ .

Capacité de Benchmark ( $P(M)$ ) : Représente la performance globale à travers les tâches de recherche, de légendage et de raisonnement. Elle est calculée comme la moyenne des scores normalisés de cinq jeux de données : COCO, Flickr30k et Visual Genome (pour la recherche et le légendage), ainsi que CLEVR et VCR (pour le raisonnement).
Cohérence Inter-Jeux de Données ($CDC(M)$) : Mesure la stabilité des performances à travers des benchmarks hétérogènes. Elle quantifie la variation de la distribution des scores d'un modèle à travers différents jeux de données ; des valeurs plus élevées indiquent une plus faible variation de performance.
Rétention de Robustesse ($RR(M)$) : Mesure la préservation des performances sous des perturbations contrôlées d'images et de texte. Elle est calculée comme le ratio de la capacité de benchmark après perturbation par rapport à la capacité de benchmark initiale (clean).
Efficacité ( $E(M)$ ) : Capture les caractéristiques de déploiement, incluant la latence d'inférence, l'empreinte mémoire, les FLOPs et le débit. Ces métriques sont normalisées et agrégées pour refléter l'adéquation du modèle avec divers environnements matériels.

Le cadre évalue cinq VLM représentatifs : CLIP, BLIP, LXMERT, Gemma-3-4B et Qwen-2.5VL-3B-Instruct. Tous les modèles sont testés en utilisant des checkpoints pré-entraînés officiels selon un protocole zero-shot commun, sans fine-tuning.

Résultats Clés
L'évaluation empirique révèle des divergences significatives entre les classements orientés vers la capacité et ceux orientés vers la fiabilité :

Dominance de la Capacité : Qwen-2.5VL-3B-Instruct atteint la plus forte capacité de benchmark globale ( $P(M)$ ). Il enregistre les scores les plus élevés en recherche (R@1 = 82,7 % sur COCO), en légendage (BLEU-4 = 47,2, CIDEr = 141,6 sur COCO) et en raisonnement (97,4 % de précision sur CLEVR).
Fiabilité et Robustesse : Lorsque les métriques de fiabilité sont incorporées, le classement change. Gemma-3-4B démontre une rétention de robustesse supérieure ($RR = 0,901$) sous les perturbations par rapport à Qwen ($RR = 0,890$). Par conséquent, Gemma obtient le score ARGUS-EVAL global le plus élevé (0,891) lorsque la cohérence et la robustesse sont prises en compte, surpassant Qwen (0,868).
Efficacité : CLIP présente le profil d'efficacité le plus fort, enregistrant la latence la plus faible (31 ms sur NVIDIA A100) et la plus petite empreinte mémoire (0,9 Go), ce qui le rend très adapté aux environnements à ressources contraintes malgré des capacités génératives moindres.
L'Écart Capacité-Fiabilité : L'étude confirme que le modèle maximisant la capacité (Qwen) ne coïncide pas avec le modèle maximisant la fiabilité (Gemma). Cela valide l'existence de l'écart, où des scores de benchmark élevés ne garantissent pas une performance constante à travers diverses conditions.

Signification et Revendications
L'article affirme qu'ARGUS-EVAL est le premier cadre unifié évaluant conjointement la capacité de benchmark, la cohérence inter-jeux de données, la rétention de robustesse et l'efficacité. Les auteurs soutiennent que s'appuyer uniquement sur les classements de benchmarks traditionnels offre une vision limitée de la stabilité des modèles lors du déploiement réel. En démontrant que les modèles ajustés par instruction (comme Gemma) peuvent offrir un compromis plus équilibré entre capacité et fiabilité par rapport aux modèles qui maximisent strictement les scores de benchmark, ce travail plaide pour un changement de méthodologie d'évaluation. Les auteurs positionnent ARGUS-EVAL comme un outil de soutien à l'évaluation responsable des modèles, encourageant les praticiens à dépasser l'optimisation d'une métrique unique pour adopter une vision holistique incluant la stabilité et l'efficacité avant le déploiement.

Limites
Les auteurs reconnaissent que le cadre évalue actuellement un ensemble limité de jeux de données représentatifs et ne couvre pas toute la diversité des scénarios de déploiement réels. L'analyse de robustesse est restreinte à des perturbations prédéfinies, et les mesures d'efficacité sont effectuées sur un ensemble spécifique de plateformes matérielles (NVIDIA A100, Jetson Nano, Raspberry Pi 5), qui peuvent ne pas se généraliser à tous les environnements. De plus, l'évaluation est strictement zero-shot et n'évalue pas les adaptations spécifiques aux tâches ou le fine-tuning.

Le nouveau système de notation : ARGUS-EVAL

La course : Qui a gagné ?

La grande leçon

Ce que cela ne nous dit pas

À retenir

Articles similaires