📊 statistics

VLM Judges Can Rank but Cannot Score: Task-Dependent Uncertainty in Multimodal Evaluation

Cet article présente un cadre de prédiction conforme pour quantifier la fiabilité des juges de modèles vision-langage (VLM) en convertissant des scores ponctuels en intervalles calibrés, révélant que l'incertitude d'évaluation dépend fortement de la tâche et mettant en évidence un mode de défaillance critique de « découplage classement-notation » où les modèles peuvent correctement ordonner les réponses tout en échouant à fournir des scores absolus fiables.

Auteurs originaux : Divake Kumar, Sina Tayebati, Devashri Naik, Ranganath Krishnan, Amit Ranjan Trivedi

Publié 2026-04-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Divake Kumar, Sina Tayebati, Devashri Naik, Ranganath Krishnan, Amit Ranjan Trivedi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Le Juge « Confiant mais dans l'Erreur »

Imaginez que vous avez un nouveau juge robot (un modèle vision-langage) qui examine des images et leur attribue une note de 1 à 5, tout comme un enseignant qui corrige un examen. Le problème est que ce robot ne dit jamais : « Je ne suis pas sûr de celui-ci ». Il se contente de donner un chiffre.

Si le robot attribue une note de « 4 » à une image, s'agit-il d'un 4 solide car il est très confiant ? Ou d'un 4 fragile car il devine ? Actuellement, les utilisateurs n'ont aucun moyen de faire la différence. Ce document tente de résoudre ce problème en dotant le robot d'un « compteur de confiance ».

La Solution : Le « Filet de Sécurité » (Prédiction Conformée)

Les auteurs ont utilisé un outil mathématique appelé Prédiction Conformée. Imaginez cela comme un filet de sécurité ou un halo flou autour de la note du robot.

Au lieu de simplement dire : « Cette image vaut 4 », le robot dit maintenant : « Cette image vaut 4, mais je suis sûr à 90 % que la vraie note se situe quelque part entre 2 et 5 ».

Un halo étroit (par exemple, de 3,8 à 4,2) : Le robot est très confiant. Vous pouvez faire confiance à la note.
Un halo large (par exemple, de 1 à 5) : Le robot est confus. La note est peu fiable, et vous ne devriez pas faire confiance au chiffre exact.

Le document teste cette approche sur 14 types différents de tâches visuelles (comme lire des graphiques, décrire de l'art ou résoudre des problèmes de mathématiques) en utilisant trois juges robots différents.

Résultat Clé 1 : La Règle de la « Difficulté de la Tâche »

La taille du « halo » dépend entièrement de ce que le robot regarde, et non pas seulement de l'intelligence du robot.

Tâches Faciles (Le Test de l'« Esthétique ») : Lorsque le robot regarde une belle image et décide si elle est « artistique », le halo est minuscule. Le robot est très sûr.
Tâches Difficiles (Le Test du « Graphique ») : Lorsque le robot doit lire un graphique complexe, extraire des données et faire des calculs mathématiques, le halo explose pour couvrir presque toute l'échelle de 1 à 5.

L'Analogie : Imaginez un juge humain. Si vous lui demandez : « Est-ce que ce coucher de soleil est beau ? », il pourrait dire : « 9/10, je suis sûr ». Mais si vous lui demandez : « Calculez la marge de profit exacte à partir de ce graphique d'actions flou », il pourrait dire : « Je devinerais 4/10, mais cela pourrait être n'importe quoi entre 1 et 5 ». Le document montre que les juges IA se comportent exactement de la même manière : ils sont confus face à des énigmes visuelles difficiles, et leur « halo » devient énorme pour montrer cette incertitude.

Résultat Clé 2 : Le Piège du « Classement contre Notation »

C'est la découverte la plus surprenante. Le document a révélé qu'un robot peut être excellent pour classer des éléments mais terrible pour donner des chiffres exacts.

Le Scénario : Imaginez une course. Le robot peut correctement vous dire que le coureur A a battu le coureur B, et que le coureur B a battu le coureur C. (C'est le Classement).
Le Piège : Cependant, lorsqu'on lui demande de dire combien le coureur A était plus rapide, le robot peut deviner de manière folle. Il pourrait dire « 1 seconde de plus » alors qu'il s'agissait en réalité de « 10 secondes de plus ». (C'est la Notation).

Le document appelle cela le Découplage Classement-Notation. Les tests standards vérifient uniquement si le robot a obtenu le bon ordre (Classement). Ce document montre que même si le robot obtient un ordre parfait, les chiffres réels qu'il donne peuvent être inutiles car le « halo » est trop large. Vous pouvez faire confiance au robot pour dire « A est mieux que B », mais vous ne pouvez pas lui faire confiance pour dire « A vaut 4,5 et B vaut 3,5 ».

Résultat Clé 3 : Il S'agit des Données, Pas du Cerveau

Les auteurs ont testé si des robots plus grands et plus intelligents (avec plus de « puissance cérébrale ») avaient des halos plus petits. Ils ont constaté que la taille n'avait pas beaucoup d'importance.

Au lieu de cela, la taille du halo dépendait de la propreté des réponses.

La « Classe Désordonnée » (MLLM-comme-Juge) : Le robot notait des réponses où un seul enseignant humain avait donné une note. Parfois, cet enseignant était incohérent. Le halo du robot était énorme (incertitude large).
La « Classe Propre » (Polaris) : Le robot notait des réponses où de nombreux enseignants s'accordaient sur la note. Le halo du robot est devenu minuscule (incertitude étroite).

Le Résultat : Sur les données propres, l'incertitude du robot a chuté d'un facteur 4,5. Cela prouve que la confusion du robot provient des données désordonnées et de la difficulté de la tâche, et non du fait que le robot soit « stupide ».

La Conclusion

Le document conclut par une règle simple pour toute personne utilisant des juges IA :

Regardez la largeur du halo. Si le « filet de sécurité » est large, le robot est incertain. Ne faites pas confiance au chiffre exact qu'il a donné.
Utilisez le robot pour classer, pas pour noter. Si le halo est large, utilisez le robot pour dire « L'image A est meilleure que l'image B », mais ne l'utilisez pas pour attribuer une note spécifique comme « 4 sur 5 ».
Des données propres sont reines. Si vous voulez des notes fiables, vous avez besoin de tâches claires et de réponses humaines cohérentes pour l'entraînement.

En résumé : Les juges IA peuvent vous dire quelle réponse est meilleure, mais ils ne peuvent souvent pas vous dire exactement combien elle est bonne, surtout lorsque la tâche est difficile ou que les données sont désordonnées.

1. Énoncé du problème

Les modèles vision-langage (VLM) sont de plus en plus déployés en tant que juges automatisés (« VLM-as-a-Judge ») pour évaluer des systèmes d'IA multimodaux sur des tâches diverses (par exemple, raisonnement sur des graphiques, légendage d'images, questions-réponses visuelles). Cependant, une limitation critique existe : les juges VLM fournissent uniquement des scores ponctuels (par exemple, 4/5) sans aucune indication de fiabilité.

Le fossé de fiabilité : Un score de 4/5 peut représenter une haute confiance ou une incertitude substantielle. Les utilisateurs ne peuvent pas distinguer les deux.
Complexité multimodale : Les erreurs dans les VLM proviennent à la fois de la perception visuelle et du raisonnement linguistique, ce qui cumule l'incertitude.
Échec des métriques : Les métriques standard (corrélation, exactitude) échouent à capturer la fiabilité par instance. Par exemple, un juge peut atteindre une forte corrélation de classement (ordonnant correctement les réponses) tout en attribuant des scores absolus extrêmement imprécis.
État actuel : Les juges VLM les plus avancés n'atteignent qu'un accord exact d'environ 32–34 % avec les évaluations humaines sur une échelle de 5 points, avec des écarts significatifs.

2. Méthodologie

Les auteurs proposent d'utiliser la Prédiction Conforme (CP), un cadre sans distribution, pour convertir les scores ponctuels en intervalles de prédiction calibrés.

Mécanisme central :
- Entrée : Au lieu de réentraîner le modèle, la méthode extrait les log-probabilités des tokens de score de la sortie du VLM. Pour une échelle de Likert de 1 à 5, cela forme un vecteur de caractéristiques à 5 dimensions $x = [\log P(1), \dots, \log P(5)]$ .
- Cadre : En utilisant un ensemble de calibration de scores annotés par des humains, la méthode calcule un score de non-conformité pour déterminer un intervalle de prédiction $C(x) = [\hat{y} - \hat{q}, \hat{y} + \hat{q}]$ .
- Garantie : L'intervalle est garanti pour contenir le vrai score humain avec une probabilité d'au moins $1-\alpha$ (par exemple, 90 %), sans hypothèses sur les distributions d'erreur.
Adaptations clés :
- Ajustement des limites : Puisque la vérité terrain est discrète (entiers) mais que la CP produit des intervalles continus, les auteurs appliquent un ajustement des limites pour mapper les intervalles vers des étiquettes de notation valides ( $\lceil l \rceil, \lfloor u \rfloor$ ), améliorant considérablement la couverture.
- CP conditionnelle à la tâche (CP Mondrian) : Pour traiter l'hétérogénéité des tâches, les données sont partitionnées en groupes (Facile, Moyen, Difficile) basés sur les largeurs d'intervalles initiales. Des quantiles séparés sont calculés pour chaque groupe, produisant des intervalles plus étroits pour les tâches faciles et des intervalles plus larges et plus sûrs pour les tâches difficiles.
- Écart Notation-Classement (RSG) : Une nouvelle métrique définie comme $RSG = |\rho| - (1 - \frac{w}{K-1})$ , où $\rho$ est la corrélation et $w$ la largeur de l'intervalle. Cela quantifie le découplage entre la capacité de classement et la fiabilité de la notation.

3. Configuration expérimentale

Juges : Trois VLM avec différentes architectures et échelles :
1. LLaVA-Critic-7B : Open-source, spécialisé pour l'évaluation.
2. Phi-4-reasoning-vision-15B : Grand modèle de raisonnement.
3. Gemini 2.5 Flash : API propriétaire, connu pour un classement solide mais une forte surconfiance.
Ensembles de données :
1. MLLM-as-a-Judge : 5 717 instances réparties sur 14 catégories de tâches visuelles (par exemple, ChartQA, MathVista, AesBench) avec une vérité terrain à annotateur unique.
2. Polaris : 8 726 paires image-légende avec une vérité terrain moyennée sur plusieurs annotateurs (plus propre, tâche bien définie).
Protocole : Divisions calibration/test 50/50, 10 graines aléatoires, visant une couverture de 90 % ( $\alpha=0,10$ ).

4. Résultats et découvertes clés

A. Incertitude dépendante de la tâche

L'incertitude n'est pas uniforme ; elle est fortement pilotée par le type de tâche.

Intervalles étroits (Haute fiabilité) : Les tâches d'esthétique et d'images naturelles (par exemple, AesBench) produisent des intervalles couvrant seulement environ 40 % de la plage de scores (largeur $\approx$ 2,08).
Intervalles larges (Faible fiabilité) : Les tâches lourdes en vision nécessitant un raisonnement complexe (par exemple, InfographicsVQA, MathVista) produisent des intervalles couvrant environ 70 % de la plage (largeur $\approx$ 3,50).
Cohérence : L'ordre de difficulté des tâches est cohérent pour les trois juges (Spearman $\rho \approx 0,82–0,93$ ), indiquant que la difficulté de la tâche, et non l'identité du modèle, pilote l'incertitude.

B. Découplage Notation-Classement

Le papier identifie un mode de défaillance critique où les métriques standard sont trompeuses :

Phénomène : Les juges peuvent atteindre une forte corrélation de classement (ordonnant correctement les réponses) tout en produisant des intervalles larges et non informatifs (échouant à attribuer des scores absolus fiables).
Exemple : Sur ChartQA, un juge a atteint la corrélation de Pearson la plus élevée ( $\rho=0,507$ ) mais a produit l'un des intervalles les plus larges (3,08).
Implication : Une corrélation élevée n'implique pas que le score absolu soit digne de confiance. Pour les tâches avec un RSG élevé, la comparaison par paires est préférée à la notation absolue.

C. Impact de la qualité des données

Données propres vs bruyantes : Lorsque le même juge (LLaVA-Critic) et la même méthode ont été appliqués à l'ensemble de données Polaris (légendes propres, multi-annotateurs), la largeur de l'intervalle est tombée de 3,05 (MLLM-Judge) à 0,68.
Résultat : Cela représente une réduction de 4,5× de la largeur de l'intervalle, démontrant que l'incertitude est principalement pilotée par le bruit d'annotation et l'ambiguïté de la tâche, et non par la méthode conforme elle-même.

D. Paradoxes de performance des modèles

Surconfiance vs Largeur d'intervalle : Gemini 2.5 Flash était hautement surconfiant (83 % des prédictions avaient un softmax max > 0,99) et pourtant a produit les intervalles les plus étroits. Cela prouve que la qualité de l'intervalle dépend du signal discriminatif dans les log-probabilités, et non de l'étalonnage de la distribution softmax.
Spécialisation > Échelle : Sur la tâche spécialisée Polaris, le LLaVA-Critic de 7B (entraîné pour l'évaluation) a largement surpassé le Phi-4 de 15B (raisonnement général), atteignant une corrélation 7,1 fois plus élevée et des intervalles 5,3 fois plus étroits.

E. Comparaison des méthodes

R2CCP (Régression-comme-Classification) était la méthode la plus performante, atteignant une couverture de 90 % quasi parfaite avec les intervalles informatifs les plus étroits.
CQR (Régression de Quantiles Conformisée) a échoué, s'effondrant vers des intervalles de pleine plage ( $\approx$ 4,0) car les log-probabilités des tokens de score sont de faibles prédicteurs pour les quantiles dans ce contexte discret.
Fusion de caractéristiques : Combiner les caractéristiques de log-probabilités de plusieurs juges a dégradé les performances, suggérant que la qualité des caractéristiques (un seul juge fort) l'emporte sur la quantité.

5. Signification et contributions

Cartographie quantitative de la fiabilité : Le papier fournit la première cartographie systématique de la fiabilité d'évaluation sur 14 tâches visuelles, montrant que « VLM-as-a-Judge » est fiable pour certaines tâches (esthétique) mais hautement incertain pour d'autres (raisonnement complexe).
Nouveau mode de défaillance : Il expose le Découplage Notation-Classement, un phénomène où les métriques standard (corrélation) masquent l'incapacité des juges à fournir des scores absolus fiables.
Cadre pratique : Il démontre que la Prédiction Conforme peut être appliquée aux pipelines VLM existants sans réentraînement, en utilisant uniquement les log-probabilités pour générer des estimations d'incertitude exploitables.
Ligne directrice opérationnelle : Les auteurs proposent une règle empirique : des intervalles étroits indiquent que l'évaluation convient à la notation absolue ; des intervalles larges signalent une ambiguïté, suggérant que le classement relatif ou la comparaison par paires est la stratégie d'évaluation appropriée.
Insight sur la qualité des données : Il souligne que l'amélioration de la qualité de l'annotation (consensus multi-annotateurs) produit des gains de fiabilité supérieurs à la simple augmentation des paramètres du modèle.

Conclusion

Le papier conclut que les juges VLM ne sont pas universellement fiables. Leur incertitude dépend structurellement de la tâche et de la qualité des données. En utilisant la prédiction conforme, les praticiens peuvent passer d'une confiance aveugle dans les scores ponctuels à une compréhension nuancée de quand le score d'un juge peut être fiable et quand il doit être traité comme un signal de classement bruité.