💬 NLP

Small Vision-Language Models Know When They Are Wrong But Cannot Say So: A Two-Model Study of Stated versus Internal Confidence Under Realistic Image Degradation

Cette étude révèle que si les petits modèles de vision-langage possèdent une connaissance interne précise de leurs propres erreurs sous une dégradation d'image réaliste, ils échouent à verbaliser cette incertitude, faisant de la probabilité interne des jetons un signal de report supérieur à la confiance déclarée, bien que ces deux signaux deviennent peu fiables dans des conditions de faible luminosité sévères.

Auteurs originaux : M M Asif Ferdous

Publié 2026-07-27

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : M M Asif Ferdous

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous marchez dans une ville animée avec un tout petit robot guide très intelligent. Ce robot possède une caméra pour les yeux et une voix pour parler. Son travail est de regarder ce qui l'entoure et de vous dire ce que c'est. Mais voici le hic : la ville est désordonnée. Parfois le soleil est trop brillant, parfois il fait noir comme dans le noir complet, et parfois l'objectif de votre caméra est taché ou tremble. Dans le monde de l'intelligence artificielle, ces images "désordonnées" sont appelées images dégradées.

Quand un robot comme celui-ci est confus par une mauvaise image, il doit savoir quand dire : « Je ne sais pas, demandez à un humain », au lieu de deviner la mauvaise réponse avec assurance. Cette capacité à savoir quand il est incertain est appelée incertitude. Il y a deux façons pour un robot de montrer cette incertitude. La première est la confiance verbalisée : le robot dit simplement tout haut : « Je suis sûr à 90 % ! ». La seconde est la confiance interne : un signal secret et silencieux à l'intérieur du cerveau du robot qui mesure à quel point ses pensées sont vacillantes, même s'il ne dit pas un mot. La plupart des gens supposent que si un robot dit qu'il est confiant, c'est qu'il l'est probablement. Mais et si le robot était juste un mauvais menteur ? C'est la grande question que pose cet article.

L'histoire du signal silencieux

Dans cette étude, des chercheurs ont soumis deux petits guides robots en open-source (appelés Qwen2-VL et SmolVLM) à un test rigoureux. Ils ne leur ont pas seulement montré des photos propres et parfaites. Au lieu de cela, ils ont pris 100 photos de nourriture et les ont délibérément abîmées de six manières différentes : en écrasant la qualité comme un fichier JPEG, en les floutant par le mouvement, en assombrissant la lumière jusqu'à ce qu'elles soient presque noires, en ajoutant un éblouissement aveuglant, en penchant la caméra, ou en rétrécissant et en étirant l'image. Ils ont fait cela à trois niveaux de gravité pour chaque type de dégradation.

Les robots devaient deviner ce que c'était comme nourriture dans chaque photo abîmée. Ensuite, les chercheurs ont vérifié deux choses :

Le robot a-t-il dit : « Je suis confiant ! » ou « Je ne suis pas sûr » ? (Le Signal Verbalisé)
Quel était le score secret, interne, du robot sur la probabilité qu'il ait raison ? (Le Signal Interne)

La grande surprise : Le robot qui refuse d'admettre qu'il se trompe

Les résultats étaient un peu comme regarder un magicien qui est très mauvais à son métier mais qui continue de saluer en disant : « C'était parfait ! »

Le Signal Verbalisé (La bouche du robot) :
Lorsqu'on leur demandait d'exprimer leur confiance, les robots étaient incroyablement têtus. Peu importe à quel point l'image était terrible, peu importe si elle était floue ou sombre, ils continuaient à dire qu'ils étaient sûrs à environ 87 % ou 90 %. Même quand l'image était si sombre que le robot ne faisait pratiquement que deviner au hasard (obtenant la bonne réponse seulement 22 % du temps), il disait toujours avec assurance : « Je suis sûr à 87 % ! ». C'était comme si le robot avait un cadran de confiance cassé, bloqué sur « Élevé ». En fait, pour l'un des robots, lui demander de donner un chiffre de confiance était si difficile qu'il refusait principalement de répondre, donnant seulement le nom de la nourriture sans aucun chiffre.

Le Signal Interne (Le cerveau du robot) :
Cependant, lorsque les chercheurs ont jeté un coup d'œil à l'intérieur du cerveau du robot pour voir ses « probabilités de tokens » secrètes (une façon sophistiquée de mesurer à quel point les calculs du robot étaient sûrs), ils ont trouvé quelque chose de totalement différent. Le signal interne du robot était en fait très honnête ! Quand l'image était claire, le score interne était élevé. Quand l'image était floue ou sombre, le score interne chutait considérablement. Ce signal secret était si bon pour repérer les erreurs qu'il pouvait faire la différence entre une bonne réponse et une mauvaise réponse avec une précision de 92 % à 99 %.

Le piège de la « faible luminosité »

Il y a eu un moment effrayant dans l'histoire, cependant. Lorsque les chercheurs ont rendu les images extrêmement sombres (le niveau de « sous-exposition sévère »), les deux signaux ont échoué. La précision des robots s'est effondrée (passant de 99 % à 22 %), et même le signal interne honnête a cessé de fonctionner. Il ne pouvait plus faire la différence entre une bonne réponse et une mauvaise réponse. C'était comme si l'obscurité était si épaisse que même le brouillard mental du robot s'était installé.

Ce que cela signifie pour vous

Alors, qu'ont appris les chercheurs ?

Ne faites pas confiance à la bouche du robot. Si vous demandez à un petit robot guide à quel point il est sûr de lui, il mentira probablement en disant qu'il est très sûr, même quand il est totalement perdu. L'article montre que cette « confiance déclarée » est inutile pour savoir quand s'arrêter et demander de l'aide à un humain.
Faites confiance au cerveau du robot (en grande partie). Les calculs internes secrets sont bien meilleurs. Le robot sait quand il est confus et peut signaler cela à un système informatique, permettant au système de dire : « D'accord, je ne suis pas sûr, demandons à un humain de vérifier cela. »
Mais attention à l'obscurité. Même le signal interne honnête s'effondre lorsque les images sont trop sombres. Si vous utilisez ces robots dans une pièce sombre ou la nuit, vous ne pouvez pas compter sur le robot pour vous dire qu'il est en train d'échouer. Vous avez besoin d'un « contrôle de sécurité » séparé pour vous assurer que l'image n'est pas trop sombre avant même que le robot ne tente de regarder.

En bref, les petits robots d'IA savent quand ils se trompent au plus profond de leur code, mais ils refusent simplement de le dire à voix haute. Ils sont comme un élève qui répond faux à une question d'examen mais qui lève quand même la main en disant : « Je suis totalement sûr de moi ! ». Le seul moyen de les démasquer est de regarder leurs brouillons secrets, et non d'écouter ce qu'ils disent.

Résumé technique : Les petits modèles de vision-langage savent quand ils se trompent, mais ne peuvent pas l'exprimer

Problématique

Alors que les modèles de vision-langage (VLM) sont de plus en plus déployés sur du matériel grand public et des appareils en périphérie (edge devices), ils sont fréquemment confrontés à des images d'entrée dégradées par des conditions réelles telles que la compression, le flou de mouvement, la faible luminosité et l'éblouissement. Dans ces environnements contraints, la précision brute est insuffisante pour un déploiement sûr ; un système nécessite un signal d'incertitude fiable pour déterminer quand il doit s'en remettre à un humain plutôt que de fournir une réponse potentiellement incorrecte.

Bien que les VLM génératifs offrent deux voies potentielles pour l'estimation de l'incertitude — la confiance verbalisée (le modèle énonçant un score de confiance en langage naturel) et la confiance interne (la probabilité moyenne des jetons générés) — la relation entre ces signaux sous l'effet de dégradations d'images réalistes n'a pas été examinée systématiquement pour les petits modèles aux poids ouverts. Les travaux antérieurs sur les modèles propriétaires ne permettaient pas d'accéder aux probabilités internes des jetons, laissant une lacune dans la compréhension de savoir si les petits modèles possèdent une connaissance de soi exploitable que leur sortie textuelle ne parvient pas à exprimer.

Méthodologie

L'étude évalue deux petits VLM à instruction avec poids ouverts : Qwen2-VL-2B-Instruct et SmolVLM-Instruct. Les deux modèles ont été exécutés en fp16 sur un seul GPU NVIDIA T4 en utilisant un décodage glouton (greedy decoding).

Configuration expérimentale :

Jeu de données : Un sous-ensemble de 100 éléments du jeu de test Food101, formaté sous forme de questions à choix multiples à quatre options.
Dégradations : Six familles de dégradations photographiques réalistes ont été appliquées à trois niveaux de sévérité chacune :
1. Compression JPEG
2. Flou de mouvement
3. Faible luminosité (réduction de la luminosité + bruit)
4. Éblouissement (amplification de la luminosité)
5. Rotation
6. Rééchantillonnage (réduction/augmentation d'échelle)
Total des prédictions : 3 800 prédictions (1 900 par modèle à travers 19 conditions, incluant la base de référence propre).

Signaux de confiance :

Confiance verbalisée : Les modèles ont été incités à produire un score de confiance entier $[0, 100]$ , normalisé à $[0, 1]$ .
Confiance interne : Calculée comme la probabilité moyenne assignée à chaque jeton émis lors de la génération de la portion de réponse ( $c_{int} = \frac{1}{T} \sum p_\theta(y_t | y_{<t}, x)$ ).

Métriques :
La métrique principale pour évaluer l'utilité de l'incertitude était l'AUROC de détection d'erreur (la probabilité qu'une réponse correcte choisie au hasard reçoive un score de confiance plus élevé qu'une réponse incorrecte choisie au hasard). Les métriques secondaires incluent la précision (Accuracy), l'erreur de calibration attendue (ECE) et le score de Brier.

Résultats clés

1. Dégradation de la précision

Les deux modèles ont fait preuve de robustesse face à la plupart des dégradations (compression, flou, éblouissement, rotation, rééchantillonnage), maintenant une précision élevée. Cependant, les conditions de faible luminosité sévères ont provoqué un effondrement catastrophique des performances :

Qwen2-VL-2B : La précision est passée de 0,99 (propre) à 0,22 (faible luminosité sévère).
SmolVLM : La précision est passée de 0,97 (propre) à 0,42 (faible luminosité sévère).

2. La confiance verbalisée est peu informative

Qwen2-VL-2B : La confiance verbalisée est restée presque constante (moyenne 0,87–0,90) dans toutes les conditions, indépendamment de la précision. Même lorsque la précision s'effondrait à 0,22, le modèle affichait une confiance de 0,87. Par conséquent, la confiance verbalisée a performé au niveau ou proche du hasard (AUROC $\approx$ 0,50) dans la détection d'erreurs.
SmolVLM : La confiance verbalisée était largement impossible à obtenir. Sur trois modèles de prompts, un seul essai pilote sur cinq a produit une valeur de confiance analysable ; le modèle retournait généralement des réponses nues, ignorant l'instruction de déclarer sa confiance.

3. La confiance interne détecte les erreurs

Contrairement à la sortie verbalisée, la probabilité interne des jetons a fourni un signal fort pour la détection d'erreurs :

Qwen2-VL-2B : L'AUROC interne variait de 0,92 à 0,99 dans les conditions propres et modérément dégradées, surpassant nettement la confiance verbalisée.
SmolVLM : L'AUROC interne était au-dessus du hasard (0,54–0,92) dans la plupart des conditions, bien que le signal soit plus bruité et plus faible que celui de Qwen2-VL.

4. Échec sous faible luminosité sévère

Les deux signaux de confiance ont échoué précisément au moment où ils étaient le plus nécessaires : sous une sous-exposition sévère (où la précision s'est effondrée), l'AUROC interne est tombé à des niveaux proches du hasard (0,62 pour Qwen2-VL, 0,54 pour SmolVLM). Bien que la confiance interne soit légèrement plus réactive à la chute de précision que la confiance verbalisée, aucun des deux signaux ne pouvait détecter de manière fiable ce mode de défaillance catastrophique.

5. Métriques de calibration vs Utilité diagnostique

L'erreur de calibration attendue (ECE) était faible pour les deux signaux dans la plupart des conditions, créant une impression trompeuse de fiabilité. L'étude démontre que l'ECE est moins diagnostique dans ce contexte car un signal de confiance quasi constant peut paraître bien calibré si le modèle est généralement précis, même si le signal ne porte aucune information sur les erreurs spécifiques. L'AUROC de détection d'erreur est identifiée comme la métrique supérieure pour évaluer l'utilité du transfert (deferral).

Signification et affirmations

L'article conclut que les petits VLM encodent une connaissance de soi exploitable que leur sortie verbalisée n'exprime pas.

Pour le déploiement : Les praticiens ne devraient pas se fier à la confiance déclarée pour le transfert de contrôle dans les petits VLM à poids ouverts, car elle est soit au niveau du hasard, soit impossible à obtenir. Au lieu de cela, la probabilité interne des jetons devrait être utilisée comme signal de transfert, car elle est gratuite à calculer, ne nécessite aucun réentraînement et fournit une détection d'erreur exploitable sous dégradation légère à modérée.
Limite de sécurité : Aucun des deux signaux ne doit être considéré comme fiable sous des conditions de faible luminosité sévère, car les deux ne parviennent pas à suivre l'effondrement de la précision. Les déploiements faisant face à de telles conditions nécessitent des vérifications de qualité d'image en amont plutôt que des seuils de confiance en aval.
Contribution méthodologique : L'étude souligne que la confiance verbalisée et la probabilité interne sont des quantités distinctes qui divergent fortement sous la dégradation. Elle soutient que les travaux futurs sur la confiance verbalisée dans les petits VLM devraient donner la priorité à l'AUROC de détection d'erreur plutôt qu'aux mesures d'erreur de calibration.

Les auteurs notent que leurs conclusions sont spécifiques à la classe de paramètres d'environ 2 milliards et que l'écart entre la confiance verbalisée et la confiance interne à plus grande échelle reste une question ouverte. De plus, l'étude est limitée à un seul jeu de données (Food101) et à des dégradations synthétiques simulant des artefacts réels.