🤖 machine learning

Empirical Bayes Conformal Prediction for Vision and Language Models

Ce papier présente un cadre de prédiction conforme bayésien empirique qui exploite les valeurs $r$ pour transformer la variabilité des scores en un score de non-conformité informé par l'incertitude, améliorant ainsi la stabilité du classement et réduisant l'inclusion de faux candidats à forte variance dans les modèles de vision et de langage tout en maintenant des garanties de couverture sans hypothèse de distribution.

Auteurs originaux : Jiapeng Zeng, Yogesh Prabhu, Zhanpeng Zeng, Michael A. Newton, Vikas Singh

Publié 2026-05-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiapeng Zeng, Yogesh Prabhu, Zhanpeng Zeng, Michael A. Newton, Vikas Singh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un juge dans une émission de talents. Vous avez une liste de candidats, et vous devez sélectionner une « liste sûre » des meilleurs interprètes pour les faire passer au tour suivant. Vous voulez être certain à 95 % que le véritable gagnant figure sur votre liste, mais vous souhaitez également que cette liste soit aussi courte que possible afin de ne pas perdre de temps à regarder de mauvais numéros.

C'est exactement ce que fait la Prédiction Conformée (CP) pour les modèles d'IA. Elle crée une « liste sûre » de réponses qui garantit que la bonne réponse s'y trouve la plupart du temps.

Cependant, les modèles d'IA standards ont un problème : ils sont parfois instables. Si vous posez la même question deux fois, ou si vous examinez la même image deux fois, le modèle peut attribuer des scores légèrement différents. Parfois, une mauvaise réponse obtient un score élevé simplement par chance (un « coup de chance »), tandis qu'une bonne réponse obtient un score bas simplement par malchance.

La CP standard ne regarde qu'un seul de ces scores. C'est comme si le juge prenait une décision basée sur une seule performance chancelante. Si le modèle a un moment de « coup de chance », la mauvaise réponse se retrouve sur la liste sûre, ce qui allonge la liste et la rend moins utile.

La Nouvelle Idée : La « valeur r » (Le Contrôle de Stabilité)

Cet article introduit une nouvelle méthode appelée Prédiction Conformée Bayésienne Empirique utilisant les valeurs r. Considérez la valeur r comme un « Score de Stabilité » ou un « Badge de Cohérence ».

Au lieu de demander : « Quel était le score élevé ? », la nouvelle méthode demande : « À quel point le score était-il cohérent ? »

Voici comment cela fonctionne en utilisant une analogie simple :

L'Analogie : L'Étudiant « Chanceux » vs l'Étudiant « Fiable »

Imaginez deux étudiants passant un examen :

Étudiant A (Le Rocher) : Obtient un score de 90 à chaque fois que vous lui demandez de passer l'examen. Il est stable et fiable.
Étudiant B (Le Montagnes Russes) : Obtient parfois un 95, parfois un 40, et parfois un 92. Leur moyenne peut être élevée, mais leurs résultats sont très variables.

La CP standard voit le 95 chanceux de l'Étudiant B et dit : « Wow, 95, c'est formidable ! Il est dans le groupe de tête ! » Elle place l'Étudiant B sur la liste sûre, même s'il est en réalité peu fiable.

La méthode de la valeur r examine l'ensemble de la situation. Elle constate que l'Étudiant B est une montagne russe. Elle dit : « Même si vous avez atteint 95 une fois, vous êtes trop instable pour être considéré comme un candidat de premier plan. Vous pourriez retomber à 40 la prochaine fois. » Ainsi, elle maintient l'Étudiant B hors de la liste sûre (ou le repousse plus bas dans la liste) et conserve l'Étudiant A (le Rocher) au sommet.

Fonctionnement en Pratique

Les chercheurs ont testé cette méthode sur deux types d'IA :

Modèles de Vision (Classificateurs d'images) : Comme un robot regardant une photo de chat.
- L'astuce : Ils ont demandé au robot de regarder la même photo 1 000 fois avec de minuscules modifications aléatoires (comme demander à un ami de décrire la même photo avec des mots légèrement différents).
- Le résultat : Si le robot disait « Chat » à chaque fois, il obtenait une valeur r élevée. S'il passait constamment de « Chat » à « Chien » et « Grille-pain », il obtenait une valeur r faible. La méthode a réussi à filtrer les suppositions « Grille-pain » qui ne se produisaient que par accident.
Modèles de Langage (Chatbots) : Comme un robot répondant à une question de culture générale.
- L'astuce : Ils ont posé la même question au robot, mais en la reformulant de 20 manières différentes (par exemple : « Qui est le président ? » vs « Qui dirige le pays ? »).
- Le résultat : Si le robot donnait une excellente réponse à toutes les 20 versions, il était un « Rocher ». S'il donnait une excellente réponse à une version et une réponse absurde à une autre, il était une « Montagne russe ». La méthode de la valeur r a utilisé cela pour créer une liste de réponses plus courte et plus précise.

Les Principales Conclusions

Elle ne brise pas les règles : La nouvelle méthode garantit toujours que la bonne réponse se trouve sur la liste 95 % du temps (tout comme l'ancienne méthode).
Elle rend les listes plus courtes : En filtrant les « coups de chance » (scores élevés mais instables), la liste des candidats devient plus petite et plus utile.
Elle est intelligente face à l'incertitude : Si le modèle est très stable (sans variabilité), la nouvelle méthode agit exactement comme l'ancienne. Mais si le modèle est instable, la nouvelle méthode utilise cette instabilité à son avantage pour éliminer les mauvais candidats.
Elle fonctionne pour les images et le texte : Que l'IA regarde une photo ou lise une phrase, vérifier la cohérence améliore la décision finale.

En résumé, cet article apprend à l'IA à cesser de faire confiance à un seul score « chanceux » et à commencer à faire confiance à une performance cohérente. Il transforme l'« incohérence » même de l'IA en un outil pour produire des prédictions meilleures et plus sûres.

Résumé technique : Prédiction conforme bayésienne empirique pour les modèles de vision et de langage

Énoncé du problème

La prédiction conforme (CP) offre un cadre sans distribution pour générer des ensembles de prédictions avec une couverture garantie pour les modèles modernes de vision et de langage. Cependant, la CP standard repose sur une seule réalisation d'un score de non-conformité pour classer les candidats. Cette approche ignore l'incertitude épistémique et la variabilité des scores découlant des paramètres du modèle, du hasard de l'entraînement ou de la formulation des invites.

Lorsque plusieurs étiquettes ou réponses candidates reçoivent des scores similaires, de petites fluctuations peuvent altérer drastiquement leur ordre de classement. Par conséquent, la CP standard peut inclure dans l'ensemble de prédictions de faux candidats à haute variance simplement parce qu'une réalisation bruitée unique les a fait apparaître forts, tout en excluant des candidats stables ayant un score légèrement inférieur mais plus cohérent. Les alternatives existantes, telles que « moyenne puis calibrer » (CPavg), lissent cette variabilité en moyennant les scores avant l'étalonnage, éliminant ainsi l'information sur la stabilité du rang d'un candidat. Le problème fondamental est que les méthodes CP actuelles ne parviennent pas à exploiter la variabilité des scores comme un signal pour distinguer les preuves stables des fluctuations induites par le bruit, conduisant à des ensembles conformes moins efficaces (plus grands) et moins stables.

Méthodologie : Le cadre de la valeur $r$

Les auteurs proposent $CPr$-value, un cadre de prédiction conforme bayésienne empirique qui convertit la variabilité des scores en un score de non-conformité informé par l'incertitude appelé valeur $r$ .

Concept central

Au lieu de classer les candidats uniquement sur la base d'un score observé $f(x)_i$ , la méthode traite le classement comme un problème bayésien empirique. Elle suppose que chaque candidat possède un score latent non observé $\theta_i$ (le signal stable) et un score observé $f(x)_i$ qui est une réalisation bruitée de $\theta_i$ . La valeur $r$ mesure la probabilité que le score latent d'un candidat appartienne au groupe le mieux classé, en tenant compte à la fois du score estimé et de son incertitude.

Estimateurs

Le cadre fournit deux estimateurs pour la valeur $r$ :

Paramétrique (modèle Normal-Normal) : Suppose que les scores latents suivent une distribution normale et que le bruit d'observation est gaussien. Cela donne une expression analytique fermée pour la valeur $r$ . Il modélise explicitement le compromis entre l'amplitude du score et la variance, rétrécissant les scores à haute variance vers la moyenne empirique.
Non paramétrique (échantillonnage postérieur) : Un estimateur de Monte Carlo sans hypothèse. Il classe les candidats sur plusieurs échantillons postérieurs (par exemple, à partir d'ensembles de modèles, de MC-dropout ou de paraphrases d'invites) et calcule la fréquence avec laquelle un candidat apparaît dans les $k$ premières positions. Cette fréquence sert de probabilité de queue empirique, qui est ensuite convertie en une valeur $r$ .

Algorithme

Estimation de la variabilité : Générer plusieurs sorties de modèle (par exemple, via des adaptateurs de Bootstrap bayésien pondéré pour les modèles de vision ou des paraphrases d'invites pour les VLM/LLM) afin d'estimer la distribution des scores pour chaque candidat.
Calibration : Calculer les valeurs $r$ pour les vraies étiquettes dans un ensemble de calibration. Déterminer le seuil $\hat{r}$ comme la $\lceil(n+1)(1-\alpha)\rceil$ -ième plus petite valeur $r$ .
Prédiction : Pour une entrée de test, calculer les valeurs $r$ pour tous les candidats. Inclure les candidats avec $r(x, u_j) < \hat{r}$ dans l'ensemble de prédictions.

Contributions clés

Garantie théorique : Sous l'hypothèse d'échangeabilité, l'utilisation de la valeur $r$ comme score de non-conformité préserve la garantie de couverture conforme cible ( $1-\alpha$ ).
Amélioration de l'efficacité : Théoriquement, la valeur $r$ réduit la probabilité d'inclusion des faux candidats à haute variance par rapport à la CP standard et à la CPavg. Cela conduit à des tailles d'ensembles de prédictions attendues plus petites, en particulier lorsque la variabilité est informative.
Cadre unifié : La méthode unifie les approches paramétriques et non paramétriques, permettant l'application à divers types de scores (logits, probabilités, scores d'évaluateurs discrets) et architectures de modèles (ViT, CLIP, LLM).
Stabilité du classement : En pénalisant les candidats présentant une forte variance de score, la méthode produit des classements plus stables, garantissant que les candidats apparaissant systématiquement en tête sont prioritaires par rapport à ceux ayant des scores élevés sporadiques.

Résultats expérimentaux

Les auteurs ont évalué $CPr$-value à travers la classification d'images, les modèles de vision-langage (VLM) et les grands modèles de langage (LLM).

Modèles de vision (classification d'images) : Utilisation de modèles ViT et ResNet avec des adaptateurs de Bootstrap bayésien pondéré (WBB) pour approximer la variabilité postérieure.
- Lorsque la variabilité est faible (backbone puissant, adaptateurs légers), $CPr$-value se comporte de manière similaire à la CP standard, préservant la couverture et la taille de l'ensemble.
- Lorsque la variabilité est informative, $CPr$-value produit des ensembles plus petits et plus stables, classant souvent la vraie classe plus haut au sein de l'ensemble que la CP standard.
VLM et LLM (CLIP, SigLIP, MobileCLIP, LLaMA) : La variabilité a été induite par des paraphrases d'invites.
- Couverture : $CPr$-value a maintenu une couverture proche du niveau nominal (par exemple, 95 % pour $\alpha=0,05$ ).
- Taille de l'ensemble : Des réductions significatives de la taille de l'ensemble ont été observées. Par exemple, sur ImageNet, $CPr$-value a réduit la taille moyenne de l'ensemble de près de moitié par rapport à la CP standard.
- Tendance de la force du modèle : Les gains d'efficacité étaient les plus prononcés pour les modèles ayant une précision plus faible et une variabilité inhérente plus élevée (par exemple, SigLIP2). À mesure que la précision du modèle augmentait et que la variabilité diminuait (par exemple, MobileCLIP2), les gains diminuaient et la méthode revenait naturellement à un comportement de type CP, conformément aux prédictions théoriques.
- Tâches à réponse ouverte : Dans les tâches LLM avec des scores d'évaluateurs grossiers (par exemple, TruthfulQA), la valeur $r$ a réussi à départager les réponses ayant des scores moyens identiques en exploitant la stabilité des scores à travers les paraphrases, offrant une résolution de classement plus fine.

Importance et affirmations

L'article affirme que $CPr$-value transforme une faiblesse perçue des grands modèles — leur incohérence ou leur variabilité — en un signal utile pour l'efficacité conforme.

Robustesse : Il fournit une méthode pour construire des ensembles de prédictions qui sont non seulement statistiquement valides, mais aussi plus efficaces en filtrant les candidats instables et induits par le bruit.
Praticité : Le cadre est applicable aux domaines de la vision et du langage, utilisant des techniques existantes pour l'estimation de l'incertitude (adaptateurs, ensembles, variations d'invites) sans nécessiter de réentraînement des modèles de base.
Limites : Les auteurs notent que l'efficacité de la méthode dépend de la qualité de l'estimation de la variabilité. Si la variabilité estimée est médiocre ou négligeable (comme dans les modèles très stables), les bénéfices sont modestes. De plus, la méthode introduit une surcharge computationnelle pour la génération de plusieurs échantillons, bien que cela soit souvent réalisable via des adaptateurs légers ou une inférence parallèle.

En résumé, $CPr$-value offre une manière principielle d'intégrer l'incertitude épistémique dans la prédiction conforme, produisant des ensembles de prédictions plus petits, plus stables et plus fiables pour les systèmes d'IA modernes.