💬 NLP

Directional Concentration Uncertainty: A representational approach to uncertainty quantification for generative models

Ce papier propose la Directional Concentration Uncertainty (DCU), une méthode novatrice d'incertitude basée sur la distribution de von Mises-Fisher qui quantifie la dispersion géométrique des embeddings générés sans heuristiques spécifiques, surpassant ou égalant les performances des approches antérieures tout en s'adaptant aux tâches multimodales complexes.

Auteurs originaux : Souradeep Chattopadhyay, Brendan Kennedy, Sai Munikoti, Soumik Sarkar, Karl Pazdernik

Publié 2026-02-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Souradeep Chattopadhyay, Brendan Kennedy, Sai Munikoti, Soumik Sarkar, Karl Pazdernik

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous posez une question à un ami très intelligent, mais qui a parfois tendance à rêvasser. Parfois, il vous donne une réponse précise et confiante. D'autres fois, il hésite, bafouille, ou vous donne cinq réponses différentes qui ne se ressemblent pas du tout.

Comment savez-vous si vous pouvez lui faire confiance ? C'est exactement le problème que les chercheurs de cet article tentent de résoudre avec les Intelligences Artificielles (IA) génératives, comme les grands modèles de langage (LLM).

Voici une explication simple de leur nouvelle méthode, DCU, en utilisant des images du quotidien.

1. Le Problème : L'IA qui "bavarde" trop

Les IA modernes sont incroyables, mais elles ont un défaut : elles ne savent pas toujours dire "Je ne sais pas". Si on leur demande quelque chose de difficile, elles peuvent inventer des faits (ce qu'on appelle des "hallucinations") avec un air très sûr d'elles.

Pour vérifier si une IA est sûre d'elle, les chercheurs utilisent une technique appelée Quantification de l'Incertitude (UQ). L'idée est simple : si on demande la même chose à l'IA 10 fois de suite, va-t-elle donner 10 fois la même réponse (elle est sûre) ou 10 réponses différentes (elle est perdue) ?

2. L'Ancienne Méthode : Le Tri des Cartes (Entropie Sémantique)

Avant cette nouvelle étude, la méthode la plus populaire s'appelait l'Entropie Sémantique.

L'analogie : Imaginez que vous demandez à l'IA de décrire un chat. Elle vous donne 10 réponses.
- La méthode ancienne prend ces 10 réponses et essaie de les trier en groupes (clusters).
- Elle se demande : "Est-ce que la réponse A signifie la même chose que la réponse B ?" (Par exemple : "Un animal à fourrure" et "Un félin domestique" sont-ils pareils ?).
- Pour faire ça, elle a besoin d'un expert en grammaire et en sens des mots très pointu.
Le problème : Cette méthode fonctionne bien pour des questions simples comme "Qui a gagné la Coupe du Monde ?". Mais si vous demandez à l'IA de décrire une image complexe ou de raconter une histoire, trier les réponses par "sens" devient un cauchemar. C'est comme essayer de trier des pièces de puzzle de 1000 pièces en utilisant uniquement la couleur : ça ne marche pas toujours.

3. La Nouvelle Méthode : La Boussole et le Nuage (DCU)

Les auteurs proposent une nouvelle approche appelée DCU (Directional Concentration Uncertainty). Au lieu de lire et de trier les mots, ils regardent la forme des réponses.

L'analogie de la boussole :
Imaginez que chaque réponse de l'IA est une flèche pointant dans une direction dans l'espace.
- Si l'IA est sûre d'elle, toutes ses 10 flèches pointent dans la même direction. Elles sont groupées, serrées comme un faisceau laser. C'est une "concentration directionnelle" forte.
- Si l'IA est incertaine, ses flèches partent dans tous les sens. Certaines pointent vers le nord, d'autres vers le sud, d'autres vers l'est. C'est un nuage désordonné.
Comment ça marche ?
Au lieu de demander à un expert "Est-ce que ces phrases veulent dire la même chose ?", la méthode DCU utilise une carte mathématique (des vecteurs) pour voir à quel point les réponses sont proches les unes des autres dans l'espace.
- Pas de règles rigides : Elle n'a pas besoin de comprendre la grammaire ou le sens des mots. Elle regarde juste la "géométrie" des réponses.
- Le résultat : Plus les réponses sont dispersées (comme un feu d'artifice), plus l'incertitude est grande. Plus elles sont groupées (comme une troupe de soldats marchant au pas), plus l'IA est fiable.

4. Pourquoi c'est une révolution ?

Les chercheurs ont testé leur méthode sur deux types de tâches :

Questions simples (Texte seul) : Là, leur nouvelle méthode (DCU) fonctionne aussi bien que l'ancienne méthode de tri. C'est comme si deux coureurs arrivaient à la même vitesse sur un terrain plat.
Questions complexes (Images + Texte) : C'est là que la magie opère. Quand on demande à l'IA de répondre à des questions sur des images (par exemple : "Que voit-on sur cette photo ?"), l'ancienne méthode de tri échoue souvent car elle ne sait pas comment regrouper les descriptions d'images.
- La méthode DCU, elle, continue de fonctionner parfaitement. Elle ne se soucie pas du fait que ce soit une image ou du texte ; elle regarde juste si les réponses sont cohérentes ou non.

En résumé

Imaginez que vous êtes le chef d'une équipe.

L'ancienne méthode demande à chaque membre de l'équipe d'écrire sa réponse, puis vous passez des heures à lire et à comparer les textes pour voir s'ils se ressemblent. C'est lent et ça échoue si les tâches sont trop variées.
La méthode DCU demande simplement à tout le monde de lever la main. Si tout le monde lève la main dans la même direction, vous savez qu'ils sont d'accord. Si les mains pointent partout, vous savez qu'ils sont perdus. C'est rapide, simple, et ça marche même si l'équipe doit résoudre des problèmes très différents (texte, images, etc.).

Conclusion : Cette nouvelle méthode rend les IA plus transparentes. Elle nous dit quand elles sont sûres d'elles et quand elles sont en train d'inventer, sans avoir besoin de règles compliquées qui ne fonctionnent que dans certains cas. C'est un pas de géant pour rendre l'IA plus fiable dans le monde réel.

1. Problématique

Les modèles génératifs, tels que les grands modèles de langage (LLM), sont de plus en plus utilisés, mais leur déploiement dans des domaines sensibles ou pour la prise de décision est entravé par leur incapacité à fournir des sorties fiables et transparentes. La Quantification de l'Incertitude (UQ) est essentielle pour combler ce fossé.

Les méthodes existantes, notamment l'Entropie Sémantique (SE) proposée par Kuhn et al. (2023), reposent sur des heuristiques rigides :

Elles nécessitent un échantillonnage multiple à haute température.
Elles regroupent les réponses en clusters basés sur l'équivalence sémantique (souvent déterminée par des modèles d'implication bidirectionnelle).
Limitation majeure : Cette approche de clustering sémantique fonctionne bien pour des tâches de questions-réponses (QA) structurées et courtes, mais échoue à généraliser sur des tâches complexes, ouvertes ou multimodales (comme la QA visuelle), car la notion d'équivalence textuelle devient floue ou inapplicable.

2. Méthodologie : Directional Concentration Uncertainty (DCU)

Les auteurs proposent le DCU, une nouvelle méthode d'UQ qui abandonne le clustering sémantique discret au profit d'une approche géométrique continue basée sur les représentations (embeddings).

Principes Fondamentaux

Échantillonnage : Pour une entrée $x$ , le modèle génère $N$ sorties textuelles $O(x) = \{y_1, ..., y_N\}$ .
Encodage : Chaque sortie textuelle est convertie en un vecteur d'embedding continu $\phi(y_i)$ à l'aide d'un modèle d'embedding pré-entraîné (ex: e5-large-v2 pour le texte, CLIP pour le multimodal).
Normalisation : Les vecteurs sont normalisés en norme $L_2$ pour se situer sur une hypersphère unité $S^{d-1}$ .
Modélisation Statistique : La distribution des embeddings est modélisée par la distribution de von Mises-Fisher (vMF), qui est la distribution de probabilité naturelle sur une hypersphère.
- Elle est paramétrée par une direction moyenne $\mu$ et un paramètre de concentration $\kappa$ .
- La fonction de densité est : $p(z | \mu, \kappa) = C_d(\kappa) \exp(\kappa \mu^\top z)$ .
Calcul de l'Incertitude :
- Le paramètre $\kappa$ mesure à quel point les échantillons sont concentrés autour de la direction moyenne.
- Un $\kappa$ élevé indique une forte concentration (faible incertitude).
- Un $\kappa$ faible indique une grande dispersion (forte incertitude).
- Le score d'incertitude final est l'inverse de la concentration : $Uncertainty = \kappa^{-1}$ .

Différences clés avec l'Entropie Sémantique (SE)

Pas de clustering : Le DCU ne nécessite pas d'assigner des réponses à des clusters discrets ni d'utiliser des modèles d'implication (NLI) pour vérifier l'équivalence.
Généralité : En travaillant directement dans l'espace vectoriel continu, la méthode s'applique à n'importe quelle modalité (texte, image, audio) tant qu'un bon encodeur existe.

3. Contributions Clés

Nouveau cadre géométrique : Introduction du DCU comme une procédure statistique robuste utilisant la distribution vMF pour quantifier la dispersion directionnelle des embeddings.
Suppression des heuristiques rigides : Élimination de la dépendance à la notion d'équivalence textuelle, permettant une généralisation aux tâches non structurées et multimodales.
Validation empirique : Démonstration que l'approche par embeddings capture la même information d'incertitude que l'entropie sémantique sur des tâches simples, mais la surpasse sur des tâches complexes.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs modèles (LLaMA-2, Falcon, Mistral, LLaVA, Gemma) et datasets (TriviaQA, SQuAD, NQ-Open, ScienceQA).

A. Tâches de Questions-Réponses Textuelles (Unimodal)

Sur les datasets TriviaQA, SQuAD et NQ-Open :

Le DCU atteint des performances de calibration (mesurées par l'AUC-ROC) comparables, et parfois supérieures, à l'Entropie Sémantique (SE).
Les scores d'AUC-ROC pour le DCU sont généralement dans la même fourchette que le SE (ex: ~0.60 à 0.75), confirmant que la dispersion géométrique des embeddings est un indicateur fiable de l'incertitude du modèle.

B. Tâches de Questions-Réponses Visuelles (Multimodal)

Sur le dataset ScienceQA (questions scientifiques avec images) :

Échec du SE : L'Entropie Sémantique montre une performance médiocre (AUC-ROC proche de 0.5, soit du hasard) car le clustering sémantique échoue à gérer la complexité des réponses visuelles et textuelles combinées.
Supériorité du DCU : La méthode DCU démontre une amélioration significative, atteignant un AUC-ROC de 0.67 pour le modèle LLaVA-1.5, contre 0.51 pour le SE.
Cela prouve que l'approche représentationnelle est capable de généraliser à des modalités où les méthodes basées sur le texte échouent.

5. Signification et Implications

Généralisation Universelle : Le DCU offre un cadre unifié pour l'UQ qui ne dépend pas de la modalité de sortie. Tant qu'un encodeur (embedding) existe pour la donnée, l'incertitude peut être mesurée.
Intégration dans les Systèmes Agents : La flexibilité du DCU permet son intégration dans des pipelines d'agents autonomes pour détecter et limiter la propagation de l'incertitude avant qu'elle n'affecte les étapes suivantes.
Limites et Perspectives :
- Coût computationnel : Comme le SE, le DCU nécessite un échantillonnage multiple (répétition des inférences), ce qui peut être coûteux en temps réel. Cependant, le coût des encodeurs est inférieur à celui des modèles génératifs.
- Futur travail : Exploration de l'UQ sur d'autres modalités (génération d'images, audio) et intégration dans des systèmes d'agents complexes.

En conclusion, cet article propose une avancée théorique et pratique majeure en remplaçant les heuristiques de clustering textuel rigides par une mesure géométrique continue, rendant la quantification de l'incertitude applicable à l'ensemble du spectre des modèles génératifs modernes, y compris multimodaux.