💻 computer science

Unified Multimodal Uncertain Inference

Ce papier présente UMUI, une nouvelle tâche d'inférence multimodale incertaine couvrant le texte, l'audio et la vidéo, accompagnée d'un ensemble de données annoté par des humains et du modèle CLUE qui permet d'obtenir des estimations de probabilité calibrées surpassant des modèles beaucoup plus grands.

Auteurs originaux : Dengjia Zhang, Alexander Martin, William Jurayj, Kenton Murray, Benjamin Van Durme, Reno Kriz

Publié 2026-04-13

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Dengjia Zhang, Alexander Martin, William Jurayj, Kenton Murray, Benjamin Van Durme, Reno Kriz

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌍 Le Problème : Les Robots qui ont peur de l'incertitude

Imaginez que vous regardez une vidéo d'un tremblement de terre sur les réseaux sociaux. Vous voyez des bâtiments qui s'effondrent, vous entendez des sirènes et vous voyez les gens courir. Votre cerveau ne vous dit pas simplement : « C'est un désastre » ou « Ce n'est pas grave ». Non, votre cerveau fait un calcul complexe : « Il y a 85 % de chances que ce soit très grave, mais je ne suis pas sûr à 100 % à cause du bruit. »

C'est ce qu'on appelle le raisonnement probabiliste : être capable de dire « je suis presque sûr » plutôt que de donner une réponse binaire (oui/non).

Le problème, c'est que les intelligences artificielles (IA) actuelles sont comme des élèves très scolaires mais rigides. Quand on leur demande de juger une vidéo, un son ou un texte, elles ont tendance à dire « C'est vrai » ou « C'est faux » avec une confiance aveugle, même quand elles se trompent. Elles ne savent pas exprimer leur doute.

🚀 La Solution : UMUI et CLUE

Les chercheurs de l'Université Johns Hopkins ont créé deux choses pour régler ce problème :

UMUI (La Nouvelle Épreuve) : C'est un nouveau jeu pour les IA. Au lieu de leur demander de choisir entre « Vrai » ou « Faux », on leur demande de donner un pourcentage de confiance (de 0 à 100 %) en se basant sur n'importe quel mélange de preuves : un texte, un son, une vidéo, ou les trois ensemble.
- L'analogie : Imaginez un détective qui ne se contente pas de dire « C'est le coupable ! », mais qui dit : « Il y a 70 % de chances que ce soit lui, basé sur l'empreinte digitale, mais seulement 40 % basé sur le témoignage flou. »
CLUE (Le Super-Entraîneur) : C'est la méthode magique pour entraîner l'IA à devenir ce détective prudent.
- L'entraîneur (Teacher) : Au début, l'IA est nulle. Alors, les chercheurs utilisent une IA très intelligente (le "professeur") qui regarde la même vidéo 5 fois de suite et donne 5 avis différents. En faisant la moyenne de ces 5 avis, ils obtiennent une étiquette de vérité plus précise et moins biaisée.
- Le nuage de confiance (Distribution) : Au lieu de forcer l'IA à sortir un chiffre unique (comme "0,8"), CLUE lui apprend à imaginer un nuage de probabilités. C'est comme si l'IA disait : « Je pense que la réponse est autour de 0,8, mais elle pourrait être entre 0,7 et 0,9 ». Cela permet à l'IA de mieux comprendre la nuance.
- Le tri par catégorie : Pour entraîner l'IA, ils ne mélangent pas tout dans le même panier. Ils entraînent d'abord sur des vidéos, puis sur des sons, puis sur du texte. C'est comme un sportif qui s'entraîne d'abord à courir, puis à nager, au lieu de courir et nager en même temps, ce qui le fatiguerait et le rendrait moins efficace.

🏆 Les Résultats : Un Petit Géant

Le résultat le plus surprenant ? Ils ont entraîné un modèle IA assez petit (3 milliards de paramètres, ce qui est "petit" dans le monde de l'IA actuelle) et il a battu des modèles énormes (jusqu'à 32 milliards de paramètres) sur tous les tests.

Pourquoi ? Parce que le modèle "petit" a appris à comprendre l'incertitude grâce à la méthode CLUE, tandis que les gros modèles, bien qu'ils aient plus de mémoire, sont souvent trop confiants et font des erreurs grossières quand ils ne sont pas sûrs.

🎯 En Résumé

Ce papier nous dit que pour faire confiance à une IA dans des situations importantes (comme analyser des vidéos de catastrophes ou de la santé), il ne suffit pas qu'elle soit "intelligente". Il faut qu'elle sache dire : « Je ne suis pas sûr, mais voici mon estimation la plus probable. »

Grâce à UMUI (le test) et CLUE (la méthode d'entraînement), les chercheurs montrent qu'on peut créer des IA plus humbles, plus précises et plus fiables, capables de naviguer dans le monde réel où rien n'est jamais 100 % certain. C'est un pas de géant vers des robots qui raisonnent comme des humains, avec toutes nos nuances et nos doutes.

1. Problématique : Le manque de raisonnement probabiliste calibré multimodal

Le raisonnement humain est fondamentalement probabiliste : il opère sur des degrés de croyance et des estimations de confiance plutôt que sur des jugements catégoriels binaires (vrai/faux). Bien que l'inférence naturelle incertaine (Uncertain Natural Language Inference - UNLI) ait été explorée dans le domaine textuel, son extension aux autres modalités (audio, vidéo) reste limitée.

Les défis actuels identifiés par les auteurs sont :

Limitation des modalités : La plupart des tâches d'inférence en audio et vidéo se réduisent à des jugements binaires (entailment binaire), ne permettant pas une estimation fine de l'incertitude.
Absence de cadre unifié : Il n'existe pas de framework permettant un raisonnement probabiliste granulaire à travers ou entre les modalités (texte, audio, vidéo).
Manque de calibration : Les modèles multimodaux existants sont souvent mal calibrés, produisant des estimations de confiance qui ne reflètent pas la réalité, ce qui limite leur fiabilité dans des domaines à haut risque.

L'objectif est de combler ce vide en introduisant une tâche où les modèles doivent produire des estimations de probabilité calibrées pour une hypothèse, conditionnée par une prémisse dans n'importe quelle modalité ou combinaison de modalités.

2. Méthodologie

Les auteurs proposent une approche en deux volets : la définition d'une nouvelle tâche et l'introduction d'un nouveau modèle d'apprentissage.

A. La tâche UMUI (Unified Multimodal Uncertain Inference)

Définition : Le modèle reçoit une prémisse multimodale (texte, audio, vidéo ou combinaison) et une hypothèse (déclaration). Il doit prédire une valeur scalaire dans l'intervalle $[0, 1]$ représentant la probabilité que l'hypothèse soit vraie.
Collecte de données : Les auteurs ont créé un ensemble d'évaluation annoté par des humains pour les paires prémisse-hypothèse audio-visuelles.
- Basé sur le dataset WIKIVIDEO, ils ont sélectionné 10 événements (ex: éruptions volcaniques, élections, catastrophes naturelles).
- Des annotateurs experts ont fourni des jugements de probabilité scalaires (0-100%) et indiqué quelles modalités (audio, vidéo, ou les deux) ont influencé leur décision.
- Le dataset final contient 2 526 paires vidéo-claims avec une forte cohérence inter-annotateurs (Krippendorff's $\alpha \approx 0.71$ ).

B. Le modèle CLUE (Calibrated Latent Uncertainty Estimation)

Pour entraîner un modèle capable de produire ces estimations calibrées, les auteurs proposent CLUE, qui repose sur trois piliers techniques :

Calibration par enseignant auto-cohérent (Self-Consistent Teacher Calibration) :
- Comme les données d'entraînement à grande échelle avec des étiquettes scalaires humaines sont trop coûteuses, les auteurs utilisent un modèle enseignant (Teacher Model) pour générer des labels.
- Pour améliorer la calibration de l'enseignant (qui est souvent mal calibré en zero-shot), ils appliquent une stratégie d'auto-cohérence : le modèle enseignant génère 5 traces de raisonnement indépendantes par paire.
- Les réponses sont agrégées (moyenne ou majorité) pour produire une étiquette d'entraînement plus fiable et calibrée.
Modélisation de la distribution latente de confiance (Latent Distribution Confidence Modeling) :
- Au lieu de générer directement un nombre scalaire (ce qui force une sortie discrète et limite la granularité), le modèle prédit une distribution latente sur des tokens de confiance.
- L'intervalle $[0, 1]$ est discrétisé en $N$ bins (ex: 100), chacun associé à un token spécial <CONF_i>.
- L'objectif d'entraînement est de minimiser la divergence de Kullback-Leibler ( $D_{KL}$ ) entre la distribution prédite et une distribution cible gaussienne centrée sur l'étiquette de vérité terrain.
- À l'inférence, une estimation de probabilité lisse est reconstruite par une agrégation pondérée de ces tokens, permettant une résolution bien supérieure aux sorties tokenisées classiques.
Regroupement par modalité (Modality-Specific Batching) :
- Pour assurer la stabilité des gradients et réduire le surcoût de remplissage (padding), les échantillons d'entraînement sont regroupés par modalité (tous les textes ensemble, tous les vidéos ensemble) plutôt que de mélanger les modalités dans un même lot. Cela évite les interférences de gradients dues aux disparités de longueur et de complexité entre les modalités.

3. Résultats Clés

Les expériences ont été menées sur des benchmarks existants (CLOTHO, UNLI) et le nouveau dataset WIKIVIDEO (binaire et scalaire).

Performance supérieure avec moins de paramètres : Le modèle CLUE, avec seulement 3 milliards de paramètres (basé sur Qwen2.5-Omni-3B), surpasse ou égale les modèles de base jusqu'à 32 milliards de paramètres (comme Qwen3-VL ou Qwen3) sur toutes les modalités.
Précision binaire (UMUI-Binary) : Sur CLOTHO, CLUE passe d'une performance proche du hasard pour les modèles audio basiques à une performance quasi-parfaite. Sur WIKIVIDEO, il surpasse systématiquement les modèles spécifiques à une modalité et les modèles omnimodaux.
Estimation scalaire (UMUI) : En termes d'Erreur Quadratique Moyenne (MSE), CLUE-D (la version basée sur la distribution) obtient les meilleurs scores, surpassant même des modèles textuels de 32B sur le benchmark UNLI.
Avantage de la distribution latente : La comparaison entre la version "Token-based" (CLUE-T) et "Distribution-based" (CLUE-D) montre que l'approche par distribution latente offre une meilleure calibration et une estimation plus stable, car elle capture la distribution interne de confiance du modèle plutôt que de se limiter à des tokens discrets.
Bénéfice réciproque multimodal : L'entraînement sur un mélange de modalités améliore les performances même sur des tâches unimodales (ex: le texte), suggérant que les signaux des modalités auxiliaires aident à mieux internaliser l'incertitude.

4. Contributions Principales

Formalisation de l'UMUI : Définition d'une nouvelle tâche d'inférence probabiliste calibrée couvrant le texte, l'audio, la vidéo et leurs combinaisons.
Nouveau Dataset : Collecte d'un ensemble d'évaluation annoté par des humains avec des jugements de probabilité scalaires pour des paires audio-visuelles, étendant les annotations binaires existantes.
Méthode CLUE : Introduction d'une approche d'apprentissage combinant calibration d'enseignant, modélisation de distribution latente et batching spécifique aux modalités.
Preuve d'efficacité : Démonstration qu'un modèle de 3B paramètres peut surpasser des modèles massifs (32B) en termes de calibration et de précision, rendant le raisonnement incertain multimodal plus accessible et efficace.

5. Signification et Impact

Ce travail est significatif car il déplace le paradigme de l'inférence multimodale du binaire (vrai/faux) vers le probabiliste (degré de certitude), ce qui est crucial pour le déploiement de l'IA dans des domaines à haut risque (médical, juridique, sécurité).

Fiabilité : En fournissant des estimations de probabilité calibrées, les systèmes deviennent plus dignes de confiance, permettant une meilleure allocation des ressources (ex: déléguer une décision incertaine à un humain).
Efficacité : La démonstration qu'un petit modèle (3B) peut surpasser des géants (32B) grâce à une meilleure architecture d'apprentissage de l'incertitude remet en question la nécessité d'une augmentation massive des paramètres pour atteindre une haute performance.
Fondation future : L'approche proposée ouvre la voie à des systèmes d'IA capables de raisonner de manière fluide et nuancée à travers différents types de données sensorielles, imitant davantage le processus cognitif humain.

Limitations notées : La taille de l'ensemble de données d'évaluation est limitée (10 thèmes, 4 annotateurs) et l'entraînement repose sur des labels générés par un enseignant plutôt que sur des annotations humaines massives, ce qui place un plafond de qualité lié à la fidélité de l'enseignant.