🤖 machine learning

Diffusion-Inspired Reconfiguration of Transformers for Uncertainty Calibration

Ce papier propose une reconfiguration inspirée de la diffusion des transformateurs pré-entraînés qui modélise les transformations de caractéristiques comme des mappings probabilistes afin de permettre une propagation rigoureuse de l'incertitude dans toute l'architecture, réalisant une calibration et une précision prédictive supérieures sur les benchmarks de vision et de langage par rapport aux méthodes existantes.

Auteurs originaux : Manh Cuong Dao, Quang Hung Pham, Phi Le Nguyen, Thao Nguyen Truong, Bryan Kian Hsiang Low, Trong Nghia Hoang

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Manh Cuong Dao, Quang Hung Pham, Phi Le Nguyen, Thao Nguyen Truong, Bryan Kian Hsiang Low, Trong Nghia Hoang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : L'Expert Trop Confiant

Imaginez que vous avez un expert brillant et hautement formé (un modèle Transformer) capable d'identifier des chats sur des photos ou de comprendre des phrases. Cet expert est très rapide et généralement juste. Cependant, il y a un piège : cet expert est terrible pour savoir quand il se trompe.

Si vous montrez à l'expert une photo d'un chien, il pourrait dire : « C'est définitivement un chat », avec 99 % de confiance. Dans le monde réel, c'est dangereux. Si cet expert conduit une voiture ou diagnostique un patient, il doit savoir quand dire : « Je ne suis pas sûr », afin qu'un humain puisse intervenir. Cette capacité à faire correspondre la confiance avec la précision réelle s'appelle l'Étalonnage de l'Incertitude.

Actuellement, la plupart des grands modèles d'IA sont comme des étudiants trop confiants qui devinent à l'aveugle mais pensent être des génies. Ils manquent d'un « instinct » intégré pour leur dire quand leur réponse pourrait être fragile.

L'Ancienne Façon : Tenter de Réparer Pièce par Pièce

Les tentatives précédentes pour résoudre ce problème consistaient à traiter chaque étape individuelle du processus de réflexion de l'expert comme un événement incertain séparé.

L'Analogie : Imaginez que le cerveau de l'expert est une chaîne de montage industrielle avec 10 postes. Pour ajouter de « l'incertitude », les méthodes précédentes tentaient de placer une « table branlante » sous chaque poste individuellement.
Le Problème : Parce que les postes étaient traités comme séparés, le « branlement » ne se propageait pas correctement d'un poste à l'autre. L'expert perdait la trace de la façon dont les étapes antérieures influençaient les étapes ultérieures. Cela rendait souvent l'expert moins précis, juste pour le rendre plus honnête sur son incertitude. C'était un mauvais compromis.

La Nouvelle Solution : DIRECTOR (La Méthode du « Flux »)

Les auteurs proposent une nouvelle méthode appelée DIRECTOR. Au lieu de traiter le cerveau de l'expert comme une série de postes déconnectés et branlants, ils ont réimaginé l'ensemble du processus comme un voyage fluide et continu, similaire à un processus de diffusion (les mêmes mathématiques utilisées pour générer de l'art par IA).

Voici comment cela fonctionne, étape par étape :

1. L'Analogie du « Film à l'Envers »

Pensez au processus de prise de décision de l'IA comme à un film projeté à l'envers.

Vers l'avant : Vous commencez avec une image floue et bruyante (l'entrée) et l'IA la nettoie lentement pour trouver la réponse.
Vers l'arrière (Le point de vue de l'IA) : L'IA commence avec une réponse claire et ajoute lentement du « bruit » pour voir à quoi les données auraient pu ressembler différemment.

Les auteurs ont réalisé que les étapes internes de l'IA (les blocs de transformateurs) ressemblent naturellement à ce « film à l'envers ». Ils ont décidé de reconfigurer l'IA afin que chaque étape reconnaisse explicitement qu'il existe une gamme de possibilités (incertitude), et pas seulement une seule réponse.

2. Le « Chef d'Orchestre Unifié »

Au lieu d'avoir une « table branlante » séparée pour chaque poste, les auteurs ont construit un chef d'orchestre unique et unifié (un modèle de diffusion) qui supervise l'ensemble de la chaîne de montage.

Ce chef d'orchestre apprend les corrélations entre les postes. Il comprend que si le Poste 1 est branlant, le Poste 2 a probablement une instabilité spécifique.
En apprenant ces connexions, l'IA peut maintenant propager l'incertitude correctement du début à la fin sans briser la chaîne de logique.

3. Le Résultat : Honnête et Intelligent

Parce que l'IA comprend maintenant comment ses propres étapes sont connectées :

Elle reste précise : Elle ne perd pas sa capacité à trouver la bonne réponse (contrairement aux anciennes méthodes).
Elle devient honnête : Quand elle est incertaine, elle abaisse son score de confiance. Quand elle est sûre, elle le maintient élevé.
C'est efficace : Le nouveau « chef d'orchestre » est en fait plus petit et plus léger que le cerveau original de l'IA, ce qui signifie qu'il utilise moins de mémoire informatique.

Ce Que le Papier a Réellement Découvert

Les auteurs ont testé cela sur deux types principaux de tâches : la Vision (identification d'objets dans des images comme CIFAR-10) et le Langage (compréhension de phrases comme CoLA et IMDB).

Meilleur Étalonnage : La nouvelle méthode (DIRECTOR) était beaucoup meilleure pour faire correspondre sa confiance à sa précision réelle par rapport aux méthodes précédentes.
Meilleure Précision : Étonnamment, en corrigeant l'incertitude, le modèle est devenu meilleur pour trouver les bonnes réponses, et non pas pire.
Robustesse : Lorsque les données étaient désordonnées ou corrompues (comme une photo avec du bruit statique), DIRECTOR restait fiable, tandis que d'autres modèles luttaient.
Efficacité : La nouvelle méthode utilisait moins de paramètres informatiques (mémoire) que les modèles originaux sur lesquels elle était construite.

Résumé

Le papier présente un moyen de prendre une IA standard et trop confiante et de recâbler sa structure interne afin qu'elle puisse « ressentir » sa propre incertitude. Ils ont fait cela en considérant le processus de pensée de l'IA comme un flux fluide et connecté (comme un processus de diffusion) plutôt que comme une série d'étapes brisées et indépendantes. Le résultat est une IA non seulement plus intelligente, mais qui sait aussi quand dire : « Je ne suis pas sûr », ce qui la rend plus sûre et plus fiable pour une utilisation dans le monde réel.

Résumé technique : Reconfiguration des Transformers inspirée par la diffusion pour l'étalonnage de l'incertitude

Énoncé du problème
Les transformers pré-entraînés sont devenus l'épine dorsale des modèles de fondation à grande échelle dans les domaines de la vision, du langage et de la parole. Cependant, ces modèles manquent généralement d'un mécanisme rigoureux pour la propagation de l'incertitude à travers leurs piles de transformations de caractéristiques. Par conséquent, ils attribuent souvent une haute confiance à des prédictions incorrectes, ce qui pose des risques de sécurité dans des applications à haut enjeu. Bien que des techniques d'étalonnage de l'incertitude (UC) existent pour les réseaux plus petits, elles reposent souvent sur l'approximation des posteriors du modèle via l'inférence variationnelle ou l'échantillonnage posterior, ce qui devient prohibitif en termes de calcul et imprécis pour les modèles à grande échelle.

Les approches existantes qui tentent de reparamétrer les blocs d'attention comme des processus gaussiens (GP) font face à une limitation critique : elles traitent les blocs de manière indépendante. Cela ne permet pas de prendre en compte les corrélations entre les transformations de caractéristiques établies lors du pré-entraînement. En conséquence, ces méthodes imposent souvent un compromis où l'amélioration de l'étalonnage de l'incertitude se fait au prix d'une dégradation significative des performances prédictives. De plus, l'entrelacement de blocs d'attention probabilistes avec des composants estimés ponctuellement (tels que les MLP et la normalisation de couche) perturbe le flux de propagation de l'incertitude, empêchant l'établissement d'un chemin stochastique bien défini.

Méthodologie
Les auteurs proposent DIRECTOR (Diffusion-Inspired REConfiguration of TransfORmers), un cadre qui reconfigure les transformers pré-entraînés en un processus de diffusion unifié pour permettre une propagation rigoureuse de l'incertitude.

Reconfiguration structurelle en tant que chemin de probabilité :
La méthode commence par re-partitionner l'architecture du transformer de sorte que chaque bloc de transformation se termine par un module d'attention multi-têtes (MHSA). S'appuyant sur le lien établi entre le MHSA et les processus gaussiens, la sortie de chaque bloc MHSA est interprétée comme une distribution gaussienne sur les caractéristiques intermédiaires.
Crucialement, les segments déterministes (MLP et normalisation de couche) qui interrompent habituellement le flux d'incertitude sont réinterprétés non pas comme des fonctions observées de priors inconnus, mais comme des paramétrisations supplémentaires de la transition gaussienne neuralisée induite par le MHSA reparamétré par GP. Cette restructuration garantit que l'ensemble de la séquence de transformations de caractéristiques forme un processus stochastique cohérent $\{X_t\}_{t=0}^T$ avec des transitions gaussiennes, alignant efficacement l'architecture du transformer sur un processus de diffusion à temps inverse.
Distillation en un modèle de diffusion unifié :
Plutôt que de traiter la transition de chaque bloc indépendamment, DIRECTOR distille la séquence observée de transformations de caractéristiques en un noyau de transition spatio-temporel unifié. Cela est réalisé en entraînant un modèle basé sur la diffusion (implémenté comme un DiT à bloc unique) pour apprendre le processus à temps inverse qui mappe la distribution des caractéristiques finales vers la distribution des données d'entrée.
L'objectif d'entraînement combine deux composantes :
- Perte consciente de l'incertitude ( $L_1$ ) : Un terme de divergence de Kullback-Leibler (KL) qui aligne le noyau de transition appris avec les transitions observées provenant du backbone pré-entraîné figé. Cela garantit que le modèle capture les corrélations inhérentes à travers les blocs d'attention.
- Perte consciente de la performance ( $L_2$ ) : Une perte de prédiction standard (par exemple, l'entropie croisée) appliquée à des échantillons tirés du processus de diffusion appris. Cela garantit que le modèle reconfiguré maintient ou améliore la précision prédictive.

Contributions clés

Reconfiguration probabiliste : L'article introduit une reconfiguration structurelle novatrice qui transforme un transformer pré-entraîné en une séquence de transitions gaussiennes neuralisées, généralisant le modèle en un processus de diffusion paramétré par un noyau de transition unifié.
Propagation unifiée de l'incertitude : En distillant le chemin des caractéristiques du transformer en un seul modèle de diffusion, la méthode capture les corrélations inter-blocs établies lors du pré-entraînement, permettant une propagation rigoureuse de l'incertitude sans l'ingrabilité du calcul des posteriors complets du modèle.
Étalonnage post-hoc efficace : L'approche fonctionne comme une intégration post-hoc du raisonnement probabiliste. Le modèle de transition unifié est significativement plus petit que le backbone original (par exemple, 2,7 M de paramètres contre 6,24 M pour ViT), offrant une meilleure efficacité mémoire tout en préservant les capacités prédictives du modèle original.

Résultats expérimentaux
Les auteurs ont évalué DIRECTOR sur des benchmarks de vision (CIFAR-10, CIFAR-100, CIFAR-10-C) et de langage (IMDB, CoLA, CoLA-OOD).

Étalonnage et précision : DIRECTOR surpasse systématiquement les transformers conscients de l'incertitude existants (y compris les variantes KEP-SVGP) et les bases de référence standard (mise à l'échelle de la température, Dropout de Monte Carlo, Deep Ensembles). Sur CIFAR-10, DIRECTOR a atteint une précision plus élevée (84,74 % contre 82,68 % pour KEP-7/7) et une erreur d'étalonnage attendue plus faible (5,18 % contre 6,95 %). Des améliorations similaires ont été observées sur tous les jeux de données, démontrant que la méthode résout le compromis typique entre étalonnage et performance.
Robustesse : Sous des décalages de distribution (CIFAR-10-C et CoLA-OOD), DIRECTOR a maintenu une précision prédictive compétitive tout en améliorant considérablement les métriques d'étalonnage par rapport aux modèles pré-entraînés.
Détection OOD : La méthode a montré des performances supérieures dans les tâches de détection hors distribution (Out-of-Distribution), obtenant des scores AUROC et AUPR plus élevés.
Évolutivité : Les expériences sur des modèles plus grands (ViT-B-16 et Qwen-2.5) ont confirmé que DIRECTOR s'adapte efficacement, offrant un étalonnage fiable avec moins de paramètres que les modèles originaux.

Signification et affirmations
L'article affirme que DIRECTOR offre un paradigme évolutif et rigoureux pour l'étalonnage de l'incertitude dans les grands modèles pré-entraînés. En réinterprétant la pile de transformations de caractéristiques du transformer comme un processus de diffusion, la méthode intègre des structures expressives conscientes de l'incertitude directement dans l'architecture interne du modèle. Les auteurs affirment que cette approche permet un déploiement fiable dans des applications sensibles aux risques en garantissant que les scores de confiance reflètent fidèlement la précision empirique, tout en maintenant ou en améliorant les performances prédictives et en améliorant l'efficacité mémoire. Ce travail ouvre une nouvelle voie pour améliorer la fiabilité des modèles de fondation sans sacrifier leurs capacités fondamentales.