📊 statistics

Toward Efficient Uncertainty in LLMs through Evidential Knowledge Distillation

Cet article propose une méthode efficace pour la quantification de l'incertitude dans les grands modèles de langage en utilisant la distillation de connaissances basée sur LoRA pour transférer des capacités de sensibilisation à l'incertitude de professeurs à passages multiples, coûteux en calcul, vers des étudiants à passage unique, atteignant ainsi des performances comparables sans la lourde latence d'inférence des méthodes d'échantillonnage traditionnelles.

Auteurs originaux : Lakshmana Sri Harsha Nemani, P. K. Srijith, Tomasz Kuśmierczyk

Publié 2026-07-07

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lakshmana Sri Harsha Nemani, P. K. Srijith, Tomasz Kuśmierczyk

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un expert consultant brillant, mais incroyablement lent (l'Enseignant). Ce consultant est excellent pour deviner la bonne réponse à une question, mais il est aussi très prudent. Avant de donner une réponse, il ne se contente pas de deviner une seule fois ; il interroge dix versions différentes de lui-même, ou il fait passer la même question à travers dix « lentilles » différentes, pour voir à quel point ses réponses varient.

Si les dix versions sont d'accord, le consultant dit : « Je suis sûr à 100 %. »
Si les dix versions sont totalement divergentes, le consultant dit : « Je ne suis pas sûr du tout. »

Ce processus consistant à interroger dix versions de soi-même est la façon dont l'article décrit les méthodes basées sur l'échantillonnage (comme les modèles bayésiens ou les ensembles/ensembles de modèles). C'est excellent pour savoir à quel point le modèle est sûr de lui, mais c'est extrêmement lent. Si vous posez une question au consultant, vous devez attendre qu'il exécute dix simulations avant qu'il ne vous donne une réponse. Dans le monde de l'IA, cela revient à attendre un train lent alors que vous vouliez juste prendre un bus rapide.

Les auteurs de cet article se sont posé la question suivante : « Pouvons-nous entraîner un étudiant rapide, à passage unique, pour apprendre de cet expert lent et prudent ? »

Voici comment ils ont procédé, décomposé en concepts simples :

1. L'Objectif : L'Étudiant Rapide

Ils voulaient créer un modèle Étudiant qui soit aussi intelligent que l'Enseignant, mais qui n'ait pas besoin d'exécuter dix simulations. L'Étudiant devrait pouvoir regarder une question une seule fois, donner une réponse, et vous dire à quel point il est confiant, le tout en un instant.

Pour rendre l'Étudiant rapide, ils ont utilisé une technique appelée LoRA (Low-Rank Adaptation). Considérez cela comme si l'on donnait à l'Étudiant des « petites roues d'entraînement » ou un sac à dos léger. Au lieu de reconstruire tout le cerveau de l'Étudiant (qui est énorme et coûteux), ils ont simplement ajusté une partie minuscule et spécialisée de celui-ci pour qu'il apprenne de l'Enseignant.

2. Les deux types d'Étudiants

Les chercheurs ont testé deux manières différentes d'enseigner à l'Étudiant comment exprimer son incertitude :

L'Étudiant « Moyen » (Softmax) :
Cet étudiant apprend la moyenne de ce que les dix versions de l'Enseignant ont dit. Si les versions de l'Enseignant étaient à 50 % « Oui » et 50 % « Non », cet étudiant apprend à dire « 50 % Oui ».
- Le Problème : Cet étudiant peut donner la moyenne, mais il oublie l'histoire derrière la moyenne. Il ne sait pas si l'Enseignant était confus (toutes les versions étaient en désaccord) ou si les données étaient simplement bruitées. Il réduit toute cette incertitude complexe en un seul chiffre.
L'Étudiant « Preuve » (Dirichlet) :
C'est l'innovation principale de l'article. Au lieu de simplement apprendre une moyenne, cet étudiant apprend en termes de preuve (evidence).
- Imaginez que les dix versions de l'Enseignant sont comme dix témoins dans une salle d'audience.
- L'étudiant Softmax se contente de compter les voix : « 6 ont dit Coupable, 4 ont dit Non coupable. »
- L'étudiant Dirichlet, lui, observe la confiance des témoins. Est-ce que les 10 témoins ont crié « Coupable » avec assurance ? Ou est-ce qu'ils ont tous marmonné « Peut-être coupable » avec peu d'assurance ?
- Cet étudiant produit une « distribution de Dirichlet », ce qui est une façon mathématique de dire : « Voici ma meilleure supposition, et voici une mesure de la quantité de preuves dont je dispose pour l'appuyer. » Si les preuves sont faibles, l'étudiant sait qu'il est incertain, même si la supposition semble claire.

3. Le Tour de Magie : La Distillation de Connaissances

Le processus d'enseignement de l'Étudiant est appelé Distillation de Connaissances.

Les chercheurs ont laissé le lent Enseignant exécuter ses dix simulations sur un ensemble de questions d'entraînement.
Ils ont pris les résultats de ces dix simulations (la supposition moyenne et l'écart des opinions) et les ont transmis à l'Étudiant.
L'Étudiant a ensuite été entraîné à imiter ces résultats en utilisant un seul passage vers l'avant (forward pass).
Ils ont utilisé une méthode de « chronomètre » (arrêt précoce / Early Stopping) pour s'assurer que l'Étudiant ne se contentait pas de mémoriser les erreurs de l'Enseignant, mais apprenait réellement les bons schémas.

4. Les Résultats : Vitesse vs Intelligence

L'article a testé cela sur des tâches de classification de texte (comme trier des avis en « Positif » ou « Négatif »).

Vitesse : L'Enseignant était lent car il devait exécuter de nombreuses simulations. L'Étudiant était 11 à 36 fois plus rapide car il ne l'exécutait qu'une seule fois.
Précision : L'Étudiant était tout aussi bon pour donner la bonne réponse que l'Enseignant.
Incertitude : L'Étudiant Dirichlet était particulièrement doué pour savoir quand il était incertain. Il pouvait faire la distinction entre « Je ne sais pas parce que les données sont confuses » (incertitude épistémique) et « Je ne sais pas parce que la question est vague » (incertitude aléatoire).

L'essentiel à retenir

L'article affirme qu'ils ont réussi à construire une « voie rapide » pour l'incertitude. Ils ont pris une IA basée sur l'échantillonnage, lente et lourde, qui est excellente pour savoir ce qu'elle ne sait pas, et ont distillé sa sagesse dans un modèle léger à passage unique.

L'Enseignant : Un expert lent et prudent qui vérifie son travail dix fois.
L'Étudiant : Un travailleur rapide et efficace qui a appris à vérifier son travail une seule fois, tout en sachant exactement à quel point il doit être confiant.

Les auteurs soulignent que cela fonctionne pour la classification de texte (trier du texte en catégories). Ils ne prétendent pas que cela fonctionne encore pour générer de longs récits ou des tâches de raisonnement complexes, mais ils pensent que cela prouve le concept selon lequel on peut avoir une IA rapide et consciente de son incertitude sans le coût de calcul élevé.

Résumé Technique : Vers une incertitude efficace dans les LLM grâce à la distillation de connaissances évidentielles

Énoncé du problème
La quantification précise de l'incertitude est un défi critique pour les grands modèles de langage (LLM). Bien que des méthodes fondées sur des bases théoriques telles que les réseaux de neurones bayésiens (BNN) et les approches par ensembles (par exemple, les ensembles de prompts bayésiens) modélisent efficacement l'incertitude épistémique et améliorent le calibrage, elles souffrent de coûts de calcul prohibitifs. Ces méthodes nécessitent généralement plusieurs passes directes (échantillonnage) lors de l'entraînement et de l'inférence pour approximer les distributions prédictives via l'échantillonnage de Monte Carlo. Cette exigence de passes multiples augmente considérablement la latence d'inférence, limitant le déploiement pratique des LLM sensibles à l'incertitude dans des applications en temps réel ou à grande échelle.

Méthodologie
Les auteurs proposent un cadre de distillation de connaissances évidentielles pour transférer les estimations d'incertitude de modèles « enseignants » coûteux en calcul et basés sur l'échantillonnage vers des modèles « étudiants » efficaces à passe unique.

Modèles Enseignants : L'étude utilise deux enseignants distincts basés sur l'échantillonnage :
- Ensembles de Prompts Bayésiens (BayesPE) : Une formulation d'ensemble sur les prompts d'entrée.
- Laplace LoRA : Une approche bayésienne utilisant l'approximation de Laplace sur les poids LoRA.
  Les deux enseignants génèrent des distributions prédictives en agrégeant plusieurs échantillons (promments ou perturbations de poids) pour capturer l'incertitude totale (aléatoire + épistémique).
Architecture de l'Étudiant : Les étudiants sont des LLM pré-entraînés (Mistral 7B Instruct) affinés à l'aide de l'adaptation de faible rang (Low-Rank Adaptation - LoRA). Cela permet des mises à jour de paramètres efficaces sans réentraîner l'intégralité du modèle. Le processus de distillation initialise les matrices LoRA de l'étudiant à partir de l'enseignant (si applicable) et les affine en utilisant une tête de classification modifiée.
Stratégies de Distillation : L'article compare deux paramétrisations de sortie pour l'étudiant :
- Étudiant Softmax : Un modèle de référence qui produit une distribution catégorielle unique (probabilités moyennes) via une fonction softmax. Il minimise la log-vraisemblance négative des prédictions moyennes de l'enseignant. Bien que rapide, il réduit toute l'incertitude à l'entropie de Shannon, échouant à distinguer les composantes aléatoires et épistémiques.
- Étudiant Évidentiel (Dirichlet) : Ce modèle utilise l'apprentissage profond évidentiel (Evidential Deep Learning), produisant les paramètres ( $\alpha$ ) d'une distribution de Dirichlet. Au lieu de prédire directement les probabilités de classe, il prédit les paramètres de concentration dérivés des logits ( $\alpha_c = 1 + \text{softplus}(z_c)$ ). L'évidence totale ( $\alpha_0 = \sum \alpha_c$ ) sert de mesure explicite de confiance. Cette formulation permet au modèle de séparer l'incertitude aléatoire (bruit inhérent aux données) de l'incertitude épistémique (ignorance du modèle) en une seule passe directe.
Objectif d'Entraînement : Les étudiants sont entraînés pour correspondre à la distribution prédictive de l'enseignant. La fonction de perte pour l'étudiant évidentiel est la log-vraisemblance négative des prédictions échantillonnées de l'enseignant sous la distribution de Dirichlet prédite.
- Régularisation : Les auteurs étudient diverses stratégies de régularisation pour le paramètre de concentration $\alpha_0$ , incluant le fait de le fixer à une constante, de le ramener vers un a priori uniforme, ou de l'ancrer à une moyenne apprenable propre à l'ensemble du jeu de données, afin d'éviter le sur-apprentissage de confiance et de stabiliser l'entraînement.
- Arrêt Précoce (Early Stopping) : L'entraînement est interrompu en fonction de la log-vraisemblance négative (NLL) sur les étiquettes réelles pour éviter le surapprentissage du bruit de l'enseignant.

Résultats Clés
Des expériences ont été menées sur quatre jeux de données de classification de texte (Amazon, SST2, Yahoo, YouTube) en utilisant l'architecture Mistral 7B.

Efficacité d'Inférence : Les étudiants distillés atteignent une réduction massive du temps d'inférence par rapport à leurs enseignants. Pour les enseignants BayesPE, l'étudiant de Dirichlet est 11 à 36 fois plus rapide (par exemple, une accélération de 36x sur Yahoo), car il ne nécessite qu'une seule passe directe contre les multiples passes requises par l'enseignant.
Performance Prédictive : Les étudiants distillés égalent ou dépassent occasionnellement la précision prédictive de leurs enseignants. Par exemple, l'étudiant de Dirichlet a surpassé l'enseignant BayesPE sur les jeux de données Yahoo (+1,7 pp) et YouTube (+2,5 pp).
Quantification de l'Incertitude :
- Calibrage : Les étudiants de Dirichlet atteignent généralement des erreurs de calibration attendue (ECE) et des scores de Brier plus faibles que les enseignants et les bases Softmax.
- Détection OOD (Hors Distribution) : Dans les expériences OOD, l'étudiant de Dirichlet a démontré une capacité supérieure à distinguer les échantillons en domaine et hors domaine (AUROC plus élevée) par rapport à l'enseignant et à l'étudiant Softmax. Il a réussi à amplifier l'entropie prédictive totale pour les données OOD.
- Décomposition : Contrairement à l'étudiant Softmax, l'étudiant de Dirichlet parvient à décomposer l'incertitude en composantes aléatoires et épistémiques, fournissant des signaux d'incertitude plus riches.
Convergence : Les étudiants distillés à partir d'enseignants BayesPE ont convergé très rapidement (souvent en 1 à 5 époques), tandis que ceux issus d'enseignants Laplace nécessitaient plus d'époques (20 à 40), suggérant un paysage d'optimisation plus complexe pour ce dernier.

Signification et Revendications
L'article affirme être la première application de l'apprentissage profond évidentiel à la distillation de grands modèles de langage. Sa contribution principale est d'établir une base pour une estimation de l'incertitude efficace en une seule passe dans les LLM.

Compromis Efficacité vs Précision : Ce travail démontre qu'il est possible d'hériter de la modélisation robuste de l'incertitude des méthodes d'échantillonnage intensives en calcul sans subir leur latence d'inférence.
Modélisation Épistémique : En utilisant des sorties de type Dirichlet, la méthode modélise explicitement l'incertitude épistémique, une capacité perdue dans la distillation softmax standard.
Portée et Limites : Les auteurs présentent modestement ce travail actuel comme une preuve de concept limitée aux tâches de classification de texte discrètes. Ils reconnaissent que bien que les résultats soient prometteurs, l'extension de ce cadre à la génération de texte ouvert reste une direction pour les travaux futurs. L'étude se concentre sur l'alignement avec la performance de l'enseignant plutôt que sur l'amélioration de ses capacités absolues, bien que les résultats empiriques montrent que les étudiants surpassent parfois les enseignants grâce aux effets régularisateurs de la distillation et de l'arrêt précoce.

1. L'Objectif : L'Étudiant Rapide

2. Les deux types d'Étudiants

3. Le Tour de Magie : La Distillation de Connaissances

4. Les Résultats : Vitesse vs Intelligence

L'essentiel à retenir

Articles similaires