🤖 machine learning

Functional-level Uncertainty Quantification for Calibrated Fine-tuning on LLMs

L'article propose UQ4CT, un cadre d'affinage par mélange d'experts qui intègre une fonction de perte de calibration sur l'espace fonctionnel afin de réduire considérablement l'erreur de calibration attendue et d'améliorer la fiabilité des LLM basés sur le PEFT sous des distributions à la fois standards et décalées.

Auteurs originaux : Ruijia Niu, Dongxia Wu, Rose Yu, Yi-An Ma

Publié 2026-05-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ruijia Niu, Dongxia Wu, Rose Yu, Yi-An Ma

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une bibliothécaire brillante et bien informée (le Modèle de Langage à Grande Échelle, ou LLM). Cette bibliothécaire a lu presque tout ce qui existe au monde, mais lorsque vous lui posez une question précise et piège, elle devine parfois avec une confiance de 100 % même lorsqu'elle se trompe. C'est ce qu'on appelle la surenchère de confiance, et c'est dangereux car les utilisateurs pourraient faire confiance à une réponse erronée simplement parce que la bibliothécaire semble sûre d'elle.

L'article présente une nouvelle méthode appelée UQ4CT pour résoudre ce problème. Imaginez-la comme un moyen d'apprendre à la bibliothécaire à dire : « Je suis assez sûre », uniquement lorsqu'elle l'est réellement, et « Je ne suis pas sûre », lorsqu'elle devine.

Voici comment cela fonctionne, décomposé avec des analogies simples :

1. Le Problème : Le réglage « Taille Unique »

Habituellement, lorsque nous voulons que la bibliothécaire se spécialise dans un nouveau sujet (comme les sciences du climat), nous lui faisons subir un « réglage fin » (fine-tuning).

L'Ancienne Méthode : Imaginez que vous donnez à la bibliothécaire une seule nouvelle paire de lunettes (appelée LoRA) pour l'aider à mieux voir le nouveau sujet. Mais si la bibliothécaire n'a pas assez de livres d'exercices (données), elle pourrait mettre ces lunettes et devenir trop confiante, même si les lunettes sont légèrement floues. Elle ne peut pas faire la différence entre « Je connais cela » et « Je devine ».
Le Problème : Les méthodes existantes tentent de vérifier la confiance de la bibliothécaire après qu'elle a mis les lunettes. Mais l'article soutient qu'il faut régler les lunettes pendant que la bibliothécaire apprend.

2. La Solution : Le « Panel d'Experts » (Mélange d'Experts)

Au lieu de donner à la bibliothécaire une seule paire de lunettes, UQ4CT lui offre un panel de 8 experts différents (un « Mélange d'Experts » ou MoE).

La Configuration : Imaginez une pièce avec 8 spécialistes différents. Lorsque vous posez une question, un « Routeur » (comme une réceptionniste intelligente) examine votre question et décide quels 2 spécialistes sont les mieux adaptés pour y répondre.
La Magie : Parce qu'il y a plusieurs experts, le système peut voir si les experts sont d'accord ou en désaccord. Si le Routeur choisit deux experts qui donnent des réponses très différentes, le système sait qu'il y a une incertitude. Si le Routeur choisit deux experts qui sont parfaitement d'accord, le système sait qu'il y a de la confiance.

3. La « Perte de Calibration » : Le Coach de Vérité

La plus grande innovation de l'article est un « coach » spécial qui entraîne le Routeur pendant le processus d'apprentissage.

La Règle du Coach : Le coach observe les experts.
- Si les experts choisissent la réponse correcte, le coach dit au Routeur : « Excellent travail ! Soyez très confiant dans ce choix. »
- Si les experts choisissent la mauvaise réponse, le coach dit au Routeur : « Vous étiez trop sûr de vous ! Vous auriez dû être moins confiant ou choisir d'autres experts. »
Le Résultat : Avec le temps, le Routeur apprend à faire correspondre son « niveau de confiance » avec le « niveau de vérité » réel. Il arrête de se faire passer pour un expert lorsqu'il devine simplement.

4. Pourquoi C'est Mieux Que Les Autres Méthodes

Pas de Ralentissement : Certaines autres méthodes tentent de poser la même question à la bibliothécaire 10 fois pour voir si elle donne des réponses différentes (comme demander conseil à un ami 10 fois). C'est lent et coûteux. UQ4CT fait le travail en un seul passage car le « panel d'experts » est intégré directement dans le système.
Meilleure Généralisation : L'article a testé cela sur des questions de bon sens et de domaines spécifiques comme les sciences du climat. Même lorsque la bibliothécaire était interrogée sur des sujets qu'elle n'avait jamais vus auparavant (un « décalage de distribution »), UQ4CT gardait son calme. Elle ne devenait pas surenchérie de confiance face à de nouvelles questions étranges ; elle signalait correctement son incertitude.

La Conclusion

L'article affirme qu'en utilisant cette approche de « Panel d'Experts » et en entraînant le système à aligner sa confiance avec la vérité pendant la phase d'apprentissage, ils ont réduit l'« Erreur de Calibration Attendue » (une mesure de l'erreur de la confiance) de plus de 25 %.

Crucialement, ils ont fait cela sans rendre la bibliothécaire plus lente ou moins précise dans ses réponses. La bibliothécaire obtient toujours les bonnes réponses, mais elle est maintenant beaucoup meilleure pour savoir quand elle a raison et quand elle devine simplement.

En bref : UQ4CT transforme une IA confiante mais souvent erronée en une IA humble mais précise qui connaît les limites de ses propres connaissances.

Résumé Technique : Quantification de l'Incertitude au Niveau Fonctionnel pour un Affinage Calibré sur les LLM

Énoncé du Problème
Une quantification précise de l'incertitude (UQ) est cruciale pour le déploiement fiable des modèles de langage de grande taille (LLM), en particulier dans des domaines critiques pour la sécurité comme la santé et le raisonnement scientifique. Cependant, les LLM affinés exhibent fréquemment une surconfiance lorsqu'ils sont adaptés à des tâches avec des données limitées, échouant à refléter la crédibilité réelle de leurs sorties. Les méthodes d'UQ existantes pour l'affinage efficace en paramètres (PEFT), telles que celles basées sur l'adaptation à faible rang (LoRA), sont largement a posteriori. Elles estiment l'incertitude après l'entraînement du modèle en analysant l'espace des paramètres (par exemple, via des ensembles ou des approximations bayésiennes) ou en perturbant les invites. Ces approches échouent souvent à traiter la cause racine de la surconfiance : l'incapacité du modèle à capturer l'incertitude induite par l'affinage et les écarts de généralisation durant le processus d'adaptation lui-même. De plus, les méthodes reposant sur plusieurs passages avant ou un échantillonnage étendu introduisent une surcharge computationnelle significative, limitant l'évolutivité.

Méthodologie : UQ4CT
Les auteurs proposent la Quantification de l'Incertitude au Niveau Fonctionnel pour un Affinage Calibré (UQ4CT), un cadre qui déplace le focus de l'incertitude dans l'espace des paramètres vers l'espace fonctionnel. Au lieu d'analyser les paramètres appris après l'entraînement, UQ4CT calibre l'incertitude sur l'espace fonctionnel induit par des mélanges d'experts LoRA dépendants de l'invite pendant le processus d'affinage.

La méthodologie se compose de trois composants principaux :

Décomposition Fonctionnelle Hiérarchique via MixLoRA :
Pour éviter l'explosion combinatoire de la modélisation de toutes les combinaisons possibles d'experts à travers les couches, UQ4CT emploie une décomposition hiérarchique. Elle utilise une architecture de type Mélange d'Experts (MoE) où, à chaque couche, un routeur parcimonieux sélectionne dynamiquement un sous-ensemble d'experts LoRA basé sur l'état caché d'entrée. Cela construit un espace fonctionnel flexible où la sortie du modèle est une somme pondérée de fonctions de base diverses (experts LoRA) conditionnées par l'entrée. L'espace fonctionnel est représenté comme une composition récursive de mélanges au niveau des couches, permettant au modèle de composer de manière adaptative les chemins de calcul.
Estimation de la Confiance au Niveau Fonctionnel (FLC) :
Le modèle quantifie l'incertitude en analysant la concentration de la sélection des experts. Plus précisément, la Confiance au Niveau Fonctionnel (FLC) est dérivée des poids de routage des $k$ meilleurs experts sélectionnés par le routeur à chaque couche. Une forte concentration dans les poids de routage (c'est-à-dire que le routeur est confiant dans la sélection d'experts spécifiques) correspond à une haute confiance fonctionnelle, tandis que des poids dispersés indiquent une incertitude plus élevée. Cela fournit un signal interne et principiel de la certitude du modèle sans nécessiter plusieurs passes d'échantillonnage.
Perte de Calibration ( $L_{cal}$ ) :
L'innovation centrale est une nouvelle perte de calibration qui aligne la confiance au niveau fonctionnel avec la justesse prédictive durant l'entraînement. La perte est définie comme suit :
$L_{cal} = (1\{\text{MixLoRA}(x) = y^*\} - \text{FLC}(x))^2$
où $1\{\cdot\}$ est une fonction indicatrice pour les prédictions correctes. Cet objectif force la FLC à approximer la probabilité que la prédiction du modèle soit correcte. En minimisant cette perte conjointement avec les pertes d'entropie croisée standard et d'équilibrage de charge, le modèle apprend à attribuer une haute confiance uniquement lorsqu'il est susceptible d'être correct, et une incertitude plus élevée lorsqu'il ne l'est pas. Cela encourage le routeur à explorer des mélanges d'experts alternatifs lorsque l'incertitude est élevée, améliorant ainsi la généralisation.

Contributions Clés

Perspective au Niveau Fonctionnel : L'article introduit un changement de la quantification de l'incertitude dans l'espace des paramètres vers l'espace fonctionnel, calibrant explicitement la confiance du modèle sur les mappings entrée-sortie qu'il peut réaliser durant l'affinage.
Affinage Sensible à la Calibration : Une nouvelle perte de calibration est proposée qui aligne dynamiquement les poids de mélange LoRA dépendants de l'invite avec la justesse prédictive, atténuant la surconfiance sans dégrader la précision.
Architecture Efficace : La méthode exploite une architecture hiérarchique MixLoRA qui capture des relations fonctionnelles diverses avec une surcharge computationnelle minimale, ne nécessitant qu'un seul passage avant lors de l'inférence.
Garantie Théorique : Les auteurs fournissent une preuve que l'optimisation du risque de calibration sur la distribution des données produit une FLC optimale correspondant à la vraie probabilité de justesse prédictive.

Résultats Expérimentaux
Les auteurs ont évalué UQ4CT sur quatre benchmarks à choix multiples (ARC-E, ARC-C, OBQA, ClimateQA) et deux tâches de QA génératives à réponse ouverte (TruthfulQA, TriviaQA) en utilisant Llama-3.1-8B et Mistral-7B.

Performance In-Distribution : UQ4CT a réduit l'Erreur de Calibration Attendue (ECE) de plus de 25 % sur l'ensemble des benchmarks par rapport à des bases fortes (incluant LoRA, MC Dropout, Deep Ensembles et Bayesian LoRA), tout en maintenant une précision compétitive ou supérieure. Notamment, UQ4CT a obtenu ces résultats avec un seul passage avant, alors que des méthodes comme BLoB (N=10) nécessitaient dix passes tout en produisant un ECE plus élevé.
Changement de Distribution : Sous des changements de distribution (testés sur des sous-tâches MMLU en Informatique, Ingénierie, Droit et Santé), UQ4CT a maintenu une calibration supérieure et une précision compétitive, démontrant une robustesse améliorée face aux entrées hors distribution par rapport aux bases.
Tâches Génératives : Dans la génération à réponse ouverte, UQ4CT a obtenu le plus faible ECE sur TruthfulQA et TriviaQA, suggérant que la perspective de calibration dans l'espace fonctionnel s'étend au-delà des contextes de type classification.
Efficacité : L'analyse de la mémoire indique que l'utilisation maximale de la mémoire GPU par UQ4CT n'est que d'environ 7,5 % supérieure à celle de LoRA standard, la rendant computationnellement faisable pour un déploiement à grande échelle.

Signification et Revendications
L'article revendique que UQ4CT adresse une limitation fondamentale des pratiques actuelles d'affinage : l'absence de conscience de l'incertitude durant le processus d'adaptation. En intégrant la calibration de l'incertitude directement dans l'objectif d'affinage via des signaux au niveau fonctionnel, la méthode garantit que la confiance du modèle reflète mieux sa fiabilité prédictive réelle. Les auteurs positionnent ce travail comme une étape fondamentale vers des LLM affinés dignes de confiance, en particulier dans des environnements à données rares où la surconfiance pose des risques significatifs. Ils notent modestement que, bien que l'approche s'étende à la génération à réponse ouverte en utilisant des proxies basés sur le score F1, la mise à l'échelle vers le raisonnement de longue haleine ou la génération multi-étapes reste une direction pour un travail futur.