Résumé Technique : Quantifier l'Incertitude des Modèles de Fondation avec les Ensembles de Valeurs Singulières

1. Énoncé du Problème

Les modèles de fondation ont atteint des performances remarquables à travers diverses tâches grâce à un pré-entraînement à grande échelle, pourtant ils produisent fréquemment des prédictions trop confiantes et mal calibrées. Dans les domaines à enjeux élevés tels que le diagnostic médical, la conduite autonome et le support à la décision agricole, la capacité d'un modèle à reconnaître sa propre ignorance (incertitude épistémique) est aussi critique que sa précision prédictive. Des erreurs de diagnostic trop confiantes ou des évaluations de risques incorrectes peuvent entraîner de graves conséquences.

L'approche standard pour quantifier l'incertitude épistémique consiste à entraîner un ensemble de plusieurs modèles initialisés de manière indépendante (Deep Ensembles). Bien qu'efficace, cette méthode souffre d'une limitation fondamentale : les coûts computationnels et de mémoire augmentent linéairement avec le nombre de membres de l'ensemble ($M$). Pour les modèles de fondation possédant des milliards de paramètres, même un ensemble modeste (par exemple, $M=4$) devient prohibitivement coûteux, rendant l'estimation principled de l'incertitude inaccessible aux praticiens disposant de ressources limitées ou s'appuyant sur le réglage fin efficace en paramètres (PEFT).

Les méthodes d'ensembling implicite existantes (par exemple, MC-Dropout, BatchEnsemble, LoRA-Ensemble) tentent de réduire les frais généraux mais peinent souvent à égaler la performance de calibration des ensembles explicites ou nécessitent encore d'apprendre un nombre important de nouveaux paramètres pour chaque membre.

2. Méthodologie : Ensemble de Valeurs Singulières (SVE)

Les auteurs proposent l'Ensemble de Valeurs Singulières (Singular Value Ensemble - SVE), une méthode d'ensembling implicite efficace en paramètres, fondée sur l'idée que la connaissance dans les modèles de fondation est organisée le long de sous-espaces linéaires définis par les vecteurs singuliers des matrices de poids.

Hypothèse Centrale

La méthode repose sur l'hypothèse que les vecteurs singuliers ($U$ et $V$) des matrices de poids pré-entraînées correspondent à des "directions de connaissance" significatives et orthogonales dans l'espace de représentation. Les valeurs singulières ($\Sigma$) encodent l'importance relative ou la force de ces directions. Par conséquent, un ensemble peut être construit en préservant la base de connaissance partagée (vecteurs singuliers) tout en modulant la contribution de chaque direction via des valeurs singulières spécifiques à chaque membre.

Implémentation Technique

1. Décomposition SVD : Pour chaque matrice de poids cible $W \in \mathbb{R}^{m \times n}$ dans un modèle pré-entraîné, la décomposition en valeurs singulières est calculée : $W = U\Sigma V^\top$.
2. Gel des Paramètres : Les vecteurs singuliers $U$ et $V$ sont gelés, préservant ainsi la base de connaissance pré-entraînée.
3. Apprentissage Spécifique au Membre : Au lieu d'apprendre de nouvelles matrices de poids, la méthode entraîne $M$ copies des valeurs singulières, notées $\{\Sigma^{(m)}\}_{m=1}^M$, une pour chaque membre de l'ensemble. De plus, un vecteur de biais $b^{(m)}$ par membre est entraîné.
4. Reconstruction : Lors de l'inférence, la matrice de poids pour le membre $m$ est reconstruite comme $W^{(m)} = U\Sigma^{(m)}V^\top$.
5. Initialisation et Diversité : Pour assurer la diversité entre les membres sans détruire la structure pré-entraînée, les valeurs singulières sont initialisées avec des perturbations multiplicatives : $\Sigma^{(m)} = \Sigma \odot (1 + \epsilon^{(m)})$, où $\epsilon^{(m)} \sim \mathcal{N}(0, \sigma_{init}^2 I)$. L'échantillonnage stochastique par mini-lots lors de l'entraînement conjoint pousse davantage les membres à converger vers des combinaisons distinctes des sous-espaces partagés.

Efficacité des Paramètres

Pour un transformeur avec une dimension cachée $d$, le SVE n'ajoute que $6d$ valeurs singulières et $9d$ entrées de biais par couche et par membre (pour les projections d'attention et de MLP). Le surcoût total de paramètres par rapport au modèle de base est approximativement de :
$$\text{Surcoût} \approx \frac{5(M-1)}{4d}$$
Pour $d=768$ et $M=8$, cela se traduit par un surcoût de $<1\%$. Pour des modèles plus larges comme LLaMA-2-7B ($d=4096$), le surcoût tombe à environ $0,2\%$. C'est nettement plus efficace que LoRA-Ensemble (qui ajoute des matrices de rang $r$) et des ordres de grandeur plus efficace que les Deep Ensembles.

3. Principales Contributions

• Introduction du SVE : Une nouvelle méthode d'ensembling implicite efficace en paramètres qui crée des membres d'ensemble diversifiés en apprenant des valeurs singulières par membre tout en partageant les vecteurs singuliers pré-entraînés.
• Nouvelle Référence pour l'Incertitude : Établit le SVE comme une base solide pour la quantification de l'incertitude, atteignant une calibration de pointe tout en maintenant la précision prédictive.
• Validation Étendue : Validé à travers des tâches de Traitement du Langage Naturel (NLP) et de Vision en utilisant des architectures allant de 22M à 7B de paramètres (BERT, LLaMA-2-7B, DINOv1/v2). Les résultats démontrent une généralisation à travers différentes tailles de modèles et types de tâches.

4. Résultats Expérimentaux

Les auteurs ont évalué le SVE sur des tâches de NLP (ARC-Easy, SST-2) et de Vision (Flowers102, CIFAR-100, DTD, Oxford Pets, détection d'OOD, et corruptions CIFAR-100-C).

• Calibration : Le SVE atteint systématiquement une erreur de calibration attendue (ECE) supérieure ou compétitive par rapport aux Deep Ensembles, LoRA-Ensemble et aux méthodes bayésiennes (ex: Bayes-LoRA, BLoB). Notamment, sur ARC-Easy avec LLaMA-2-7B, le SVE ($M=16$) a obtenu une ECE de 3,8 %, surpassant nettement les Deep Ensembles (9,9 %) et LoRA-Ensemble (9,0 %), se rapprochant de la calibration des méthodes bayésiennes tout en étant plus simple à implémenter.
• Précision : Le SVE maintient une précision prédictive comparable aux ensembles explicites et aux autres méthodes implicites. Sur CIFAR-100, il a atteint 85,6 % de précision, dépassant les Deep Ensembles (85,4 %) et les modèles uniques.
• Robustesse : Sous des changements de distribution (CIFAR-100-C) et pour la détection de hors-distribution (OOD) (CIFAR-100 $\to$ CIFAR-10), le SVE a démontré une forte robustesse, égalant ou dépassant les performances de LoRA-Ensemble et des Deep Ensembles en termes d'AUROC et d'AUPRC, malgré l'utilisation de bien moins de paramètres.
• Dépendance à l'Architecture (Backbone) : Les bénéfices du SVE augmentent avec la qualité des représentations pré-entraînées. Sur des modèles avec une initialisation aléatoire, le SVE a été moins performant ; cependant, avec des bases solides (DINOv2), il a surpassé toutes les autres méthodes, validant l'hypothèse que les bases de vecteurs singuliers significatives sont cruciales pour le succès de la méthode.
• Coût Computationnel : Le SVE réduit le surcoût de paramètres et de mémoire d'un facteur 10 par rapport à LoRA-Ensemble et d'un facteur 700 par rapport aux Deep Ensembles. Le temps d'inférence est comparable à celui de LoRA-Ensemble et nettement plus rapide que les méthodes d'échantillonnage bayésien.

5. Signification et Revendications

L'article affirme que le SVE démocratise l'estimation de l'incertitude structurée pour les contextes à ressources limitées. En exploitant la structure des sous-espaces linéaires des modèles de fondation, le SVE permet la création d'ensembles diversifiés avec un surcoût de paramètres minimal ($<1\%$).

Les auteurs positionnent le SVE comme une approche équilibrée qui :

1. Atteint une précision comparable à LoRA-Ensemble.
2. Atteint une calibration comparable aux méthodes bayésiennes complexes.
3. Opère avec l'efficacité computationnelle du réglage fin efficace en paramètres.

Ce travail suggère qu'à mesure que les modèles de fondation s'améliorent, la "base de connaissance" encodée dans leurs vecteurs singuliers devient de plus en plus précieuse. Le SVE tire parti de cela en préservant ces représentations tout en introduisant de la diversité via des ajustements légers, rendant l'estimation fiable de l'incertitude accessible pour les modèles à grande échelle où l'ensembling traditionnel est irréalisable.

Limites Reconnues :
Les auteurs notent que l'inférence nécessite toujours un passage direct par membre (similaire aux autres ensembles implicites), donc les FLOPs restent comparables aux Deep Ensembles. L'intégration avec les backbones quantifiés est non triviale en raison de la nécessité de déquantifier avant la SVD. De plus, parce que le SVE préserve la base pré-entraînée, il peut hériter des biais ou des corrélations spécieuses présents dans le backbone.