🤖 machine learning

Controllable Diversity in Normalization-Based Implicit Ensembles via Softmax-Temperature Modulation

Le papier introduit $\sigma$ N-Ens, un ensemble implicite rentable qui utilise des scalers bornés par sigmoïde et un régularisateur de température softmax pour contrôler dynamiquement la diversité des membres et le calibrage pendant l'entraînement, atteignant une performance comparable aux ensembles profonds avec nettement moins de paramètres à travers diverses architectures et jeux de données.

Auteurs originaux : Mihai Suteu, Ovidiu Serban

Publié 2026-07-28

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mihai Suteu, Ovidiu Serban

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle vraiment difficile, comme prédire la météo ou repérer un chat dans une photo floue. Dans le monde de l'intelligence artificielle, la manière la plus intelligente d'obtenir une réponse fiable est souvent de demander l'avis d'une équipe entière d'experts et de voir sur quoi ils s'entendent. C'est ce qu'on appelle un « ensemble profond » (deep ensemble). Si un expert passe une mauvaise journée ou se laisse confondre, les autres peuvent compenser, et le groupe peut vous dire : « Nous sommes assez sûrs de nous pour ceci » ou « Nous sommes totalement perdus ». Cependant, il y a un piège : embaucher une équipe entière coûte cher. Si vous voulez une équipe de dix experts, vous devez construire dix cerveaux séparés et gigantesques, ce qui consomme une quantité massive de mémoire informatique et d'énergie.

Pour économiser de l'argent, les scientifiques ont inventé les « ensembles implicites ». Au lieu de construire dix cerveaux séparés, ils construisent un seul cerveau géant et lui donnent quelques différentes « masques de personnalité ». Ces masques modifient la façon dont le cerveau pense, afin qu'il agisse comme dix experts différents à la fois. Mais il y a un problème : généralement, ces masques sont figés dans le marbre lorsque le cerveau commence son apprentissage. Vous ne pouvez pas dire aux masques d'être « plus différents » ou de « s'entendre davantage » pendant que le cerveau s'entraîne. C'est comme embaucher un groupe de musique où les instruments sont accordés une seule fois et jamais ajustés ; si la chanson nécessite une ambiance différente, le groupe ne peut pas changer. Ce document présente une nouvelle façon de régler ces masques à la volée, permettant à l'équipe d'IA de trouver l'équilibre parfait entre accord et désaccord sans avoir besoin d'ordinateurs supplémentaires.

Le Bouton Magique de Température

Les chercheurs, Mihai Suteu et Ovidiu Serban de l'Imperial College London, ont créé une nouvelle méthode ingénieuse qu'ils appellent $\sigma$ N-Ens. Imaginez leur modèle d'IA comme une immense cuisine partagée où un seul chef (le « backbone » ou noyau) coupe tous les légumes et prépare le plat principal. Dans une équipe normale, vous auriez dix chefs différents dans dix cuisines différentes. Dans cette nouvelle configuration, vous avez une seule cuisine, mais vous donnez à dix différents « sous-chefs » (les membres de l'ensemble) des lunettes spéciales et magiques.

Ces lunettes ne changent pas la nourriture ; elles changent simplement la façon dont les sous-chefs voient les ingrédients. Un sous-chef peut regarder une tomate et se dire : « Ceci est la star du spectacle ! » tandis qu'un autre regarde la même tomate et dit : « Non, le basilic est plus important ». En changeant la façon dont chaque membre se concentre sur différentes parties de la recette partagée, l'équipe peut proposer des opinions différentes, tout comme une véritable équipe d'experts.

La grande percée du papier est un nouveau « bouton de température » (appelé température softmax, ou $\tau$ ) qui contrôle à quel point les sous-chefs doivent être en désaccord.

Tourner le bouton vers le bas (Basse Température) : Le système force les sous-chefs à être très exigeants. Chacun saisit un ensemble spécifique d'ingrédients et ignore le reste. Ils deviennent très différents les uns des autres, comme une équipe où chacun se spécialise dans une seule chose.
Tourner le bouton vers le haut (Haute Température) : Le système fait en sorte que les sous-chefs partagent tout équitablement. Ils regardent tous le plat entier de la même manière, et ils sont tous d'accord.
Le Juste Milieu : Les auteurs ont découvert que vous ne voulez pas que les chefs soient totalement différents ou totalement identiques. Vous voulez un niveau de désaccord « Goldilocks » (ni trop chaud, ni trop froid). En ajustant ce seul bouton de température, ils peuvent faire glisser l'équipe le long d'une courbe qui équilibre l'exactitude (obtenir la bonne réponse) et la calibration (savoir quand on est incertain).

Pourquoi cela compte : L'astuce de la « Modulation »

Le papier explique que cette méthode crée un type spécifique d'incertitude appelé incertitude de modulation. Imaginez que la cuisine partagée est une carte très précise d'une ville. Les sous-chefs sont tous d'accord sur la carte. Si quelqu'un demande : « Où est la bibliothèque ? », ils pointent tous au même endroit. Mais si quelqu'un demande : « Où est la bibliothèque dans une ville qui n'existe pas ? », la carte est inutile.

Parce que tous les sous-chefs regardent la même carte (le backbone partagé), ils sont excellents pour dire : « Nous sommes confiants à ce sujet » ou « Nous sommes incertains à ce sujet », lorsqu'il s'agit d'une ville normale. Cependant, si vous leur posez une question sur une ville complètement imaginaire (ce que les scientifiques appellent « hors distribution » ou out-of-distribution), ils pourraient tous pointer avec assurance le mauvais endroit parce qu'ils regardent tous la même carte défectueuse. Le papier admet que, bien que cette méthode soit fantastique pour être bien calibrée sur des données normales, elle n'est pas aussi efficace pour détecter des données totalement fausses que le serait une équipe de dix chefs complètement séparés.

Les Résultats : De Grandes Victoires avec une Petite Empreinte

L'équipe a testé leur idée sur des ensembles de données d'images célèbres comme CIFAR-10/100 et ImageNet, ainsi qu'un ensemble de données textuelles nommé SST-2. Ils ont utilisé différents types de cerveaux d'IA, incluant des ResNets et des Transformers.

Voici ce qu'ils ont trouvé :

Moins cher et plus intelligent : Leur méthode a égalé ou même battu la performance de l'onéreuse méthode des « dix chefs séparés » (Deep Ensembles) tout en utilisant une fraction infime de la mémoire informatique. Par exemple, sur l'ensemble de données CIFAR-100 avec un modèle WideResNet, leur méthode a obtenu la meilleure précision et le taux d'erreur le plus bas, tout en utilisant seulement environ 24 millions de paramètres contre les 146 millions nécessaires à l'ensemble profond complet.
Mise à l'échelle (Scaling Up) : Habituellement, lorsque vous essayez d'ajouter plus de membres à une équipe dans ces configurations « implicites », l'équipe devient moins performante car il n'y a pas assez de place pour tout le monde. Mais avec ce nouveau bouton de température, l'équipe devient en fait meilleure ou reste stable à mesure que l'on ajoute des membres (jusqu'à 16), alors que d'autres méthodes s'effondrent.
Magie du Fine-Tuning : Vous pouvez prendre un modèle d'IA pré-entraîé (qui a déjà beaucoup appris) et le transformer en cette équipe intelligente en ajoutant simplement ces lunettes magiques et en effectuant un court « fine-tuning ». Vous n'avez pas besoin de repartir de zéro.

Le Compromis

Le papier est très honnête sur ses limites. Parce que tout le monde partage le même cerveau, l'équipe est très douée pour savoir quand elle est incertaine concernant des choses normales (calibration), mais elle est un peu plus faible pour détecter des choses totalement étranges ou fausses (détection hors distribution). C'est comme un groupe d'amis qui ont tous lu le même livre : ils seront tous d'accord sur l'intrigue, mais si vous les interrogez sur un rebondissement qui n'était pas dans le livre, ils pourraient tous inventer la même mauvaise réponse avec assurance.

Cependant, pour la plupart des tâches du monde réel où nous avons besoin que l'IA soit fiable et non trop confiante, cette méthode offre un moyen pratique et contrôlable d'obtenir les avantages d'une équipe immense sans le coût énorme. Elle transforme la « diversité » de l'équipe d'un paramètre fixe en un cadran que vous pouvez tourner pendant que l'IA apprend, garantissant que l'équipe reste dans la zone parfaite de désaccord.

Résumé Technique : Diversité Contrôlable dans les Ensembles Implicites Basés sur la Normalisation via la Modulation de la Température Softmax

Énoncé du Problème
Les ensembles profonds (deep ensembles) demeurent la référence en matière de quantification de l'incertitude dans l'apprentissage profond, offrant une calibration fiable et une détection des données hors distribution (OOD) en entraînant plusieurs modèles indépendants. Cependant, leurs coûts computationnels et de mémoire augmentent linéairement avec le nombre de membres de l'ensemble, ce qui devient prohibitif pour les modèles à grande échelle. Les ensembles implicites répondent à cela en partageant un squelette (backbone) unique entre les membres, en introduisant une modulation ou une partition par membre pour simuler le comportement d'un ensemble lors d'un seul entraînement.

Une limitation critique des méthodes d'ensembles implicites existantes est l'absence de contrôle sur la diversité des membres. La diversité est un déterminant primaire de la qualité d'un ensemble, pourtant les approches actuelles la fixent dès l'initialisation (par exemple, les méthodes basées sur des adaptateurs comme BatchEnsemble) ou l'intègrent de manière rigide dans l'architecture (par exemple, les méthodes de partitionnement comme Packed Ensembles). Par conséquent, il n'existe aucun mécanisme pour façonner ou naviguer dans le compromis entre précision et calibration pendant l'entraînement. De plus, les méthodes existantes nécessitent souvent des redéfinitions architecturales spécifiques, ce qui les rend difficiles à appliquer aux modèles pré-entraînés.

Méthodologie : $\sigma$ N-Ens
Les auteurs introduisent $\sigma$ N-Ens, un ensemble implicite basé sur la normalisation qui traite chaque membre comme une tâche distincte au sein d'un cadre d'apprentissage multi-tâches (MTL).

Architecture ( $\sigma$ Norm) : La méthode remplace les couches de normalisation standard (BatchNorm ou LayerNorm) d'un squelette partagé par des couches spécifiques à chaque tâche. Pour chaque membre $t$ , la normalisation est modulée par un scalaire borné par une fonction sigmoïde :
$\sigma\text{Norm}_t(x) = \sigma(\gamma_t) \odot \text{norm}_t(x)$
où $\sigma(\gamma_t) = \frac{1}{1 + e^{-\gamma_t}}$ . Ces scalaires agissent comme des importances par caractéristique. Comme seules les couches de normalisation sont répliquées, les poids du squelette (convolutifs ou transformeurs) restent entièrement partagés, permettant à la méthode d'envelopper n'importe quelle architecture standard et d'adapter des modèles pré-entraînés via un court ajustement fin (fine-tuning).
Diversité Contrôlable via la Température Softmax : Pour façonner activement la diversité pendant l'entraînement, les auteurs introduisent un régularisateur de température softmax appliqué aux vecteurs d'importance ( $\sigma(\gamma)$ ) entre les membres pour chaque caractéristique.
$\mathcal{L}_{div} = \lambda \sum_{\ell \in \mathcal{R}} \sum_{i} \sum_{m=1}^{M} \log \left[ \text{softmax}_{\tau}(\sigma(\gamma_{\cdot, \ell, i})) \right]_m$
Ici, $\tau$ agit comme un hyperparamètre de température qui définit le niveau d'équilibre du partage.
- $\tau$ faible : Pousse la distribution vers une forme "one-hot", forçant les caractéristiques à être possédées par un seul membre (diversité maximale, semblable à un partitionnement strict).
- $\tau$ élevé : Pousse la distribution vers une distribution uniforme, encourageant un partage complet des caractéristiques.
- $\tau$ intermédiaire : Crée une allocation de type " $M$ parmi $k$ douce", où les caractéristiques sont partagées entre un sous-ensemble de $k$ membres.
  Contrairement à la force de régularisation standard ( $\lambda$ ), qui détermine à quel point le réseau est poussé vers une cible, $\tau$ sélectionne quel équilibre le système adopte. Cela permet aux praticiens de tracer une frontière précision-calibration en faisant varier $\tau$ .
Incertitude de Modulation : Les auteurs recadrent l'incertitude épistémique exprimée par cet ensemble en tant qu'incertitude de modulation. Puisque le squelette est partagé et déterministe, l'incertitude provient uniquement de la repondération des caractéristiques partagées par les paramètres de modulation. Elle est structurellement distincte de l'incertitude dérivée de différents extracteurs de caractéristiques dans les ensembles profonds complets.

Principales Contributions

Diversité Contrôlable : Le papier présente le premier mécanisme de la famille des ensembles implicites capable de façonner la diversité des membres pendant l'entraînement via un hyperparamètre unique ( $\tau$ ), plutôt que de la fixer à l'initialisation ou à la construction. Cela permet de naviguer sur la frontière de Pareto précision-calibration.
Incertitude de Modulation : Les auteurs identifient et définissent l'« incertitude de modulation » comme la composante épistémique spécifique exprimée par les ensembles à squelette partagé. Ils établissent que cette incertitude maintient la calibration sous corruption d'entrée mais présente une détection OOD plus faible que les ensembles complets, car le squelette partagé ne peut pas diverger sur des entrées qu'il n'encode pas.
Indépendance de l'Architecture et Efficacité : En opérant uniquement sur les couches de normalisation, $\sigma$ N-Ens s'applique aux squelettes convolutifs et aux transformeurs sans redéfinition invasive. Il peut convertir des modèles pré-entraînés existants en ensembles calibrés via un court ajustement fin, évitant ainsi de devoir entraîner les membres à partir de zéro.

Résultats
La méthode a été évaluée sur CIFAR-10/100, ImageNet et SST-2 en utilisant des ResNets, des WideResNets et des Vision Transformers (ViT).

Performance vs Coût : $\sigma$ N-Ens égale ou surpasse les ensembles profonds en termes de précision et de Log-Vraisemblance Négative (NLL) tout en utilisant une fraction du nombre de paramètres (par exemple, sur CIFAR-100 avec WideResNet, il atteint une précision de pointe avec nettement moins de paramètres).
Scalabilité : Contrairement aux méthodes de partitionnement (comme Packed Ensembles) qui se dégradent et s'effondrent à mesure que le nombre de membres ( $M$ ) augmente en raison des contraintes de capacité, $\sigma$ N-Ens passe à l'échelle de manière fluide. À mesure que $M$ croît, le mécanisme de partage doux mutualise efficacement la capacité, permettant à la performance de s'améliorer ou de saturer plutôt que de s'effondrer.
Calibration sous Décalage : La méthode maintient une calibration robuste sous décalage de distribution (corruption d'entrée), l'Erreur de Calibration Attendue (ECE) restant presque constante malgré l'augmentation de la sévérité de la corruption.
Détection OOD : Conformément à l'analyse théorique, la détection OOD est plus faible que dans les ensembles profonds complets, particulièrement lorsqu'on utilise des squelettes pré-entraînés où la représentation des caractéristiques est fixe. Cependant, la performance de détection s'améliore lors d'un entraînement à partir de zéro, car les membres façonnent la représentation partagée sous la pression de la diversité.
Sensibilité aux Hyperparamètres : La performance finale est largement insensible à la force de régularisation $\lambda$ une fois la convergence atteinte, faisant de $\tau$ le seul hyperparamètre critique à ajuster pour les praticiens.

Signification
Le papier soutient que la diversité contrôlable transforme les ensembles implicites d'un choix architectural statique en un système dynamique et ajustable. En découplant la diversité de l'initialisation et de l'architecture, $\sigma$ N-Ens offre une alternative pratique pour entraîner des ensembles profonds complets, surtout à mesure que la taille des modèles augmente. La capacité de convertir un modèle pré-entraîné unique en un ensemble calibré via un court ajustement fin comble une lacune importante dans le déploiement de l'apprentissage profond conscient de l'incertitude dans des domaines à ressources limitées ou sensibles aux risques. Ce travail clarifie les compromis inhérents aux ensembles à squelette partagé, liant explicitement la limitation structurelle (extracteurs de caractéristiques partagés) à la faiblesse observée en détection OOD, tout en soulignant la force de la robustesse de la calibration.

Le Bouton Magique de Température

Pourquoi cela compte : L'astuce de la « Modulation »

Les Résultats : De Grandes Victoires avec une Petite Empreinte

Le Compromis

Articles similaires