🤖 machine learning

Controllable Diversity in Normalization-Based Implicit Ensembles via Softmax-Temperature Modulation

Das Papier stellt $\sigma$ N-Ens vor, ein kosteneffizientes implizites Ensemble, das sigmoid-beschränkte Skalierer und einen Softmax-Temperatur-Regularisierer verwendet, um die Diversität der Mitglieder und die Kalibrierung während des Trainings dynamisch zu steuern, wobei es über verschiedene Architekturen und Datensätze hinweg eine mit Deep Ensembles vergleichbare Leistung bei signifikant weniger Parametern erzielt.

Ursprüngliche Autoren: Mihai Suteu, Ovidiu Serban

Veröffentlicht 2026-07-28

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mihai Suteu, Ovidiu Serban

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein wirklich kniffliges Rätsel zu lösen, wie etwa das Wetter vorherzusagen oder eine Katze in einem unscharfen Foto zu entdecken. In der Welt der künstlichen Intelligenz ist der klügste Weg, um eine zuverlässige Antwort zu erhalten, oft, ein ganzes Team von Experten zu fragen und zu sehen, worauf sie sich einigen. Dies wird als „Deep Ensemble“ bezeichnet. Wenn ein Experte einen schlechten Tag hat oder verwirrt ist, können die anderen ihn ausgleichen, und die Gruppe kann Ihnen sagen: „Wir sind uns dessen ziemlich sicher“ oder „Wir sind völlig verloren“. Es gibt jedoch einen Haken: Ein ganzes Team einzustellen, ist teuer. Wenn Sie ein Team von zehn Experten wollen, müssen Sie zehn separate, riesige Gehirne bauen, was eine enorme Menge an Computerspeicher und Rechenleistung beansprucht.

Um Geld zu sparen, haben Wissenschaftler „implizite Ensembles“ erfunden. Anstatt ein ganzes Team von zehn separaten Gehirnen zu bauen, erschaffen sie ein einziges riesiges Gehirn und geben ihm ein paar verschiedene „Persönlichkeitsmasken“. Diese Masken verändern die Art und Weise, wie das Gehirn denkt, sodass es gleichzeitig wie zehn verschiedene Experten agiert. Aber es gibt ein Problem: Normalerweise sind diese Masken festgeschrieben, wenn das Gehirn mit dem Lernen beginnt. Man kann den Masken nicht sagen, sie sollen „unterschiedlicher sein“ oder „mehr übereinstimmen“, während das Gehirn trainiert wird. Es ist wie das Einstellen einer Band, bei der die Instrumente einmal gestimmt werden und nie wieder angepasst werden können; wenn das Lied eine andere Stimmung braucht, kann die Band nicht reagieren. Dieses Paper stellt eine neue Methode vor, um diese Masken während des laufenden Betriebs zu justieren, sodass das KI-Team das perfekte Gleichgewicht zwischen Übereinstimmung und Uneinigkeit findet, ohne zusätzliche Computer zu benötigen.

Der magische Temperaturregler

Die Forscher Mihai Suteu und Ovidiu Serban vom Imperial College London haben eine clevere neue Methode entwickelt, die sie $\sigma$ N-Ens nennen. Stellen Sie sich ihr KI-Modell wie eine riesige, gemeinsame Küche vor, in der ein einzelner Chefkoch (das „Backbone“) das gesamte Gemüse schneidet und das Hauptgericht kocht. In einem normalen Team hätten Sie zehn verschiedene Köche in zehn verschiedenen Küchen. In diesem neuen Setup haben Sie eine Küche, aber Sie geben zehn verschiedenen „Sous-Chefs“ (den Ensemble-Mitgliedern) spezielle, magische Brillen.

Diese Brillen verändern nicht das Essen; sie verändern nur, wie die Sous-Chefs die Zutaten sehen. Ein Sous-Chef sieht vielleicht eine Tomate und denkt: „Das ist der Star der Show!“, während ein anderer dieselbe Tomate betrachtet und sagt: „Nee, das Basilikum ist wichtiger.“ Indem man verändert, wie sehr jedes Mitglied sich auf verschiedene Teile des gemeinsamen Rezepts konzentriert, kann das Team zu unterschiedlichen Meinungen kommen, genau wie ein echtes Expertenteam.

Der große Durchbruch des Papers ist ein neuer „Temperaturregler“ (genannt Softmax-Temperatur oder $\tau$ ), der steuert, wie sehr die Sous-Chefs uneinig sein sollten.

Den Regler herunterdrehen (Niedrige Temperatur): Das System zwingt die Sous-Chefs dazu, sehr wählerisch zu sein. Jeder greift sich ein spezifisches Set an Zutaten und ignoriert den Rest. Sie werden sehr verschieden voneinander, wie ein Team, in dem jeder nur auf ein Fachgebiet spezialisiert ist.
Den Regler hochdrehen (Hohe Temperatur): Das System sorgt dafür, dass die Sous-Chefs alles gleichermaßen teilen. Sie alle betrachten das gesamte Gericht auf die gleiche Weise und sie alle stimmen überein.
Der Goldlöckchen-Bereich: Die Autoren fanden heraus, dass man nicht möchte, dass die Köche völlig verschieden oder völlig gleich sind. Man möchte ein „Goldlöckchen“-Niveau an Uneinigkeit. Durch die Anpassung dieses einzelnen Temperaturreglers können sie das Team entlang einer Kurve bewegen, die ein Gleichgewicht zwischen Genauigkeit (die richtige Antwort finden) und Kalibrierung (zu wissen, wann man unsicher ist) herstellt.

Warum das wichtig ist: Der „Modulations“-Trick

Das Paper erklärt, dass diese Methode eine spezifische Art von Unsicherheit erzeugt, die Modulationsunsicherheit genannt wird. Stellen Sie sich vor, die gemeinsame Küche ist eine sehr gute Karte einer Stadt. Die Sous-Chefs stimmen alle über die Karte überein. Wenn jemand fragt: „Wo ist die Bibliothek?“, zeigen sie alle auf denselben Punkt. Aber wenn jemand fragt: „Wo ist die Bibliothek in einer Stadt, die gar nicht existiert?“, ist die Karte nutzlos.

Da alle Sous-Chefs dieselbe Karte (das gemeinsame Backbone) nutzen, sind sie sehr gut darin zu sagen: „Wir sind uns dessen sicher“ oder „Wir sind uns unsicher“, wenn es um eine normale Stadt geht. Wenn Sie sie jedoch nach einer völlig erfundenen Stadt fragen (was Wissenschaftler als „Out-of-Distribution“ bezeichnen), könnten sie jedoch alle voller Selbstvertrauen auf den falschen Ort zeigen, weil sie alle dieselbe kaputte Karte nutzen. Das Paper räumt ein, dass diese Methode zwar fantastisch darin ist, bei normalen Daten gut kalibriert zu sein, aber nicht so gut darin ist, völlig künstliche Daten zu erkennen, wie es ein Team aus zehn völlig separaten Köchen der Fall wäre.

Die Ergebnisse: Große Siege mit kleinem Fußabdruck

Das Team testete ihre Idee an berühmten Bilddatensätzen wie CIFAR-10/100 und ImageNet sowie einem Textdatensatz namens SST-2. Sie verwendeten verschiedene Arten von KI-Gehirnen, einschließlich ResNets und Transformer.

Hier ist das, was sie herausgefunden haben:

Günstiger und smarter: Ihre Methode erreichte die Leistung der teuren „zehn separaten Köche“ (Deep Ensembles) oder übertraf diese sogar, während sie nur einen winzigen Bruchteil des Computer-Speichers beanspruchte. Beispielsweise erreichte ihre Methode beim CIFAR-100-Datensatz mit einem WideResNet-Modell die beste Genauigkeit und die niedrigste Fehlerrate, verbrauchte dabei aber nur etwa 24 Millionen Parameter im Vergleich zu den 146 Millionen, die für das volle Deep Ensemble benötigt wurden.
Skalierbarkeit: Normalerweise passiert es, dass man in diesen „impliziten“ Setups schlechter wird, wenn man versucht, mehr Mitglieder zu einem Team hinzuzufügen, weil nicht genug Platz für alle ist. Aber mit diesem neuen Temperaturregler wurde das Team tatsächlich besser oder blieb stabil, während man mehr Mitglieder hinzufügte (bis zu 16), wohingegen andere Methoden kollabierten.
Fine-Tuning Magie: Man kann ein vortrainiertes KI-Modell (eines, das bereits viel gelernt hat) nehmen und es durch das Hinzufügen dieser magischen Brillen und ein kurzes „Fine-Tuning“ in dieses smarte Team verwandeln. Man muss nicht bei Null anfangen.

Der Kompromiss

Das Paper ist sich der Grenzen sehr bewusst. Da alle dasselbe Gehirn teilen, ist das Team sehr gut darin, zu wissen, wann es bei normalen Dingen unsicher ist (Kalibrierung), aber es ist etwas schwächer darin, Dinge zu erkennen, die völlig seltsam oder künstlich sind (Out-of-Distribution Detection). Es ist wie eine Gruppe von Freunden, die alle dasselbe Buch gelesen haben: Sie werden sich alle über die Handlung einig sein, aber wenn man sie nach einem Plot-Twist fragt, der nicht im Buch stand, könnten sie alle voller Selbstvertrauen die gleiche falsche Antwort erfinden.

Für die meisten realen Aufgaben, bei denen wir brauchen, dass KI zuverlässig und nicht übermäßig selbstbewusst ist, bietet diese Methode jedoch einen praktischen, kontrollierbaren Weg, um die Vorteile eines riesigen Teams ohne die enormen Kosten zu erhalten. Sie macht die „Diversität“ des Teams von einer festen Einstellung zu einem Regler, den man während des Lernprozesses der KI drehen kann, um sicherzustellen, dass das Team in der perfekten Zone der Uneinigkeit bleibt.

Technisches Resümee: Steuerbare Diversität in Normalisierungsbasierten impliziten Ensembles via Softmax-Temperatur-Modulation

Problemstellung
Deep Ensembles bleiben der Goldstandard für die Quantifizierung von Unsicherheit im Deep Learning, da sie eine zuverlässige Kalibrierung und Out-of-Distribution (OOD)-Erkennung durch das Training mehrerer unabhängiger Modelle bieten. Die Rechen- und Speicherkosten skalieren jedoch linear mit der Anzahl der Ensemble-Mitglieder, was für groß angelegte Modelle prohibitiv ist. Implizite Ensembles adressieren dies, indem sie ein gemeinsames Backbone für alle Mitglieder nutzen und stattdessen eine pro-Mitglied-Modulation oder Partitionierung einführen, um Ensemble-Verhalten in einem einzigen Trainingslauf zu simulieren.

Eine kritische Einschränkung bestehender Methoden für implizite Ensembles ist der Mangel an Kontrolle über die Mitglieder-Diversität. Diversität ist ein primärer Bestimmungsfaktor für die Qualität eines Ensembles, doch aktuelle Ansätze fixieren diese bei der Initialisierung (z. B. Adapter-basierte Methoden wie BatchEnsemble) oder kodieren sie hart in die Architektur (z. B. Partitionierungsmethoden wie Packed Ensembles). Infolgedessen gibt es keinen Mechanismus, um den Trade-off zwischen Genauigkeit und Kalibrierung während des Trainings zu gestalten oder zu navigieren. Darüber hinaus erfordern bestehende Methoden oft maßgeschneiderte architektonische Neugestaltungen, was ihre Anwendung auf vortrainierte Modelle erschwert.

Methodik: $\sigma$ N-Ens
Die Autoren führen $\sigma$ N-Ens ein, ein normalisierungsbasiertes implizites Ensemble, das jedes Mitglied als distinkte Aufgabe innerhalb eines Multi-Task-Learning (MTL)-Frameworks behandelt.

Architektur ( $\sigma$ Norm): Die Methode ersetzt Standard-Normalisierungsschichten (BatchNorm oder LayerNorm) in einem gemeinsamen Backbone durch aufgabenspezifische Schichten. Für jedes Mitglied $t$ wird die Normalisierung durch einen sigmoid-gebundenen Skalierungsfaktor moduliert:
$\sigma\text{Norm}_t(x) = \sigma(\gamma_t) \odot \text{norm}_t(x)$
wobei $\sigma(\gamma_t) = \frac{1}{1 + e^{-\gamma_t}}$ . Diese Skalierer fungieren als pro-Feature-Wichtigkeiten. Da nur die Normalisierungsschichten repliziert werden, bleiben die Backbone-Gewichte (konvolutional oder Transformer) vollständig geteilt, was es der Methode ermöglicht, jede Standardarchitektur zu umschließen und vortrainierte Modelle durch kurzes Fine-Tuning anzupassen.
Steuerbare Diversität via Softmax-Temperatur: Um die Diversität während des Trainings aktiv zu gestalten, führen die Autoren einen Softmax-Temperatur-Regularisierer ein, der auf die Wichtigkeitsvektoren ( $\sigma(\gamma)$ ) über die Mitglieder hinweg für jedes Feature angewendet wird:
$\mathcal{L}_{div} = \lambda \sum_{\ell \in \mathcal{R}} \sum_{i} \sum_{m=1}^{M} \log \left[ \text{softmax}_{\tau}(\sigma(\gamma_{\cdot, \ell, i})) \right]_m$
Hierbei fungiert $\tau$ als Temperatur-Hyperparameter, der das Gleichgewichtsniveau des Teilens festlegt.
- Niedriges $\tau$ : Treibt die Verteilung in Richtung One-Hot, wodurch Features einem einzelnen Mitglied zugewiesen werden (maximale Diversität, ähnlich einer harten Partitionierung).
- Hohes $\tau$ : Treibt die Verteilung in Richtung Uniformität, was das vollständige Teilen von Features fördert.
- Intermediäres $\tau$ : Erzeugt eine „weiche $M$ -aus- $k$ “-Allokation, bei der Features unter einer Teilmenge von $k$ Mitgliedern geteilt werden.
  Im Gegensatz zur Standard-Regularisierungsstärke ( $\lambda$ ), die bestimmt, wie stark das Netzwerk gegen ein Ziel gedrückt wird, wählt $\tau$ , welches Gleichgewicht das System erreicht. Dies ermöglicht es Praktikern, eine Accuracy-Calibration-Frontlinie durch Sweeping von $\tau$ nachzuzeichnen.
Modulations-Unsicherheit: Die Autoren interpretieren die durch dieses Ensemble ausgedrückte epistemische Unsicherheit als Modulations-Unsicherheit um. Da das Backbone gemeinsam und deterministisch ist, entsteht die Unsicherheit ausschließlich aus der Neugewichtung der geteilten Features durch die Modulationsparameter. Dies ist strukturell verschieden von der Unsicherheit, die aus unterschiedlichen Feature-Extraktoren in vollen Deep Ensembles resultiert.

Kernbeiträge

Steuerbare Diversität: Das Paper präsentiert den ersten Mechanismus innerhalb der Familie der impliziten Ensembles, der die Mitglieder-Diversität während des Trainings über einen einzigen Hyperparameter ( $\tau$ ) gestaltet, anstatt sie bei der Initialisierung oder Konstruktion festzulegen. Dies ermöglicht die Navigation der Accuracy-Calibration-Pareto-Front.
Modulations-Unsicherheit: Die Autoren identifizieren und definieren „Modulations-Unsicherheit“ als die spezifische epistemische Komponente, die von Shared-Backbone-Ensembles ausgedrückt wird. Sie stellen fest, dass diese Unsicherheit unter Eingangs-Korruption kalibriert bleibt, jedoch eine schwächere OOD-Erkennung im Vergleich zu vollen Ensembles aufweist, da das gemeinsame Backbone auf Eingaben, die es nicht kodiert, nicht divergieren kann.
Architektur-Agnostik und Effizienz: Durch die ausschließliche Operation auf Normalisierungsschichten kann $\sigma$ N-Ens sowohl konvolutionale als auch Transformer-Backbones ohne invasive Neugestaltung anwenden. Es kann bestehende vortrainierte Modelle mit minimalem Fine-Tuning in kalibrierte Ensembles umwandeln.

Ergebnisse
Die Methode wurde auf CIFAR-10/100, ImageNet und SST-2 mit ResNets, WideResNets und Vision Transformern (ViT) evaluiert.

Performance vs. Kosten: $\sigma$ N-Ens erreicht oder übertrifft Deep Ensembles in Bezug auf Genauigkeit und Negative Log-Likelihood (NLL) bei einem Bruchteil der Parameteranzahl (z. B. erreicht es auf CIFAR-100 mit WideResNet eine State-of-the-Art-Genauigkeit mit signifikant weniger Parametern).
Skalierbarkeit: Im Gegensatz zu Partitionierungsmethoden (z. B. Packed Ensembles), die aufgrund von Kapazitätsbeschränkungen mit steigender Anzahl der Mitglieder ( $M$ ) degradieren und kollabieren, skaliert $\sigma$ N-Ens elegant. Wenn $M$ wächst, bündelt der weiche Sharing-Mechanismus die Kapazität effektiv, sodass die Performance steigt oder stagniert, statt zu kollabieren.
Kalibrierung unter Shift: Die Methode behält eine robuste Kalibrierung unter Verteilungsverschiebung (Eingangs-Korruption) bei, wobei der Expected Calibration Error (ECE) nahezu flach bleibt, wenn die Schwere der Korruption zunimmt.
OOD-Erkennung: Konsistent mit der theoretischen Analyse ist die OOD-Erkennung schwächer als bei vollen Deep Ensembles, insbesondere wenn vortrainierte Backbones verwendet werden, bei denen die Feature-Repräsentation fixiert ist. Die Detektionsleistung verbessert sich jedoch, wenn von Grund auf neu trainiert wird, da die Mitglieder die gemeinsame Repräsentation unter Diversitätsdruck formen.
Hyperparameter-Sensitivität: Die endgültige Performance ist weitgehend unempfindlich gegenüber der Regularisierungsstärke $\lambda$ , sobald die Konvergenz erreicht ist, was $\tau$ zum einzigen kritischen Hyperparameter für Praktiker macht.

Bedeutung
Das Paper argumentiert, dass steuerbare Diversität implizite Ensembles von einer statischen architektonischen Wahl in ein dynamisches, abstimmbares System verwandelt. Durch die Entkopplung von Diversität von der Initialisierung und der Architektur bietet $\sigma$ N-Ens eine praktische Alternative zum Training voller Deep Ensembles, insbesondere wenn die Modellgrößen wachsen. Die Fähigkeit, ein einzelnes vortrainiertes Modell durch ein kurzes Fine-Tuning in ein kalibriertes Ensemble umzuwandeln, schließt eine signifikante Lücke bei der Bereitstellung unsicherheitsbewusster Deep-Learning-Anwendungen in ressourcenbeschränkten oder risikosensitiven Domänen. Die Arbeit klärt die inhärenten Trade-offs von Shared-Backbone-Ensembles auf, indem sie die strukturelle Einschränkung (gemeinsame Feature-Extraktoren) explizit mit der beobachteten Schwäche in der OOD-Erkennung verknüpft und gleichzeitig die Stärke in der Kalibrierungsrobustheit hervorhebt.

Der magische Temperaturregler

Warum das wichtig ist: Der „Modulations“-Trick

Die Ergebnisse: Große Siege mit kleinem Fußabdruck

Der Kompromiss

Mehr davon