🤖 machine learning

Diffusion-Inspired Reconfiguration of Transformers for Uncertainty Calibration

Dieser Artikel schlägt eine von Diffusionsprozessen inspirierte Neukonfiguration vortrainierter Transformer vor, die Feature-Transformationen als probabilistische Abbildungen modelliert, um eine fundierte Unsicherheitspropagation durch die gesamte Architektur zu ermöglichen und im Vergleich zu bestehenden Methoden eine überlegene Kalibrierung sowie Vorhersagegenauigkeit auf Vision- und Sprachbenchmarks zu erzielen.

Ursprüngliche Autoren: Manh Cuong Dao, Quang Hung Pham, Phi Le Nguyen, Thao Nguyen Truong, Bryan Kian Hsiang Low, Trong Nghia Hoang

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Manh Cuong Dao, Quang Hung Pham, Phi Le Nguyen, Thao Nguyen Truong, Bryan Kian Hsiang Low, Trong Nghia Hoang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der übermütige Experte

Stellen Sie sich einen brillanten, hochtrainierten Experten (ein Transformer-Modell) vor, der Katzen auf Fotos identifizieren oder Sätze verstehen kann. Dieser Experte ist sehr schnell und meist richtig. Doch es gibt einen Haken: Dieser Experte ist schlecht darin zu wissen, wann er falsch liegt.

Wenn Sie dem Experten ein Bild eines Hundes zeigen, sagt er vielleicht: „Das ist definitiv eine Katze", mit 99-prozentiger Sicherheit. In der realen Welt ist das gefährlich. Wenn dieser Experte ein Auto fährt oder einen Patienten diagnostiziert, muss er wissen, wann er sagen sollte: „Ich bin mir nicht sicher", damit ein Mensch eingreifen kann. Diese Fähigkeit, das Vertrauen mit der tatsächlichen Genauigkeit in Einklang zu bringen, nennt man Unsicherheitskalibrierung.

Derzeit sind die meisten großen KI-Modelle wie übermütige Schüler, die wild raten, aber denken, sie seien Genies. Ihnen fehlt ein eingebautes „Bauchgefühl", das ihnen sagt, wann ihre Antwort wackelig sein könnte.

Der alte Weg: Versuch, es Stück für Stück zu reparieren

Frühere Versuche, dies zu beheben, behandelten jeden einzelnen Schritt des Denkprozesses des Experten als separates, unsicheres Ereignis.

Die Analogie: Stellen Sie sich das Gehirn des Experten als eine Fließbandfabrik mit 10 Stationen vor. Um „Unsicherheit" hinzuzufügen, versuchten frühere Methoden, unter jede Station einzeln einen „wackeligen Tisch" zu stellen.
Das Problem: Da die Stationen als getrennt behandelt wurden, floss das „Wackeln" nicht korrekt von einer Station zur nächsten. Der Experte verlor den Überblick darüber, wie die früheren Schritte die späteren beeinflussten. Dies machte den Experten oft weniger genau, nur um ihn ehrlicher bezüglich seiner Unsicherheit zu machen. Es war ein schlechter Tausch.

Die neue Lösung: DIRECTOR (Die „Fluss"-Methode)

Die Autoren schlagen eine neue Methode namens DIRECTOR vor. Anstatt das Gehirn des Experten als eine Reihe von unverbundenen, wackeligen Stationen zu behandeln, haben sie den gesamten Prozess als glatten, kontinuierlichen Weg neu gedacht, ähnlich einem Diffusionsprozess (derselbe Mathematik, der zur Generierung von KI-Kunst verwendet wird).

So funktioniert es, Schritt für Schritt:

1. Die „Rückwärts-Film"-Analogie

Denken Sie an den Entscheidungsfindungsprozess der KI wie an einen Film, der rückwärts läuft.

Vorwärts: Sie beginnen mit einem verschwommenen, verrauschten Bild (der Eingabe), und die KI reinigt es langsam, um die Antwort zu finden.
Rückwärts (Die Sicht der KI): Die KI beginnt mit einer klaren Antwort und fügt langsam „Rauschen" hinzu, um zu sehen, wie die Daten anders ausgesehen haben könnten.

Die Autoren erkannten, dass die internen Schritte der KI (Transformer-Blöcke) natürlich wie dieser „Rückwärts-Film" aussehen. Sie beschlossen, die KI so zu rekonfigurieren, dass jeder einzelne Schritt explizit anerkennt, dass es einen Bereich von Möglichkeiten (Unsicherheit) gibt und nicht nur eine einzige Antwort.

2. Der „Vereinheitlichte Dirigent"

Anstatt einen separaten „wackeligen Tisch" für jede Station zu haben, bauten die Autoren einen einzelnen, vereinheitlichten Dirigenten (ein Diffusionsmodell), der die gesamte Fließbandproduktion überwacht.

Dieser Dirigent lernt die Korrelationen zwischen den Stationen. Er versteht, dass wenn Station 1 wackelig ist, Station 2 wahrscheinlich auf eine bestimmte Weise wackelig ist.
Durch das Erlernen dieser Verbindungen kann die KI Unsicherheit nun korrekt vom Anfang bis zum Ende weitergeben, ohne die logische Kette zu unterbrechen.

3. Das Ergebnis: Ehrlich und schlau

Da die KI nun versteht, wie ihre eigenen Schritte miteinander verbunden sind:

Sie bleibt genau: Sie verliert nicht ihre Fähigkeit, die richtige Antwort zu finden (im Gegensatz zu den alten Methoden).
Sie wird ehrlich: Wenn sie unsicher ist, senkt sie ihren Vertrauenswert. Wenn sie sicher ist, behält er ihn hoch.
Sie ist effizient: Der neue „Dirigent" ist tatsächlich kleiner und leichter als das ursprüngliche KI-Gehirn, was bedeutet, dass er weniger Computerspeicher benötigt.

Was das Papier tatsächlich herausfand

Die Autoren testeten dies an zwei Haupttypen von Aufgaben: Vision (Identifizieren von Objekten in Bildern wie CIFAR-10) und Sprache (Verstehen von Sätzen wie CoLA und IMDB).

Bessere Kalibrierung: Die neue Methode (DIRECTOR) war viel besser darin, ihr Vertrauen mit ihrer tatsächlichen Genauigkeit abzugleichen, verglichen mit früheren Methoden.
Bessere Genauigkeit: Überraschenderweise wurde das Modell durch die Behebung der Unsicherheit auch besser darin, die richtigen Antworten zu finden, nicht nur schlechter.
Robustheit: Wenn die Daten chaotisch oder beschädigt waren (wie ein Foto mit statischem Rauschen), blieb DIRECTOR zuverlässig, während andere Modelle Schwierigkeiten hatten.
Effizienz: Die neue Methode verwendete weniger Computerparameter (Speicher) als die ursprünglichen Modelle, auf denen sie aufgebaut war.

Zusammenfassung

Das Papier stellt eine Möglichkeit vor, eine Standard-KI, die übermütig ist, umzustrukturieren, sodass sie ihre eigene Unsicherheit „spüren" kann. Dies wurde erreicht, indem der Denkprozess der KI als ein glatter, verbundener Fluss (wie ein Diffusionsprozess) betrachtet wurde und nicht als eine Reihe von gebrochenen, unabhängigen Schritten. Das Ergebnis ist eine KI, die nicht nur schlauer ist, sondern auch weiß, wann sie sagen sollte: „Ich bin mir nicht sicher", was sie für den Einsatz in der realen Welt sicherer und zuverlässiger macht.

Technisches Fazit: Diffusionsinspirierte Rekonfiguration von Transformern zur Unsicherheitskalibrierung

Problemstellung
Vortrainierte Transformer sind zum Rückgrat großskaliger Basismodelle in den Bereichen Vision, Sprache und Sprache geworden. Diese Modelle verfügen jedoch typischerweise nicht über einen prinzipiellen Mechanismus zur Unsicherheitspropagation durch ihre Stapel von Merkmalsumwandlungen. Folglich weisen sie häufig eine hohe Konfidenz bei falschen Vorhersagen auf, was Sicherheitsrisiken in hochriskanten Anwendungen birgt. Zwar existieren Techniken zur Unsicherheitskalibrierung (UC) für kleinere Netzwerke, doch verlassen sie sich oft auf die Approximation von Modellposteriors mittels variationeller Inferenz oder Posterior-Sampling, was für großskalige Modelle rechnerisch prohibitiv und ungenau wird.

Bestehende Ansätze, die versuchen, Aufmerksamkeitsblöcke als Gaußsche Prozesse (GPs) zu reparametrisieren, stoßen auf eine kritische Einschränkung: Sie behandeln Blöcke unabhängig voneinander. Dies berücksichtigt nicht die Korrelationen zwischen Merkmalsumwandlungen, die während des Vortrainings etabliert wurden. Infolgedessen erzwingen diese Methoden oft einen Kompromiss, bei dem eine verbesserte Unsicherheitskalibrierung zu Lasten einer signifikant verschlechterten Vorhersageleistung geht. Darüber hinaus unterbricht das Verflechten probabilistischer Aufmerksamkeitsblöcke mit punktschätzenden Komponenten (wie MLPs und Layer Normalization) den Fluss der Unsicherheitspropagation und verhindert die Etablierung eines wohldefinierten stochastischen Pfades.

Methodik
Die Autoren schlagen DIRECTOR (Diffusion-Inspired REConfiguration of TransfORmers) vor, ein Framework, das vortrainierte Transformer in einen einheitlichen Diffusionsprozess rekonfiguriert, um eine prinzipielle Unsicherheitspropagation zu ermöglichen.

Strukturelle Rekonfiguration als Wahrscheinlichkeitspfad:
Die Methode beginnt mit einer Neuverteilung der Transformer-Architektur, sodass jeder Umwandlungsblock mit einem Multi-Head Self-Attention (MHSA)-Modul endet. Unter Ausnutzung der etablierten Verbindung zwischen MHSA und Gaußschen Prozessen wird der Output jedes MHSA-Blocks als Gaußsche Verteilung über intermediäre Merkmale interpretiert.
Entscheidend ist, dass die deterministischen Segmente (MLP und Layer Normalization), die typischerweise den Unsicherheitsfluss unterbrechen, nicht als beobachtete Funktionen unbekannter Prioris, sondern als zusätzliche Parametrisierungen des durch den GP-reparametrisierten MHSA induzierten neuronalisierten Gaußschen Übergangs neu interpretiert werden. Diese Umstrukturierung stellt sicher, dass die gesamte Sequenz der Merkmalsumwandlungen einen kohärenten stochastischen Prozess $\{X_t\}_{t=0}^T$ mit Gaußschen Übergängen bildet, wodurch die Architektur des Transformers effektiv mit einem Diffusionsprozess in Rückwärtszeit in Einklang gebracht wird.
Destillation in ein einheitliches Diffusionsmodell:
Anstatt den Übergang jedes Blocks unabhängig zu behandeln, destilliert DIRECTOR die beobachtete Sequenz von Merkmalsumwandlungen in einen einheitlichen spatiotemporalen Übergangskernel. Dies wird erreicht, indem ein diffusionsbasiertes Modell (implementiert als ein-Block-DiT) trainiert wird, um den Rückwärtsprozess zu lernen, der die finale Merkmalverteilung zurück auf die Eingangsdatendistribution abbildet.
Das Trainingsziel kombiniert zwei Komponenten:
- Unsicherheitsbewusster Verlust ( $L_1$ ): Ein Kullback-Leibler (KL)-Divergenz-Term, der den gelernten Übergangskernel mit den beobachteten Übergängen aus dem eingefrorenen vortrainierten Backbone abgleicht. Dies stellt sicher, dass das Modell die inhärenten Korrelationen über Aufmerksamkeitsblöcke hinweg erfasst.
- Leistungsbewusster Verlust ( $L_2$ ): Ein Standard-Vorhersageverlust (z. B. Kreuzentropie), der auf Proben angewendet wird, die aus dem gelernten Diffusionsprozess gezogen werden. Dies stellt sicher, dass das rekonfigurierte Modell die Vorhersagegenauigkeit beibehält oder verbessert.

Hauptbeiträge

Probabilistische Rekonfiguration: Die Arbeit führt eine neuartige strukturelle Rekonfiguration ein, die einen vortrainierten Transformer in eine Sequenz neuronalisierter Gaußscher Übergänge transformiert und das Modell zu einem Diffusionsprozess verallgemeinert, der durch einen einheitlichen Übergangskernel parametrisiert ist.
Einheitliche Unsicherheitspropagation: Durch die Destillation des Merkmalspfads des Transformers in ein einzelnes Diffusionsmodell erfasst die Methode die über Blöcke hinweg etablierten Korrelationen während des Vortrainings und ermöglicht eine prinzipielle Unsicherheitspropagation ohne die Unlösbarkeit der Berechnung vollständiger Modellposteriors.
Effiziente Nachträgliche Kalibrierung: Der Ansatz fungiert als nachträgliche Einbettung probabilistischen Denkens. Das einheitliche Übergangsmodell ist signifikant kleiner als der ursprüngliche Backbone (z. B. 2,7 Mio. Parameter vs. 6,24 Mio. für ViT), bietet eine verbesserte Speichereffizienz und bewahrt gleichzeitig die Vorhersagefähigkeiten des ursprünglichen Modells.

Experimentelle Ergebnisse
Die Autoren bewerteten DIRECTOR an Vision-Benchmarks (CIFAR-10, CIFAR-100, CIFAR-10-C) und Sprach-Benchmarks (IMDB, CoLA, CoLA-OOD).

Kalibrierung und Genauigkeit: DIRECTOR übertrifft konsistent bestehende unsicherheitsbewusste Transformer (einschließlich KEP-SVGP-Varianten) und Standard-Baselines (Temperature Scaling, Monte Carlo Dropout, Deep Ensembles). Auf CIFAR-10 erreichte DIRECTOR eine höhere Genauigkeit (84,74 % vs. 82,68 % für KEP-7/7) und einen niedrigeren Expected Calibration Error (5,18 % vs. 6,95 %). Ähnliche Verbesserungen wurden über alle Datensätze hinweg beobachtet, was zeigt, dass die Methode den typischen Kompromiss zwischen Kalibrierung und Leistung auflöst.
Robustheit: Unter Verteilungsverschiebungen (CIFAR-10-C und CoLA-OOD) behielt DIRECTOR eine wettbewerbsfähige Vorhersagegenauigkeit bei und verbesserte gleichzeitig die Kalibrierungsmetriken im Vergleich zu vortrainierten Modellen signifikant.
OOD-Erkennung: Die Methode zeigte überlegene Leistung bei Aufgaben zur Erkennung von Out-of-Distribution-Daten und erreichte höhere AUROC- und AUPR-Werte.
Skalierbarkeit: Experimente an größeren Modellen (ViT-B-16 und Qwen-2.5) bestätigten, dass DIRECTOR effektiv skaliert und zuverlässige Kalibrierung mit weniger Parametern als die ursprünglichen Modelle liefert.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass DIRECTOR ein skalierbares und prinzipielles Paradigma für die Unsicherheitskalibrierung in großen vortrainierten Modellen bietet. Durch die Neuinterpretation des Stapels der Merkmalsumwandlungen des Transformers als Diffusionsprozess integriert die Methode ausdrucksstarke unsicherheitsbewusste Strukturen direkt in die interne Architektur des Modells. Die Autoren betonen, dass dieser Ansatz einen zuverlässigen Einsatz in risikobehafteten Anwendungen ermöglicht, indem sichergestellt wird, dass Konfidenzwerte die empirische Genauigkeit getreu widerspiegeln, und dies gleichzeitig die Vorhersageleistung beibehält oder verbessert und die Speichereffizienz steigert. Die Arbeit eröffnet eine neue Richtung zur Verbesserung der Zuverlässigkeit von Basismodellen, ohne ihre Kernfähigkeiten zu beeinträchtigen.