🤖 machine learning

Quantifying the Uncertainty of Foundation Models with Singular Value Ensembles

Das Papier schlägt das Singular Value Ensemble (SVE) vor, eine parametereffiziente Methode zur Quantifizierung epistemischer Unsicherheit in Foundation Models, indem lediglich Singularwerte innerhalb einer gemeinsamen Basis von Singulärvektoren trainiert werden, wodurch eine Kalibrierung erreicht wird, die mit Standard-Ensembles vergleichbar ist, bei einer Erhöhung der Parameter um weniger als 1 %.

Ursprüngliche Autoren: Mehmet Ozgur Turkoglu, Dominik J. Mühlematter, Alexander Becker, Konrad Schindler, Helge Aasen

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mehmet Ozgur Turkoglu, Dominik J. Mühlematter, Alexander Becker, Konrad Schindler, Helge Aasen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der überhebliche Experte

Stellen Sie sich vor, Sie haben einen brillanten, weltklasse Experten (ein Foundation Model), der fast jedes Buch in der Bibliothek gelesen hat. Er ist fantastisch darin, Fragen zu beantworten. Es gibt jedoch einen Haken: Dieser Experte ist gefährlich übermäßig selbstbewusst.

Wenn Sie ihm eine Frage stellen, auf die er die Antwort weiß, ist er sich zu 100 % sicher. Aber wenn Sie ihm etwas völlig Erfundenes oder außerhalb seines Trainings stellen (wie „Was ist die Hauptstadt eines Planeten, der nicht existiert?“), wird er immer noch mit 100 %iger Sicherheit antworten, obwohl er völlig falsch liegt.

In der realen Welt ist das gefährlich. Wenn die KI eines Arztes sagt: „Ich bin mir zu 100 % sicher, dass dies ein gesundes Herz ist“, es aber eigentlich krank ist, erhält der Patient möglicherweise keine Behandlung. Wir brauchen eine Möglichkeit zu wissen, wann der Experte etwas nicht weiß.

Die alte Lösung: Das Komitee (Ensembles)

Der Standardweg, um dies zu beheben, besteht darin, statt nur eines einzelnen Experten ein Komitee von Experten einzustellen.

Wie es funktioniert: Sie trainieren 5 oder 10 verschiedene Experten von Grund auf neu. Wenn sie sich alle einig sind, vertrauen Sie der Antwort. Wenn sie uneinig sind, wissen Sie, dass die Antwort unsicher ist.
Das Problem: Das ist unglaublich teuer. Einen riesigen Experten zu trainieren, kostet viel Geld und Strom. 10 von ihnen zu trainieren, kostet 10-mal so viel Geld. Für die größten, leistungsstärksten KI-Modelle ist das Einstellen eines Komitees für normale Menschen oder kleine Unternehmen oft unmöglich.

Die neue Idee: Das „Singular Value Ensemble“ (SVE)

Die Autoren schlagen einen cleveren Trick namens Singular Value Ensemble (SVE) vor. Anstatt 10 verschiedene Experten einzustellen, nehmen sie einen Experten und erschaffen mithilfe einer mathematischen Abkürung 10 leicht unterschiedliche „Persönlichkeiten“ für ihn.

So funktioniert es, unterteilt in drei Schritte:

1. Die Bibliothek des Wissens (Singuläre Vektoren)

Stellen Sie sich vor, das Gehirn des Experten ist eine riesige Bibliothek. Im Inneren sind die Bücher (das Wissen) in Regalen organisiert.

Die Singulären Vektoren sind die Regale. Sie repräsentieren die grundlegenden, bedeutungsvollen Richtungen des Wissens, die der Experte während des Vortrainings gelernt hat (z. B. „wie man über Katzen spricht“, „wie man Mathe macht“).
Die Singulären Werte sind die Lautstärkeregler auf diesen Regalen. Sie entscheiden, wie laut oder wichtig jedes spezifische Stück Wissen ist.

Das Papier argumentt, dass die Regale (Vektoren) perfekt sind und nicht verändert werden sollten. Sie enthalten die Kernweisheit. Aber die Lautstärkeregler (Werte) können angepasst werden, um die Art und Weise zu verändern, wie der Experte denkt.

2. Der „Lautstärkeregler“-Trick

Anstatt 10 neue Experten zu trainieren, nimmt SVE einen Experten und erstellt 10 Kopien mit leicht unterschiedlichen „Persönlichkeiten“.

Die Regel: Alle 10 Kopien teilen sich exakt dieselben Regale (das eingefrorene Wissen).
Der Clou: Jede Kopie darf ihre eigenen Lautstärkeregler ein wenig anders hoch oder runter drehen.
- Kopie A dreht das „Mathe“-Wissen vielleicht lauter und das „Poesie“-Wissen leiser.
- Kopie B macht vielleicht das Gegenteil.

Da sie die Lautstärke desselben Wissens auf unterschiedliche Weise anpassen, beginnen sie, leicht unterschiedliche Antworten auf dieselbe Frage zu geben. Diese Uneinigkeit sagt uns: „Hey, wir sind uns hier nicht sicher!“

3. Warum es ein Wunder der Effizienz ist

Dies ist der magische Teil.

Der alte Weg (Komitee): Um 10 Experten zu bekommen, benötigen Sie die 10-fache Gehirnleistung und den 10-fachen Speicherplatz.
Der SVE-Weg: Sie benötigen nur ein Gehirn. Sie fügen einfach eine winzige Liste von Zahlen (die Lautstärkeregler) für jede Kopie hinzu.
Das Ergebnis: Das Papier zeigt, dass diese Methode weniger als 1 % des Computer-Speicherbedarfs beansprucht. Es ist, als würde man ein Komitee aus 10 Experten einstellen, aber man zahlt nur das Gehalt für einen, plus ein kleines Trinkgeld für den Rest.

Was das Papier herausgefunden hat

Die Autoren testeten dies bei vielen Aufgaben, vom Erkennen von Blumen und Haustieren bis hin zum Beantworten komplexer logischer Fragen.

Es funktioniert: Die „Lautstärkeregler“-Methode war genauso gut darin, Unsicherheit zu erkennen, wie das Einstellen eines vollen Komitees von 10 Experten.
Es ist genau: Die Experten waren nicht nur verwirrt; sie wurden tatsächlich besser darin, Fragen korrekt zu beantworten, im Vergleich zur Nutzung eines einzelnen Experten.
Es skaliert: Es funktionierte bei kleinen Modellen und massiven Modellen (wie dem 7-Milliarden-Parameter-Modell LLaMA-2).
Es ist schnell: Da es nicht erforderlich ist, 10 separate riesige Gehirne zu trainieren, spart es eine enorme Menge an Zeit und Energie.

Das Fazrazit

Das Papier führt eine Methode ein, um mächtige KI-Modelle „bescheiden“ zu machen. Anstatt sie übermäßig selbstbewusst zu machen, ermöglicht diese Methode ihnen zu sagen: „Ich bin mir nicht sicher“, wenn sie auf etwas Neues stoßen. Dies geschieht durch die Erstellung eines „Komitees“ aus einem Experten mit unterschiedlichen Lautstärkeeinstellungen, was enorme Mengen an Geld und Rechenleistung spart und gleichzeitig die KI sicher und zuverlässig macht.

Technisches Resümee: Quantifizierung der Unsicherheit von Foundation-Modellen mit Singularwert-Ensembles

1. Problemstellung

Foundation-Modelle haben durch groß angelegtes Pretraining eine bemerkenswerte Leistung bei vielfältigen Aufgaben erzielt, doch sie erzeugen häufig überkonfidente und unkalibrierte Vorhersagen. In hochsensiblen Bereichen wie der medizinischen Diagnose, dem autonomen Fahren und der landwirtschaftlichen Entscheidungsunterstützung ist die Fähigkeit eines Modells, seine eigene Unwissenheit (epistemische Unsicherheit) zu erkennen, ebenso kritisch wie seine Vorhersagegenauigkeit. Überkonfidente Fehldiagnosen oder falsche Risikobewertungen können schwerwiegende Folgen haben.

Der Standardansatz zur Quantifizierung epistemischer Unsicherheit besteht darin, ein Ensemble aus mehreren, unabhängig initialisierten Modellen zu trainieren (Deep Ensembles). Obwohl diese Methode effektiv ist, leidet sie unter einer fundamentalen Einschränkung: Die Rechen- und Speicherkosten skalieren linear mit der Anzahl der Ensemble-Mitglieder ( $M$ ). Für Foundation-Modelle mit Milliarden von Parametern wird selbst ein bescheidenes Ensemble (z. B. $M=4$ ) rechentechnisch prohibitiv, was eine fundierte Unsicherheitsschätzung für Praktiker mit begrenzten Ressourcen oder solchen, die auf parametereffizientes Fine-Tuning (PEFT) angewiesen sind, unzugänglich macht.

Existierende Methoden des impliziten Ensembling (z. B. MC-Dropout, BatchEnsemble, LoRA-Ensemble) versuchen, den Overhead zu reduzieren, kämpfen jedoch oft damit, die Kalibrierungsleistung expliziter Ensembles zu erreichen, oder erfordern dennoch das Erlernen signifikanter neuer Parameter für jedes Mitglied.

2. Methodik: Singularwert-Ensemble (SVE)

Die Autoren schlagen das Singular Value Ensemble (SVE) vor, eine parametereffiziente Methode des impliziten Ensembling, die auf der Erkenntnis basiert, dass das Wissen in Foundation-Modellen entlang linearer Unterräume organisiert ist, die durch die Singulärvektoren der Gewichtmatrizen definiert sind.

Kernannahme

Die Methode stützt sich auf die Hypothese, dass die Singulärvektoren ( $U$ und $V$ ) der vortrainierten Gewichtmatrizen mit bedeutsamen, orthogonalen „Wissensrichtungen“ im Repräsentationsraum korrespondieren. Die Singulärwerte ( $\Sigma$ ) kodieren die relative Wichtigkeit oder Stärke dieser Richtungen. Daher kann ein Ensemble konstruiert werden, indem man die gemeinsame Wissensbasis (Singulärvektoren) bewahrt und gleichzeitig den Beitrag jeder Richtung über mitgliedspezifische Singulärwerte moduliert.

Technische Implementierung

SVD-Zerlegung: Für jede Ziel-Gewichtsmatrix $W \in \mathbb{R}^{m \times n}$ in einem vortrainierten Modell wird die Singulärwertzerlegung (Singular Value Decomposition) berechnet: $W = U\Sigma V^\top$ .
Parameter-Einfrieren: Die Singulärvektoren $U$ und $V$ werden eingefroren, um die vortrainierte Wissensbasis zu bewahren.
Mitgliedspezifisches Lernen: Anstatt neue Gewichtmatrizen zu lernen, trainiert die Methode $M$ Kopien der Singulärwerte, bezeichnet als $\{\Sigma^{(m)}\}_{m=1}^M$ , jeweils eines für jedes Ensemble-Mitglied. Zusätzlich wird ein pro-Mitglied Bias-Vektor $b^{(m)}$ trainiert.
Rekonstruktion: Während der Inferenz wird die Gewichtmatrix für das Mitglied $m$ als $W^{(m)} = U\Sigma^{(m)}V^\top$ rekonstruiert.
Diversität und Initialisierung: Um Diversität zwischen den Mitgliedern zu gewährleisten, ohne die vortrainierte Struktur zu zerstören, werden die Singulärwerte mit multiplikativen Perturbationen initialisiert: $\Sigma^{(m)} = \Sigma \odot (1 + \epsilon^{(m)})$ , wobei $\epsilon^{(m)} \sim \mathcal{N}(0, \sigma_{init}^2 I)$ . Stochastisches Mini-Batch-Sampling während des gemeinsamen Trainings treibt die Mitglieder zusätzlich dazu, zu unterschiedlichen Kombinationen der geteilten Unterräume zu konvergieren.

Parametereffizienz

Für einen Transformer mit der Hidden-Dimension $d$ fügt SVE pro Schicht und Mitglied nur $6d$ Singulärwerte und $9d$ Bias-Einträge hinzu (für Attention- und MLP-Projektionen). Der gesamte Parameter-Overhead im Verhältnis zum Basismodell beträgt etwa:
$\text{Overhead} \approx \frac{5(M-1)}{4d}$
Für $d=768$ und $M=8$ ergibt dies einen Overhead von $<1\%$ . Für größere Modelle wie LLaMA-2-7B ( $d=4096$ ) sinkt der Overhead auf $\approx 0,2\%$ . Dies ist signifikant effizienter als LoRA-Ensemble (das Rank- $r$ Matrizen hinzufügt) und um Größenordnungen effizienter als Deep Ensembles.

3. Wichtigste Beiträge

Einführung von SVE: Eine neuartige, parametereffiziente Methode des impliziten Ensembling, die diverse Ensemble-Mitglieder erzeugt, indem sie mitgliedspezifische Singulärwerte lernt, während sie die vortrainierten Singulärvektoren teilt.
Neuer Baseline für Unsicherheit: Etabliert SVE als starke Baseline für die Quantifizierung von Unsicherheit, die eine erstklassige Kalibrierung bei gleichzeitiger Beibehaltung der Vorhersagegenauigkeit erreicht.
Umfassende Validierung: Validiert über NLP- und Vision-Aufgaben mit Backbones, die von 22M bis 7B Parametern reichen (BERT, LLaMA-2-7B, DINOv1/v2). Die Ergebnisse demonstrieren die Generalisierbarkeit über Modellgrößen und Aufgabentypen hinweg.

4. Experimentelle Ergebnisse

Die Autoren evaluierten SVE auf NLP-Aufgaben (ARC-Easy, SST-2) und Vision-Aufgaben (Flowers102, CIFAR-100, DTD, Oxford Pets, OOD-Detektion und CIFAR-100-C Korruptionen).

Kalibrierung: SVE erreicht konsistent eine überlegene oder konkurrenzfähige Expected Calibration Error (ECE) im Vergleich zu Deep Ensembles, LoRA-Ensemble und bayesianischen Methoden (z. B. Bayes-LoRA, BLoB). Bemerkenswert ist, dass SVE auf ARC-Easy mit LLaMA-2-7B eine ECE von 3,8 % erreichte, was die Leistung von Deep Ensembles (9,9 %) und LoRA-Ensemble (9,0 %) deutlich übertraf und sich der Kalibrierung bayesianischer Methoden annäherte, bei gleichzeitig einfacherer Implementierung.
Genauigkeit: SVE behält eine Vorhersagegenauigkeit bei, die mit expliziten Ensembles und anderen impliziten Methoden vergleichbar ist. Auf CIFAR-100 erreichte es eine Genauigkeit von 85,6 % und übertraf damit Deep Ensembles (85,4 %) und Einzelmodelle.
Robustheit: Unter Verteilungsverschiebungen (CIFAR-100-C) und bei der Out-of-Distribution (OOD) Detektion (CIFAR-100 $\to$ CIFAR-10) zeigte SVE eine starke Robustheit und erreichte in Bezug auf AUROC und AUPRC Leistungen, die denen von LoRA-Ensemble und Deep Ensembles entsprechen oder diese sogar übertreffen, trotz der Verwendung wesentlich weniger Parameter.
Abhängigkeit vom Backbone: Die Vorteile von SVE skalieren mit der Qualität der vortrainierten Repräsentationen. Bei Modellen mit zufälliger Initialisierung schnitt SVE schlechter ab; mit starken Backbones (DINOv2) übertraf es jedoch alle Baselines, was die Hypothese validiert, dass aussagekräftige Singulärvektor-Basen entscheidend für den Erfolg der Methode sind.
Rechenkosten: SVE reduziert den Parameter- und Speicher-Overhead um den Faktor 10 gegenüber LoRA-Ensemble und um den Faktor 700 gegenüber Deep Ensembles. Die Inferenzzeit ist vergleichbar mit LoRA-Ensemble und signifikant schneller als bayesianische Sampling-Methoden.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass SVE die fundierte Unsicherheitsschätzung für ressourcenbeschränkte Szenarien demokratisiert. Durch die Nutzung der linearen Unterraumstruktur von Foundation-Modellen ermöglicht SVE die Erstellung diverser Ensembles mit minimalem Parameter-Overhead ( $<1\%$ ).

Die Autoren positionieren SVE als einen ausgewogenen Ansatz, der:

Eine Genauigkeit vergleichbar mit LoRA-Ensemble erreicht.
Eine Kalibrierung vergleichbar mit komplexen bayesianischen Methoden erreicht.
Die Recheneffizienz von parametereffizientem Fine-Tuning nutzt.

Die Arbeit legt nahe, dass mit der Verbesserung von Foundation-Modellen die „Wissensbasis“, die in deren Singulärvektoren kodiert ist, zunehmend wertvoller wird. SVE nutzt dies aus, indem es diese Repräsentationen bewahrt und gleichzeitig Diversität durch leichtgewichtige Anpassungen einführt, wodurch eine zuverlässige Unsicherheitsschätzung für große Modelle zugänglich wird, bei denen traditionelles Ensembling unpraktikabel ist.

Anerkannte Einschränkungen:
Die Autoren merken an, dass die Inferenz weiterhin einen Forward-Pass pro Mitglied erfordert (ähnlich wie andere implizite Ensembles), sodass die FLOPs vergleichbar mit Deep Ensembles bleiben. Die Integration mit quantisierten Backbones ist aufgrund der Notwendigkeit der Dequantisierung vor der SVD nicht trivial. Da SVE zudem die vortrainierte Basis beibehält, kann es auch Biases oder Scheinkorrelationen übernehmen, die im Backbone vorhanden sind.