🤖 machine learning

Bayesian Fine-tuning in Projected Subspaces

Dieser Artikel schlägt ein neuartiges Framework für eine parameter-effiziente bayessche Feinabstimmung vor, das eine effektive Unsicherheitsquantifizierung und eine verbesserte Modellkalibrierung erreicht, indem Unsicherheit im Gewichtsraum auf sehr niedrigdimensionale Unterräume projiziert wird, wodurch die hohen Parameterkosten und die Trainingsinstabilität bestehender bayesscher LoRA-Methoden überwunden werden.

Ursprüngliche Autoren: Viktar Dubovik, Patryk Marszałek, Jacek Tabor, Tomasz Kuśmierczyk

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Viktar Dubovik, Patryk Marszałek, Jacek Tabor, Tomasz Kuśmierczyk

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „übermütige" KI

Stellen Sie sich vor, Sie haben eine riesige, unglaublich kluge Enzyklopädie (ein Large Language Model), die fast alles weiß. Sie ist großartig, aber auch riesig und teuer zu aktualisieren.

Um ihr neue Dinge beizubringen, verwenden wir normalerweise eine Methode namens LoRA (Low-Rank Adaptation). Denken Sie an LoRA wie das Hinzufügen einer kleinen Schicht aus Haftnotizen zur Enzyklopädie. Anstatt das ganze Buch neu zu schreiben, schreiben Sie einfach ein paar neue Notizen auf die Seiten. Das ist günstig und schnell.

Allerdings gibt es einen Haken: Standard-LoRA ist wie ein Schüler, der die Notizen perfekt auswendig gelernt hat, aber keine Ahnung hat, wann sie falsch sein könnten. Er wird übermütig. Wenn Sie ihn eine Frage stellen, die er nicht kennt, wird er mit 100-prozentiger Sicherheit raten, selbst wenn er falsch liegt. In der realen Welt brauchen wir KI, die weiß, wann sie unsicher ist (Unsicherheitsquantifizierung).

Um dies zu beheben, versuchten Wissenschaftler Bayesian LoRA. Das ist wie dem Schüler einen „Vertrauensmesser" zu geben, damit er sagen kann: „Ich bin zu 80 % sicher." Aber es gibt ein neues Problem: Um diesen Vertrauensmesser zu bauen, muss der Schüler einen massiven Rucksack voller zusätzlicher Daten mit sich herumtragen. Das macht die Methode wieder langsam und teuer und vereitelt den Zweck der günstigen „Haftnotizen".

Die Lösung: Die Strategie des „kleinen Raums"

Die Autoren dieses Papiers schlagen einen klugen Trick vor. Sie fragen: Brauchen wir wirklich den ganzen Rucksack, um das Vertrauen zu messen? Oder können wir es in einem winzigen, organisierten Raum tun?

Sie stellen ein neues Framework vor, bei dem sie nicht nur Notizen zum ganzen Buch hinzufügen. Stattdessen:

Projektion des Problems: Sie nehmen die massive, komplexe Aufgabe, die KI zu aktualisieren, und verkleinern sie auf einen sehr kleinen, niedrigdimensionalen „Raum" (einen Unterraum).
Einfrieren der Wände: Sie verwenden die Struktur der ursprünglichen Enzyklopädie, um die Wände dieses Raums zu bauen. Diese Wände sind fest und bewegen sich nicht.
Einrichten des Raums: Sie lernen nur, wie man die Möbel (die Kernparameter) in diesem winzigen Raum anordnet.

Die Analogie:
Stellen Sie sich vor, Sie versuchen, ein riesiges, chaotisches Lagerhaus (das Gehirn der KI) neu zu ordnen.

Standard-LoRA ist wie das Beauftragen einer Crew, um ein paar Kartons umzuräumen. Es ist schnell, aber sie wissen nicht, ob die Kartons zerbrechlich sind.
Altes Bayesian LoRA ist wie das Beauftragen einer Crew mit einem ganzen Team von Sicherheitsinspektoren, Bauplänen und Sensoren für jeden einzelnen Karton. Es ist sicher, aber zu teuer und langsam.
Die Methode dieses Papiers ist wie der Bau einer kleinen, spezialisierten „Umschaltkapsel" innerhalb des Lagerhauses. Sie sperren den Rest des Lagerhauses fest ein. Sie bewegen nur die Möbel innerhalb dieser kleinen Kapsel. Da die Kapsel so klein und organisiert ist, können Sie genau messen, wie sehr die Möbel wackeln könnten (Unsicherheit), ohne ein riesiges Team von Inspektoren zu benötigen.

Wie sie den „Raum" bauten (Projektionen)

Das Papier testet vier verschiedene Möglichkeiten, die Wände dieses winzigen Raums zu bauen, um zu sehen, welche am besten funktioniert:

SVD (Die „Haupt"-Methode): Sie schauen sich die ursprüngliche Enzyklopädie an und finden die wichtigsten Richtungen (wie die Hauptgänge) und bauen den Raum entlang dieser Linien. Das funktioniert sehr gut.
Whitened SVD (Die „Datenbewusste" Methode): Sie schauen sich die spezifischen Fragen an, die sie beantworten wollen, und bauen den Raum basierend darauf. Das ist wie das Anpassen des Raums an eine bestimmte Art von Kunde. Oft funktioniert dies am besten.
DCT (Die „Muster"-Methode): Sie verwenden ein mathematisches Muster (wie eine Welle), um den Raum zu organisieren. Es ist ein bisschen wie die Verwendung eines Standardgitters. Es funktioniert okay, ist aber nicht so gut wie die benutzerdefinierten Methoden.
Random Projections (Die „Schrotflinten"-Methode): Sie wählen einfach zufällige Richtungen aus, um den Raum zu bauen. Dies scheitert normalerweise, weil der Raum am Ende an einer seltsamen Stelle landet, an der die Möbel nicht passen.

Die Erkenntnis: Die „Haupt"- und die „Datenbewusste" Methode (SVD-Varianten) sind die Gewinner. Sie schaffen einen Raum, in dem die KI effizient lernen kann und gleichzeitig weiß, wann sie unsicher ist.

Die Ergebnisse: Kleine Größe, großes Vertrauen

Die Autoren testeten dies an zwei Arten von KI: einer mittelgroßen (RoBERTa) und einer riesigen (LLaMA-7B).

Kalibrierung: Ihre Methode macht die KI viel besser darin zu wissen, wann sie unsicher ist. Sie hört auf, mit Überzeugung zu raten, wenn sie falsch liegt.
Effizienz: Sie erreichten dieses hohe Maß an „Vertrauensbewusstsein" mit 5 bis 15 Mal weniger Parametern (weniger Speicher und Speicherplatz) als frühere Bayesian-Methoden.
Erkennung von Out-of-Distribution: Wenn die KI eine Frage gestellt bekommt, die sie noch nie gesehen hat (wie eine Fangfrage), ist diese Methode viel besser darin, zu sagen: „Ich weiß es nicht", im Vergleich zu Standardmethoden, die einfach mit Überzeugung raten.

Das Fazit

Das Papier beweist, dass man kein riesiges, teures System benötigt, um eine KI bescheiden zu machen und sich ihrer eigenen Unsicherheit bewusst zu sein. Indem man den Lernprozess in einen intelligent gestalteten, winzigen „Unterraum" (einen niedrigdimensionalen Raum) verkleinert, kann man das Beste aus beiden Welten erhalten: schnelles, günstiges Training und kluge, vorsichtige Entscheidungsfindung.

Sie zeigten, dass selbst mit einem sehr kleinen „Rank" (einem winzigen Raum) die KI immer noch die komplexen Beziehungen zwischen ihrem Wissen erfassen kann, vorausgesetzt, der Raum wird in die richtige Richtung gebaut.

Technische Zusammenfassung: Bayessches Fine-Tuning in projizierten Unterräumen

Problemstellung

Large Language Models (LLMs) und andere tiefe neuronale Netze leiden beim Fine-Tuning, insbesondere bei begrenzten Daten, häufig unter Übervertrauen und schlechter Kalibrierung. Während Low-Rank Adaptation (LoRA) eine parameter-effiziente Lösung für das Fine-Tuning bietet, indem Gewichtsaktualisierungen in niedrigrangige Matrizen zerlegt werden, fehlt es dem Standard-LoRA an Mechanismen zur Quantifizierung von Unsicherheit.

Bayessche Varianten von LoRA (Bayesian LoRA) wurden vorgeschlagen, um dies zu adressieren, indem Posterior-Verteilungen über Parameter gelernt werden. Diese Methoden sehen sich jedoch einem kritischen Zielkonflikt gegenüber: Die Modellierung der Posterior-Kovarianzmatrix (notwendig für epistemische Unsicherheit) erfordert typischerweise eine Anzahl von Parametern, die quadratisch mit der Anzahl der trainierbaren Gewichte skaliert. Dies erhöht die Speicher- und Rechenkosten erheblich und macht die Effizienzgewinne von LoRA teilweise zunichte. Darüber hinaus kann das Training dieser hochdimensionalen Bayesschen Modelle instabil sein und schwer zu konvergieren.

Methodik

Die Autoren schlagen ein neuartiges Framework vor, das parameter-effizientes Fine-Tuning mit Bayesscher Inferenz innerhalb eines projizierten niedrigdimensionalen Unterraums kombiniert. Die Kernidee besteht darin, das Lernen von Bayesschen Posterioren auf einen komprimierten Mannigfaltigkeitsraum zu beschränken, anstatt den gesamten Parameterraum zu nutzen.

1. Parametrisierung des projizierten Unterraums

Anstatt vollständige niedrigrangige Aktualisierungen $\Delta W = AB$ zu lernen, wobei sowohl $A$ als auch $B$ trainierbar sind (wie im Standard-LoRA), friert die vorgeschlagene Methode die Basis-Matrizen $A$ und $B$ ein und lernt nur eine kleine, quadratische „Kern"-Matrix $R$ . Die Gewichtsaktualisierung ist definiert als:
$\Delta W = ARB$
Hierbei sind $A \in \mathbb{R}^{n \times r}$ und $B \in \mathbb{R}^{r \times m}$ vorausberechnete Projektionsmatrizen, die von den vortrainierten Gewichten $W_0$ abgeleitet sind, und $R \in \mathbb{R}^{r \times r}$ ist der lernbare Parameter. Dies reduziert die Anzahl der trainierbaren Parameter von $r(n+m)$ auf $r^2$ und schafft einen hochkomprimierten Parameterraum.

2. Projektionsstrategien

Der Artikel bewertet vier verschiedene Methoden zur Berechnung der eingefrorenen Projektionsmatrizen $A$ und $B$ :

Truncated SVD: Justiert die Projektionen an den Hauptrichtungen der ursprünglichen Gewichtsmatrix $W_0$ aus.
Truncated Whitened SVD (W-SVD): Berücksichtigt die Statistiken der Eingabedaten (Kovarianz $\Sigma_{xx}$ ), um Aktivierungsfehler zu minimieren anstatt Rekonstruktionsfehler der Gewichte.
2D Diskrete Kosinustransformation (DCT): Verwendet eine feste, universelle Basis aus Kosinuswellen, der eine deterministische Permutation der Gewichte vorausgeht, um räumliche Korrelationen zu induzieren.
Zufällige Projektionen: Verwendet Haar-verteilte Gaußsche orthogonale Matrizen und trifft keine strukturellen Annahmen über die Gewichte.

3. Bayessche Inferenz im Unterraum

Das Framework führt Bayessche Inferenz auf den Kernmatrizen $R$ durch, anstatt auf den vollständigen Gewichtsaktualisierungen. Zwei approximative Bayessche Methoden werden eingesetzt:

SWAG (Stochastic Weight Averaging-Gaussian): Nutzt die Trajektorie des Stochastic Gradient Descent (SGD), um eine Gaußsche Posterior-Verteilung mit einer niedrigrangigen plus diagonalen Kovarianz zu konstruieren.
Laplace-Approximation: Approximiert die Posterior-Verteilung um eine Maximum-A-Posteriori (MAP)-Lösung. Die Autoren implementieren sowohl Diagonale (DIAG) als auch Kronecker-faktorierte (KRON) Approximationen für die Hesse-/Fisher-Informationsmatrix, um Ausdruckskraft und Speichereffizienz auszubalancieren.

Entscheidend ist, dass die vollständige Kovarianz der Gewichtsaktualisierungen $\Delta W$ niemals explizit materialisiert wird. Stattdessen wird die Kovarianz implizit über die Kronecker-Struktur des projizierten Unterraums definiert, was effizientes Sampling und Unsicherheitsschätzung ermöglicht.

Hauptbeiträge

Parameter-effizientes Bayessches Framework: Der Artikel stellt eine Methode vor, die eine effektive Unsicherheitsquantifizierung in sehr niedrigdimensionalen Parameterräumen ( $r^2$ Parameter pro Schicht) erreicht, ohne die Effizienzvorteile von LoRA zu beeinträchtigen.
Generalisierte Projektionsstrategien: Im Gegensatz zu vorheriger Arbeit, die sich primär auf SVD verließ, führt diese Arbeit ein generalisiertes Framework ein und bewertet dieses, einschließlich datenbewusster (Whitened SVD) und strukturagnostischer (DCT, Random) Projektionen.
Empirische Validierung niedrigrangiger Kovarianzen: Die Autoren zeigen, dass Gewichtskovarianzen in diesen projizierten Unterräumen niedrigrangige Eigenschaften aufweisen, was bedeutet, dass selbst sehr niedrigrangige Kovarianzapproximationen (z. B. Rang $k=2$ ) oft ausreichen, um Unsicherheit effektiv zu modellieren.
Skalierbarkeit: Der Ansatz wurde sowohl an RoBERTa-large als auch an LLaMA2-7B validiert und zeigt, dass die Methode auf größere Modelle skalierbar ist, während die Rechenmachbarkeit erhalten bleibt.

Experimentelle Ergebnisse

Die Experimente wurden an GLUE-Aufgaben (RTE, MRPC, CoLA, SST-2) unter Verwendung von RoBERTa-large sowie an Common-Sense-Reasoning-Aufgaben (OBQA, ARC-E, ARC-C) unter Verwendung von LLaMA2-7B durchgeführt.

Kalibrierung und Unsicherheit: Die vorgeschlagenen Methoden (B-LoRA-XS und L-LoRA-XS) übertreffen Standard-LoRA und LoRA-XS konsistent im Expected Calibration Error (ECE) und im Negative Log-Likelihood (NLL). Sie erreichen eine Kalibrierung, die mit oder besser als die von vollständigen Bayesschen LoRA-Baselines (wie LoRA-SWAG) ist, dabei jedoch 5- bis 15-mal weniger Parameter verwenden.
Projektionsleistung: Whitened SVD (W-SVD) und Standard-SVD-Projektionen erzielten konsistent die besten Ergebnisse. Datenagnostische Methoden wie Zufällige Projektionen und DCT schnitten signifikant schlechter ab, insbesondere bei niedrigeren Rängen, was die Bedeutung der Ausrichtung des Unterraums an der Gewichtsstruktur unterstreicht.
Kovarianzrang: Die Modelle blieben auch bei sehr niedrigrangigen Kovarianzapproximationen robust. Beispielsweise erreichte B-LoRA-XS eine optimale Kalibrierung bei Kovarianzrängen so niedrig wie $k=2$ oder $k=5$ , wohingegen Standard-Bayessche LoRA-Methoden mit abnehmendem Rang signifikant an Leistung verloren.
OOD-Erkennung: Die Bayesschen Varianten zeigten eine überlegene Fähigkeit, In-Distribution (ID) von Out-of-Distribution (OOD) Daten zu unterscheiden, im Vergleich zu deterministischen Baselines, wobei die vorgeschlagenen Subraum-Methoden eine starke Trennung in der Vorhersageentropie aufwiesen.
LLaMA2-7B-Ergebnisse: Beim größeren Modell erzielten die komprimierten Varianten (z. B. L-LoRA-XS mit $r=64$ ) signifikante Verbesserungen der Kalibrierung mit weniger als einem Drittel des Parameterbudgets, das für die Laplace-LoRA-Baseline erforderlich war, bei gleichzeitiger Beibehaltung einer wettbewerbsfähigen Genauigkeit.

Bedeutung und Behauptungen

Der Artikel behauptet, dass eine effektive Unsicherheitsquantifizierung keine hochdimensionalen Parameterräume erfordert. Durch die Projektion von Gewichtsaktualisierungen auf einen sorgfältig gewählten niedrigdimensionalen Mannigfaltigkeitsraum demonstrieren die Autoren, dass:

Unsicherheit effizient modelliert werden kann: Die Korrelationen zwischen Gewichten können effektiv in niedrigdimensionalen Unterräumen erfasst werden, was die Verwendung von niedrigrangigen Kovarianzmatrizen ermöglicht, die Speicher- und Rechenkosten drastisch reduzieren.
Stabilität verbessert wird: Der Betrieb in einem reduzierten Parameterraum stabilisiert die Optimierung und führt zu besserer Konvergenz und Kalibrierung unter begrenzten Rechenbudgets.
Synergetischer Zielkonflikt: Die Methode bietet einen synergetischen Zielkonflikt, bei dem die Vorhersageleistung beibehalten oder verbessert wird und die Kalibrierung signifikant gesteigert wird, alles unter Verwendung eines Bruchteils der Parameter, die für bestehende Bayessche LoRA-Methoden erforderlich sind.

Die Autoren schließen, dass ihr Framework eine konzeptionelle Innovation bei der Anwendung Bayesscher Inferenz auf komprimierte Unterräume darstellt und eine praktische Lösung für unsicherheitsbewusstes Fine-Tuning großer Modelle in ressourcenbeschränkten Umgebungen bietet.