🤖 machine learning

PVeRA: Probabilistic Vector-Based Random Matrix Adaptation

Dieser Beitrag stellt PVeRA vor, eine probabilistische Erweiterung des VeRA-Adapters, die dessen gemeinsam genutzte niedrigrangige Matrizen modifiziert, um Eingabeambiguitäten besser zu bewältigen und im Vergleich zu bestehenden parametereffizienten Anpassungsmethoden eine überlegene Leistung auf dem VTAB-1k-Benchmark zu erzielen.

Ursprüngliche Autoren: Leo Fillioux, Enzo Ferrante, Paul-Henry Cournède, Maria Vakalopoulou, Stergios Christodoulidis

Veröffentlicht 2026-05-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Leo Fillioux, Enzo Ferrante, Paul-Henry Cournède, Maria Vakalopoulou, Stergios Christodoulidis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine massive, unglaublich intelligente Wissensbibliothek (ein „Grundmodell") vor, die fast jedes Buch der Welt gelesen hat. Diese Bibliothek ist brillant, aber auch riesig, schwer und teuer im Transport. Wenn Sie ihr eine spezifische neue Fähigkeit beibringen möchten – wie das Erkennen seltener Blumen oder das Diagnostizieren einer bestimmten medizinischen Erkrankung –, müssen Sie sie in der Regel „feinabstimmen" (fine-tune).

Das Problem: Die traditionelle Feinabstimmung ist wie der Versuch, die gesamte Enzyklopädie umzuschreiben, um sie an Ihr neues Thema anzupassen. Das kostet viel Zeit, Geld und Rechenleistung. Außerdem kann es passieren, dass die Bibliothek verwirrt wird und ihr altes Wissen vergisst (Überanpassung), wenn Sie nur wenige Beispiele für das neue Thema haben.

Die aktuelle Lösung (Adapter): Um dies zu beheben, haben Wissenschaftler „Adapter" entwickelt. Stellen Sie sich diese als kleine, leichte Haftnotizen vor, die Sie an die Regale der Bibliothek kleben. Anstatt die Bücher umzuschreiben, fügen Sie einfach diese Notizen hinzu, um der Bibliothek zu zeigen, wie sie Ihre neue Aufgabe bewältigen soll. Eine beliebte Art von Haftnotiz heißt VeRA. Sie verwendet ein Paar „eingefrorener" (unveränderlicher) zufälliger Muster, die in der gesamten Bibliothek geteilt werden, und lernt nur wenige winzige Zahlen (Vektoren), um anzupassen, wie diese Muster verwendet werden. Es ist effizient, aber etwas starr – es trifft für jede Eingabe eine einzige, feste Entscheidung.

Die neue Idee: PVeRA
Die Autoren dieses Papiers schlagen PVeRA (Probabilistic Vector-Based Random Matrix Adaptation) vor. Hier ist die einfache Aufschlüsselung dessen, was sie getan haben:

1. Von einer einzelnen Vermutung zu einer „Wolke von Möglichkeiten"

Stellen Sie sich vor, Sie versuchen, ein Tier auf einem nebligen Bild zu identifizieren.

Alte Methode (VeRA): Das Modell betrachtet den Nebel und sagt: „Ich bin zu 100 % sicher, dass dies ein Elefant ist." Es trifft eine starre Vermutung basierend auf einer festen Regel.
Neue Methode (PVeRA): Das Modell betrachtet den Nebel und sagt: „Das sieht größtenteils wie ein Elefant aus, aber es besteht eine kleine Chance, dass es ein Pferd sein könnte, und der Nebel macht mich etwas unsicher."

PVeRA verändert die „Haftnotizen" so, dass sie nicht nur eine Zahl enthalten, sondern eine Verteilung (eine Wolke von Möglichkeiten). Anstatt eine einzelne feste Anpassung zu wählen, lernt das Modell einen Bereich möglicher Anpassungen. Während des Trainings zieht es zufällig aus dieser Wolke Stichproben und praktiziert effektiv mit vielen leicht unterschiedlichen Versionen seiner selbst. Dies hilft ihm, den „Nebel" (die Mehrdeutigkeit) in den Daten viel besser zu bewältigen.

2. Warum dies wie ein „Sicherheitsnetz" ist

Das Papier behauptet, dass dieser probabilistische Ansatz dem Modell zwei Superkräfte verleiht:

Konfidenzintervalle (Der „Wie sicher sind Sie?"-Messwert):
Da das Modell aus einer Wolke von Möglichkeiten Stichproben zieht, können Sie es bitten, dasselbe Bild 10 Mal zu betrachten.
- Wenn es 10 Mal mit demselben Vertrauen „Elefant" sagt, wissen Sie, dass es sicher ist.
- Wenn es 6 Mal „Elefant", 3 Mal „Pferd" und 1 Mal „Zebra" sagt, wissen Sie, dass es unsicher ist.
  Das Papier zeigt, dass PVeRA diese „Konfidenzintervalle" natürlich generieren kann, ohne zusätzliche, komplizierte Mathematik zu benötigen. Es ist, als hätte das Modell einen eingebauten Ehrlichkeitsmesser, der Ihnen sagt, wann es rät.
Bessere Leistung mit weniger Daten:
Die Autoren testeten dies an 19 verschiedenen Datensätzen (von natürlichen Fotos über medizinische Bilder bis hin zu strukturierten Daten). Sie stellten fest, dass PVeRA konsistent besser abschnitt als das ursprüngliche VeRA und andere beliebte Adapter. Es war besonders gut darin, über verschiedene Aufgabentypen hinweg stabil zu bleiben.

3. Die „Magie" des Zusammenführens

Eine der coolsten Funktionen, die erwähnt werden, ist, dass Sie PVeRA, obwohl es während des Trainings eine „Wolke" von Möglichkeiten verwendet, dennoch für den realen Einsatz in das Hauptmodell integrieren können.

Analogie: Stellen Sie sich vor, Sie haben eine Rede geübt, indem Sie 100 verschiedene Versionen Ihrer Vortragsweise ausprobieren. Sobald Sie genug geübt haben, wählen Sie die beste Version Ihrer Rede aus und merken sie sich.
Ergebnis: Wenn Sie die Rede tatsächlich halten (Inferenz), müssen Sie nicht 100 Versionen ausprobieren. Sie liefern einfach die eine polierte Version. Das bedeutet, dass PVeRA genauso schnell ist wie die alten Methoden, wenn Sie es tatsächlich verwenden, aber es während des Trainings klüger gelernt hat.

4. Das Aufspüren der „Außenseiter"

Das Papier stellte auch fest, dass PVeRA, da es eine Verteilung lernt, besser darin ist, Dinge zu erkennen, die es nicht kennt.

Analogie: Wenn Sie einem Modell, das auf Katzen und Hunde trainiert wurde, ein Bild eines Toaster zeigen, könnte ein starres Modell selbstbewusst „Katze" sagen (weil es ein bisschen wie eine Katze aussieht). Ein PVeRA-Modell könnte jedoch sagen: „Ich bin bei diesem wirklich unsicher; mein internes Vertrauen ist völlig durcheinander."
Die Autoren zeigten, dass die internen „Unsicherheitssignale" des Modells für Dinge, die es zuvor nicht gesehen hatte (außerhalb der Verteilung), viel stärker waren, was es zu einem besseren Werkzeug für sicherheitskritische Aufgaben macht, bei denen man wissen muss, wann das Modell verwirrt ist.

Zusammenfassung

Das Papier stellt PVeRA vor, eine intelligentere, flexiblere Version eines bestehenden Tools namens VeRA. Indem es das Modell lehrt, in Bezug auf „Wahrscheinlichkeiten" und „Reihen von Möglichkeiten" zu denken, anstatt in einzelnen festen Antworten, erreicht es Folgendes:

Bessere Leistung bei einer Vielzahl von Aufgaben.
Es weiß, wann es nichts weiß (bessere Unsicherheitsschätzung).
Es bleibt schnell, da die komplexe Mathematik nur während des Trainings verwendet wird, nicht wenn das Modell tatsächlich arbeitet.

Im Wesentlichen werden die „Haftnotizen" des Modells von starren Anweisungen zu flexiblen, probabilistischen Leitfäden aufgewertet, die dem Modell helfen, Mehrdeutigkeiten mit Zuversicht zu navigieren.

1. Problemstellung

Große Fundamentmodelle (z. B. Vision Transformer) haben State-of-the-Art-Leistungen erzielt, erfordern jedoch massive Rechenressourcen und Datensätze für das Fine-Tuning. Das traditionelle vollständige Fine-Tuning ist aufgrund der Kosten und des Risikos von Overfitting in Szenarien mit wenig Daten oft nicht durchführbar.

Parameter-Effizientes Fine-Tuning (PEFT): Methoden wie LoRA und VeRA adressieren dies, indem sie den Backbone einfrieren und nur eine kleine Anzahl von Parametern (Adapter) trainieren.
Grenzen aktueller Methoden: Während VeRA (Vector-based Random matrix Adaptation) durch die Verwendung eingefrorener, zufälliger Low-Rank-Matrizen, die über Schichten hinweg geteilt werden, hocheffizient ist, bleibt es ein deterministischer Ansatz. Er erzeugt eine einzelne Punktschätzung für Gewichtsanpassungen, was seine Fähigkeit einschränkt:
1. Inhärente Mehrdeutigkeiten in Eingabedaten zu modellieren.
2. Vorhersageunsicherheit zu quantifizieren.
3. Konfidenzintervalle für Ausgaben bereitzustellen.

2. Methodik: PVeRA

Die Autoren schlagen PVeRA vor, eine probabilistische Erweiterung von VeRA, die die Low-Rank-Anpassungsmatrizen als Zufallsvariablen behandelt, die aus einer gelernten Verteilung gezogen werden, anstatt als feste Werte.

Kernmechanismus

Probabilistische Formulierung: Anstatt feste Skalierungsvektoren zu lernen, lernt PVeRA die Parameter einer multivariaten Normalverteilung ( $\mu$ und $\sigma$ ) für den latenten Anpassungsraum.
Architektur:
- Es verwendet eingefrorene zufällige Matrizen $A$ und $B$ (geteilt über Schichten), ähnlich wie VeRA.
- Es führt trainierbare Vektoren $d$ und $b$ ein, um den Mittelwert ( $\mu$ ) und die Standardabweichung ( $\sigma$ ) der Verteilung zu generieren.
- Reparametrisierungstrick: Während des Trainings wird die latente Variable $z$ als $z = \mu + \epsilon \cdot \sigma$ abgetastet, wobei $\epsilon \sim \mathcal{N}(0, 1)$ . Dies ermöglicht, dass Gradienten durch den Abtastprozess fließen.
Verlustfunktion: Der Gesamtverlust kombiniert den aufgaben spezifischen Klassifizierungsverlust mit einem Kullback-Leibler (KL)-Divergenz-Term. Der KL-Term erzwingt eine Standardnormalpriori ( $\mathcal{N}(0, I)$ ) auf die gelernten Verteilungen, um Overfitting zu verhindern und sicherzustellen, dass der latente Raum regularisiert bleibt.
$\mathcal{L}_{total} = \mathcal{L}_{classification} + \beta \sum \mathcal{L}_{KL}$

Inferenzstrategien

PVeRA unterstützt zwei Inferenzmodi:

Deterministisch: Verwendet nur den Mittelwert ( $\mu$ ) für die Anpassung. Die Gewichte können in den Backbone integriert werden, was keine Inferenz-Overheads ergibt (identisch zu VeRA/LoRA).
Probabilistisch (Monte-Carlo): Zieht während der Inferenz mehrere Stichproben aus der gelernten Verteilung. Dies ermöglicht:
- Unsicherheitsquantifizierung: Eine hohe Varianz in Vorhersagen zeigt Unsicherheit an.
- Konfidenzintervalle: Generierung statistischer Konfidenzintervalle für Vorhersagen.
- Out-of-Distribution (OOD)-Erkennung: OOD-Stichproben weisen typischerweise unterschiedliche verteilungsspezifische Merkmale im latenten Raum auf im Vergleich zu In-Distribution-Stichproben.

3. Hauptbeiträge

Vorschlag von PVeRA: Ein neuer Adapter, der eine Verteilung über Gewichtsanpassungen lernt und eine induktive Verzerrung einführt, um Mehrdeutigkeiten im Merkmalsraum zu behandeln.
Leistungsüberlegenheit: Es wurde gezeigt, dass PVeRA im Durchschnitt das ursprüngliche VeRA und andere State-of-the-Art-Adapter (LoRA, DoRA, IA3, Bottleneck) übertrifft.
Unsicherheit und Kalibrierung:
- PVeRA behält eine hervorragende Modellkalibrierung bei (Vorhersage genauer Konfidenzwerte).
- Es ermöglicht die Generierung von Konfidenzintervallen und Unsicherheitsschätzungen ohne Neutrainieren des Backbones.
Effizienz: Behält die extreme Parameter-Effizienz von VeRA bei (Größenordnungen weniger Parameter als Standard-Adapter) und ermöglicht das Zusammenführen von Gewichten, um Inferenz-Latenz zu eliminieren.
Open Source: Bereitgestellter Code zum Trainieren und Benchmarking von PVeRA und anderen Adaptern.

4. Experimentelle Ergebnisse

Die Autoren evaluierten PVeRA auf dem VTAB-1k-Benchmark (19 Datensätze in den Kategorien natürlich, spezialisiert und strukturiert) unter Verwendung eines eingefrorenen DINOv2 (ViT-B/14)-Backbones.

Genauigkeit: PVeRA erzielte die höchste durchschnittliche Genauigkeit (71,4 %) über alle 19 Datensätze und übertraf VeRA (69,9 %), LoRA (70,5 %) und DoRA (71,0 %). Es zeigte besonders stabile Leistung über diverse Domänen hinweg.
Parameter-Effizienz: PVeRA behält eine sehr geringe Parameteranzahl bei (vergleichbar mit VeRA), die deutlich niedriger ist als bei Bottleneck, AdaptFormer und DoRA.
Kalibrierung: Unter Verwendung der Metrik Adaptive Calibration Error (ACE) zeigte PVeRA (zusammen mit LoRA und VeRA) eine überlegene Kalibrierung im Vergleich zu anderen Adaptern, was bedeutet, dass seine Konfidenzwerte die tatsächliche Genauigkeit besser widerspiegeln.
Unsicherheitsschätzung:
- Experimente zeigten, dass falsch klassifizierte Stichproben bei Verwendung probabilistischer Inferenz signifikant höhere Standardabweichungen in ihren Softmax-Werten aufwiesen als korrekt klassifizierte.
- Konfidenzintervalle: Korrekt klassifizierte Stichproben hatten viel engere Konfidenzintervalle (0,085) im Vergleich zu falsch klassifizierten (0,225).
Out-of-Distribution (OOD)-Erkennung: Die Summe der Mittelwerte ( $\mu_q + \mu_v$ ) in den Adapter-Schichten diente als effektive Metrik, um In-Distribution von Out-of-Distribution-Daten zu unterscheiden, eine Fähigkeit, die VeRA fehlt.
Ablationsstudien:
- Rang: Ein Rang von $r=256$ bot den besten Kompromiss zwischen Leistung und Parametern.
- Position: Die Anwendung von PVeRA auf die Query (Q) und Value (V)-Äste ergab die besten Ergebnisse, konsistent mit den ursprünglichen Erkenntnissen von LoRA.

5. Bedeutung und Auswirkung

PVeRA stellt einen bedeutenden Schritt vorwärts im Bereich des Parameter-Effizienten Fine-Tunings dar, indem es die Lücke zwischen Effizienz und probabilistischer Modellierung schließt.

Robustheit: Durch die Modellierung von Unsicherheit ist PVeRA besser für sicherheitskritische Anwendungen (z. B. medizinische Bildgebung) geeignet, bei denen zu wissen, wann ein Modell unsicher ist, ebenso wichtig ist wie die Vorhersage selbst.
Vielseitigkeit: Es erweitert die Nützlichkeit von VeRA über die einfache Klassifizierung hinaus und ermöglicht Aufgaben wie OOD-Erkennung und Schätzung von Konfidenzintervallen, ohne die Inferenzkosten des Modells zu erhöhen (bei Verwendung deterministischer Zusammenführung).
Generalisierbarkeit: Das Paper demonstrierte zudem kurz die Wirksamkeit von PVeRA bei Natural Language Processing-Aufgaben (GLUE-Benchmark), was darauf hindeutet, dass der probabilistische Anpassungsmechanismus modellagnostisch ist und über die Computer Vision hinaus anwendbar ist.

Zusammenfassend bietet PVeRA eine „Best-of-Both-Worlds"-Lösung: die Rechen-Effizienz und geringe Parameteranzahl von VeRA, kombiniert mit der Robustheit, Unsicherheitsquantifizierung und verbesserten Kalibrierung probabilistischen Deep Learning.