🤖 machine learning

PermDoRA -- Understanding Adapter Interference in Language Models: Limits of Parameter-Space Geometry

Diese Arbeit stellt die Hypothese in Frage, dass die Adapter-Interferenz in großen Sprachmodellen primär durch die Geometrie des Parameterraums bestimmt wird, indem sie durch Experimente an DoRA-RBAC aufzeigt, dass geometrie-bewusstes Merging keinen konsistenten Vorteil gegenüber dem Standard-Mittelwert bietet und die Interferenz stattdessen aus Interaktionen in gemeinsamen nichtlinearen Repräsentationen resultiert.

Ursprüngliche Autoren: Gowtham Sivaramakrishnan, Sarvesha Kumar Kombaiah Seetha, Kishan Gupta Balaji, Santhosh Baradwaj Vaduvur Ranganathan

Veröffentlicht 2026-06-11

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Gowtham Sivaramakrishnan, Sarvesha Kumar Kombaiah Seetha, Kishan Gupta Balaji, Santhosh Baradwaj Vaduvur Ranganathan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten ein riesiges, superintelligentes Robotergehirn (ein Large Language Model), das ein bisschen über alles Bescheid weiß. Nun stellen Sie sich vor, Sie möchten diesem Roboter spezifische „Spezialisten-Fähigkeiten“ geben, ohne das ganze Gehirn von Grund auf neu zu trainieren. Das machen Sie, indem Sie kleine, abnehmbare „Fähigkeitsmodule“ (genannt Adapter) einstecken.

Ein Modul macht den Roboter großartig darin, medizinische Fragen zu beantworten.
Ein anderes macht ihn großartig in Geschichte.
Ein weiteres macht ihn großartig in Cybersicherheit.

Die große Herausforderung ist: Was passiert, wenn Sie zwei oder mehr Module gleichzeitig einstecken?

Die große Frage: Kämpfen die Module gegeneinander?

Die Forscher wollten wissen, ob diese Module sich gegenseitig „auf die Füße treten“, wenn sie kombiniert werden.

Die alte Theorie (die „Geometrie“-Hypothese):
Wissenschaftler dachten früher, das Problem sei wie zwei Personen, die versuchen, durch denselben Flur zu laufen. Wenn sie in exakt dieselbe Richtung gehen, stoßen sie zusammen. Die Theorie lautete: „Wenn wir sicherstellen, dass die Module in völlig unterschiedliche Richtungen zeigen (wie einer nach Norden und der andere nach Osten), werden sie sich nicht stören, und der Roboter wird perfekt funktionieren.“

Um dies zu testen, probierten sie eine ausgeklügelte neue Art, die Module zu kombinieren, die namens Riemannian Merging. Denken Sie an dies als einen hochtechnologischen Kompass, der versucht, die perfekte „Durchschnittsrichtung“ zu berechnen, in die die Module zeigen sollen, um sicherzustellen, dass sie geometrisch unterscheidbar bleiben und nicht kollidieren.

Das Experiment: Der „DoRA-RBAC“-Test

Die Forscher bauten ein System namens DoRA-RBAC. Sie nahmen ein Robotergehirn (speziell die Llama-3.1 und Mistral Modelle) und gaben ihm verschiedene Fähigkeitsmodule für Dinge wie:

SimpleQA: Allgemeine Trivia (Kunst, Geografie, Geschichte usw.).
GPQA: Schwierige wissenschaftliche Fragen (Biologie, Physik, Chemie).
WMDT: Sicherheitsrelevante Themen (Bio, Cyber, Chemie).

Sie testeten dann zwei Wege, um diese Module zu kombinieren:

Der einfache Weg (Euklidisch): Nehmen einfach den Durchschnitt der Module, so wie man Farben in einem Eimer mischt.
Der ausgeklügelte Weg (Riemannisch): Verwenden Sie den hochtechnologischen Kompass, um sicherzustellen, dass die Richtungen perfekt getrennt sind, bevor sie gemischt werden.

Die Ergebnisse: Der „ausgeklügelte“ Weg half nicht

Hier kommt die überraschende Wendung: Der ausgeklügelte Kompass machte den Roboter nicht intelligenter.

Gleiche Leistung: Egal, ob sie den einfachen Durchschnitt oder die ausgeklügelte geometrische Methode verwendeten, der Roboter zeigte exakt die gleiche Leistung.
Kein „Zusammenstoßen“: Selbst als die Module in leicht unterschiedliche Richtungen zeigten, reduzierte die ausgeklügelte Methode die Fehler oder Interferenzen nicht.
Der wahre Übeltäter: Die Forscher fanden heraus, dass das Problem nicht die Richtung ist, in die die Module zeigen (die Geometrie). Stattdessen findet die Interferenz tiefer im Inneren des Robotergehirns statt, in der Art und Weise, wie die Module mit den nicht-linearen Denkprozessen des Roboters interagieren.

Die Analogie:
Stellen Sie sich zwei Musiker vor, die in einer Band spielen.

Die alte Theorie: „Es spielt keine Rolle, wo sie auf der Bühne stehen (Geometrie), solange sie sich nicht gegenseitig im Weg stehen, werden sie nicht kollidieren.“
Die Realität: „Es spielt keine Rolle, wo sie stehen. Wenn sie dasselbe Lied, aber mit unterschiedlichen Rhythmen spielen, werden sie kollidieren, weil es darum geht, wie die Musik selbst interagiert, nicht wo sie stehen.“

Was ist mit der Privatsphäre? (Der „Geheimnis“-Test)

Die Forscher fragten auch: „Wenn ich einem Nutzer nur Zugriff auf das ‚Geschichts‘-Modul gebe, kann dieser dann erkennen, dass der Roboter genau dieses spezifische Modul verwendet?“

Die gute Nachricht: Die Module verbessern die Leistung des Roboters bei spezifischen Themen (er wird besser in Geschichtsfragen).
Die schlechte Nachricht: Die Module sind kein perfekter Schutzschild für die Privatsphäre. Selbst mit den speziellen Modulen kann ein Beobachter mit einer Wahrscheinlichkeit von etwa 65 % erraten, in welchem „Modus“ sich der Roboter befindet (was besser als bloßes Raten ist, aber weit von echter Geheimhaltung entfernt ist).
Fazung: Dieses System ist großartig zur Organisation von Fähigkeiten, sollte aber nicht als strenger Tresor für Geheimnisse verwendet werden.

Das Fazit

Geometrie ist nicht die magische Lösung: Sicherzustellen, dass Adaptermodule in unterschiedliche Richtungen zeigen, verhindert nicht, dass sie sich gegenseitig stören.
Einfach ist gut genug: Man braucht keine komplexe Mathematik, um diese Module zu kombinieren; ein einfacher Durchschnitt funktioniert genauso gut.
Das eigentliche Problem liegt tiefer: Die Interferenz geschieht, weil die Module mit den komplexen internen Denkprozessen des Roboters interagieren, nicht nur durch die Art, wie sie außen angeordnet sind.
Die Privatsphäre ist begrenzt: Während man Fähigkeiten mischen und kombinieren kann, kann man nicht vollständig verbergen, welche Fähigkeiten gerade genutzt werden, nur indem man die Module mischt.

Kurz gesagt: Die Forscher versuchten, ein Puzzle zu lösen, indem sie die Teile auf dem Tisch neu anordneten (Geometrie), stellten aber fest, dass die Puzzleteile kämpften, weil sie auf eine bestimmte Weise im Inneren des Kartons zusammenpassen (nicht-lineare Interaktionen).

Technisches Resümee: PermDoRA – Verständnis von Adapter-Interferenz in Sprachmodellen

Problemstellung

Der Einsatz von Large Language Models (LLMs) in Unternehmens- und wissenschaftlichen Umgebungen erfordert oft eine modulare Zugriffskontrolle, bei der Benutzer autorisiert werden, auf spezifische Teilmengen domänenspezifischen Wissens zuzugreifen, ohne das gesamte Modell neu trainieren zu müssen. Während bestehende Ansätze die Zugriffskontrolle auf der Ebene des Prompts, des Routings oder des Retrievals handhaben, mangelt es ihnen an Modularität auf der Ebene der gelernten Repräsentationen.

Eine zentrale Herausforderung bei der Zugriffskontrolle auf Parameterebene ist die Adapter-Interferenz: Wenn domänenspezifische Adapter zur Inferenzzeit kombiniert werden, verschlechtert sich die Leistung häufig. Eine vorherrschende Hypothese besagt, dass diese Interferenz aus einer Überlappung in linearen Parameter-Updates resultiert. Folglich wird hypothetisiert, dass die Durchsetzung von Orthogonalität oder direktionaler Unabhängigkeit im Parameterraum (mittels geometrie-bewusster Verschmelzung) diese Interferenz mildern und die Multi-Domain-Leistung im Vergleich zur Standard-Euklidischen Mittelung verbessern sollte.

Methodik: DoRA-RBAC

Die Autoren schlagen DoRA-RBAC vor, ein hierarchisches Framework zur Komposition von Adaptern, das darauf ausgelegt ist, die Hypothese der geometrischen Interferenz zu testen.

1. Framework-Architektur

Basismodell: Ein vortrainiertes Backbone (LLaMA-3.1-8B oder Mistral-7B) ist eingefroren.
Gemeinsame Baseline: Ein gemeinsamer Baseline-Adapter wird trainiert und eingefroren.
Manager-Adapter: Für jede Domäne $d$ speichert ein Manager-Adapter ein inkrementelles Update zur Baseline.
DoRA-Zerlegung: Im Gegensatz zu Standard-LoRA ( $\Delta W = BA$ ) zerlegt DoRA die Updates in einen Einheits-Richtungsvektor $\hat{v}_i$ und einen Skalar der Magnitude $m_i$ :
$\Delta W_{DoRA}^i = m_i \cdot \hat{v}_i$
wobei $\hat{v}_i = \frac{\Delta W_i}{\|\Delta W_i\|_F}$ .
Komposition: Zur Inferenzzeit werden die autorisierten Domänen eines Benutzers zu einem einzigen flachen Adapter kombiniert.

2. Kompositionsstrategien

Die Studie vergleicht zwei Verschmelzungsstrategien für autorisierte Domänen $D$ :

Euklidische Komposition: Die effektiven Gewicht-Updates werden im euklidischen Raum gemittelt, gefolgt von einer trunkierte Singularwertzerlegung (SVD), um das Ergebnis in einen Low-Rank-Adapter zu refaktorisieren.
$\Delta W_D^{Euc} = \text{SVD}_r \left( \frac{1}{|D|} \sum_{i \in D} \Delta W_i \right)$
Riemannsche (Geometrie-bewusste) Komposition: Unter Ausnutzung der Trennung von Richtung und Magnitude durch DoRA behandelt diese Methode normalisierte Richtungen als Punkte auf einer Einheits-Hypersphäre. Sie berechnet den Fréchet-Mittelwert durch normalisierte Richtungs-Mittelwertbildung und aggregiert Magnituden separat:
$\hat{v}_D^{Riem} = \frac{\sum_{i \in D} \hat{v}_i}{\|\sum_{i \in D} \hat{v}_i\|}, \quad m_D^{Riem} = \sum_{i \in D} m_i$
Das endgültige Gewicht wird mittels SVD rekonstruiert.

3. Evaluierungsmetriken

Nützlichkeit (Utility): Gemessen über den Utility Gap Index (UGI), den Genauigkeitsgewinn eines domänenspezifischen Managers gegenüber der Baseline.
Interferenz/Sicherheit: Gemessen über den Domain Distinguishability Index (DDI), einen AUC-Score, der quantifiziert, wie gut ein Modell als „in-domain“ vs. „out-of-domain“ mittels Membership-Inference-Attacks (z. B. Min-K++) unterschieden werden kann.
Geometrische Diagnostik: Kosinus-Ähnlichkeit zwischen Adapter-Updates und symmetrische Orthogonalitätsverluste.

Kernergebnisse

1. Single-Domain-Leistung

Bei Single-Domain-Aufgaben über GPQA, PubMedQA, SimpleQA und WMDP hinweg erbringt DoRA-RBAC eine vergleichbare Leistung wie Standard-LoRA. Es gibt keinen signifikanten Leistungsunterschied zwischen den beiden Methoden in Single-Domain-Settings, was bestätigt, dass die modulare Zerlegung die Nützlichkeit nicht inhärent verschlechtert.

2. Multi-Domain-Komposition (Die Kernerkenntnis)

Die primäre empirische Erkenntnis ist, dass die geometrie-bewusste Verschmelzung keinen konsistenten Vorteil gegenüber der Standard-Euklidischen Mittelung bietet in Multi-Domain-Settings.

Leistung: Bei SimpleQA (2-Domänen- und 3-Domänen-Kombinationen) lieferten die euklidische und die Riemannsche Verschmelzung nahezu identische Genauigkeitswerte (z. B. Llama 2-Domänen: 0,00532 für beide; Mistral 2-Domänen: ~0,0123 für beide).
Interferenz: Die Hypothese, dass die Durchsetzung von Orthogonalität die Interferenz reduziert, wurde nicht gestützt. Der „Gewinn“ durch die Komposition wird den Eigenschaften der Modularität selbst zugeschrieben und nicht der geometrischen Struktur der Komposition.

3. Geometrische Diagnostik

Angulare Ausrichtung: Die Studie fand heraus, dass die Kosinus-Ähnlichkeit zwischen Adapter-Updates vorhersagt, wann die geometrie-bewusste Verschmelzung zu euklidischem Verhalten kollabiert. Wenn die Updates kollinearer werden (hohe Kosinus-Ähnlichkeit), schrumpft der Leistungsunterschied zwischen den beiden Verschmelzungsstrategien gegen Null.
Limitierung der Geometrie: Die angulare Ausrichtung ist jedoch ein schwacher Prädiktor für die gesamte Kompositionsleistung. Selbst wenn die Adapter orthogonal sind, bleibt die Interferenz bestehen. Dies deutet darauf hin, dass die Interferenz nicht primär durch die lineare Geometrie im Parameterraum gesteuert wird.

4. Sicherheit und Privatsphäre

Nützlichkeit vs. Privatsphäre: Während domänenspezifische Manager die Zieldomänen-Nützlichkeit verbessern (durchschnittlicher UGI +0,1178 auf SimpleQA), bieten sie keine starken Sicherheitsgarantien.
DDI-Ergebnisse: Der Domain Distinguishability Index (DDI) AUC blieb bei etwa 0,65, was deutlich über dem Zufall (0,5) liegt. Dies zeigt, dass die modulare Komposition die Domänenverhalten nicht vollständig isoliert; Modelle behalten unterscheidbare „Verhaltensfingerabdrücke“ ihrer konstituierenden Domänen bei.

Schlussfolgerungen und Bedeutung

Das Paper kommt zu dem Schluss, dass Adapter-Interferenz nicht primär durch lineare Überlappung im Parameterraum getrieben wird, sondern durch Interaktionen in gemeinsamen nichtlinearen Repräsentationen und nachgeschalteten Aktivierungen.

Widerlegung der geometrischen Hypothese: Die Annahme, dass die Durchsetzung von Orthogonalität oder die Verwendung von Riemannscher Verschmelzung die Interferenz lösen würde, ist nicht korrekt. Wenn die Richtungen der Adapter-Updates nahezu kollinear sind (wie in der Praxis beobachtet), reduziert sich die geometrie-bewusste Verschmelzung effektiv auf den gewöhnlichen arithmetischen Mittelwert und bietet keinen Vorteil.
Implikationen für die Zugriffskontrolle: DoRA-RBAC ist am besten als ein modulares Kompositions- und Serving-Framework zu betrachten und nicht als ein Mechanismus für strikte Isolation. Während es effiziente Multi-Domain-Inferenz ermöglicht, garantiert es keine Privatsphäre. Formale Verteidigungsmechanismen für die Privatsphäre (z. B. differenziell privates Training) bleiben für Hochsicherheits-Deployments notwendig.
Zukünftige Ausrichtung: Die Autoren schlagen vor, dass sich zukünftige Arbeiten auf Repräsentations-Ebene-Objectives oder Aktivierungsraum-Constraints konzentrieren sollten, anstatt auf die Geometrie im Parameterraum, um eine zuverlässige Kompositionierbarkeit zu erreichen.

Die Studie dient als Warnung davor, sich zu sehr auf die geometrischen Eigenschaften des Parameterraums zu verlassen, um das komplexe Problem der Adapter-Interferenz in Large Language Models zu lösen.