🤖 machine learning

PermDoRA -- Understanding Adapter Interference in Language Models: Limits of Parameter-Space Geometry

Dit artikel daagt de hypothese uit dat interferentie tussen adapters in grote taalmodellen primair wordt bepaald door de geometrie van de parameterruimte, waarbij via experimenten op DoRA-RBAC wordt aangetoond dat geometrie-bewuste merging geen consistent voordeel biedt ten opzichte van standaard middeling en dat interferentie in plaats daarvan voortkomt uit interacties in gedeelde niet-lineaire representaties.

Oorspronkelijke auteurs: Gowtham Sivaramakrishnan, Sarvesha Kumar Kombaiah Seetha, Kishan Gupta Balaji, Santhosh Baradwaj Vaduvur Ranganathan

Gepubliceerd 2026-06-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Gowtham Sivaramakrishnan, Sarvesha Kumar Kombaiah Seetha, Kishan Gupta Balaji, Santhosh Baradwaj Vaduvur Ranganathan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantisch, superintelligent robotbrein hebt (een Large Language Model) dat een beetje van alles weet. Stel je nu voor dat je dit robotbrein specifieke "specialistische" vaardigheden wilt geven zonder het hele brein vanaf nul opnieuw te trainen. Dit doe je door kleine, verwijderbare "vaardigheidsmodules" (genaamd adapters) in te pluggen.

Eén module maakt de robot geweldig in het beantwoorden van medische vragen.
Een andere maakt de robot geweldig in geschiedenis.
Een derde maakt de robot geweldig in cybersecurity.

De grote uitdaging is: Wat gebeurt er wanneer je twee of meer modules tegelijkertijd inplugt?

De Grote Vraag: Vechten de Modules met Elkaar?

De onderzoekers wilden weten of deze modules "op elkaars tenen trappen" wanneer ze worden gecombineerd.

De Oude Theorie (De "Geometrie"-hypothese):
Wetenschappers dachten vroeger dat het probleem leek op twee mensen die door dezelfde gang proberen te lopen. Als ze in exact dezelfde richting lopen, botsen ze tegen elkaar op. De theorie was: "Als we ervoor zorgen dat de modules in totaal verschillende richtingen wijzen (zoals de één naar het Noorden en de ander naar het Oosten), dan zullen ze niet interfereren en zal de robot perfect werken."

Om dit te testen, probeerden ze een geavanceerde nieuwe manier om de modules te combineren, genaamd Riemannian merging. Denk hierbij aan een hoogtechnologische kompas die probeert de perfecte "gemiddelde richting" te berekenen waarnaar de modules wijzen, om ervoor te zorgen dat ze geometrisch onderscheidend blijven en niet botsen.

Het Experiment: De "DoRA-RBAC" Test

De onderzoekers bouwden een systeem genaamd DoRA-RBAC. Ze namen een robotbrein (specifiek de Llama-3.1 en Mistral modellen) en gaven het verschillende vaardigheidsmodules voor zaken als:

SimpleQA: Algemene trivia (Kunst, Geografie, Geschiedenis, etc.).
GPQA: Moeilijke wetenschappelijke vragen (Biologie, Natuurkunde, Chemie).
WMDT: Veiligheidgevoelige onderwerpen (Bio, Cyber, Chem).

Vervolgens testten ze twee manieren om deze modules te combineren:

De Simpele Manier (Euclidisch): Neem simpelweg het gemiddelde van de modules, zoals het mengen van kleuren verf in een emmer.
De Geavanceerde Manier (Riemanniaans): Gebruik het hoogtechnologische kompas om ervoor te zorgen dat de richtingen perfect gescheiden zijn voordat ze worden gemengd.

De Resultaten: De "Geavanceerde" Manier Hielp Niet

Hier komt de verrassende wending: het geavanceerde kompas maakte de robot niet slimmer.

Gelijke Prestaties: Of ze nu de simpele gemiddelde methode of de geavanceerde geometrische methode gebruikten, de robot presteerde exact hetzelfde.
Geen "Botsingen": Zelfs toen de modules in iets verschillende richtingen wezen, zorgde de geavanceerde methode niet voor minder fouten of minder interferentie.
De Werkelijke Boosdoener: De onderzoekers ontdekten dat het probleem niet gaat over de richting waarin de modules wijzen (de geometrie). In plaats daarvan vindt de interferentie dieper in het robotbrein plaats, in hoe de modules interageren met de niet-lineaire denkprocessen van de robot.

De Analogie:
Stel je twee muzikanten voor die in een band spelen.

De Oude Theorie: "Als ze op verschillende plekken op het podium staan (geometrie), zullen ze niet met elkaar botsen."
De Realiteit: "Het maakt niet uit waar ze staan. Als ze hetzelfde nummer spelen maar met verschillende ritmes, zullen ze botsen omdat van de manier waarop de muziek zelf interageert, niet van waar ze staan."

Wat betreك de Privacy? (De "Geheime" Test)

De onderzoekers vroegen ook: "Als ik een gebruiker toegang geef tot alleen de 'Geschiedenis'-module, kan die gebruiker dan zien dat de robot specifiek die module gebruikt?"

Het Goede Nieuws: De modules verbeteren de prestaties van de robot op specifieke onderwerpen (hij wordt beter in geschiedenisvragen).
Het Slechte Nieuws: De modules zijn geen perfect privacyschild. Zelfs met de speciale modules kan een waarnemer nog steeds met ongeveer 65% zekerheid raden in welke "modus" de robot zich bevindt (wat beter is dan puur gokken, maar verre van volledige geheimhouding).
Conclusie: Dit systeem is geweldig voor het organiseren van vaardigheden, maar het moet niet worden gebruikt als een strikte kluis voor geheimen.

De Kern van het Verhaal

Geometrie is geen magische oplossing: Ervoor zorgen dat adaptermodules in verschillende richtingen wijzen, stopt ze niet met het interfereren met elkaar.
Simpel is prima: Je hebt geen complexe wiskunde nodig om deze modules te combineren; een simpel gemiddelde werkt net zo goed.
Het echte probleem zit dieper: De interferentie ontstaat door de manier waarop de modules interageren met het complexe interne denken van de robot, niet alleen door hoe ze zijn gerangschikt aan de buitenkant.
Privacy is beperkt: Hoewel je vaardigheden kunt mixen en matchen, kun je niet volledig verbergen welke vaardigheden worden gebruikt door de modules te mengen.

Kortom: de onderzoekers probeerden een puzzel op te lossen door de stukjes op de tafel te herschikken (geometrie), maar ze realiseerden zich dat de puzzelstukjes vochten vanwege de manier waarop ze binnenin de doos in elkaar passen (niet-lineaire interacties).

Technische Samenvatting: PermDoRA - Begrip van Adapter-interferentie in Taalmodellen

Probleemstelling

De implementatie van Large Language Models (LLM's) in bedrijfs- en wetenschappelijke omgevingen vereist vaak modulaire toegangscontrole, waarbij gebruikers geautoriseerd zijn om toegang te krijgen tot specifieke deelverzamelingen van domeinspecifieke kennis zonder het volledige model opnieuw te trainen. Hoewel bestaande benaderingen de toegangscontrole afhandelen op het niveau van prompts, routing of retrieval, ontbreken ze aan modulariteit op het niveau van geleerde representaties.

Een centrale uitdaging in parameter-gebaseerde toegangscontrole is adapter-interferentie: wanneer meerdere domeinspecifieke adapters tijdens inferentie worden samengesteld, treedt er vaak prestatieverlies op. Een heersende hypothese suggereert dat deze interferentie voortkomt uit overlap in lineaire parameterupdates. Bijgevolg wordt verondersteld dat het afdwingen van orthogonaliteit of directionele onafhankelijkheid in de parameterruimte (via geometrie-bewuste fusie) deze interferentie zou moeten verminderen en de multi-domein prestaties moet verbeteren ten opzichte van standaard Euclidische middeling.

Methodologie: DoRA-RBAC

De auteurs stellen DoRA-RBAC voor, een hiërarchisch framework voor adapter-compositie dat is ontworpen om de geometrische interferentie-hypothese te testen.

1. Framework Architectuur

Base Model: Een gepre-traind backbone-model (LLaMA-3.1-8B of Mistral-7B) is bevroren.
Shared Baseline: Een gedeelde baseline-adapter wordt getraind en bevroren.
Manager Adapters: Voor elk domein $d$ slaat een manager-adapter een incrementele update van de baseline op.
DoRA Decompositie: In tegenstelling tot standaard LoRA ( $\Delta W = BA$ ), decomponeert DoRA updates in een eenheidsrichtingsvector $\hat{v}_i$ en een scalaire magnitude $m_i$ :
$\Delta W_{DoRA}^i = m_i \cdot \hat{v}_i$
waarbij $\hat{v}_i = \frac{\Delta W_i}{\|\Delta W_i\|_F}$ .
Compositie: Tijdens inferentie worden de geautoriseerde domeinen van een gebruiker samengesteld tot één geflatteerde adapter.

2. Compositiestrategieën

De studie vergelijkt twee fusiestrategieën voor geautoriseerde domeinen $D$ :

Euclidische Compositie: De effectieve gewichtupdates worden gemiddeld in de Euclidische ruimte, gevolgd door een afgekapte Singular Value Decomposition (SVD) om het resultaat te herstructureren naar een low-rank adapter.
$\Delta W_D^{Euc} = \text{SVD}_r \left( \frac{1}{|D|} \sum_{i \in D} \Delta W_i \right)$
Riemanniaanse (Geometrie-bewuste) Compositie: Door gebruik te maken van de scheiding van richting en magnitude in DoRA, behandelt deze methode genormaliseerde richtingen als punten op een eenheids-hypersfeer. Het berekent het Fréchet-gemiddelde via genormaliseerde directionele middeling en aggregeert magnitudes afzonderlijk:
$\hat{v}_D^{Riem} = \frac{\sum_{i \in D} \hat{v}_i}{\|\sum_{i \in D} \hat{v}_i\|}, \quad m_D^{Riem} = \sum_{i \in D} m_i$
Het uiteindelijke gewicht wordt gereconstrueerd via SVD.

3. Evaluatiemetrieken

Utility (Bruikbaarheid): Gemeten via de Utility Gap Index (UGI), de winst in nauwkeurigheid van een domeinspecifieke manager ten opzichte van de baseline.
Interferentie/Beveiliging: Gemeten via de Domain Distinguishability Index (DDI), een AUC-score die kwantificeert hoe goed een model kan worden onderscheiden als "in-domain" versus "out-of-domain" met behulp van membership inference attacks (bijv. Min-K++).
Geometrische Diagnostiek: Cosinus-gelijkenis tussen adapter-updates en symmetrische orthogonaliteitsverliezen.

Belangrijkste Resultaten

1. Single-Domain Prestaties

Op single-domain taken over GPQA, PubMedQA, SimpleQA en WMDP presteert DoRA-RBAC vergelijkbaar met standaard LoRA. Er is geen significant verschil in prestaties tussen de twee methoden in single-domain settings, wat bevestigt dat de modulaire decompositie de bruikbaarheid niet inherent verslechtert.

2. Multi-Domain Compositie (De Kernbevinding)

De belangrijkste empirische bevinding is dat geometrie-bewuste fusie geen consistente voordelen biedt ten opzichte van standaard Euclidische middeling in multi-domein settings.

Prestaties: Op SimpleQA (2-domein en 3-domein combinaties) produceerden Euclidische en Riemanniaanse fusie vrijwel identieke nauwkeurigheidsscores (bijv. Llama 2-domein: 0.00532 voor beide; Mistral 2-domein: ~0.0123 voor beide).
Interferentie: De hypothese dat het afdwingen van orthogonaliteit de interferentie vermindert, werd niet ondersteund. De "winst" van fusie wordt toegeschreven aan de eigenschappen van modulariteit zelf, in plaats aan de geometrische structuur van de compositie.

3. Geometrische Diagnostiek

Angulaire Uitlijning: De studie vond dat de cosinus-gelijkenis tussen adapter-updates voorspelt wanneer geometrie-bewuste fusie convergeert naar Euclidisch gedrag. Naarmate updates meer collineair worden (hoge cosinus-gelijkenis), krimpt het prestatieverschil tussen de twee fusiestrategieën naar nul.
Beperking van Geometrie: Echter, angulaire uitlijning is een zwakke voorspeller van de algehele compositieprestaties. Zelfs wanneer adapters orthogonaal zijn, blijft interferentie bestaan. Dit suggereert dat interferentie niet primair wordt beheerst door de lineaire parameterruimte-geometrie.

4. Beveiliging en Privacy

Utility vs. Privacy: Hoewel domeinspecifieke managers de doel-domein bruikbaarheid verbeteren (gemiddelde UGI +0.1178 op SimpleQA), bieden ze geen sterke privacygaranties.
DDI-resultaten: De Domain Distinguishability Index (DDI) AUC bleef rond de 0.65, wat aanzienlijk boven toeval (0.5) ligt. Dit geeft aan dat modulaire compositie domeingedrag niet volledig isoleert; modellen behouden onderscheidbare "gedragsvingerafdrukken" van hun constituerende domeinen.

Conclusies en Betekenis

Het paper concludeert dat adapter-interferentie niet primair wordt gedreven door lineaire overlap in de parameterruimte, maar door interacties in gedeelde niet-lineaire representaties en downstream activaties.

Weerlegging van de Geometrische Hypothese: De aanname dat het afdwingen van orthogonaliteit of het gebruiken van Riemanniaanse fusie de interferentie zou oplossen, is onjuist. Wanneer de richtingen van de adapter-updates bijna collineair zijn (zoals waargenomen in de praktijk), reduceert geometrie-bewuste fusie effectief tot een gewone rekenkundige middeling, wat geen voordeel biedt.
Implicaties voor Toegangscontrole: DoRA-RBAC moet vooral worden gezien als een modulair compositie- en serving-framework in plaats van een mechanisme voor strikte isolatie. Hoewel het efficiënte multi-domein inferentie mogelijk maakt, garandeert het geen privacy. Formele privacy-verdedigingen (bijv. differentially private training) blijven noodzakelijk voor high-assurance implementaties.
Toekomstige Richting: De auteurs suggereren dat toekomstig werk zich moet richten op representatie-niveau doelstellingen of activatie-ruimte beperkingen in plaats van parameter-ruimte geometrie om betrouwbare compositie te bereiken.

De studie dient als een waarschuwing tegen het te sterk vertrouwen op de geometrische eigenschappen van de parameterruimte om het complexe probleem van adapter-interferentie in grote taalmodellen op te lossen.