Technische Samenvatting: GLoRA – Gauge-bewuste Low-Rank Serverrepresentaties voor Federated LoRA

1. Probleemstelling

Federated Learning (FL) gecombineerd met Low-Rank Adaptation (LoRA) biedt een veelbelovend paradigma voor het fine-tunen van Large Language Models (LLM's) onder gedecentraliseerde data- en resourcebeperkingen. Echter, bestaande federale LoRA-methode lijden aan een fundamentele semantische mismatch in hun aggregatieregels.

Het kernprobleem is gauge-ambiguïteit. Een LoRA-update wordt weergegeven als een low-rank product $\Delta W = BA$. Deze factorisatie is niet uniek; voor elke inverteerbare matrix $Q$ levert het paar $(BQ, Q^{-1}A)$ exact dezelfde update-matrix $\Delta W$ op. Bij centraal training is deze ambiguïteit onschuldig, aangezien factoren intern blijven bij één enkele optimizer. In federale settings echter, sturen cliënten ruwe factoren $(B, A)$ naar de server. Als de server deze ruwe factoren direct aggregeert (bijvoorbeeld door $B$ en $A$ afzonderlijk te middelen), hangt het resulterende server-update af van de willekeurige coördinatenkeuzes (gauges) die door individuele cliënten zijn gemaakt. Bijgevolg kunnen identieke intrinsieke cliënt-updates verschillende servermodellen produceren, afhankelijk van de interne herparameteriseringen van de cliënten, waardoor de aggregatieregel ongedefinieerd wordt.

Hoewel recente werken "onexacte aggregatie" hebben aangepakt (de algebraïsche fout waarbij $\sum B_i A_i \neq (\sum B_i)(\sum A_i)$), hebben ze deze meer fundamentele gauge-afhankelijkheid niet opgelost. Een naïeve oplossing – het aggregeren van de volledige dichte update-matrices $\Delta W_i$ en vervolgens refactoriseren – herstelt de semantische correctheid maar vernietigt de efficiencywinsten van LoRA door te vereisen dat de server grote $d_{out} \times d_{in}$ matrices materialiseert en decomposeert, wat onhaalbaar is op de schaal van moderne LLM's.

2. Methodologie: GLoRA

De auteurs stellen GLoRA (Gauge-Aware Low-Rank Aggregation) voor, een serverrepresentatie die semantische correctheid behoudt zonder terug te vallen op dichte updates. GLoRA werkt door de update-geometrie te scheiden van de factorcoördinaten.

2.1 Gauge-invariante subruimte-extractie

In plaats van ruwe factoren te aggregeren, extrahereert GLoRA eerst de intrinsieke geometrie van de update van elke cliënt. Voor een cliënt-update $\Delta W_i = B_i A_i$ voert de server een gereduceerde QR-decompositie uit op $B_i$:
$$B_i = U_i T_i$$
waarbij $U_i$ een orthonormale basis is die de kolomruimte van de update overspant, en $T_i$ de coördinaten bevat. De update wordt herschreven als $\Delta W_i = U_i \tilde{A}_i$ (waarbij $\tilde{A}_i = T_i A_i$).
Cruciaal is dat de door $U_i$ opgespannen kolomsubruimte gauge-invariant is; deze blijft onveranderd ongeacht de inverteerbare transformatie $Q$ die op de oorspronkelijke factoren wordt toegepast. De server stelt deze geometrie voor met de orthogonale projector $P_i = U_i U_i^\top$.

2.2 Consensus-subruimte constructie

De server aggregeert deze projectoren om een gedeelde consensus-subruimte $U_{ref}$ te schatten:
$$K = \sum_{i} p_i P_i = \sum_{i} p_i U_i U_i^\top$$
De server berekent de top-$R$ eigenvectoren van $K$ om de referentiebasis $U_{ref}$ te vormen. Deze stap is computatie-efficiënt omdat deze werkt op de dunne matrix van cliënt-bases in plaats van de volledige dichte update-matrix. $U_{ref}$ definieert een gemeenschappelijk coördinatenstelsel voor de huidige ronde van updates.

2.3 Aggregatie in gedeelde coördinaten

Zodra $U_{ref}$ is vastgesteld, wordt de update van elke cliënt geprojecteerd in dit gedeelde frame:
$$Z_i = U_{ref}^\top \Delta W_i = U_{ref}^\top U_i \tilde{A}_i$$
De server aggregeert vervolgens deze geprojecteerde coördinaten direct:
$$Z_{global} = \sum_{i} p_i Z_i$$
De uiteindelijke serverstaat is het low-rank paar $(U_{ref}, Z_{global})$, wat de update $\Delta W_{global} = U_{ref} Z_{global}$ voorstelt. Dit zorgt ervoor dat de server-update wordt gedefinieerd door de intrinsieke matrices $\{\Delta W_i\}$ in plaats van willekeurige factorcoördinaten, terwijl volledig low-rank te blijven.

2.4 Rank-compatibele readout voor heterogeniteit

Om cliënten met verschillende rank-budgets ($r_i$) te ondersteunen, maakt GLoRA gebruik van een core–tail readout-mechanisme. De server decomposeert $Z_{global}$ via SVD om componenten te ordenen op energie.

• Core: Een gedeelde set van top-componenten wordt aan alle cliënten toegewezen om globale consistentie te behouden.
• Tail: Het resterende rank-budget wordt toegewezen op basis van cliënt-specifieke historische update-geometrie (alignmentscores) of globale spectrale orde als geschiedenis niet beschikbaar is.
  Dit stelt heterogene cliënten in staat adapters van verschillende ranks te instantiëren vanuit dezelfde serverstaat, zonder dat aparte aggregatieobjecten of dichte refactorisatie nodig zijn.

3. Belangrijkste Bijdragen

1. Identificatie van Gauge-afhankelijkheid: Het artikel identificeert gauge-afhankelijkheid als een semantisch faalpatroon in factor-niveau federale LoRA-aggregatie, en onderscheidt dit van het algebraïsche "onexacte aggregatie"-probleem. Het stelt dat ruwe factoren geen geldige aggregatieobjecten zijn onder gauge-ambiguïteit.
2. GLoRA Framework: De auteurs stellen een gauge-bewuste aggregatiemethode voor die een compacte low-rank serverstaat behoudt. Het aggregeert updates via een consensus-subruimte en gedeelde referentiecoördinaten, en vermijdt zowel ruwe factoraggregatie als materialisatie van dichte updates.
3. Ondersteuning voor Heterogeniteit: GLoRA introduceert een rank-compatibele readout die adapters van verschillende ranks instantieert vanuit één enkele serverstaat, wat op natuurlijke wijze heterogene cliëntcapaciteiten en spaarzame participatie ondersteunt.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat GLoRA consistent beter presteert dan baselines (FedIT, FedEx-LoRA, FedSA-LoRA, HetLoRA, FlexLoRA) over data-heterogeniteit, resource-heterogeniteit en taakheterogeniteit.

4. Experimentele Resultaten

De auteurs hebben GLoRA geëvalueerd op GLUE (met RoBERTa-Base) en SuperNI (met LLaMA-1B, Qwen2-7B en Gemma-2-9B) onder diverse voorwaarden:

• Data Heterogeniteit: Onder ernstige label-skew (Dir(0.1)) behaalde GLoRA de hoogste gemiddelde nauwkeurigheid op GLUE-taken, aanzienlijk beter dan FedSA-LoRA (dat op de meeste taken faalde om te convergeren) en andere baselines.
• Resource Heterogeniteit: In settings met heterogene cliënt-ranks (Normaal, Uniform, Heavy-tail verdelingen) eindigde GLoRA op de eerste plaats in 14 van de 15 taak-verdelingsparen, wat robuustheid aantoont tegen variërende adaptercapaciteiten.
• Spaarzame Cross-Task FL: Op SuperNI met 10% cliëntparticipatie en evaluatie op ongezette taken behaalde GLoRA de beste ROUGE-L scores op zowel in-domein als ongezette cliënten, wat superieure generalisatie aangeeft in vergelijking met rank-specifieke truncatiemethoden.
• Schaalbaarheid: GLoRA behield zijn prestatievoordeel op grotere backbones (7B en 9B parameters), wat suggereert dat de aanpak niet beperkt is tot kleinere modellen.
• Efficiëntie: GLoRA bereikt een gunstige afweging tussen efficiency en prestaties. De complexiteit per laag is $\Theta(r_\Sigma^2(d_{out} + d_{in}) + r_\Sigma^3)$, wat aanzienlijk goedkoper is dan aggregatiemethoden voor dichte updates (zoals FlexLoRA) terwijl het de gauge-gevoeligheid van directe factor-middeling vermijdt.

5. Betekenis en Claims

Het artikel stelt dat effectieve federale LoRA vereist niet zomaar het middelen van low-rank factoren, maar het definiëren van een semantisch betekenisvolle serverzijdige representatie voor aggregatie.

De auteurs betogen dat de belangrijkste ontwerpkeuze in federale LoRA verschuift van "hoe factoren te middelen" naar "welk serverzijdig object de aggregate vertegenwoordigt". Door de update-geometrie te scheiden van factorcoördinaten, lost GLoRA de semantische mismatch op die inherent is aan huidige methoden. De resultaten suggereren dat gauge-bewuste aggregatie essentieel is voor stabiele convergentie en hoge prestaties in federale settings, met name bij het omgaan met heterogene data, resources en taken. Het artikel concludeert dat, hoewel de huidige schatting van de consensus-subruimte vertrouwt op kolomruimte-geometrie, toekomstig werk update-energie of taak-bewuste weging kan incorporeren om de subruimteconstructie verder te verfijnen.