Technische Samenvatting: Afruil tussen Capaciteit en Redundantie in Multi-Task Learning

1. Probleemstelling

Multi-Task Learning (MTL) streeft naar verbeterde efficiëntie en generalisatie door één enkel model gelijktijdig te trainen op meerdere voorspellingsopdrachten. Een hardnekkige uitdaging is echter negatieve transfer, waarbij het trainen op extra taken de prestaties verslechtert in plaats van ze te verbeteren. Hoewel dit vaak wordt beschouwd als een artefact van optimalisatie, stelt dit artikel dat negatieve transfer fundamenteel een gevolg is van beperkte gedeelde capaciteit en zwakke taakredundantie.

In de context van Parameter-Efficient Fine-Tuning (PEFT) voor Large Language Models (LLM's), specifiek met methoden zoals Low-Rank Adaptation (LoRA), ontstaat een cruciale ontwerpkeuze: moeten meerdere taken een enkele lichtgewicht module delen om transfer te stimuleren, of moet elke taak een private module krijgen om interferentie te voorkomen? Bestaande hybride benaderingen (bijv. taakclustering, mixture-of-adapters) missen een verenigend theoretisch kader om te bepalen wanneer delen gunstig is versus wanneer specialisatie vereist is.

2. Methodologie en Theoretisch Kader

Het artikel introduceert een Capaciteit–Redundantie (CR) identiteit die de som van de per-taak voorspellende informatie decomponeert in gezamenlijke voorspellende informatie, labelredundantie en een residuele koppelingsterm.

2.1 De Capaciteit–Redundantie (CR) Ongelijkheid

De auteurs modelleren de gedeelde encoder in MTL als een kanaal met een eindige capaciteit met een budget $I(X; Z_s) \leq C_s$, waarbij $Z_s$ de gedeelde latente representatie is. Ze leiden de volgende ongelijkheid af:
$$\sum_{t=1}^T I(Z_s; Y^{(t)}) \leq C_s + TC(Y^{(1:T)})$$
Waar:

• $I(Z_s; Y^{(t)})$ de voorspellende informatie voor taak $t$ is.
• $C_s$ de gedeelde capaciteit is.
• $TC(Y^{(1:T)})$ de Total Correlation (totale correlatie) tussen de labels is, wat dient als een maatstaf voor labelredundantie.

De ongelijkheid is afgeleid van een exacte identiteit:
$$\sum_{t=1}^T I(Z_s; Y^{(t)}) = I(Z_s; Y^{(1:T)}) + \left( TC(Y^{(1:T)}) - TC(Y^{(1:T)} | Z_s) \right)$$
De term $\Delta = TC(Y^{(1:T)} | Z_s)$ vertegenwoordigt de residuele koppeling (interferentie) die overblijft na conditionering op de gedeelde representatie. Als $\Delta > 0$, heeft de gedeelde representatie de gezamenlijke taakdistributie niet volledig gefactoriseerd.

2.2 Belangrijke Theoretische Resultaten

• Onmogelijkheid om Signaal te Handhaven zonder Schalen: Voor zwak afhankelijke taken (lage $TC$) dwingt het toevoegen van taken aan een bottleneck met een vaste capaciteit het gemiddelde per-taak informatiegehalte om te dalen als $O(1/T)$. Om een constant per-taak signaalniveau te behouden, moet de capaciteit lineair schalen met het aantal taken, tenzij de redundantie hoog is.
• Gradiënt–TC Brug: In een Gaussisch multi-task model bewijst het artikel dat de gradiënt-cosinusovereenkomst de teken en ordening van labelcorrelaties behoudt (onder gelijke ruis). Dit rechtvaagt formeel het gebruik van gradiëntgelijkenis als een proxy voor redundantie-ordening om taakclustering te sturen.
• Clustering Gap Decompositie: De auteurs leiden een noodzakelijke en voldoende voorwaarde af voor wanneer geclusterde deelname (delen binnen groepen, niet globaal) beter presteert dan globale deelname. De winst wordt gedecomponeerd in:
  $$\text{Winst} = (\text{Reductie van Interferentie}) - (\text{Verlies van Redundantie})$$
  Geclusterde deelname is strikt gunstig als en slechts als de reductie in residuele koppeling de loss van gedeelde redundantie over clustergrenzen heen overtreft.
• Shared–Private Extensie: Het kader wordt uitgebreid met de inclusie van taak-private kenmerken ($Z_t$). De totale informatiegrens wordt $C_s + \sum C_t + TC(Y^{(1:T)})$. Private kenmerken worden getoond de residuele koppeling $\Delta$ te verminderen door heterogeniteit te absorberen die de gedeelde bottleneck niet kan coderen.

2.3 Toepassing op LoRA

Het artikel modelleert LoRA als een capaciteitsbeperkt kanaal waarbij de rang $r$ de effectieve capaciteit $C_s$ beperkt. Het voorspelt dat voor heterogene taken een enkele globaal gedeelde LoRA snel verzadigd zal raken naarmate de rang toeneemt, terwijl geclusterde of private adapters noodzakelijk zijn om interferentie te voorkomen.

3. Empirische Resultaten

De auteurs valideren hun theorie via synthetische data en real-world NLP-benchmarks met een bevroren bert-base-uncased encoder met LoRA-adapters.

3.1 Synthetische Validatie

• CR Ongelijkheid Nauwkeurigheid: In een lineair-Gaussisch model wordt aangetoond dat de grens nauwkeurig is wanneer de encoder de taak-subruimte beslaat.
• Schatting van Residuele Koppeling ($\hat{\Delta}$): De auteurs stellen voor om de residuele koppeling $\Delta$ te schatten met behulp van validatie-residuele correlaties. Ze demonstreren dat deze estimator gevoelig is voor de regularisatieparameter $\epsilon$ in de log-determinant berekening, waarbij ze een optimale range ($\epsilon = 10^{-5}$) identificeren die de bias minimaliseert.

3.2 Real-World Benchmarks

Experimenten werden uitgevoerd op de GoEmotions dataset (12 emotie-labels) en de GLUE8 benchmark (8 diverse NLP-taken).

• GoEmotions: Geclusterde routing (het groeperen van taken op basis van gradiëntgelijkenis) presteerde consequent beter dan globale deelname en private-only baselines onder gelijke rank-budgetten (bijv. bij rank 8, Clustered AUROC: 0,821 vs. Shared: 0,708). Cruciaal is dat geclusterde routing resulteerde in een systematisch lagere geschatte residuele koppeling $\hat{\Delta}$, wat de verminderde interferentie bevestigt.
• GLUE8: Vergelijkbare trends werden waargenomen, hoewel de verbeteringen minder groot waren vanwege de heterogene aard van de taken (syntaxis vs. sentiment).
• Conclusie: Gelijkenis-gestuurde routing vermindert effectief de residuele interferentie en verbetert de prestaties wanneer de adapter-capaciteit beperkt is.

4. Belangrijkste Bijdragen

1. Isolatie van de Slack Term: Het artikel identificeert $\Delta = TC(Y^{(1:T)} | Z_s)$ als de specifieke maatstaf voor de interferentie die onopgelost blijft door een gedeelde representatie.
2. Clustering Gap Decompositie: Biedt een noodzakelijke en voldoende voorwaarde (Theorem 5.3) voor wanneer geclusterde deelname superieur is aan globale deelname, waarbij de afruil wordt geframed als de reductie van interferentie versus het verlies van redundantie.
3. Gradiënt–TC Brug: Rechtvaagt formeel gradiënt-cosinusovereenkomst als een proxy voor redundantie-ordening in Gaussische modellen, waardoor optimalisatiedynamica wordt gekoppeld aan informatie-theoretische redundantie.
4. Operationele Limieten voor PEFT: Kwantificeert de afruil tussen adapter-rang (capaciteit) en de dimensie van de taak-subruimte, wat een theoretische basis biedt voor wanneer men parameters moet delen of specialiseren in LoRA-gebaseerde fine-tuning.

5. Betekenis en Claims

Het artikel claimt een distributie-niveau converse te bieden op haalbare voorspellende informatie door een gedeelde latente ruimte, onafhankelijk van specifieke trainingsalgoritmen of estimators. De primaire betekenis ligt in:

• Herformulering van Negatieve Transfer: Het verplaatsen van de verklaring van optimalisatie-artefacten naar fundamentele limieten van capaciteit en redundantie.
• Voorschrijvende Ontwerpregels: Het bieden van een "als-en-slechts-als"-regel voor het delen van parameters op basis van taakgelijkenis en redundantie.
• Praktische Begeleiding voor PEFT: Het aantonen dat onder strikte capaciteitsbudgetten (lage rank), gebaseerd op gelijkenis uitgevoerde clustering een geprincipeerde manier is om interferentie te mitigeren, terwijl naïeve globale deelname negatieve transfer kan versterken.

De auteurs merken op dat de CR-grens zich richt op redundantie en geen complementaire informatie (synergie) tussen taken vangt, wat suggereert dat toekomstig werk het kader kan uitbreiden met behulp van partiële informatie-decompositie.