Which LoRA? An Empirical Study on the Effectiveness of LoRA Techniques During Multilingual Instruction Tuning

Technische Samenvatting: Welke LoRA? Een empirische studie naar de effectiviteit van LoRA-technieken tijdens meertalige instructie-afstemming

Probleemstelling
Low-Rank Adaptation (LoRA) is een vooraanstaande techniek voor efficiënte parameter-afstemming (PEFT) die de originele parameters van Large Language Models (LLM's) bevriest terwijl kleine low-rank matrices worden getraind. Hoewel talrijke nieuwe LoRA-varianten (bijv. DoRA, VeRA, AdaLoRA, PiSSA) zijn geïntroduceerd om de prestaties op Engelse taken te verbeteren, blijft hun effectiviteit bij meertalige instructie-afstemming onderbelicht. Specifiek is het onduidelijk of deze architecturale vernieuwingen voordelen bieden ten opzien van basis-LoRA bij het balanceren van cross-linguale transfer (kennis aanpassen van Engels naar nieuwe talen) en kennisbehoud (Engelse capaciteiten behouden). Bovendien heeft bestaand onderzoek naar LoRA in cross-linguale settings zich grotendeels gericht op basis-LoRA of adaptatie van talen met weinig middelen, zonder deze varianten uitgebreid te vergelijken of hun impact op interne taalrepresentaties te analyseren.

Methodologie
De auteurs voerden een empirische evaluatie uit waarbij basis-LoRA werd vergeleken met vier geavanceerde varianten:

1. DoRA (Weight-Decomposed Low-Rank Adaptation)
2. VeRA (Vector-Based Random Matrix Adaptation)
3. AdaLoRA (Adaptive Low-Rank Adaptation)
4. PiSSA (Principal Singular Values and Singular Vectors Adaptation)

• Datasets & Talen: Experimenten maakten gebruik van de XNLI-dataset (Natural Language Inference) en TyDiQA-GoldP (Vraagbeantwoording). De studie richtte zich op vijf taalkundig diverse, minderheidstalen (target languages, TL's): Urdu (Ur), Swahili (Sw), Hindi (Hi), Bengalees (Bn) en Telugu (Te).
• Experimenteel Ontwerp:
  • Data Mix: Het LLM werd gefinetuned op een mix van Engelse en TL-data. De auteurs evalueerden TL-ratio's van 0%, 1%, 10% en 50% om de optimale datacompositie te bepalen.
  • Parametercontrole: Om een eerlijke vergelijking te garanderen, werden de meeste configuraties gestandaardiseerd naar een rang ($r$) van 8 en een parameterbudget van ongeveer 0,26%. Een aangepaste DoRA-configuratie (DoRA*) werd gemaakt om dit budget te evenaren, aangezien standaard DoRA doorgaans piekt bij $r=16$ (0,36% parameters).
  • Modellen: De primaire experimenten gebruikten Llama-3.1-8B. De generaliseerbaarheid werd getest op Llama-3.2-3B en Qwen3-8B.
  • Analyse: Naast prestatie-indicatoren (Micro F1) omvatte de studie een laag-gewijze verborgen embedding-analyse met behulp van CLD3 om de taalrepresentatie binnen de interne lagen van het model te classificeren.

Belangrijkste Resultaten

1. Prestatie-equivalentie: Over diverse doeltalen en modelarchitecturen heen werd geen significant voordeel gevonden voor complexe LoRA-varianten ten opzien van basis-LoRA. Een ANOVA-test op de prestaties van de doeltalen leverde geen statistisch significant verschil ($p = 0,89$) op tussen de varianten.
2. Engelse Prestatiehiërarchie: Hoewel de prestaties van de doeltalen vergelijkbaar waren, vertoonden de Engelse prestaties significante verschillen. Basis-LoRA, DoRA, DoRA* en AdaLoRA presteerden vergelijkbaar en significant beter dan PiSSA en VeRA. De auteurs schrijven de onderprestatie van VeRA toe aan de gedeelde globale matrices, wat de updates kan beperken tot een enkele subspace, wat het behoud van kennis belemmert.
3. Gevoeligheid voor Datamix: Het introduceren van zelfs een klein deel (1%) van TL-data verbeterde de prestaties van de doeltaal aanzienlijk met minimale degradatie van de Engelse prestaties. Het verhogen van de TL-proportie naar 10% of 50% leidde over het algemeen tot prestatiedegradatie voor beide talen.
4. Gevoeligheid voor Rang: De prestaties van de doeltaal waren zeer gevoelig voor de schaling van de rang. Hoewel Rang 8 de standaard was, leverde Rang 32 de piekprestaties voor de TL op bij bijna alle varianten, terwijl Rang 16 vaak tot degradatie leidde.
5. Computationele Efficiëntie: Geen enkele variant domineerde alle efficiëntie-indicatoren. Basis-LoRA en AdaLoRA vertoonden gunstige efficiëntieprofielen, terwijl DoRA en DoRA* minder efficiënt waren over de meeste metrieken (trainingstijd, GPU-benutting, geheugen).
6. Interne Representaties: De laag-gewijze analyse toonde aan dat patronen in taalrepresentatie (de overgang van initiële lagen naar Engels-dominante middelste lagen, gevolgd door een afname van de dominantie in de buitenste lagen) grotendeels vergelijkbaar bleven voor alle LoRA-technieken. Dit suggereert dat architecturale wijzigingen in deze varianten de interne taalrepresentatie van het LLM niet fundamenteel veranderen.

Betekenis en Claims
Het artikel stelt dat voor meertalige instructie-afstemming architecturale nieuwheid niet noodzakelijkerwijs vertaalt in prestatiewinst. De studie daagt de aanname uit dat complexere LoRA-varianten superieur zijn voor cross-linguale adaptatie. Belangrijkste conclusies zijn:

• Eenvoud Volstaat: Basis-LoRA is voldoende voor het balanceren van cross-linguale transfer en kennisbehoud, en biedt een computationeel efficiënter alternatief voor complexe varianten.
• Toepassing van Lagen: In tegen tegenstelling tot sommige bevindingen uit pre-training, stellen de auteurs dat LoRA in instructie-afstemming op alle lagen moet worden toegepast in plaats van alleen op de laatste lagen.
• Representatiestabiliteit: Het gebrek aan significante verandering in de verborgen embeddings over de varianten heen suggereert dat de "black box" van LLM-adaptatie stabiel blijft, ongeacht de specifieke LoRA-variant die wordt gebruikt, wat impliceert dat de voordelen van deze varianten taakspecifiek kunnen zijn in plaats van universeel voor meertalige settings.

De auteurs concluderen dat hun werk een bredere onderzoek naar taalverwerving in LLM's biedt vergeleken met eerdere studies, door een breder scala aan talen, modelarchitecturen en interne representatie-analyses te dekken, en suggereert uiteindelijk dat onderzoekers de noodzaak van complexe LoRA-varianten voor meertalige instructie-afstemmingstaken moeten heroverwegen.