Technische Samenvatting: Versterking van de Sporse Subnetwerk voor Ondervertegenwoordigde Talen in Large Language Models

Probleemstelling

Large Language Models (LLM's) vertonen significante prestatieverschillen tussen talen met veel middelen (high-resource) en talen met weinig middelen (low-resource). Hoewel het schalen van trainingsdata en modelparameters de meertalige prestaties verbetert, is deze aanpak vaak onpraktisch voor scenario's met beperkte middelen die honderden talen omvatten. Bestaande adaptatiestrategieën kampen met een fundamentele afruil:

• Full Fine-Tuning: Leidt vaak tot catastrofale vergetelheid (catastrophic forgetting) van algemene capaciteiten en vereist aanzienlijke computationele middelen.
• Parameter-Efficient Fine-Tuning (PEFT): Methoden zoals LoRA en adapters verminderen de computationele kosten, maar opereren zonder expliciete overweging van hoe kennis binnen het model is georganiseerd, wat potentieel parameters wijzigt die verschillende functies coderen op een ononderscheidenbare wijze.
• Neuron-Level Approaches: Voorgaand werk heeft veelbelovend gebleken bij het identificeren van taalspecifieke structuren, maar heeft zich grotendeels gericht op taakspecifieke adaptatie (bijv. machinevertaling) of interpreteerbaarheid, in plaats van op systematische, gerichte fine-tuning voor het injecteren van capaciteiten op schaal.

De centrale onderzoeksvraag is of nieuwe taalcapaciteiten in LLM's kunnen worden geïnjecteerd door direct alleen de sporse subset van neuronen te finetunen die taal-specifieke verwerking coderen, zonder de bestaande algemene capaciteiten te degraderen.

Methodologie

De auteurs stellen een framework voor om monolinguale capaciteiten te versterken door de gerichte fine-tuning van taal-specifieke subnetwerken binnen de Feed-Forward Network (FFN) componenten. De aanpak bestaat uit twee primaire stadia:

1. Neuron Identificatie via LAPE

De methode maakt gebruik van Language Activation Probability Entropy (LAPE), een informatietheoretische metriek, om neuronen te identificeren die sterke taal-specifieke activatiepatronen vertonen.

• Mechanisme: Voor elk neuron $i$ in laag $\ell$ wordt de waarschijnlijkheid van activatie onder inputs van taal $k$ ($p^k_{\ell,i}$) geschat over een monolinguale corpus.
• Entropy Berekening: De waarschijnlijkheden over $K$ talen worden genormaliseerd om een distributie te vormen. De LAPE-score wordt berekend als de Shannon-entropie van deze distributie. Lage LAPE-scores duiden op neuronen die selectief activeren voor een specifieke taal (lage entropie), terwijl hoge scores duiden op taal-agnostische neuronen.
• Selectie-criteria: Neuronen in het laagste $\rho$-de percentiel (gesteld op 5%) van de LAPE-scores worden geselecteerd, onderworpen aan een activatiedrempel ($\tau_{act}$) om uniform inactieve neuronen te filteren. Een neuron kan tot meerdere subnetwerken behoren als het de activatiedrempel voor meerdere talen overschrijdt, wat gedeelde linguïstische kenmerken weerspiegelt.
• Focus: De studie richt zich op FFN-componenten, aangezien eerder onderzoek heeft vastgesteld dat zij de primaire locatie zijn voor de opslag van feitelijke en linguïstische kennis in transformers.

2. Sparse Subnetwork Fine-Tuning

Zodra het taal-specifieke subnetwork $S_k$ voor een doeltaal $k$ is geïdentificeerd, wordt het model gefinetuned door alleen de gewichten te updaten die geassocieerd zijn met deze neuronen.

• Parameter Scope: Voor een transformer met GLU-gebaseerde FFN-blokken omvatmen de trainbare parameters voor een geselecteerd neuron $i$ de overeenkomstige rijen van de gate- en up-projectiematrices ($W_{gate}[i, :], W_{up}[i, :]$) en de kolom van de down-projectiematrix ($W_{down}[:, i]$).
• Optimalisatie: Het model minimaliseert de taalmodellering-loss op doel-taal data terwijl alle andere parameters bevroren blijven.
• Efficiëntie: Deze aanpak update slechts 0,2% tot 1% van de totale modelparameters.

Belangrijkste Bijdragen

1. Systematisch Framework: Introductie van een framework voor het versterken van ondervertegenwoordigde talen via sparse subnetwork fine-tuning, waarbij wordt aangetoond dat taalcapaciteiten kunnen worden geïnjecteerd door minder dan 1% van de parameters te updaten.
2. Empirische Validatie: Uitgebreide experimenten over drie modellen (LLAMA-3.1-8B, MISTRAL-NEMO-12B, AYA-EXPANSE-8B) en 12 mid- en low-resource talen. De methode presteert consistent beter dan full fine-tuning, FFN-only fine-tuning, LoRA, IA3 en random-subset baselines in doel-taal taken, terwijl de algemene capaciteiten volledig behouden blijven.
3. Mechanistische Inzichten:
   • Gewichtsverandering Asymmetrie: Analyse onthult dat down-projection gewichten in latere lagen aanzienlijk grotere updates ondergaan (3–5× meer dan gate/up projecties) vergeleken met andere componenten, wat suggereert dat zij de primaire locatie zijn voor linguïstische herbedrading (re-wiring).
   • Cross-Lingual Alignment: Sparse fine-tuning verbetert de cross-linguale alignment (gemeten via de cosinus-gelijkenis van residual-stream activaties) effectiever dan dense fine-tuning, waardoor meer taal-agnostische representaties in latere lagen worden geproduceerd.
4. Resource Release: Publicatie van taal-specifieke neuron identificaties voor meer dan 100 talen en de adaptatie-pipeline, wat praktische middelen biedt aan de gemeenschap.

Experimentele Resultaten

• Doel-Taal Prestaties: De sparse subnetwork aanpak behaalde de hoogste gemiddelde verbeteringen op vertaalings (FLORES-200, OPUS-100) en begrijpings/classificatie benchmarks (BELEBELE, SIB-200). Bijvoorbeeld, op FLORES bereikten doel-subnetworks gemiddelde verbeteringen van tot wel 5 BLEU punten over het basismodel, waarmee ze de full fine-tuning verslaan die vaak prestaties degradeerde.
• Behoud van Algemene Capaciteiten: In tegen tegenstelling tot full fine-tuning en FFN-only fine-tuning, die catastrofale vergetelheid veroorzaakten (bijv. MMLU scores die daalden van ~58 naar ~22), behield de sparse methode algemene capaciteiten (MMLU scores bleven nabij het basisniveau, ~57,5 vs 58,1).
• Vergelijking met PEFT: Hoewel IA3 de algemene capaciteiten behield, waren de winsten op doel-taal taken consequent kleiner dan die van de sparse subnetwork methode. LoRA en random-subset baselines vertoonden intermediaire prestaties, maar leden onder merkbare reducties in algemene capaciteiten.
• Data Efficiëntie: De methode convergeert sneller en bereikt een lagere validatie-loss dan baselines. Het vergroten van de omvang van de trainingsdata (tot 200M tokens) verbeterde over het algemeen de prestaties, hoewel verzadiging of lichte dalingen werden waargenomen voor specifieke talen (bijv. Litouws, Maltees), wat wijst op limieten in de subnetwork capaciteit.

Betekenis en Claims

Het papier claimt dat sparse, gerichte fine-tuning van taal-specifieke neuronen een levensvatbaar mechanisme is voor taaladaptatie op capaciteitsniveau. De betekenis van dit werk ligt in:

• Democratisering van Toegang: Het bieden van een kosteneffectief pad om LLM's uit te breiden naar ondervertegenwoordigde talen zonder de computationele last van volledige hertraining of het risico op catastrofale vergetelheid.
• Actiegerichte Interpreteerbaarheid: Het demonstreren dat mechanistische inzichten (het identificeren van specifieke neuronen via LAPE) direct kunnen leiden tot modelverbetering, waarbij men verder gaat dan post-hoc analyse naar actiegerichte optimalisatie.
• Schaalbaarheid: Het bewijzen dat taalcapaciteiten kunnen worden geïnjecteerd door minder dan 1% van de parameters te updaten, een resultaat dat de auteurs naar zeggen niet eerder op deze schaal is gedemonstreerd.

De auteurs concluderen dat dit framework een praktisch fundament biedt voor toekomstig onderzoek naar LLM's voor ondervertegenwoordigde talen, met potentiële extensies naar andere modaliteiten en de adaptieve bepaling van subnetwork groottes op basis van taaltypologie.