Optimizing Multilingual LLMs via Federated Learning: A Study of Client Language Composition

Probleemstelling

Het toepassen van Federated Learning (FL) op Meertalige Large Language Models (LLMs) brengt specifieke uitdagingen met zich mee die voortkomen uit de heterogeniteit van de data. In realistische FL-scenario's zijn client-data vaak non-IID (niet onafhankelijk en identiek verdeeld). In meertalige contexten betekent dit dat verschillende clients vaak data in verschillende talen bezitten (bijvoorbeeld één client heeft alleen Spaanse data, een andere alleen Duitse).

Deze taalkundige diversiteit leidt tot een verschijnsel dat bekend staat als client drift: lokale updates van clients divergeren van het globale doelwit omdat ze geoptimaliseerd zijn voor een specifieke taal of een zeer onevenwichtige verdeling van talen. Dit vertraagt de convergentie, verslechtert de generalisatieprestaties en creëert ongelijkheid in prestaties tussen talen, waarbij minder-resourcerijke talen vaak slechter presteren dan talen met meer data. Bestaande methoden adresseren dit vaak onvoldoende, en er is weinig inzicht in hoe de specifieke samenstelling van de taaldata per client (van volledig monolinguaal tot volledig meertalig) de prestaties, eerlijkheid en kosten beïnvloedt.

Methodologie

De auteurs hebben een reeks gecontroleerde experimenten opgezet om de invloed van de client-taalsamenstelling te onderzoeken.

1. Framework Uitbreiding: Ze hebben het FederatedScope-LLM framework uitgebreid om meertalige instructie-tuning (instruction-tuning) te ondersteunen. Dit omvat flexibele prompt-integratie en data-pipelines die rekening houden met de taal van de samples.
2. Experimentele Opstelling:
   • Model: Ze gebruikten salamandra-2b-instruct, een meertalig LLM, en pasten LoRA (Low-Rank Adaptation) toe om de trainingskosten en communicatie- overhead te verlagen (slechts ~1-2% van de parameters worden getraind).
   • Data: Ze gebruikten een meertalige versie van het Alpaca Cleaned dataset met 8 talen (waaronder Engels, Spaans, Duits, Catalaans, Deens, Servisch, Kroatisch en Baskisch).
   • Client Configuraties: Ze varieerden systematisch de samenstelling van de data per client, van 100% monolinguaal (elke client heeft data in slechts één taal) tot 15% monolinguaal (clients hebben data in alle talen, maar met een kleine dominantie van één taal). Hierdoor werd de mate van non-IID heterogeniteit tussen clients gecontroleerd.
3. LDES-FL (Local Dynamic Early Stopping):
   • Ze introduceerden een nieuwe methode voor lokale dynamische vroege stopzetting. In tegenstelling tot standaard FL waar de training stopt op basis van een globale validatie, stopt elke client zijn lokale training autonoom als er geen verbetering meer is op zijn eigen validatie-set.
   • Cruciaal is dat clients kunnen hervatten: als een nieuwe globale update wel weer verbetering biedt op de lokale validatie-set, hervat de client de training. Dit vermindert onnodige berekeningen en maakt de training duurzamer.
4. Vergelijking: De resultaten werden vergeleken met:
   • Een Base Model (pre-getraind, niet gefinetuned).
   • Local FT (monolinguaal): Elke client finetuned zijn eigen model op zijn eigen taal.
   • Local FT (meertalig): Een centraal gefinetuned model op alle data (als bovengrens).
   • FedAvg: Federale training met verschillende client-samenstellingen.

Belangrijkste Bijdragen

1. Meertalige FL-ondersteuning: Een uitgebreid framework voor meertalige instructie-tuning van LLMs in een federale setting.
2. LDES-FL: Een innovatieve stop-criterium dat client-autonomie biedt, de rekentijd verlaagt en de dynamiek van meertalige FL beter in kaart brengt.
3. Empirisch Inzicht in Client Samenstelling: Een systematische studie die aantoont dat het verhogen van de meertaligheid binnen elke client (het verminderen van de non-IID heterogeniteit) leidt tot sterkere en eerlijkere globale modellen.

Resultaten

De experimentele resultaten tonen duidelijke trends:

• Prestaties vs. Specialisatie:
  • Monolinguaal Local FT is het meest effectief voor het maximaliseren van prestaties in één specifieke taal (specialisatie), maar leidt tot een onbalans in het meertalige totaal.
  • Centrale Meertalige Finetuning (Local FT multilingual) levert de beste algehele prestaties op, maar vereist centrale data-access (geen privacy).
  • Federale Training (FedAvg) levert een sterk, gebalanceerd meertalig model op dat beter presteert dan het base model en vaak beter is dan de gemiddelde prestatie van losse monolinguaal gefinetuned modellen.
• Invloed van Client Samenstelling:
  • Naarmate clients meer meertalig worden (bijv. van 100% mono naar 15% mono), verbeteren de gemiddelde meertalige prestaties en neemt de variatie tussen talen af (meer eerlijkheid).
  • Dit effect is het sterkst voor minder-resourcerijke talen (zoals Servisch, Kroatisch, Baskisch), die de grootste winst boeken bij meer meertalige clients.
• Kosten en Convergentie:
  • Er is een trade-off: Meer meertalige clients leiden tot betere eindresultaten, maar vereisen meer optimalisatiestappen (langere trainingstijd).
  • Monolinguaal clients convergeren sneller, maar blijven hangen in een lokaal optimum (client drift). Meertalige clients blijven langer trainen omdat hun lokale doelwitten beter aligneren met het globale doel, wat leidt tot een beter eindresultaat.
  • Ondanks de extra stappen is federale training aanzienlijk goedkoper (in termen van totale stappen) dan het trainen van acht aparte monolinguaal modellen.

Betekenis en Conclusie

De studie concludeert dat de taalsamenstelling van clients een cruciale ontwerpparameter is in meertalige Federated Learning.

• Voor Eerlijkheid en Kwaliteit: Als het doel een gebalanceerd, hoogwaardig meertalig model is dat ook minder-resourcerijke talen goed bedient, moeten clients worden opgezet met een hoge mate van meertaligheid (minder non-IID heterogeniteit). Dit vermindert client drift en verbetert de cross-linguale transfer.
• Voor Efficiëntie: Als trainingssnelheid en minimale rekentijd de prioriteit zijn, kunnen monolinguaal ingestelde clients sneller convergeren, maar ten koste van de uiteindelijke kwaliteit en eerlijkheid.
• Praktische Implicatie: Federated Learning biedt een haalbare route om een enkel, sterk meertalig model te creëren zonder dat data centraal hoeft te worden verzameld. De LDES-FL-methode maakt dit proces efficiënter door onnodige berekeningen te elimineren.

Kortom, het artikel biedt een blauwdruk voor het optimaliseren van meertalige LLMs in privacy-bewuste omgevingen door de data-distributie op client-niveau strategisch in te richten.