Layer-wise Swapping for Generalizable Multilingual Safety

Probleemstelling

Ondanks de snelle vooruitgang van Large Language Models (LLMs), blijft veiligheid (safety) een kritieke uitdaging, vooral voor talen met weinig bronnen (low-resource languages). Bestaande veiligheidsdatasets en afstemmingsmethoden zijn overwegend Engels-gericht. Dit leidt tot een asymmetrie:

• Onveiligheid in lage-bronnetalen: Expertmodellen die zijn fijngeschaald op instructies in specifieke, minder gebruikte talen, vertonen vaak een veel hogere kans op het genereren van schadelijke of ongepaste inhoud dan hun tegenhangers in het Engels.
• Beperkte transfer: Bestaande methoden voor cross-linguale transfer (zoals het overdragen van redeneervermogen) negeren vaak de veiligheidsaspecten.
• Catastrofale vergeet: Eenvoudige aanpassing van modellen voor nieuwe talen kan leiden tot het verlies van veiligheidskennis die tijdens het pre-training is opgedaan.

Het doel is om veiligheidsafstemming van een Engels "veiligheidsexpert" over te dragen naar experts in lage-bronnetalen zonder extra training, terwijl het algemene taalbegrip behouden blijft.

Methodologie: Veiligheidsbewuste Laag- en Module-swapping

De auteurs stellen een trainingsvrije (training-free) strategie voor genaamd Safety-aware Layer Swapping. De kern van de methode is gebaseerd op Task Vectors en het concept dat parameterupdates voor verschillende taken (zoals veiligheid vs. meertaligheid) lineair combineerbaar zijn.

De methode verloopt in de volgende stappen:

1. Task Vectors Definitie:

   • Er wordt uitgegaan van een basispre-trained model ($\theta_{base}$).
   • Er zijn twee gespecialiseerde modellen: een veiligheidsmodel ($\theta_{safe}$, getraind op Engels) en een meertalig taalmodel ($\theta_{multi}$, getraind op de doel-taal).
   • De task vector ($\tau$) is het verschil tussen de gespecialiseerde parameters en de basisparameters: $\tau = \theta_{ft} - \theta_{base}$.

2. Van Laag- naar Module-niveau:

   • Traditionele layer swapping vervangt hele lagen. De auteurs gaan echter verder door te kijken naar submodules binnen een transformer-laag: Self-Attention en MLP (Feed-Forward Network) blokken.
   • Ze definiëren task vectors per module ($\tau_{l,m}$), wat een fijnmazigere controle mogelijk maakt.

3. Automatische Selectie en Blending:

   • De methode berekent een relatieve verhouding van de parameterupdates voor elke module om te bepalen of deze meer gespecialiseerd is voor veiligheid of voor meertaligheid.
   • Op basis van een drempelwaarde ($\tau$) wordt besloten:
     • Als een module sterk neigt naar veiligheid ($|d_{l,m}| > \tau$), wordt deze module direct overgenomen van het veiligheidsmodel.
     • Als een module sterk neigt naar meertaligheid, wordt deze overgenomen van het taalmodel.
     • Voor modules met een gemengde of onduidelijke specialisatie wordt er een blending (interpolatie) toegepast: $\theta_{hybrid} = \alpha \cdot \theta_{safe} + (1-\alpha) \cdot \theta_{multi}$.
   • Dit zorgt ervoor dat veiligheidskennis wordt overgedragen zonder de taalvaardigheid te beschadigen.

Belangrijkste Bijdragen

1. Systematische Formulering: De auteurs formuleren laag-swapping als een compositie van meertalige en veiligheids-task vectors, wat een theoretisch onderbouwde basis biedt voor het combineren van specialisaties.
2. Module-wise Dynamische Swapping: In plaats van statische, handmatige laagvervanging (zoals in eerdere werken), introduceren ze een automatisch systeem dat op module-niveau (Attention vs. MLP) kiest of blendt op basis van de mate van specialisatie.
3. Trainingsvrije Strategie: De methode vereist geen extra fine-tuning of data, wat het zeer efficiënt maakt voor lage-bronnetalen waar data schaars is.
4. Empirisch Bewijs: Ze tonen aan dat deze aanpak de veiligheid in lage-bronnetalen significant verbetert zonder in te leveren op algemene prestaties.

Resultaten

De methode is getest op vier lage-bronnetalen: Koreaans, Bengaals, Swahili en Telugu, met als basismodellen LLaMA 3.1 8B en Qwen3 8B.

• Veiligheid (MultiJail Benchmark):

  • Taal-expertmodellen (zonder veiligheidsafstemming) hadden hoge onveiligheidspercentages.
  • De voorgestelde Module-wise Swapping verlaagde het onveiligheidspercentage aanzienlijk, vaak beter dan traditionele parameter-merging methoden (zoals Task Arithmetic, TIES, DARE) en zelfs beter dan statische Layer Swapping.
  • Bijvoorbeeld, voor het Koreaans op LLaMA 3.1 daalde het onveiligheidspercentage van 57,9% (taal-only) naar 15,8% met de module-wise methode.

• Algemene Taalbegrip (MMMLU, BELEBELE, MGSM):

  • De methode behield of verbeterde de prestaties op redeneer- en begrijptaken.
  • In tegenstelling tot sommige andere merging-methoden die variatie in prestaties per taal vertoonden, bood de voorgestelde methode een consistentere prestatie over verschillende talen heen.
  • De Module-wise variant overtrof de statische Layer-wise variant in 68% van de gevallen.

• Validatie:

  • De auteurs gebruikten LLM-based judges (Qwen Guard en Gemma Guard) en vergeleken deze met menselijke annotaties, waarbij Qwen Guard de hoogste overeenkomst toonde (85,5% gemiddeld).

Betekenis en Conclusie

Dit paper biedt een praktische en effectieve oplossing voor het "veiligheidskloof"-probleem in meertalige LLMs. De belangrijkste implicaties zijn:

• Efficiëntie: Het elimineert de noodzaak om enorme hoeveelheden veiligheidsdata te verzamelen en te labelen voor elke lage-brontaal.
• Generalisatie: Het toont aan dat veiligheidskennis structureel in het model zit en via specifieke modules kan worden overgedragen, zelfs naar talen die niet in de veiligheidsdataset voorkwamen.
• Balans: Het bewijst dat het mogelijk is om veiligheid en taalvaardigheid te combineren zonder de "catastrofale vergeet" van de ene of de andere eigenschap.

De auteurs concluderen dat hun safety-aware layer swapping een krachtige, trainingsvrije techniek is om de kloof tussen meertaligheid en veiligheidsafstemming te overbruggen, en dat ze hun code open-source zullen maken om verdere ontwikkeling te stimuleren.