Technische Samenvatting: Multilinguale Weigeringsafstemming voor Veiligere Large Language Models

Probleemstelling

Nu Large Language Models (LLMs) wereldwijd worden ingezet, is het waarborgen van veiligheid en afstemming (alignment) over meerdere talen een kritieke uitdaging geworden. Huidig onderzoek naar afstemming is sterk gericht op het Engels, wat een significante mismatch creëert waarbij modellen in het Engels veilig gedrag vertonen, maar daarin falen in andere talen. Deze inconsistentie leidt tot onvoorspelbaar veiligheidsgedrag, wat het gebruikersvertrouwen kan ondermijnen en regio-specifieke schade kan verergeren. Bovendien zijn bestaande meertalige veiligheidsdatasets schaars, met name de datasets die specifiek zijn ontworpen voor het trainen van weigeringsgedrag (het handeling van het weigeren van schadelijke verzoeken) over diverse Europese talen. Er is een gebrek aan systematische evaluatie over de vraag of afstemming in één taal cross-linguaal overdraagt, hoe taalconsistentie behouden blijft tijdens meertalige training, en wat de trade-offs zijn tussen veiligheid en algemene kennisvaardigheden.

Methodologie

De auteurs pakken deze hiaten aan door middel van een systematische investigatie met behulp van Direct Preference Optimization (DPO), een gestroomlijnde afstemmethode die modellen optimaliseert op voorkeursparen ("gekozen" versus "afgewezen" reacties) zonder dat daar een aparte reward model voor nodig is.

Dataset Constructie: RefusEU

De kernbijdrage is RefusEU, een nieuwe weigeringsafstemningsdataset die 12 Europese talen beslaat: Engels, Duits, Italiaans, Frans, Spaans, Portugees, Pools, Tsjechisch, Slowaaks, Sloveens, Litouws en Lettoons.

• Generatie: Adversariële prompts werden gegenereerd op basis van 14 misdaadcategorieën (uit de Llama-Guard taxonomie) en 10 aanvalstijlen. De initiële generatie werd uitgevoerd in het Pools en vervolgens vertaald naar de doeltalen met behulp van de DeepL API.
• Filtering: Prompts werden gegenereerd met behulp van Mistral-Small-24B en Llama-3.1-70B. Onveilige prompts werden geïdentificeerd via een consensus van Llama-Guard-3-8B en PolyGuard-Qwen.
• Reactiegeneratie:
  • Gekozen (Veilige) Reacties: Gegenereerd door Llama-3.1-70B, aangevuld met instructies om weigeringen te produceren.
  • Afgewezen (Onveilige) Reacties: Gegenereerd door een "abliterated" versie van Llama-3.1-70B (Llama-3.1-70B-Instruct-lorablated), waarbij veiligheidsmechanismen doelbewust zijn verwijderd om de generatie van schadelijke inhoud toe te staan.
• Kwaliteitscontrole: De dataset onderging een handmatige audit van 1.200 monsters over alle talen, waarbij werd geverifieerd dat de "gekozen" reacties geldige weigeringen waren en de "afgewezen" reacties daadwerkelijk onveilig waren. De uiteindelijke dataset bevat meer dan 4.000 prompt-reactie paren per taal.

Experimentele Opzet

De auteurs voerden gecontroleerde trainingsexperimenten uit, beginnend vanaf abliterated versies van Llama-3.1-8B en Llama-3.1-70B om een duidelijke baseline van onveilig gedrag te garanderen. Ze evalueerden vier trainingsscenario's:

1. Gebalanceerd (Balanced): Alle 12 talen met gelijke steekproefrepresentatie.
2. Alleen hoog-resource (High-Res Only): Alleen hoog-resource talen (Engels, Duits, Italiaans, Frans, Spaans, Portugees).
3. Alleen Engels (English Only): Uitsluitend trainen op Engelse data.
4. Geen Engels (No English): Trainen op alle talen behalve Engels.

Daarnaast werden er 11 afzonderlijke single-language trainingsruns uitgevoerd voor het 8B-model.

Evaluatiemetrieken

• Veiligheid: Gemeten door de Attack Success Rate (ASR) op de RefusEU-testset (1.400 monsters per taal), evenals cross-validatie op RTP-LX en PolygloToxicityPrompts. Een lagere ASR duidt op betere veiligheid.
• Taalconsistentie: Het aandeel modeloutputs dat gegenereerd is in dezelfde taal als de inputprompt.
• Algemene Vaardigheden: Geëvalueerd met de Global MMLU benchmark (die 9 van de 12 talen beslaat, plus Chinees en Koreaans) en beoordelingen van vloeiendheid/correctheid via een LLM-as-a-Judge framework.

Belangrijkste Resultaten

1. Cross-Linguale Afstemmingsoverdracht (RQ1)

• Afstemming enkel in het Engels is onvoldoende: Training uitsluitend op Engelse data slaagde er niet in om cross-linguale veiligheid te garanderen, zelfs niet voor identieke schadelijke categorieën. Hoewel het de veiligheid in het Engels verbeterde, bleef de prestatie in andere talen suboptimaal vergeleken met meertalige training.
• Meertalige training is superieur: De Balanced dataset configuratie leverde de laagste ASR-scores op voor zowel de Llama-8B als de Llama-70B modellen.
• Afhankelijkheid van resources: Training op hoog-resource talen verbeterde over het algemeen de veiligheid breed, maar training op laag-resource talen (bijv. Lettoons, Litouws) resulteerde vaak in hogere ASR-scores wanneer geëvalueerd op andere talen.
• Linguïstische gelijkenis: Veiligheidsoverdracht was effectiever tussen taalkundig verwante talen (bijv. Pools–Tsjechisch, Portugees–Spaans).

2. Taalconsistentie (RQ2)

• Modelschaal doet ertoe: Llama-70B behield bijna 100% taalconsistentie in alle trainingsscenario's. In tegen tegenstelling hiertoe vertoonde Llama-8B significante dalingen in consistentie, met name onder "English Only" training (dalingen van bijna 40% voor talen zoals Duits en Tsjechisch).
• Impact van Training: Het expliciet afdwingen van taalconsistentie kan de veiligheid in kleinere modellen (Llama-8B) verminderen, terwijl grotere modellen (Llama-70B) zowel veiligheid als consistentie behouden met minimale trade-offs.

3. Algemene Vaardigheden (RQ3)

• Minimale Prestatiedegradatie: Meertalige afstemming resulteerde in verwaarloosbare prestatiedalingen op de Global MMLU benchmark (waarden < 0.006) voor beide modelgroottes.
• Vloeiendheid en Correctheid: Voor Llama-8B leidde training tot grotere dalingen in vloeiendheid en correctheid voor laag-resource talen vergeleken met hoog-resource talen. Voor Llama-70B verbeterde de meeste configuraties de vloeiendheid, hoewel de correctheid licht daalde, met name voor laag-resource talen.
• Translatie-pipeline: Voor kleinere modellen (8B) en laag-resource talen werd een translatie-pipeline (input vertalen naar Engels, verwerken, en terugvertalen) effectiever bevonden voor het behoud van vloeiendheid en correctheid dan het dwingen van het model om direct in de oorspronkelijke taal te reageren.

Betekenis en Claims

Het paper claimt dat veiligheid-afstemming niet betrouwbaar overdraagt van het Engels naar andere talen, wat specifieke meertalige trainingsstrategieën noodzakelijk maakt. De introductie van RefusEU biedt de eerste Europese dataset die specifiek is ontworpen voor afstemningstraining in de vorm van (vraag, gekozen, afgewezen) triples, geschikt voor DPO.

De auteurs concluderen dat:

1. Grote modellen (bijv. Llama-70B) een sterke veiligheidsgedrag en taalconsistentie kunnen behouden met minimaal verlies van algemene kennis wanneer ze op meertalige data worden getraind.
2. Kleinere modellen (bijv. Llama-8B) worstelen met laag-resource settings, waarbij een gebalanceerde meertalige data gecombineerd met selectieve translatie-gebaseerde verwerking noodzakelijk kan zijn om zowel veiligheid als linguïstische kwaliteit te behouden.
3. Afstemming enkel in het Engels is een vals gevoel van veiligheid: Het creëert een veiligheidsgat dat niet-Engelse gebruikers kwetsbaar laat voor schadelijke outputs.

Het werk benadrukt dat hoewel meertalige veiligheid onderontwikkeld is door Engels-gecentreerde datasets, systematische meertalige training de risico's effectief kan mitigeren zonder de algemene modelcapaciteiten in gevaar te brengen. De auteurs erkennen beperkingen, waarbij zij opmerken dat de dataset synthetisch gegenereerd is en momenteel slechts 12 van de 24 officiële EU-talen beslaat, wat suggereert dat toekomstig werk de dekking moet uitbreiden en real-world linguïstische nuances moet incorporeren.