Technische Samenvatting: De Illusie van Cross-linguale Veiligheid in Laag-resource Talen

Probleemstelling

De huidige veiligheidsafstemming (safety alignment) in Large Language Models (LLM's) wordt voornamelijk ontwikkeld met behulp van hoog-resource talen, in het bijzonder Engels. De heersende aanname is dat deze veiligheidsmaatregelen universeel generaliseren over meertalige instellingen, waarbij een taal-agnostische "harm manifold" (schademanifold) wordt gevormd. Echter, deze aanname blijft onderbelicht, vooral met betrekking tot laag-resource talen.

Bestaande evaluatieparadigma's vertrouwen zwaar op letterlijke vertalingen, waarbij cultureel specifieke metaforen, gecodeerde taal en pragmatische nuances worden genegeerd. Omdat modellen veiligheidslogica vaak verwerken via een intern "denk in het Engels"-pad, kunnen culturele nuances die verloren gaan in de latente vertaling de afstemming volledig omzeilen. Dit creëert structurele mappingfouten waardoor kwaadwillende actoren semantische jailbreaks kunnen exploiteren met behulp van gelokaliseerde metaforen. De "vloek van meertaligheid" suggereert dat hoog-resource data de nuances van laag-resource talen overschaduwt, wat de vraag oproept of modellen werkelijk een universeel veiligheidsconcept leren of slechts syntactische triggers mappen aan een Engels-centrische filter.

Methodologie

Om cross-linguale veiligheidsoverdracht te onderzoeken zonder te vertrouwen op potentieel instabiele generatie-gebaseerde evaluaties, stellen de auteurs een Latent Geometric Framework voor. Deze aanpak onderzoekt de verborgen toestanden (hidden-state representaties) tijdens inferentie om te analyseren hoe veiligheidsconcepten over taalgrenzen heen mappen.

1. Dataset Constructie: LoDNA

De auteurs introduceren LoDNA (Low-resource Do-Not-Answer), een veiligheidsdataset voor vier Afrikaanse talen: Twi, Hausa, Amharisch en Swahili.

• Constructie: De dataset breidt de Engelse Do-Not-Answer (DNA) dataset uit. Dit omvat een proces in twee fasen: (1) letterlijke vertaling en correctie door moedertaalsprekers, en (2) culturele contextuele lokalisatie, waarbij prompts worden herschreven om aan te sluiten bij cultureel geworteld, natuurlijk taalgebruik terwijl de schadelijke intentie behouden blijft.
• Vergelijking: De studie vergelijkt Veilige Engelse ($S_{en}$), Onveilige Engelse ($U_{en}$), Veilige Doeltaal ($S_{\ell}$), Letterlijk Schadelijke Doeltaal ($L_{\ell}$) en Cultureel Gelokaliseerde Schadelijke Doeltaal ($C_{\ell}$).

2. Geometrische Analyse

Het framework analyseert de verborgen toestanden ($h_k(x)$) geëxtraheerd uit mid- tot late transformer-lagen (specifiek lagen 14–24) over vier modellen: Mistral, Llama, Qwen2.5 en AfriqueQwen.

• Weigeringsvectoren (Refusal Vectors): De Engelse weigeringsrichting wordt gedefinieerd als $r_{en}^k = \mu_k(U_{en}) - \mu_k(S_{en})$. De schadelijke verschuivingen in de doeltaal worden eveneens gedefinieerd ($r_{\ell, lit}^k$ en $r_{\ell, ctx}^k$).
• Metrieken:
  • Cosine Gelijkenis (Cosine Similarity): Meet de uitlijning tussen de Engelse weigeringsrichting en de vectoren van de doeltaal.
  • Signed Retained Component (SRC): Berekent het percentage van de Engelse weigeringsrichting dat wordt teruggewonnen door de verschuiving in de doeltaal.
  • Layer-wise Drift: Berekent het verschil in ruwe dot-producten tussen letterlijke en culturele prompts relatief aan de Engelse weigeringsrichting ($Drift_k = RawDot_A - RawDot_B$).
  • PCA Projectie: Projecteert doeltaal-prompts op het Engelse veiligheidsvlak om clusteringgedrag te observeren.
  • Lineaire Probing: Traint logistische probes op Engelse verborgen toestanden en evalueert deze zero-shot op doeltaal-prompts om representatieve isolatie (siloing) te testen.

3. Gedragsmatige Gronding (Behavioral Grounding)

Om de geometrische bevindingen aan te vullen, gebruiken de auteurs Genormaliseerde Sequentie Log-Likelihood (SLL) en de Waarschijnlijkheid van Weigering. Deze metrieken meten de waarschijnlijkheid dat het model standaard weigerings-tokens genereert (bijv. "I'm sorry", "Samahani"), waarbij wordt gecorrigeerd voor verschillen in tokenisatie.

Belangrijkste Bijdragen

1. LoDNA Dataset: Constructie van veiligheidsdatasets voor Twi, Amharisch, Hausa en Swahili, waarbij letterlijke vertalingen worden gekoppeld aan cultureel gelokaliseerde prompts.
2. Gelokaliseerde Evaluatie: Adaptatie van door de community gecureerde Engelse prompts naar Twi met Ghanese contexten, wat evaluatie buiten de Westerse context mogelijk maakt.
3. Latent Geometric Framework: Een nieuwe methodologie voor het analyseren van cross-linguale veiligheidsafstemming op het niveau van representatie, waarbij wordt afgeweken van de afhankelijkheid van gegenereerde tekst.
4. Mechanistische Diagnose: Analyse die onderscheid maakt tussen of veiligheidsfouten voortkomen uit cultureel gewortelde semantische complexiteit of structurele zwakheden in cross-linguale mapping.

Resultaten en Bevindingen

1. Beperkte Cross-linguale Overdracht

De studie stelt vast dat de cross-linguale veiligheidsoverdracht ernstig beperkt is.

• Signaalverlies: Schadelijke prompts in doaltalen behouden minder dan 10% van het Engelse weigeringssignaal in de meeste taal-modelparen.
• Cosine Gelijkenis: De cosine gelijkenis tussen de Engelse en de doeltaal weigeringsvectoren is over het algemeen bijna nul of negatief.
• Uitzondering: Swahili in het Llama-model vertoont een lokale anomalie met een hogere uitlijning (ongeveer 27% behouden component), maar dit is niet generaliseerbaar naar andere architecturen (Mistral, Qwen2.5) of andere talen.

2. Taalspecifieke Geometrie versus Universele Manifold

• PCA Projecties: Wanneer ze op het Engelse weigeringsvlak worden geprojecteerd, vormen de doeltaal-prompts (Hausa, Twi, Amharisch) compacte, taal-specifieke clusters die niet overlappen met de Engelse onveilige regio. Dit weerlegt het bestaan van een volledig universele, taal-agnostische harm manifold.
• Gesiloerde Representaties: Hoewel letterlijke en gelokaliseerde prompts semantisch uitgelijnd zijn binnen de doeltaal (cosine 0.95–0.996), driften ze aanzienlijk over de lagen heen ten opzichte van de Engelse veiligheidsbaseline. Dit suggereert dat modellen de concepten coderen, maar falen in het routeren naar de veiligheidsmechanismen.

3. Structurele Mappingfouten

• Drift-analyse: Letterlijke en culturele prompts divergeren in hun activatie van veiligheidsmechanismen. In Hausa en Twi activeren letterlijke vertalingen bijvoorbeeld de Engelse weigeringsrichting vaak sterker dan culturele contexten. Daarentegen vertoont Amharisch een negatieve drift in Qwen2.5, waarbij culturele prompts beter uitlijnen.
• Architectuurverschillen: Falingsmodi variëren per architectuur. Llama vertoont een negatieve ruwe uitlijning in latere lagen voor de meeste talen; Mistral vertoont een zwakke, instabiele uitlijning; Qwen2.5 vertoont grote ruwe activaties maar een lage retentie van het Engelse weigeringssignaal.

4. Gedragsmatige Bevestiging

• Weigeringskans: De waarschijnlijkheid van het emitteren van een standaard weigeringssequentie is catastrofaal laag (ongeveer 1,05% voor letterlijke en 1,15% voor culturele prompts), wat betekent dat modellen in meer dan 98% van de gevallen falen om een weigering te initiëren.
• Kwalitatieve Outputs: Modellen genereren vaak coherente, grammaticaal correcte reacties in laag-resource talen die actief voldoen aan schadelijke verzoeken. Dit geeft aan dat het model de taal en de intentie begrijpt, maar faalt in het routeren van dat begrip naar het weigeringsmechanisme.
• Tokenisatieproblemen: Ernstige tokenisatiefragmentatie, met name in het Amharisch, leidt tot scriptcorruptie en niet-lexicale outputs, wat de geometrische analyse verder verstoort.

Betekenis en Claims

Het artikel betoogt dat de huidige meertalige veiligheidsafstemming oppervlakkig is. De aanname van een universele, taal-agnostische harm manifold wordt niet ondersteund door bewijs in de bestudeerde laag-resource talen. In plaats daarvan lijken veiligheidsmechanismen structureel geblokkeerd te worden door een Engels-centrische training, wat een representatieve kloof creëert waarbij schadelijke prompts in de doeltaal de geleerde veiligheidsgrens niet bereiken.

De auteurs concluderen dat:

1. Veiligheidsfouten in niet-Engelse talen voortkomen uit zowel structurele cross-linguale mappingbeperkingen als de gevoeligheid voor de vorm van de prompt (culturele context).
2. Huidige evaluatiemethoden die vertrouwen op letterlijke vertalingen en generatie-gebaseerde metrieken onvoldoende zijn.
3. Robuuste meertalige veiligheid niet alleen een bredere taaldekking vereist, maar ook een dieper begrip van hoe veiligheidsrelevante concepten over linguïstische en culturele contexten heen worden gerepresenteerd en geactiveerd.

De studie benadrukt dat deze bevindingen correlationeel en observationeel zijn, afgeleid van modellen met 7B-8B parameters, en dat toekomstig werk nodig is om causale mechanismen en grotere model-schalen aan te pakken.