LLM Safety Alignment in Low-Resource Languages: A Systematic Literature Review
Deze systematische literatuurstudie analyseert 50 studies over de veiligheidsafstemming van LLM's in talen met beperkte middelen, waarbij een hardnekkige meertalige veiligheidskloof wordt geïdentificeerd die wordt gedreven door factoren zoals ongelijke pre-training en cultureel blinde benchmarks, terwijl tegelijkertijd een nieuwe taxonomie wordt voorgesteld en wordt opgeroepen tot cultureel gewortelde oplossingen om kwetsbaarheden zoals kruislingse jailbreaks en veiligheidsdegradatie aan te pakken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin de meest geavanceerde kunstmatige intelligentiesystemen, in staat om poëzie te schrijven, ziekten te diagnosticoseren en complexe vragen te beantwoorden, plotseling onbetrouwbaar of zelfs gevaarlijk worden op het moment dat je de taal verandert van Engels naar iets anders. Dit is geen hypothetisch scenario, maar een groeiende realiteit in het veld van kunstmatige intelligentie. Large language models zijn computerprogramma's die zijn getraind op enorme hoeveelheden tekst om menselijke taal te begrijpen en te genereren. Om deze hulpmiddelen veilig te maken voor publiek gebruik, leren onderzoekers hen om schadelijke verzoeken te weigeren, zoals instructies voor het bouwen van wapens of het verspreiden van haatzaaiende taal. Dit leerproces staat bekend als safety alignment. Jarenlang heeft deze training bijna uitsluitend plaatsgevonden met Engelse data. Als gevolg hiervan hebben deze digitale geesten geleerd om beleefd en voorzichtig te zijn in het Engels, maar ze falen vaak in het herkennen van dezelfde gevaren wanneer een gebruiker spreekt in een taal met minder digitale middelen, zoals veel Afrikaanse of inheemse talen. De kloof tussen hoe veilig deze modellen zijn in het Engels versus hoe veilig ze zijn elders, wordt groter, wat leidt tot een situatie waarin sprekers van ondervertegenwoordigde talen een hoger risico lopen op het ontvangen van toxische, bevooroordeelde of misleidende adviezen van precies de tools die bedoeld zijn om hen te helpen.
Een team van onderzoekers zette zich scharpe om dit ongelijke landschap in kaart te brengen door een systematische review uit te voeren van vijftig recente studies die gericht waren op veiligheid in talen met weinig middelen. Ze verzamelden hun bevindingen uit duizenden academische papers en filterden deze tot het meest relevante werk om precies te begrijpen waar de technologie faalt en waarom. Hun onderzoek onthulde een harde waarheid: de methoden die worden gebruikt om AI in het Engels veilig te houden, vertalen zich niet simpelweg naar andere talen. Wanneer onderzoekers probeerden Engelse veiligheidsregels te gebruiken voor talen zoals Hausa, Swahili of Yoruba, liepen de systemen vaak vast. De studie toonde aan dat het simpelweg vertalen van een schadelijke Engelse prompt naar een taal met weinig middelen de AI er vaak in kon lukken om haar veiligheidscontroles te omzeilen in bijna tachtig procent van de gevallen, terwijl dezelfde truc in het Engels meestal zou falen. Dit suggere� je dat de veiligheidslessen die in het Engels zijn geleerd, niet diep verankerd zijn in het begrip van de wereld door het model, maar in plaats daarvan te nauw verbonden zijn met de Engelse taal zelf.
De onderzoekers identificeerden drie belangrijke manieren waarop wetenschappers proberen dit probleem op te lossen. De eerste benadering houdt in dat er nieuwe trainingsdata wordt gecreëerd die geworteld is in lokale culturen, in plaats van alleen het vertalen van Engelse voorbeelden. Eén studie toonde aan dat wanneer zij een veiligheidsdataset specifiek voor lokale talen bouwden, gebruikmakend van voorbeelden van schade die daadwerkelijk in die gemeenschappen voorkomen, de AI aanzienlijk beter werd in het weigeren van gevaarlijke verzoeken. In contrast hiermee misten modellen die getraind waren op vertaalde Engelse data vaak de nuance van lokale culturele schade. De tweede benadering probeert het model te leren veilig te zijn in één taal en hoopt dan dat die kennis zich verspreidt naar anderen. De review suggereert echter dat dit een fragiele strategie is. Wanneer modellen worden bijgesteld (fine-tuned) op nieuwe talen, zelfs met onschuldige data, vergeten ze soms de veiligheidsregels die ze in het Engels hebben geleerd. De derde benadering kijkt naar de eigen structuur van het model en probeert specifieke interne instellingen aan te passen om het veiliger te maken zonder dat er enorme hoeveelheden nieuwe data nodig zijn. Hoewel veelbelovend, staan deze methoden nog in hun beginfase en zijn ze nog niet betrouwbaar bewezen over alle talen heen.
Een groot deel van het probleem ligt in de manier waarop we deze systemen testen. De meeste veiligheidstests zijn gebouwd door Engelse vragen te vertalen naar andere talen. De onderzoekers vonden dat deze methode gebrekkig is omdat het er niet in slaagt de specifieke manieren waarop schade zich in verschillende culturen manifesteert, te vangen. Bijvoorbeeld, een model kan een verzoek om haatzaaiende taal te generëren in het Engels weigeren, maar zou in het Hausa met gemak toxische productaanbevelingen kunnen genereren omdat het concept van die specifieke schade geen deel uitmaakte van de training. De review benadrukte dat er zeer weinig benchmarks voor veiligheid zijn ontworpen die specifiek gericht zijn op Afrikaanse talen, wat een enorme blinde vlek vormt in ons begrip van hoe deze modellen zich gedragen. Zonder tests die culturele contexten uit de echte wereld weerspiegelen, kunnen ontwikkelaars niet weten of hun veiligheidsmaatregelen daadwerkelijk werken.
De studie onthulde ook een verrassende kwetsbaarheid: de handeling van het aanleren van een nieuwe taal aan een model kan het model soms minder veilig maken in algemene zin. Wanneer onderzoekers nieuwe talen toevoegden aan een model dat al veilig was, degradeerde het vermogen van het model om schadelijke verzoeken in de oorspronkelijke talen te weigeren soms. Dit geeft aan dat het proces van het leren van nieuwe linguïstische patronen kan interfereren met de veiligheidsbeperkingen die al aanwezig waren. Bovendien merkte de review op dat wanneer mensen talen mengen in een enkele zin, een veelvoorkomende praktijk in veel delen van de wereld, de AI veel gemakkelijker te misleiden is. Deze prompts met gemengde talen kunnen veiligheidsfilters omzeilen die een aanval in een zuivere taal wel zouden stoppen.
Uiteindelijk concludeert de review dat de huidige weg van het simpelweg vertalen van Engelse veiligheidsdata onvoldoende is. De onderzoekers betogen dat echte veiligheid een verschuiving vereist naar het bouwen van datasets en evaluatietools vanaf de grond toe in lokale talen, waarbij moedertaalsprekers betrokken worden om te definiëren wat schade betekent in hun eigen culturele contexten. Ze suggereren dat toekomstige vooruitgang afhangt van het balanceren van de trainingsdata zodat geen enkele taal de controle over het begrip van veiligheid van het model domineert. Totdat deze stappen worden ondernomen, zal de belofte van veilige kunstmatige intelligentie buiten bereik blijven voor miljarden mensen die talen spreken die niet het Engels zijn, waardoor zij worden blootgesteld aan risico's die hun Engelstalige tegenhangers niet ervaren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.