Latent Space Refusal Anchoring for Low-Resource African Languages: Mechanistic Safety Recovery Without Retraining
Dit artikel introduceert Latent Space Refusal Anchoring (LSR-Anchoring), een methode die geen training vereist en veiligheidsweigeringen in minderheidstalen uit Afrika herstelt door weigeringsrichtingen uit het Engels te extraheren en deze tijdens de inferentie toe te passen op de residual stream, waarbij effectief veiligheidsherstel wordt bereikt met minimale prestatiedegradatie door technieken zoals SAE-Derived Steering.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Moderne kunstmatige intelligentiesystemen, vaak grote taalmodellen genoemd, worden getraind om menselijke taal te begrijpen en te genereren. Een cruciaal onderdeel van hun ontwikkeling is het aanleren van het herkennen en weigeren van schadelijke verzoeken, zoals instructies voor het maken van malware of het plannen van geweld. Onderzoekers hebben ontdekt dat deze modellen een interne "veiligheidsschakelaar" bezitten die wordt geactiveerd wanneer ze gevaar detecteren. Deze schakelaar is echter momenteel bijna uitsluitend afgesteld op het herkennen van dreigingen in het Engels. Wanneer een gebruiker dezelfde gevaarlijke vraag in een andere taal stelt, met name in talen met minder digitale middelen zoals veel Afrikaanse talen, faalt de veiligheidsschakelaar vaak om om te springen. Het model, dat het gevaar in die specifieke taal niet kan herkennen, kan mogelijk aan het verzoek voldoen, waardoor miljoenen sprekers onbeschermd blijven. Deze kloof vormt een aanzienlijk blinde vlek in de wereldwijde AI-veiligheid, aangezien de technologie goed werkt voor sommigen, maar anderen kwetsbaar laat.
Een nieuwe studie gepresenteerd op een workshop over machine learning pakt dit onbalans aan zonder de enorme hoeveelheden nieuwe data of rekenkracht die gewoonlijk nodig zijn om het op te lossen. De onderzoekers, werkend met modellen die in staat zijn Engels, Yoruba, Igbo, Igala en Hausa te begrijpen, ontdekten dat het interne signaal voor "weigering" zelfs in het geheugen van de computer aanwezig is wanneer het model er niet in slaagt er in andere talen op te reageren. In plaats van het hele systeem opnieuw te trainen, wat onmogelijk zou zijn voor talen die over beperkte datasets beschikken, ontwikkelden zij een methode om de interne staat van het model handmatig te sturen op het moment dat het nadenkt. Ze extraheerden het specifieke activiteitspatroon dat signaleert "Ik kan dit niet doen" wanneer het model Engels verwerkt, en pasten datzelfde patroon toe op de interne werking van het model wanneer het verzoeken in Afrikaanse talen verwerkt. Deze techniek, die zij latent space refusal anchoring noemen, klem de veiligheidssignaal effectief vast aan het denkproces van het model, waardoor het gevaar herkent ongeacht de gebruikte taal.
De resultaten van deze aanpak waren verrassend succesvol over verschillende modelgroottes en -typen heen. Wanneer de onderzoekers deze duw toepasten op modellen die schadelijke verzoeken in het Yoruba, Igbo, Igala en Hausa verwerkten, begonnen de modellen die verzoeken net zo betrouwbaar te weigeren als in het Engels. In veel gevallen steeg het succespercentage voor het stoppen van schadelijke inhoud naar bijna perfecte niveaus. Bijvoorbeeld, op het grootste geteste model (Llama-3.1-70B), herstelde de methode de veiligheid volledig voor Yoruba- en Igala-prompts en bereikte het een succespercentage van 0,99 voor Igbo; omdat de metriek voor het onterecht weigeren van onschuldige vragen echter niet werd gemeten voor dit modelformaat, vertegenwoordigen deze hoge succespercentages bovengrenzen van het feitelijke veiligheidsherstel. Cruciaal is dat deze fix de mogelijkheid van het model om onschuldige vragen te beantwoorden niet doorbrak op de kleinere modellen waar dit wel werd gemeten; voor die modellen bleef de foutmarge voor het onterecht weigeren van onschuldige verzoeken extreem laag, vaak onder de acht procent. De methode werkte zo goed dat het de veiligheid herstelde zonder dat er ook maar één gelabeld stuk data in de doeltalen nodig was, een grote doorbraak voor regio's waar dergelijke data schaars is.
De studie onthulde echter ook belangrijke beperkingen van deze techniek. De onderzoekers ontdekten dat de methode niet voor elke taal werkt. Wanneer zij probeerden het op Engels gebaseerde veiligheidssignaal toe te passen op het Arabisch, faalde het volledig, waardoor het model minder veilig werd in plaats van veiliger. Dit suggereert dat de interne geometrie van hoe het model het Arabisch representeert fundamenteel verschilt van hoe het het Engels representeert, wat betekent dat een eenvoudige vertaling van het veiligheidssignaal niet past. Daarnaast gedroeg de methode zich verschillend afhankelijk van de grootte van het model. Op een kleiner model was de eerste versie van de techniek te agressief, waardoor het model bijna alles weigerde, zelfs onschuldige vragen. Om dit op te lossen, verfijnden de onderzoekers hun aanpak door een enkele, zeer specifieke interne eigenschap te isoleren die verantwoordelijk is voor weigering, in plaats van een breed gemiddelde te gebruiken. Deze verfijnde methode stelde het kleinere model in staat om de veiligheid te herwinnen zonder overdreven voorzichtig te worden, waardoor het risico op fouten met een factor drie tot zeven werd verminderd vergeleken met de eerste poging.
De studie bevestigt dat de veiligheidsmechanismen in deze kunstmatige intelligentiesystemen niet afwezig zijn in andere talen, maar slechts latent aanwezig zijn, wachtend om door het juiste interne signaal te worden geactiveerd. Door een methode te gebruiken die vrij is van training om deze signalen op het moment van gebruik te activeren, hebben de onderzoekers een praktische manier geboden om de veiligheidsbescherming uit te breiden naar honderden miljoenen sprekers die voorheen werden achtergelaten. Het werk demonstreert dat met zorgvuldige aanpassing AI de intentie van een schadelijk verzoek over taalbarrières heen kan begrijpen, mits de interne structuren van die talen compatibel zijn. Hoewel er uitdagingen blijven bestaan voor talen zoals het Arabisch, biedt het succes met West-Afrikaanse talen een duidelijk pad voorwaarts om AI veiliger te maken voor een diversere wereldbevolking, met gebruik van enkel de middelen die al binnen de modellen zelf beschikbaar zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.