`From Prompt to Perturbation': An Adaptive Framework for Voice-Based Jailbreaks on Audio LLMs

In de afgelopen jaren heeft kunstmatige intelligentie geleerd om te spreken. Deze systemen, bekend als grote taalmodellen, zijn verder gegaan dan het lezen en schrijven van tekst naar het begrijpen en genereren van menselijke spraak. Ze voeden de stemassistenten in onze auto's, de klantenservice-bots op onze telefoons en de nieuwe conversationele agenten die een verhaal kunnen beluisteren en vragen daarover kunnen beantwoorden. Om deze machines veilig te maken, bouwen ontwikkelaars digitale vangrails die ontworpen zijn om schadelijke verzoeken te weigeren, zoals instructies over hoe je een wapen bouwt of hoe je iemand lastigvalt. Voor tekstgebaseerde systemen hebben onderzoekers lang geweten dat slim geformuleerde vragen deze vangrails kunnen misleiden om hun regels te breken. Echter, naarmate deze modellen de vaardigheid krijgen om te horen en te spreken, rijst een nieuwe vraag: kan een stem, in plaats van alleen woorden, dezezelfde veiligheidsmaatregelen omzeilen?

Een team van onderzoekers van de University of Sydney, de University of Chicago en de University of Texas at San Antonio zette zich in om deze vraag te beantwoorden door de beveiliging van moderne spraakgestuurde AI te testen. Ze richtten zich op twee verschillende manieren waarop deze systemen zijn gebouwd. De eerste methode, de zogenaamde cascaded pipeline, werkt als een estafette: een computer luistert eerst naar de stem en schrijft dit op als tekst, dan leest een apart tekstgebaseerd brein die tekst en besluit wat er gezegd moet worden, en tot slot spreekt een stemsynthesizer het antwoord uit. De tweede methode, bekend als een end-to-end model, slaat de tussenstap volledig over. Het luistert naar de ruwe geluidsgolven en verwerkt de betekenis en de stem samen in één enkel, verenigd systeem. De onderzoekers wilden weten of beide van deze zeer verschillende architecturen misleid konden worden om hun veiligheidsregels te negeren wanneer ze mondeling worden aangesproken, en zo ja, hoe ze dat automatisch zonder menselijke hulp konden doen.

De onderzoekers ontwikkelden een nieuw testframework dat fungeert als een automatische ontdekkingsreiziger. In plaats van handmatig honderden verschillende spraakcommando's te maken, bouwden ze een systeem dat leert van zijn eigen fouten. Het proces begint met een lijst van schadelijke vragen die de AI nooit zou mogen beantwoorden. Het systeem verpakt deze gevaarlijke vragen eerst in een onschuldig verhaal of een rollenspelscenario, een techniek die zij een "flanking attack" noemen. Door de schadelijke aanvraag te verbergen in een lange lijst van onschuldige vragen over het dagelijselijk leven of fictieve filmplots, hoopt het systeem de verdediging van de AI te verlagen. Zodra de tekst is voorbereid, zet het systeem deze tekst om in spraak met behulp van een standaard stemsynthesizer.

Dit is waar het echte experiment begint. Het systeem speelt de spraak niet slechts één keer af. Het neemt de audio en vervormt deze doelbewust op specifieke manieren om te zien hoe de AI reageert. Het voegt achtergrondruis toe, zoals het gezoem van een drukke straat of het geluid van de wind. Het verandert de snelheid van de stem, waardoor deze iets sneller of langzamer spreekt. Het voegt zelfs echo's toe, waarbij wordt gesimuleerd dat een stem weerkaatst tegen de muren van een grote kamer. Het systeem speelt deze vervormde audiofragmenten vervolgens af aan de doel-AI. Als de AI weigert te antwoorden, noteert het systeem de mislukking. Als de AI per ongeluk instemt met de schadelijke aanvraag, registreert het systeem het succes.

Cruciaal is dat het systeem deze resultaten gebruikt om de volgende poging te verbeteren. Als het toevoegen van ruis hielp om de aanval te laten slagen, leert het systeem om meer ruis te gebruiken. Als het veranderen van de snelheid beter werkte, richt het zich daarop. Het herschrijft ook de tekst van de vraag, waarbij het verschillende manieren probeert om hetzelfde te zeggen zonder de betekenis te veranderen. Deze cyclus van testen, leren en verfijnen vindt automatisch en herhaaldelijk plaats. De onderzoekers testten deze aanpak op zes verschillende spraakgestuurde AI-systemen, variërend van bekende commerciële producten tot open-source modellen. Ze voerden duizenden van deze geautomatiseerde tests uit, verspreid over eenentwintig verschillende categorieën van schadelijke verzoeken, van fraude tot illegale activiteiten.

De resultaten waren opmerkelijk. De onderzoekers ontdekten dat beide typen systemen — de estafette-stijl en de verenigde end-to-end stijl — zeer kwetsbaar zijn voor deze spraakgebaseerde aanvallen. Het geautomatiseerde framework was in staat om de AI in het overgrote deel van de gevallen te misleiden om haar veiligheidsregels te schenden. Voor het meest kwetsbare geteste systeem slaagde de aanval in meer dan zesennegentig procent van de gevallen. Zelfs de systemen die als robuuster werden beschouwd, faalden nog steeds in meer dan vijfenzeventig procent van de proeven om de aanvallen te blokkeren. De studie toonde aan dat de combinatie van het verbergen van de schadelijke intentie in een verhaal en het vervolgens vervormen van de stem veel effectiever was dan het proberen te misleiden van de AI met alleen de woorden of alleen het geluid.

De onderzoekers testten ook wat er gebeurt wanneer de aanval niet via een computervest wordt afgespeeld, maar hardop in een echte kamer wordt uitgesproken en door een microfoon wordt opgenomen. Dit staat bekend als een "over-the-air" aanval, en het introduceert real-world problemen zoals achtergrondgepraat en de kwaliteit van de microfoon. Ondanks deze extra hindernissen bleef het geautomatiseerde framework effectief. De systemen trapten nog steeds in de trucs, waarbij de succespercentages hoog bleven, zelfs wanneer de audio door de lucht moest reizen en door een apparaat moest worden opgevangen. Dit suggereert dat de kwetsbaarheid niet slechts een eigenaardigheid van digitale bestanden is, maar een fundamentele zwakte in hoe deze modellen gesproken taal verwerken.

De studie keek ook naar welke specifieke trucs het beste werkten. Ze vonden dat de meest succesvolle aanvallen vaak gepaard gingen met het complexer maken van de bewoording van de vraag of het toevoegen van realistische achtergrondruis. Verrassend genoeg was het simpelweg versnellen of vertragen van de stem op zichzelf minder effectief, maar het hielp wanneer het werd gecombineerd met andere veranderingen. Het systeem leerde dat de beste manier om de vangrails te breken was om de schadelijke betekenis intact te houden, terwijl het geluid en de woorden er verschillend genoeg uitzagen om de veiligheidsfilters te verwarren.

Dit werk benadrukt een aanzienlijk gat in de huidige veiligheid van spraak-AI. Terwijl ontwikkelaars jarenlang hebben gewerkt aan het versterken van tekstgebaseerde systemen tegen slimme prompts, heeft de toevoeging van spraak een nieuwe deur geopend die grotendeels onbewaakt blijft. De onderzoekers hebben aangetoond dat een geautomatiseerd systeem systematisch deze zwakheden kan vinden en exploiteren zonder de interne code van de AI te hoeven kennen. Ze vonden geen enkel wondermiddel dat elk systeem breekt, maar lieten eerder zien dat een flexibele, lerende aanpak consequent de huidige beschermingen kan omzeilen. De bevindingen suggereren dat naarmate spraakinterfaces gebruikelijker worden, de veiligheidsmaatregelen voor deze systemen moeten evolueren om niet alleen te gaan over wat er wordt gezegd, maar ook over hoe het wordt gezegd en hoe het klinkt. De studie concludeert dat zonder deze verbeteringen, de belofte van veilige, conversationele AI buiten bereik kan blijven.