💬 NLP

SECA: Semantically Equivalent and Coherent Attacks for Eliciting LLM Hallucinations

Deze paper introduceert SECA, een methode die realistische en semantisch equivalente prompt-aanpassingen gebruikt om hallucinaties in grote taalmodellen op te wekken, waardoor de kwetsbaarheid van deze modellen voor plausibele inputvariaties in plaats van onrealistische aanvalspatronen wordt aangetoond.

Oorspronkelijke auteurs: Buyun Liang, Liangzu Peng, Jinqi Luo, Darshan Thaker, Kwan Ho Ryan Chan, René Vidal

Gepubliceerd 2026-02-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Buyun Liang, Liangzu Peng, Jinqi Luo, Darshan Thaker, Kwan Ho Ryan Chan, René Vidal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

SECA: De Kunst van het "Slimme" Valspelen met AI

Stel je voor dat je een zeer intelligente, maar soms wat verwarde robot hebt. Deze robot is getraind op miljoenen boeken en kan bijna alles beantwoorden. Maar soms, als je hem een vraag stelt, begint hij te fantaseren. Hij geeft een antwoord dat klinkt als waarheid, maar dat volledig verzonnen is. In de wereld van AI noemen we dit een hallucinatie.

Tot nu toe hadden onderzoekers een probleem: hoe test je of deze robot echt kwetsbaar is? De oude methoden waren als een hamer die je op een horloge slaat. Je stuurde de robot vragen met onzinwoorden ("Wat is de waarde van p in 24 = 2p? met @Now!"). De robot gaf dan misschien een gek antwoord, maar dat was niet echt interessant. Het was alsof je de robot een bril met gekke letters gaf; natuurlijk gaf hij een gek antwoord. Dat vertelt ons niets over hoe hij werkt in de echte wereld.

De Nieuwe Oplossing: SECA

De onderzoekers van dit paper (SECA) hebben een slimme nieuwe manier bedacht. In plaats van de robot te "kloppen" met onzin, proberen ze hem te verwarren met een perfecte, maar subtiel andere versie van dezelfde vraag.

Hier is hoe het werkt, met een paar creatieve vergelijkingen:

1. De "Taal-Transformatie" (Semantische Equivalentie)

Stel je voor dat je een vriend vraagt: "Hoeveel is 24 gedeeld door 2?"
Hij antwoordt: "12."

Nu vraagt je een andere vriend: "Als je een getal verdubbelt en je krijgt 24, wat was dat getal dan?"
De betekenis is exact hetzelfde. Het is een perfecte vertaling van de eerste vraag. Maar voor de AI-robot is dit alsof je hem in een andere taal spreekt, terwijl de logica hetzelfde blijft.

SECA zoekt naar deze perfecte "vertalingen". Het is alsof je een sleutel maakt die er heel anders uitziet dan de originele sleutel, maar die toch precies in hetzelfde slot past. Als de robot op de eerste vraag goed reageert, maar op de tweede (die precies hetzelfde betekent) een fout maakt, dan weten we: de robot is niet zo slim als we dachten.

2. De "Zachte" Valspeler (Coherentie)

Oude methoden maakten vragen die eruit zagen als een kattenkluwen van letters. Dat is niet realistisch. Mensen maken geen vragen met "24 = 2p met @#%".
SECA zorgt ervoor dat de nieuwe vraag natuurlijk klinkt. Het is alsof je een acteur hebt die een rol speelt. De acteur (de AI) moet de vraag herschrijven alsof hij het zelf heeft bedacht, maar zonder de betekenis te veranderen. De vraag moet logisch en menselijk klinken, net als een gesprek aan de koffieautomaat.

3. De "Drie-Poots" Strategie

De onderzoekers gebruiken drie slimme stappen om dit te bereiken:

De Schrijver (De Proposer): Een AI die denkt: "Hoe kan ik deze vraag anders stellen, maar wel precies hetzelfde laten betekenen?" Hij probeert honderden variaties, zoals een schrijver die een verhaal in verschillende stijlen herschrijft.
De Controleur (De Feasibility Checker): Een strenge AI-baas die elke nieuwe vraag controleert. Hij zegt: "Nee, deze vraag is te anders. Of: 'Nee, deze vraag is onzin.' Alleen als de vraag perfect dezelfde betekenis heeft als de originele, mag hij verder."
De Slachtoffer (Het Doel): De AI die we testen. We kijken of hij op de "nieuwe, maar identieke" vraag een fout maakt.

Waarom is dit belangrijk?

Stel je voor dat je een auto wilt testen op veiligheid.

Oude methode: Je rijdt tegen een muur van karton. De auto crasht. Resultaat: De auto is niet veilig tegen karton. (Niet erg interessant).
SECA-methode: Je rijdt de auto over een weg die eruitziet als normaal asfalt, maar die in het donker een valkuil is. Als de auto hierin vastzit, weten we dat hij echt kwetsbaar is voor dingen die hij niet ziet aankomen.

SECA laat zien dat zelfs de slimste AI's (zoals GPT-4 of Llama) in de war kunnen raken door vragen die logisch hetzelfde zijn, maar anders klinken. Ze kunnen dan opeens denken dat 24 gedeeld door 2 gelijk is aan 8, en dan een heel overtuigend verhaal bedenken waarom dat zo is.

Conclusie

SECA is als een veiligheidstest voor de geest van de AI. Het toont aan dat we niet alleen moeten kijken of een AI "slim" is, maar ook of hij stabiel is. Als een AI al snel hallucineert door een simpele herschrijving van een vraag, kunnen we hem niet vertrouwen in belangrijke situaties, zoals in het ziekenhuis of bij juridische adviezen.

De boodschap is duidelijk: AI's zijn soms als een kind dat een verhaal leert. Als je het verhaal net iets anders vertelt, vergeet het kind plotseling de les. SECA helpt ons te begrijpen waar die gaten in het geheugen zitten, zodat we ze kunnen dichten.

Titel: SECA: Semantisch Equivalent en Coherente Aanvallen voor het Opwekken van Hallucinaties in LLM's

1. Het Probleem

Grote Taalmodellen (LLM's) worden steeds vaker ingezet in risicovolle domeinen zoals medische diagnose, financiële analyse en juridische ondersteuning. Een kritiek punt is dat deze modellen vatbaar zijn voor hallucinaties: het genereren van feitelijke onjuistheden of onbetrouwbare redeneringen.

Bestaande methoden om deze hallucinaties op te wekken (adversariële aanvallen) hebben echter ernstige beperkingen:

Onrealistisch: Veel methoden (zoals token-level optimalisatie) voegen nonsensische tokens toe of veranderen de semantische intentie van de prompt volledig.
Gebrek aan inzicht: Omdat deze prompts onnatuurlijk zijn, geven ze weinig inzicht over hoe hallucinaties ontstaan in realistische, menselijke scenario's.
Afwijking van de taak: Andere methoden (zoals "jailbreaks" of betekenisverschuivingen) veranderen de oorspronkelijke vraag zodanig dat een ander antwoord verwacht wordt, wat niet hetzelfde is als een hallucinatie van de oorspronkelijke vraag.

Er is een gat in de literatuur voor het vinden van realistische adversariële prompts die semantisch equivalent zijn aan de originele vraag, maar toch leiden tot een hallucinatie.

2. Methodologie: SECA

De auteurs stellen SECA (Semantically Equivalent and Coherent Attacks) voor, een methode die hallucinaties opwekt door realistische herschrijvingen van de prompt te genereren die de betekenis behouden maar de coherentie intact houden.

Probleemformulering:
Het probleem wordt geformuleerd als een beperkt optimalisatieprobleem:

Doel: Maximaliseren van de kans dat het LLM een specifiek onjuist antwoord (en bijbehorende hallucinatie) genereert.
Beperking 1 (Semantische Equivalentie): De nieuwe prompt $x$ moet semantisch equivalent zijn aan de originele prompt $x_0$ (d.w.z. ze moeten dezelfde waarheidswaarde hebben en leiden tot hetzelfde correcte antwoord).
Beperking 2 (Semantische Coherentie): De prompt moet menselijk leesbaar en logisch consistent zijn (geen onzin of gibberish).

Het Algorithmische Kader (Zeroth-Order Methode):
Omdat de ruimte van tekstuele prompts discreet en combinatorisch enorm is, en omdat veel LLM's geen toegankelijke gradients hebben (zwartdoos), gebruikt SECA een constraint-preserving zeroth-order methode:

Proposer LLM ( $P$ ): Een LLM fungeert als "proposeur" die $M$ nieuwe prompts genereert die semantisch equivalent moeten zijn aan de huidige prompt. Om variatie te garanderen, worden willekeurige werkwoorden, stijlen en taakbeschrijvingen gebruikt.
Feasibility Checker LLM ( $F$ ): Een krachtiger LLM fungeert als "controleur". Het evalueert of de gegenereerde prompts daadwerkelijk voldoen aan de strenge criteria voor semantische equivalentie (mutuele implicatie, geen extra informatie, geen weglating van essentiële info, behoud van betekenis, zelfde grondwaarheid). Dit filtert hallucinaties van de proposer zelf eruit.
Selectie: Van de geldige (feasible) prompts wordt de ene geselecteerd die de hoogste waarschijnlijkheid heeft om het doel-token (het verkeerde antwoord) te genereren.
Iteratie: Dit proces wordt herhaald totdat een drempelwaarde wordt bereikt of het maximale aantal iteraties is bereikt.

3. Belangrijkste Bijdragen

Probleemformulering: De auteurs formuleren het genereren van realistische hallucinaties-aanvallen als een constrained optimization probleem met strikte semantische equivalentie- en coherentie-beperkingen.
SECA Algorithm: Introductie van een effectieve zeroth-order methode die LLM's gebruikt om de zoekruimte te beperken tot alleen geldige, semantisch equivalente prompts, zonder dat gradients nodig zijn.
Empirisch Bewijs: Uitgebreide experimenten tonen aan dat SECA aanzienlijk hogere success rates haalt dan bestaande methoden (zoals GCG), terwijl het bijna geen semantische fouten introduceert.
Inzicht in Hallucinaties: De analyse toont aan dat hallucinaties vaker voorkomen bij prompts die lexicaal diverser en verbaal uitgebreider zijn, zelfs als de betekenis hetzelfde blijft.

4. Resultaten

De methode is getest op diverse open-source (Llama-2/3, Qwen) en commerciële (GPT-4o-Mini, GPT-4.1) modellen op het MMLU-dataset (Multiple Choice Questions).

Aanvalsucces (ASR): SECA bereikt een aanzienlijk hogere Attack Success Rate (ASR) vergeleken met de originele prompts en de state-of-the-art methode GCG (Greedy Coordinate Gradient).
- Voorbeeld: Op Llama-3-8B steeg de ASR van ~6% (GCG) en ~63% (Raw) naar 81% met SECA.
- Op commerciële modellen zoals GPT-4o-Mini steeg de ASR van <1% naar 37%.
Semantische Fouten:
- SEE (Semantic Equivalence Error): SECA heeft een SEE van 0.00, wat betekent dat alle gegenereerde prompts semantisch equivalent zijn aan de originele vraag. GCG heeft daarentegen een hoge SEE (~0.96), wat aangeeft dat het de betekenis verandert.
- SCE (Semantic Coherence Error): SECA heeft een zeer lage SCE, wat aangeeft dat de prompts leesbaar en coherent zijn. GCG produceert vaak onbegrijpelijke "gibberish" prompts.
Analyse van Succesvolle Aanvallen:
- Succesvolle prompts zijn vaak langer en gebruiken een rijkere woordenschat (hogere Type-Token Ratio) dan de originele vragen.
- Dit suggereert dat complexere zinsstructuren de kernintentie kunnen "verhullen", waardoor het model sneller faalt.
Validatie: Er is een sterke overeenkomst gevonden tussen de evaluaties door LLM's en menselijke annotatoren, wat de betrouwbaarheid van de automatische evaluatie bevestigt.

5. Betekenis en Impact

Veiligheid en Robuustheid: SECA onthult dat zelfs de meest geavanceerde LLM's kwetsbaar zijn voor subtiele, realistische variaties in taal. Dit is een ernstige waarschuwing voor het gebruik van LLM's in hoog-risico domeinen waar feitelijke juistheid cruciaal is.
Nieuwe Benchmark: Het paper biedt een nieuwe standaard voor het testen van LLM-robustheid: niet alleen tegen onzin of jailbreaks, maar tegen plausibele, semantisch equivalente herschrijvingen.
Dual-Use: De auteurs waarschuwen dat deze methode kwaadaardig kan worden gebruikt om vertrouwen in AI-systemen te ondermijnen of desinformatie te verspreiden. Daarom wordt de code open-source beschikbaar gesteld met duidelijke richtlijnen voor verantwoord gebruik, voornamelijk gericht op het verbeteren van de veiligheid van AI-systemen (Red Teaming).

Kortom, SECA bewijst dat hallucinaties niet alleen ontstaan door complexe prompts of fouten in de training, maar ook door subtiele, menselijke variaties in de manier waarop een vraag wordt gesteld, zelfs als de vraag semantisch exact hetzelfde blijft.