Technische Samenvatting: REALISTA

Probleemstelling

Grote Taalmodellen (LLM's) vertonen hallucinaties, zelfs bij het beantwoorden van onschadelijke gebruikersvragen. Het begrijpen van de mechanismen die deze fouten veroorzaken vereist realistische adversariele aanvallen die twee kritieke beperkingen moeten voldoen:

1. Semantische Equivalentie: De adversariële prompt moet de oorspronkelijke semantische intentie van de onschadelijke prompt behouden.
2. Semantische Coherentie: De adversariële prompt moet vloeiend en menselijk zijn.

Bestaande methoden slagen er niet in om deze beperkingen gelijktijdig te voldoen. Discrete prompt-gebaseerde aanvallen (bijv. SECA) behouden semantische realisme, maar zijn beperkt tot een schaarse, discrete zoekruimte, wat de aanvalsdiversiteit beperkt. Continue latente-ruimte-aanvallen verkennen een rijkere ruimte, maar decoderen vaak naar prompts die onbegrijpelijk zijn of semantisch verschillen van het origineel, waardoor de equivalentie-beperking wordt geschonden. De kernuitdaging is om een brede verkenning in de latente ruimte mogelijk te maken terwijl semantisch realisme strikt wordt afgedwongen.

Methodologie: REALISTA

De auteurs stellen REALISTA (Realistic Latent Adversarial Attacks) voor, een kader dat het opwekken van hallucinaties formuleert als een geconstrueerd optimalisatieprobleem in de LLM-laten ruimte. De methode overbrugt de kloof tussen discrete en continue benaderingen via de volgende componenten:

1. Invoer-afhankelijk Bewerkwoordenboek

In plaats van willekeurige latente vectoren te optimaliseren, construeert REALISTA een woordenboek van interpreteerbare bewerkingsrichtingen specifiek voor elke invoerprompt $x_0$.

• Conceptselectie: Met behulp van een conceptoptimalisatieprocedure (met gebruikmaking van WordNet en een op LLM gebaseerde evaluator) selecteert de methode een diverse set conceptwoorden die relevant zijn voor de invoer.
• Latente Richtingen: Voor elk geselecteerd concept wordt een semantisch equivalent herschrijving $x^{(i)}_{SE}$ gegenereerd. De encoder $\phi$ mapt deze naar latente representaties, en de bewerkingsrichting wordt gedefinieerd als $z^{(i)} = \phi(x^{(i)}_{SE}) - \phi(x_0)$.
• Woordenboek: De verzameling van deze richtingen vormt het woordenboek $D$, dat een deelruimte van semantisch behoudende transformaties overspant.

2. Continue Optimalisatie over een Simpelex

De aanval wordt geformuleerd als het vinden van een optimale bewerkingssterktevector $\delta$ zodat de adversariële latente representatie $z$ is:
$$z = z_0 + D\delta$$
waarbij $z_0 = \phi(x_0)$. Het optimalisatieprobleem is:
$$\min_{\delta} \mathcal{L}_{hall}(f_T(x), y^*) \quad \text{s.t.} \quad \delta \in \Delta_\varepsilon$$

• Doel: Minimaliseren van de hallucinatieverlies (bijv. negatieve log-probabiliteit van een incorrect antwoord of een hallucinatiescore van een beoordelaar).
• Beperking: $\delta$ is beperkt tot een geschaalde simpelex ($\delta \succeq 0, \|\delta\|_1 \le \varepsilon$). Dit dwingt sparsiteit en niet-negativiteit af, waardoor de verstoring een milde, convexe combinatie van semantisch behoudende bewerkingen is in plaats van een grote, willekeurige verschuiving.

3. Decoder en Semantische Veiligheid

• Promptherconstructie: Een benaderende inverse operator (decoder) $\psi$, geïmplementeerd met dezelfde LLM als de encoder, mapt de verstoord latente $z$ terug naar de promptruimte $x = \psi(z)$.
• Optimalisatiealgoritme: De auteurs maken gebruik van Geprojecteerde Langevin-dynamica (PLD) om de niet-convexe optimalisatie op te lossen. Dit omvat:
  • Gumbel-Softmax-herparameterisatie: Om gradiëntstroom door het discrete decodeerproces mogelijk te maken.
  • Stochastische Verkenning: Injectie van Gaussisch ruis om lokale minima in het stuksgewijs vlakke optimalisatielandschap te ontvluchten.
  • Semantische Equivalentie Veiligheid: Tijdens de optimalisatie wordt, als een kandidaat-prompt $x$ faalt in een semantische equivalentiecheck (uitgevoerd door een geinstrueerde LLM), het gradiëntsignaal verworpen, waardoor wordt voorkomen dat de optimalisator afwijkt naar niet-equivalente gebieden.

Belangrijkste Bijdragen

1. Invoer-afhankelijk Bewerkwoordenboek: Een methode om een compacte, diverse en geldige set latente bewerkingsrichtingen te construeren die afhankelijk is van de oorspronkelijke prompt, waardoor continue modificatie mogelijk wordt terwijl de semantiek behouden blijft.
2. Simpelex-geconstrueerde Optimalisatie: Het formuleren van het realistisch opwekken van hallucinaties als een continue optimalisatieprobleem over een geschaalde simpelex, waarbij een evenwicht wordt gevonden tussen verkenningflexibiliteit en semantische beperkingen.
3. Realistisch Aanvalskader: De integratie van het bewerkwoordenboek, de simpelexbeperking en de semantische veiligheid in het REALISTA-algoritme, dat succesvol de afweging tussen aanvalseffectiviteit en semantisch realisme navigeert.

Experimentele Resultaten

Het artikel evalueert REALISTA op open-source LLM's (Llama-3, Qwen-2.5) en commerciële redeneringsmodellen (GPT-5-varianten) over 16 MMLU-onderwerpen.

• Aanvals Succespercentage (ASR): REALISTA behaalt een superieur of vergelijkbaar ASR in vergelijking met state-of-the-art (SOTA) realistische aanvallen (bijv. SECA). Bijvoorbeeld, op Llama-3-8B bereikt REALISTA een ASR@30 van 93,60%, wat beter is dan SECA (82,97%) en LARGO (57,92%).
• Semantische Fouten: Cruciaal behoudt REALISTA een lage Semantische Equivalentie Fout (SEE) en Semantische Coherentie Fout (SCE), vergelijkbaar met SECA en aanzienlijk beter dan continue baselines zoals LARGO en ICD, die vaak een SEE van bijna 100% vertonen.
• Redeneringsmodellen: REALISTA slaagt erin hallucinaties op te wekken bij commerciële redeneringsmodellen (GPT-5-Nano, GPT-5-Mini) in vrije-vorm responsinstellingen, een scenario waarin eerdere realistische aanvallen (SECA, LARGO) falen vanwege hun afhankelijkheid van vaste outputformaten of toegang tot target-model logits.
• Conceptanalyse: Analyse van geactiveerde concepten toont aan dat succesvolle aanvallen voornamelijk structurele en kaderwijzigingen exploiteren (bijv. polariteitsomkering, logische herstructurering, instructief kader) in plaats van feitelijke inhoud te wijzigen.

Betekenis en Claims

Het artikel beweert dat REALISTA aantoont dat realistische hallucinatie-aanvallen haalbaar zijn, zelfs in black-box, redeneringsgerichte deploymentscenario's. Door de kloof tussen discrete en continue aanvalsparadigma's te overbruggen, biedt het kader een systematischer hulpmiddel voor red-teaming van LLM's.

De auteurs benadrukken dat hun werk helpt bij het karakteriseren van faalmodi waarbij lexicaal verschillende maar semantisch equivalente prompts leiden tot hallucinaties. Zij merken op dat hoewel de methode de effectiviteit van het opwekken van hallucinaties verbetert (wat mogelijk drempels voor misbruik verlaagt), de primaire bruikbaarheid ligt in het ontwikkelen van robuustere verdedigingsstrategieën door te onthullen hoe modellen falen onder realistische verstoringen. Het werk benadrukt het belang van latente-ruimte-aanvallen voor het evalueren van de betrouwbaarheid van LLM's in realistische settings waar discrete zoektochten ontoereikend zijn.