DECEIVE-AFC: Adversarial Claim Attacks against Search-Enabled LLM-based Fact-Checking Systems

1. Het Probleem

Automatische fact-checking systemen (AFC) die gebruikmaken van zoekopdrachten (Search-Enabled) en Large Language Models (LLM's) hebben zich bewezen als krachtige tools om desinformatie te bestrijden door dynamisch externe bewijsvoering op te halen. Echter, de robuustheid van deze systemen tegen adversariële aanvallen is onvoldoende onderzocht.

Bestaande methoden voor adversariële aanvallen zijn vaak ontworpen voor traditionele systemen op basis van Deep Neural Networks (DNN) die werken met statische databanken. Deze methoden falen bij moderne LLM-systemen omdat:

• Ze te afhankelijk zijn van oppervlakkige karakter- of woordmanipulaties.
• Ze geen rekening houden met de dynamische zoek- en redeneerprocessen van LLM's.
• Ze vaak onrealistische aannames doen (zoals het manipuleren van de bewijsbronnen zelf), wat in de echte wereld (open web) niet mogelijk is.

Er is dus een urgent behoefte aan aanvallen die specifiek zijn ontworpen voor zoek-enabled LLM-systemen en die alleen de invoerclaim manipuleren (black-box setting), zonder toegang tot de interne werking of de bronnen.

2. Methodologie: DECEIVE-AFC

De auteurs stellen DECEIVE-AFC voor, een agent-gebaseerd raamwerk voor het genereren van adversariële claims. Het systeem werkt onder een realistische dreigingsmodel waarbij de aanvaller alleen de invoer en uitvoer van het doelwit kan zien.

Het raamwerk bestaat uit drie kerncomponenten:

A. Strategieën voor Adversariële Claims

In plaats van simpele tekstveranderingen, richten de strategieën zich op specifieke kwetsbaarheden in de fact-checking pijplijn:

1. Misleiding van de zoekmachine (Search Engine Misguidance): Subtiele wijzigingen in de claim (zoals het introduceren van zeldzame synoniemen, niet-standaard entiteiten of redundante achtergrondinformatie) om de gegenereerde zoekopdrachten te verstoren. Dit leidt tot het ophalen van irrelevante of misleidende bewijsstukken.
2. Verstoring van LLM-redenering (LLM Reasoning Disruption): Het toevoegen van feitelijk irrelevante maar geldige stellingen, het verhogen van de syntactische complexiteit, of het gebruik van dubbele ontkenningen. Dit verzwakt het vermogen van het model om de kern van de claim correct te koppelen aan het bewijs.
3. Escalatie van structurele complexiteit (Structural Complexity Escalation): Het omzetten van simpele feitelijke beweringen in meerstaps redeneerproblemen (multi-hop reasoning). Dit dwingt het systeem om complexe zoekketens te doorlopen, waarbij een fout in één stap de hele verificatie kan doen mislukken.

B. Validatie en Evaluatie

Om te zorgen dat de aanval effectief maar ook betekenisvol blijft, worden strenge criteria gehanteerd:

• Behoud van feitelijke intentie: De adversariële claim moet semantisch gelijk blijven aan de originele claim (geen semantische drift).
• Stealthiness: De gegenereerde rechtvaardiging (justification) moet relevant lijken, zodat de aanval niet direct door mensen of systemen wordt opgemerkt als onzin.
• Validatie: Een "Semantic Guard" module controleert of de claim nog leesbaar is en of de feitelijke kern behouden blijft, terwijl een "Attack Evaluator" beoordeelt of de aanleiding tot een verkeerd oordeel heeft geleid.

C. Agent-gebaseerde Refinement

Het proces is een gesloten lus waarbij een Generator claims aanpast, een Victim Module (een surrogate model) de verificatie uitvoert, en een Attack Planner de strategie dynamisch aanpast op basis van feedback. Dit gebeurt iteratief totdat een succesvolle aanval is gevonden.

3. Belangrijkste Resultaten

De auteurs hebben DECEIVE-AFC getest op drie realistische zoek-enabled LLM-systemen (HiSS, LEMMA, DEFAME) en vergeleken met bestaande baselines (zoals LEET, Homoglyph).

• Drastische prestatiedaling: De aanval verlaagde de verificatie-accuratie van het doelwit van 78,7% naar 53,7%.
• Aanvalsucces (ASR): DECEIVE-AFC bereikte een aanvalsuccespercentage van 36,6%, wat aanzienlijk hoger is dan bestaande methoden (die vaak onder de 12% blijven).
• Cross-system transferability: De gegenereerde claims waren effectief op verschillende systemen, wat aantoont dat de kwetsbaarheid fundamenteel is en niet specifiek voor één model.
• Mechanisme van falen: De analyse toont aan dat de aanval niet werkt door de claim onleesbaar te maken, maar door de zoekstrategie en de redenering van het LLM te manipuleren. De systemen halen dan wel bewijs, maar het is het verkeerde bewijs, wat leidt tot een foutief oordeel met een ogenschijnlijk logische rechtvaardiging.

4. Bijdragen

1. Nieuw Raamwerk: Het introduceren van DECEIVE-AFC, het eerste agent-gebaseerde raamwerk dat specifiek is ontworpen voor adversariële claims tegen zoek-enabled LLM fact-checkers.
2. Strategische Innovatie: Het formaliseren van nieuwe aanvalsstrategieën die de zoek- en redeneerfasen van LLM's targeted, in plaats van alleen de tekstoppervlakte.
3. Empirisch Bewijs: Het aantonen dat bestaande methoden ontoereikend zijn voor moderne systemen en dat zelfs geavanceerde LLM-systemen kwetsbaar zijn voor subtiele, semantisch correcte manipulaties.
4. Mitigatie-insights: Het bieden van richtlijnen voor verdediging, zoals het fine-tunen van modellen op adversariële datasets en het implementeren van validatiemechanismen voor zoekopdrachten en bewijsbronnen.

5. Betekenis en Impact

De studie onthult een kritieke zwakte in de huidige generatie AI-gedreven fact-checking systemen. Hoewel deze systemen vaak als robuuster worden beschouwd dan statische modellen, blijken ze gevoelig voor aanvallen die de informatie-oogst (retrieval) en interpretatie (reasoning) manipuleren.

Dit heeft grote implicaties voor de veiligheid van desinformatiebestrijding:

• Verhoogd risico: Desinformatie kan nu worden verspreid via claims die er voor het oog correct uitzien, maar die het fact-checking systeem systematisch in de war sturen.
• Noodzaak voor verdediging: Het is essentieel dat toekomstige systemen niet alleen beter kunnen redeneren, maar ook weerbaarder zijn tegen het manipuleren van hun zoek- en verificatieprocessen.
• Ethiek: Hoewel de techniek potentieel misbruikt kan worden, is het doel van het onderzoek om deze kwetsbaarheden bloot te leggen om sterkere, betrouwbaardere systemen te bouwen die het vertrouwen in automatische verificatie herstellen.