Technische Samenvatting: Het traceren van doelantwoord-tokens in vergiftigde retrieval-corpora via token-invloedsattributie

Probleemstelling

Retrieval-Augmented Generation (RAG)-systemen, die Large Language Models (LLM's) verbeteren met externe kennis, zijn kwetsbaar voor corpusvergiftigingsaanvallen (corpus poisoning attacks). Bij deze aanvallen injecteren aanvallers misleidende documenten in de retrieval-corpus om de output van de LLM te manipuleren naar een specifiek, onjuist doelantwoord. Bestaande detectiemethoden vertrouwen doorgaans op hulp-classifiers of aanvullende LLM-gebaseerde verificatie (bijv. het raadplegen van een apart model om outputs te verifiëren). Deze benaderingen introduceren aanzienlijke computationele overhead en onderhoudskosten, wat ze onpraktisch maakt voor veel enterprise-implementaties die behoefte hebben aan lichtgewicht, real-time defensieve mechanismen.

Methodologie: TRACE Framework

De auteurs stellen TRACE voor, een lichtgewicht detectiekader dat vergiftigingsaanvallen identificeert door antwoordgerelateerde tokens te traceren via token-invloedsattributie. In tegenstelling tot methoden die documenten classificeren als wel of niet kwaadaardig, analyseert TRACE de interne mechanica van de doel-LLM om tokens te identificeren die de sterkste invloed uitoefenen op voorspellingen. Het framework werkt in twee afzonderlijke fasen:

Fase 1: Keyword Searching

1. Invloedsberekening: Voor elk opgehaald document berekent het systeem token-niveau invloedsscores via backpropagation. De doelstring is een vooraf gedefinieerde bevestiging (bijv. "Ja, het antwoord is:"). De invloed van een token-embedding $x_i$ wordt berekend als de gekwadrateerde norm van de gradiënt van de log-waarschijnlijkheid van de bevestiging ten opzichte van die token: $\|\nabla_{x_i} \log P_\theta(y|x_{1:n})\|^2$.
2. Filtering: Het systeem extraheert de top-$k_1$ meest invloedrijke tokens, waarbij interpunctie, veelvoorkomende woorden (stopwords) en tokens die al aanwezig zijn in de gebruikersquery strikt worden uitgesloten om ruis te verminderen.
3. Zinsconstructie: Aaneengesloten high-influence indices worden samengevoegd tot kandidaat-zinnen.
4. Consensus Filtering: Deze zinnen worden geaggregeerd over alle opgehaalde documenten. Een zin wordt pas opgenomen in de kandidaat-keywordset $K$ als deze in een aantal documenten voorkomt dat aan een drempelwaarde $a_1$ voldoet. Dit isoleert de geconsolideerde kwaadaardige payload die gesynchroniseerd is over de vergiftigde corpus.

Fase 2: Secundaire Verificatie

1. Doelgerichte Herbeoordeling: Voor elke kandidaat-keyword $p \in K$ herbeoordeelt het systeem de opgehaalde documenten. In tegenstelling tot Fase 1, wordt de kandidaat-phrase $p$ zelf ingesteld als de doelvoorspelling om nieuwe token-niveau invloedsgradiënten te berekenen.
2. Trigger Identificatie: Het algoritme identificeert de top-$k_2$ meest invloedrijke tokens binnen elk document die overeenkomen met de kandidaat-phrase.
3. Finale Verificatie: Deze tokens worden geaggregeerd, en een token wordt toegevoegd aan de uiteindelijke doelset $T$ alleen als het verschijnt als een high-influence trigger in ten minste $a_2$ afzonderlijke documenten.
4. Detectie-vlag: Als de uiteindelijke doelset $T$ niet leeg is, wordt de opgehaalde corpus gemarkeerd als vergiftigd.

Belangrijkste Bijdragen

1. Lichtgewicht Framework: TRACE introduceert een detectiemechanisme dat geen hulp-classifiers en geen aanvullende LLM-verificatie vereist, wat de computationele overhead aanzienlijk vermindert.
2. Token-Attributie Paradigma: Het paper stelt een nieuwe detectiebenadering voor die vergiftiging identificeert door het traceren van recurrent high-influence tokens over opgehaalde documenten, waarmee de link tussen token-invloed en modelvoorspellingen direct wordt gelegd.
3. Onthulling van Doelantwoord: Naast louter detectie demonstreert TRACE het vermogen om door de aanvaller gespecificeerde doelantwoorden te onthullen met lage computationele kosten, wat bruikbare intelligentie biedt voor defensieve analyse.

Experimentele Resultaten

De auteurs evalueerden TRACE op drie QA-benchmarks (Natural Questions, HotpotQA, MS-MARCO) met behulp van zes diverse LLM's (Llama-3.1-8B, Gemma-3-4b, Qwen-3.5-4B, Vicuna-7b, Mistral-7B, en Phi-4-mini) tegen de PoisonedRAG aanval-baseline.

• Detectieprestaties: TRACE behaalde consistent een True Positive Rate (TPR) van meer dan 90% over bijna alle geëvalueerde modellen. Op het Phi-4-mini model behaalde het een gemiddelde TPR van 98,87%.
• Controle van False Positives: Door hyperparameters af te stemmen, onderdrukte het framework de False Positive Rate (FPR) tot onder de 10% in scenario's zonder vergiftiging, wat een robuuste controle over valse alarmen aantoont.
• Identificatie van Doelantwoord: Het framework identificeerde het doelantwoord van de aanvaller in ongeveer 90% van de gevallen op de NQ en MS-MARCO datasets, en meer dan 70% op HotpotQA.
• Efficiëntie: Vergeleken met RAGForensics (een baseline die gebruikmaakt van LLM-gebaseerde verificatie), bereikte TRACE superieure detectieprestaties met een aanzienlijk lagere executietijd (bijv. ~1,0s vs ~9,0s per vraag voor Llama-3.1-8B).

Betekenis en Claims

Het paper claimt dat TRACE een real-time, eerste-lijns verdediging biedt voor RAG-pipelines. De betekenis ligt in:

• Geen Voorkennis Vereist: In tegen tegenstelling tot reactieve verdedigingen die het doelantwoord moeten kennen om outputs te verifiëren, identificeert TRACE doelantwoord-tokens voordat de generatie plaatsvindt, zonder voorafgaande kennis van de aanval.
• Operationele Leefbaarheid: Door het elimineren van de noodzaak om hulpmodellen te trainen of herhaalde LLM-inferentie uit te voeren, adresseert TRACE de praktische beperkingen van enterprise-implementatie.
• Transparantie: Het vermogen om de specifieke tokens te onthullen die de kwaadaardige voorspelling drijven, stelt organisaties in staat om kwaadaardige outputs te onderscheppen en reputatierisico's te beperken.

De auteurs erkennen beperkingen en merken op dat de methode steunt op de statistische recurrentie van doelantwoorden en mogelijk minder gevoelig is voor aanvallen die met zeer weinig vergiftigde documenten werken. Ze argumenteren echter dat dergelijke schaarse injecties inherent het succespercentage van de aanval (ASR) verlagen, waardoor TRACE een effectief filter is voor hoog-impact vergiftigingspogingen. Het werk wordt strikt gepresenteerd als een defensief instrument voor beveiligingsevaluatie, zonder dat er nieuwe aanvalsmechanismen of datasets worden vrijgegeven.