Technische Samenvatting: Black-Box Forensics voor Conversationele LLM-agenten

Probleemstelling

Naarmate de adoptie van Large Language Models (LLM's) toeneemt, groeit ook de proliferatie van door AI ondersteunde fraude, social engineering en desinformatiecampagnes. Deze kwaadwillende agenten opereren vaak achter anonieme endpoints waar onderzoekers geen toegang hebben tot modelgewichten, systeemprompts of interne configuraties. Het paper behandelt de uitdaging van black-box forensics: het terugwinnen van identificerende informatie over de basismodel en de systeemprompt van een agent uitsluitend via conversationele interactie, zonder adversariële probing of toegang tot interne staten.

De auteurs definiëren twee complementaire capaciteiten die vereist zijn voor deze taak:

1. Attributie: Het identificeren welk basismodel of welke systeemprompt een specifiek endpoint aanstuurt vanuit een vaste, gesloten verzameling kandidaten.
2. Fingerprinting: Bepalen of twee afzonderlijke gesprekstranscripten afkomstig zijn van dezelfde verborgen configuratie (basismodel + systeemprompt), zelfs als die specifieke configuratie niet tijdens de training is gezien (zero-shot).

Deze capaciteit is crueld voor het koppelen van individuele scams aan criminele netwerken, het detecteren van stille API-wijzigingen (bijv. providers die backend-modellen wisselen zonder openbaarmaking), en het afstemmen van red-teaming inspanningen op specifieke modelkwetsbaarheden.

Methodologie

Het paper stelt een raamwerk voor dat vertrouwt op actieve elicitatie in plaats van passieve observatie. Een "detective"-agent (aangedreven door QWEN-4B-INSTRUCT) initieert en stuurt gewone, niet-adversariële gesprekken met een "target"-agent. Deze aanpak vermijdt de detecteerbaarheid van traditionele adversariële strings of prompt injections, waardoor de forensische tool verborgen kan blijven.

Datageneratie

Vanwege de onhaalbaarheid van het verkrijgen van gelabelde real-world data (wat het extraheren van propriëtaire prompts zou vereisen of het vertrouwen op ongeverifieerde gescrapte data), hebben de auteurs een synthetisch corpus van 240.000 gelabelde transcripten geconstrueerd.

• Basismodellen: Zes modellen werden gebruikt: GPT-OSS-20B, GPT-OSS-120B, LLAMA-3.1-8B-INSTRUCT, QWEN-4B-INSTRUCT, GPT-4O-MINI, en GPT-4.1-NANO.
• Systeemprompts: 40 verschillende systeemprompts werden gecureerd, variërend van klantenservice tot onderhandelingsscenario's.
• Variaties: Om gevoeligheid te testen, creëerden de auteurs gecontroleerde varianten van prompts, inclusclusief ernstige truncatie, semantische parafrasering en hoog-densiteit samenvattingen.
• Controle: Alle interacties gebruikten gestandaardiseerde generatie-instellingen (temperatuur 0.7, max 512 tokens) om stilistische en structurele fingerprints te isoleren van semantische ruis.

Technische Benaderingen

1. Attributie

De auteurs pasten technieken voor auteurschap-attributie aan voor conversationele data:

• Sparse Baseline: Maakte gebruik van unigram/karakter-niveau TF-IDF en stylometrische kenmerken (interpunctiefrequentie, uitinglengte) met een multinomiale logistische regressie classifier.
• Dense Baseline: Fine-tuned QWEN-4B-INSTRUCT met behulp van LoRA-adapters om als classifier te fungeren.
• Taak: Het systeem probeert een gesprek te mappen naar een specifiek basismodel of systeemprompt uit een bekende kandidaatenset.

2. Fingerprinting (Zero-Shot)

De kerninnovatie is een cross-encoder benadering die ontworpen is om twee gesprekken te matchen met dezelfde verborgen configuratie zonder voorafgaande training op die specifieke configuratie.

• Architectuur: De auteurs maakten gebruik van ELECTRA-large en BERT-base als cross-encoders. Deze modellen coderen paren van gesprekken en geven log-waarschijnlijkheden uit voor een "zelfde vs. verschillend" classificatie.
• Trainingsdoel: Het model wordt getraind om onderscheid te maken tussen paren gesprekken van dezelfde agent-configuratie versus paren van verschillende configuraties (verschillende prompts op hetzelfde basismodel).
• Input Afhandeling: Vanwege de context window limieten (512 tokens), werden gesprekken afgekort tot de eerste drie beurten.
• Schaling: De methode evalueert prestaties door meerdere gespreksparen ($k$) van dezelfde target te aggregeren om het vertrouwen te vergroten.

Belangrijkste Resultaten

Prestaties van Attributie

• Basismodel Attributie: Het systeem bereikt een nauwkeurigheid van 98% bij het identificeren van het basismodel vanuit enkele beurten van een niet-adversariële conversatie. Het onderscheidt succesvol modellen van dezelfde familie maar verschillende groottes (bijv. GPT-OSS-20B vs. GPT-OSS-120B) met 95% nauwkeurigheid.
• Systeemprompt Attributie: Hoewel mogelijk, is de nauwkeurigheid sterk afhankelijk van de responsiviteit van het basismodel op instructies en de semantische gelijkenis van de prompts.
  • Op modellen zoals QWEN-4B-INSTRUCT en GPT-4.1-NANO bereikt de paarwijze prompt-attributie een nauwkeurigheid van >90%.
  • Op modellen zoals GPT-OSS-20B en GPT-OSS-120B daalt de attributienauwkeurigheid aanzienlijk, en de correlatie tussen de semantische gelijkenis van de prompt en detecteerbaarheid is verwaarloosbaar ($r < 0.2$).
  • Multi-way classificatie van prompts bleek significant moeilijker dan binaire classificatie, waarbij fine-tuned classifiers moeite hadden om 63% nauwkeurigheid te overschrijden.

Fingerprinting Prestaties

• Zero-Shot Capaciteit: De cross-encoder methode bereikt een AUC van 0.768 en een F1-score van 0.703 op volledig onziene systeemprompts (zero-shot setting).
• Schaling met Bewijs: Prestaties verbeteren aanzienlijk met meer data. Het aggregeren van 50 gespreksparen per target-agent verhoogt de AUC naar 0.943 en de F1 naar 0.77. Zelfs met slechts 5 paren bereikt de AUC 0.83.
• Baseline Vergelijking: De cross-encoder presteerde aanzienlijk beter dan de baselines, inclusief N-gram overlap (AUC 0.59), eenvoudige logistische regressie (AUC 0.667) en bi-encoders (AUC ~0.75).

Robuustheid

• Onderwerp en Agent Verschuivingen: De methode is robuust tegen veranderingen in gespreksonderwerpen en de identiteit van de detective-agent (bijv. het gebruiken van GPT-OSS-20B als detective in plaats van QWEN-4B-INSTRUCT), met AUC-dalingen van minder dan 0.03.
• Sampling Parameters: Variaties in temperatuur en token-limieten veroorzaakten minimale prestatiedegradatie (<0.02 AUC daling).
• Adversariële Perturbaties:
  • Paraphrase Attacks: Het gebruik van een proxy LLM om uitingen te herformuleren verminderde de prestaties met 0.10 AUC, maar de methode bleef effectief (AUC 0.94 met $k=10$).
  • Context Lengte: Prestaties degraderen significant met kortere contexten (1-beurt conversatie verlaagt de AUC met 0.20) en in latere stadia van lange interacties, hoewel majority voting een deel van de prestaties kan herstellen.

Betekenis en Claims

Het paper claimt de eerste te zijn die systeemprompt attributie en fingerprinting bestudeert in een conversationele black-box setting zonder toegang tot modelgewichten, systeemprompts of ground-truth trainingsgesprekken.

Belangrijkste bijdragen zijn:

1. Covert Forensics: Het demonstreren dat high-fidelity attributie en fingerprinting kan worden bereikt door middel van gewone, niet-adversariële dialoog, waardoor de detectierisico's van prompt injection of adversariële probing worden vermeden.
2. Schaalbaarheid naar de Open Wereld: In tegen tegenstelling tot attributiemethoden die een vaste kandidaatenset vereisen, schaalt de fingerprinting-benadering naar de "open wereld", waardoor onderzoekers afzonderlijke scam-campagnes kunnen clusteren of stille API-drifts kunnen detecteren zonder opnieuw te trainen op de nieuwe configuratie.
3. Praktisch Nut: De resultaten suggereren dat het aggregeren van een klein aantal interacties (bijv. 50 beurten) voldoende is om uiteenlopende scams te koppelen aan criminele netwerken of om met hoge zekerheid stille model-swaps te identificeren.

De auteurs positioneren dit werk als een noodzakelijk instrument voor platformgovernance en security teams, wat hen in staat stelt om AI-gestuurde scams terug te leiden naar providers en ongeannonceerde backend-wijzigingen te detecteren die het downstream gedrag materieel kunnen verschuiven.

Beperkingen en Ethische Overwegingen

De auteurs erkennen dat hun evaluatie steunt op een synthetisch corpus, wat een ondergrens kan zijn voor de real-world prestaties gezien de diversiteit van "wild" systeemprompts. Ze benadrukken dat de methodologie strikt beperkt moet blijven tot het auditen van publiek toegankelijke commerciële API's en het onderzoeken van gecoördineerde, grootschalige kwaadwillende operaties. Om surveillance-risico's te mitigeren, stellen ze operationele protocollen voor, waaronder pre-flight target validatie, dataminimalisatie, redactie van PII (persoonlijk identificeerbare informatie) en verplichte auditeerbaarheid.