Evolving and Detecting Multi-Turn Deception using Geometric Signatures

Technische Samenvatting: Evolutie en Detectie van Meerdere-Ronde Misleiding met Geometrische Signatuur

Probleemstelling
Huidige veiligheidsverdedigingen voor Large Language Models (LLM's) worden voornamelijk getraind en geëvalueerd op prompts met één wisselwerking. Dit creëert een kwetsbaarheidskloof waarbij tegenstanders veiligheidsfilters kunnen omzeilen door indirecte, meerdere-ronden verkenning te gebruiken om verboden informatie op te eisen (bijvoorbeeld instructies voor het bouwen van een bom) zonder dat dit keyword-gebaseerde of prompts met één wisselwerking heuristieken activeert. Bestaande detectiemethoden vertrouwen vaak op black-box-classificators of token-niveau aanwijzingen die niet generaliseren over herschrijvingen en variërende conversatielengtes. Bovendien is het genereren van realistische datasets om detectoren voor deze specifieke bedreiging te trainen kostbaar en moeilijk wanneer men uitsluitend vertrouwt op menselijke data.

Methodologie
De auteurs stellen een geünificeerde, twee-fasen pijplijn voor: Synthetische Datageneratie en Verklarende Geometrische Detectie.

1. Synthetische Datageneratie (Evolutionair Kader):

   • Aanpak: De auteurs maken gebruik van een multi-objectief evolutionair kader om realistische, meerdere-ronden misleidende vraagsets te genereren. Het systeem co-evolueert kandidaat-LLM-prompts en hun mutatie-operatoren.
   • Algoritme: Zij maken gebruik van NSGA-II (Non-dominated Sorting Genetic Algorithm II) om de afweging te beheren tussen misleidingskwaliteit (hoe effectief de vragen gevoelige informatie losmaken) en beleidsondersteuning (het vermijden van expliciete verboden trefwoorden zoals "bom").
   • Proces: Startend met een initiële populatie van "codons" (prompt-sjablonen die relevantie en verduisteringsinstructies combineren), doorloopt het systeem iteraties van selectie, mutatie (LLM-gebaseerde herschrijving) en evaluatie.
   • Validatie: Een Human-in-the-Loop (HITL) studie valideerde de gegenereerde data. Deelnemers beoordeelden 350 vragen (52 deelnemers) in twee fasen: individueel en als een set van vijf. Dit bevestigde dat terwijl individuele vragen onschuldig leken, de collectieve set misleidend doelwit onthulde. De studie onthulde ook dat de eerste generatie optimalisatie de meest overtuigende misleiding opleverde, terwijl latere generaties leden onder over-optimalisatie en beleidsovertredingen.

2. Verklarende Geometrische Detectie:

   • Hypothese: Misleidende intentie in meerdere ronden laat een stabiele "geometrische voetafdruk" achter in de ruimte van voorgetrainde zin-embeddings, onderscheiden van onschuldige conversaties.
   • Feature Engineering: In plaats van end-to-end neurale netwerken op ruwe tekst te trainen, hebben de auteurs een compacte set van zeven kenmerken ontwikkeld die worden berekend uit zin-embeddings (met behulp van all-MiniLM-L6-v2):
     • Geometrische Kenmerken:
       • Hoekige Dekking: Meet hoe grondig vragen het doelonderwerp in de vectorruimte "omringen".
       • Afstandsratio: De ratio van de minimale tot de maximale afstanden van de embedding van het doelonderwerp.
       • Lineariteit: Afgeleid van de eigenwaarden van de covariantiematrix van gecentreerde embeddings, en meet lineaire patronen.
     • Statistische Kenmerken: Gemiddelde, standaardafwijking, minimum en maximum van paarsgewijze cosinus-achtigheden tussen vragen.
   • Classificator: Deze kenmerken voeden een lichtgewicht, drie-laags feed-forward neurale netwerk (MLP) met ReLU-activaties en dropout. Het model is ontworpen voor transparantie en implementatie in bijna real-time.

Belangrijkste Bijdragen

• Multi-Objectief Evolutionair Kader: Een nieuwe methode voor het genereren van synthetische misleidende datasets met meerdere ronden die misleidingseffectiviteit in evenwicht brengen met veiligheidsbeperkingen, gevalideerd door menselijke beoordeling.
• Detectie van Geometrische Signatuur: Het aantonen dat misleidende interacties met meerdere ronden een stabiele geometrische structuur bezitten in de embedding-ruimte, detecteerbaar zonder dure end-to-end training.
• Lichtgewicht, Verklarende Pijplijn: Een detectiesysteem dat vertrouwt op interpreteerbare geometrische kenmerken in plaats van ondoorzichtige deep learning-modellen, wat verklaring voor beslissingsnemers faciliteert.

Resultaten
Het systeem werd geëvalueerd op een dataset die bestaat uit door mensen gevalideerde misleidende sets en onschuldige conversatiegegevens van Scale AI.

• Basisprestaties: Het model behaalde een recall van 0,89 en een F1-score van 0,84 op de testset, waarbij het misleidende sequenties correct identificeerde terwijl het een hoge nauwkeurigheid behield op controlexamples.
• Robuustheid tegen Lexicale Variatie: Wanneer getest op herschreven vragen (waarbij de semantische intentie behouden bleef maar de syntaxis werd gewijzigd), behield het model een F1-score van 0,86, wat veerkracht toonde tegen oppervlakkige tekstwijzigingen.
• Robuustheid tegen Ronde-beperkingen: Zelfs wanneer de conversatiecontext werd afgekapt van vijf ronden naar drie, behield het model een hoge recall van 0,89 (F1: 0,74), wat haalbaarheid suggereert voor vroege interventie.
• HITL Inzichten: De menselijke studie onthulde dat vroege generaties van het evolutionaire proces de meest misleidende inhoud produceerden. Het benadrukte ook dat LLM's moeite hebben om menselijke variabiliteit in subjectief redeneren perfect na te bootsen en dat ongeveer 18,6% van de gegenereerde sets niet aan de filters voldeed (expliciet het noemen van verboden woorden).

Betekenis en Claims
Het artikel beweert dat misleidende intentie met meerdere ronden een detecteerbare, stabiele geometrische signatuur creëert in de embedding-ruimte. Deze bevinding ondersteunt de ontwikkeling van lichtgewicht, transparante screeningsystemen die geen enorme rekenkracht vereisen of ondoorzichtige end-to-end training. De auteurs positioneren hun werk als een verdedigingsmechanisme, waarbij ze veiligheidsresearchers voorzien van hulpmiddelen om indirecte informatievragend gedrag te identificeren dat traditionele keyword-filters omzeilt.

De auteurs blijven bescheiden wat betreft beperkingen, en erkennen dat hun dataset synthetisch en relatief klein is, en dat het specifieke "bom-maken"-scenario mogelijk niet perfect generaliseert naar alle domeinen zonder aanpassing. Zij benadrukken het tweeledige gebruik van de technologie, en merken op dat hoewel het generatiekader theoretisch misbruikt zou kunnen worden, hun publicatie zich strikt richt op defensieve detectie en verantwoordelijke openbaarmaking, waarbij de volledige set geoptimaliseerde mutatie-operatoren wordt achtergehouden.