Technische Samenvatting: THRD – Een Training-vrij Multi-Turn Defensiekader

1. Probleemstelling

Large Language Models (LLMs) blijven kwetsbaar voor multi-turn jailbreak-aanvallen, die de dynamiek van gesprekken uitbuiten om veiligheidsbarrières geleidelijk af te breken. In tegenstelling tot single-turn aanvallen die vertrouwen op expliciete, technisch geconstrueerde prompts, maken multi-turn aanvallen (bijv. Crescendo, X-Teaming, Tempest) gebruik van geleidelijke escalatie, cross-turn coördinatie en ogenschijnlijk onschuldige tussenliggende reacties om het model naar schadelijke compliantie te sturen.

Bestaande defensiemechanismen kampen in deze context met twee primaire beperkingen:

1. Training-gebaseerde methoden (bijv. SFT, RLHF) hebben moeite om de combinatorische en adaptieve ruimte van interactie-gestuurde aanvalstrajecten te dekend zonder de bruikbaarheid van het model te verslechteren.
2. Inference-time defensies vertrouwen vaak op single-turn analyse, waarbij elke input in isolatie wordt geëvalueerd. Dit faalt in het vastleggen van hoe risico zich accumuleert over een gesprekshistorie, waarbij individuele beurten onschuldig kunnen lijken terwijl de geaggregeerde context het model naar schadelijke uitkomsten stuurt.

De kernuitdaging is dat veilig gedrag in multi-turn interacties trajectafhankelijk is: de dialooghistorie vormt de conditioneringcontext van het model continu om, waardoor isolatie van evaluaties op turn-niveau onvoldoende is.

2. Methodologie: Het THRD-kader

De auteurs stellen THRD voor, het eerste training-vrije kader dat expliciet is ontworpen om temporele risico-accumulatie te modelleren voor multi-turn jailbreak-defensie. THRD opereert tijdens de inference en deelt de veiligheidsbeoordeling op in vier geïntegreerde modules:

A. Turn-level Risk Assessor (TRA)

• Functie: Schat het instantane risico van de huidige input ($R_i$) in.
• Mechanisme: Hanteert een tweefasig analyseparadigma om zowel semantische als structurele signalen te vangen. Het wijst een ordinale score toe: $R_i \in [1, 5]$.
• Kalibratie: Om fout-positieven door onschuldige trefwoorden (bijv. "kill" in een procescontext) te voorkomen, verkennen de auteurs prompt-varianten die de focus verschuiven van trefwoordinhoud naar de structuur van de aanvraag en concrete structurele bewijzen vereisen voordat een hoog risico wordt toegewezen.

B. Historical Context Analyzer (HCA)

• Functie: Concludeert de cumulatieve intentie door het gesprek te analyseren als een temporeel geordende interactie.
• Mechanisme: Analyseert de gesprekstructuur over drie dimensies:
  1. Conversatievorm: Role-play settings en framing.
  2. Evolutiepatronen: Progressie van de sensitiviteit van het onderwerp.
  3. Volledigheid van de aanvalsketen: Of eerdere beurten een progressie vormen richting schadelijke doelstellingen.
• Output: Een binaire beoordeling $J_h \in \{SAFE, UNSAFE\}$ die aangeeft of het traject kwaadwillende intentie vertoont.

C. Response Evaluator (RE)

• Functie: Beoordeelt of een gegenereerde respons (van de vorige beurt) kan bijdragen aan downstream schade, zelfs als deze technisch gezien voldoet aan het beleid.
• Motivatie: Adressert de "discriminator–generator gap", waarbij modellen schadelijke inhoud beter identificeren tijdens evaluatie dan tijdens generatie.
• Mechanisme: Evalueert inhoudelijke veiligheid, informatiegevoeligheid en naleving van grenzen. Het werkt post-hoc (na de respons) om de beslissing voor de volgende beurt te voeden.
• Output: Een binaire beoordeling $J_r \in \{MAY\_FACILITATE, WILL\_NOT\_FACILITATE\}$.

D. Decision Module

• Functie: Integreert $R_i$, $J_h$ en $J_r$ in een tijd-evoluerende risicoscore ($F(i)$) om de responsstrategie te bepalen (Normal, Controlled, of Refuse).
• Scoring Formule:
  $$F(i) = R_i + \Lambda(R_i) \cdot \Omega(\hat{J}^{(i-1)}_h, \hat{J}^{(i-1)}_r)$$
  • $\Lambda(R_i)$: Een attenuatiefunctie die de invloed van het historische signaal moduleert op basis van de huidige ernst.
  • $\Omega$: Een samengestelde functie die historische en respons-niveau risico's aggregeert (met behulp van de L2-norm).
  • Trend-aanpassing: Voegt een straf toe als risicoscores een monotone toename vertonen over opeenvolgende beurten.
• Persistent Rejection: Zodra een hoog-risico weigering wordt getriggerd, worden alle daaropvolgende beurten onvoorwaardelijk geweigerd. Dit voorkomt dat aanvallers herstellen via ontwijkende vervolgvragen, waarbij veiligheid boven interactiecontinuïteit wordt geprioriteerd.

3. Belangrijkste Bijdragen

1. Temporele Risicomodellering: THRD is het eerste training-vrije kader dat expliciet modelleert hoe risico accumuleert over gesprek-beurten, waarmee het verder gaat dan geïsoleerde single-turn analyse.
2. Modulaire Architectuur: Het introduceert een verenigd inference-time kader dat instantane risico's (TRA), cumulatieve intentie (HCA) en faciliterende output-detectie (RE) combineert.
3. Training-vrije Efficiëntie: Het kader vereist geen hertraining van het model, maar vertrouwt op prompt-gebaseerde semantische oordelen en lichtgewicht score-aggregatie.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat THRD effectief beschermt tegen state-of-the-art multi-turn aanvallen terwijl de bruikbaarheid van het model behouden blijft.

4. Experimentele Resultaten

Het kader werd geëvalueerd op Qwen2.5-7B en Llama-3-8B tegen X-Teaming (multi-agent collaboratieve) en Tempest (tree-search-gebaseerde) aanvallen.

• Attack Success Rate (ASR): THRD reduceerde de ASR naar 0,2–4,0% over beide modellen en aanvalstypen.
  • Vergelijking: Baseline single-turn defensies (PROACT, SAGE) faalden significant tegen X-Teaming (ASR > 47% voor PROACT, >86% voor SAGE op Qwen) of veroorzaakten ernstig verlies van bruikbaarheid.
• Model Utility: THRD behield de bruikbaarheid binnen een degradatie van 1,5% op de MMLU en GSM8K benchmarks, waarmee het SAGE overtrof dat degradaties van >11% ondervond.
• Over-Refusal: THRD handhaafde acceptabele over-refusal rates (12,4% op Qwen, 18,8% op Llama), wat aanzienlijk beter is dan SAGE (tot 99,6%).
• Single-Turn Robustheid: THRD behaalde 0% ASR tegen de single-turn aanval AutoDAN, wat bevestigt dat multi-turn mechanismen de single-turn defensie niet ondermijnen.
• Ablatie-studies:
  • Het verwijderen van TRA of HCA veroorzaakte de grootste prestatieverslechtering (~24% ASR toename), wat bevestigt dat zowel current-turn als cross-turn analyses niet-redundant zijn.
  • Het verwijderen van Persistent Rejection verhoogde de ASR van 1,59% naar 5,15%, wat de noodzaak van het blokkeren van herstelpogingen valideert.
  • Gevoeligheid voor Historische Volgorde: Het door elkaar husselen van de gesprekshistorie verhoogde de ASR, wat bevestigt dat temporele ordening cruciaal is voor het detecteren van escalatiepatronen.

5. Betekenis en Claims

Het artikel claimt dat THRD een kritieke kloof in LLM-veiligheid aanpakt: het onvermogen van bestaande defensies om aanvallen te detecteren die vertrouwen op geleidelijke, cross-turn accumulatie in plaats van expliciete single-turn schendingen.

• Noodzaak van Multi-Turn Analyse: Analyse van de eerste weigeringstriggers laat zien dat meer dan 70% van de multi-turn aanvallen Turn 2 of later nodig heeft om gedetecteerd te worden, omdat aanvallers Turn 1 bewust onschuldig ontwerpen. Dit valideert de noodzaak van expliciete temporele aggregatie.
• Trade-off Resolutie: THRD demonstreert dat het mogelijk is om sterke defensieprestaties te leveren tegen adaptieve multi-turn aanvallen zonder de zware kosten van hertraining of de ernstige degradatie van bruikbaarheid die andere inference-time methoden ervaren.
• Beperkingen: De auteurs erkennen dat HCA de primaire computationele bottleneck is (verantwoordelijk voor ~63–77% van de latentie) en dat het kader afhankelijk is van de redeneercapaciteiten van het onderliggende evaluator-model. Ze merken op dat toekomstige aanvallen die specifiek zijn geoptimaliseerd tegen de prompting-patronen van THRD, of aanvallen die intentie over substantieel langere trajecten verdelen, uitdagingen kunnen vormen.

Concluderend biedt THRD een robuuste, training-vrije aanpak om LLM's te beveiligen tegen de evoluerende dreiging van multi-turn jailbreaks door veiligheid te behandelen als een trajectafhankelijke eigenschap in plaats van een statisch inputfilter.