Technisch overzicht: PromptSentinel – Distributie-mismatch in de classificatie van prompt-veiligheid

Probleemstelling

De implementatie van Large Language Models (LLM's) in consumententoepassingen vereist geautomatiseerde classificatie van prompt-veiligheid om schadelijke of beleidsoverschrijdende verzoeken te detecteren. Hoewel bestaande classificatoren vaak een hoge prestatie rapporteren op synthetische benchmarks, onderzoekt dit artikel of deze metrieken generaliseren naar door mensen geschreven inputs. De auteurs postuleren een distributie-mismatch hypothese: huidige benchmarks, die vaak worden geconstrueerd met behulp van adversariële transformaties en gecureerde aanvalstemplates, slagen er niet in de diversiteit van natuurlijke menselijke interactie (bijv. rollenspel, creatief schrijven, conversationele verzoeken) te vatten. Bijgevolg kan de prestatie gemeten op synthetische data de werkelijke betrouwbaarheid in de echte wereld aanzienlijk overschatten, met name met betrekking tot de "veilige" klasse van prompts.

Methodologie

De studie, getiteld PromptSentinel, maakt gebruik van een gecontroleerd experimenteel ontwerp om de effecten van datadistributie op de prestaties van de classificator te isoleren.

Constructie van de dataset

De auteurs construeerden een trainingscorpus van 110.060 prompts door vier publieke datasets samen te voegen om brondiversiteit en klassebalans te waarborgen:

1. TrustAIRLab In-the-Wild Jailbreak Prompt: Uitsluitend gebruikt als een apart gehouden testset (6.387 prompts, inclusief 666 door mensen geschreven jailbreaks).
2. ToxicChat: 4.981 echte gebruikersconversaties (Vicuna chatbot) geannoteerd op toxiciteit.
3. Qualifire Prompt Injection Benchmark: Een bijna gebalanceerde dataset die klasse-imbalans aanpakt.
4. WildJailbreak: De grootste publieke jailbreak-dataset, die zowel synthetische (geautomatiseerde transformaties) als door mensen geschreven varianten biedt.

Het uiteindelijke trainingscorpus werd gebalanceerd (54,3% veilig, 45,7% onveilig) door middel van brondiversiteit in plaats van oversampling.

Experimenteel ontwerp

De auteurs evalueerden een TF-IDF vectorisatie gecombineerd met een Logistische Regressie classificator (met gebalanceerde klasse-gewichten) over vier onderzoeksvragen (RQs):

• RQ1 (Generalisatie van aanvalstype): Testte of trainen op directe schadelijke prompts generaliseert naar adversariële (jailbreak-stijl) prompts en vice versa, gebruikmakend van subsets van de WildJailbreak-dataset.
• RQ2 (Detectie van door mensen geschreven jailbreaks): Evalueerde de op de diverse corpus getrainde classificator tegenover de apart gehouden TrustAIRLab-testset. Dit omvatte stratificatie naar promptlengte en een vergelijking tussen TF-IDF en MiniLM sentence embeddings (zowel volledige prompt als gefragmenteerde/chunked).
• RQ3 (LLM-as-Judge): Onderzocht of een zero-shot LLM-rechter (Llama-3.1-8B) fouten van de classificator (vals positieven) kon corrigeren zonder het detecteren van ware positieven in gevaar te brengen.
• RQ4 (Vier-bakken distributieanalyse): Isoleerde het effect van de oorsprong van de prompt door de prestaties te evalueren over vier verschillende bakken:
  • Synthetisch Veilig (WildJailbreak benign)
  • Synthetisch Onveilig (WildJailbreak adversarial)
  • Menselijk Veilig (WildChat)
  • Menselijk Onveilig (TrustAIRLab jailbreaks)

Belangrijkste Resultaten

1. Significante prestatiedegradatie op menselijke data

De meest kritieke bevinding is het aanzienlijke gat tussen synthetische en door mensen geschreven data:

• False Positive Rate (FPR): Op synthetische benign prompts was de FPR 1,0%. Op door mensen geschreven veilige prompts steeg de FPR naar 32,0%.
• Recall (Detectie van schade): Op synthetische adversariële prompts was de recall 98,0%. Op door mensen geschreven jailbreaks daalde de recall naar 65,4%.

2. Aanvalstype versus Bronoorsprong

Binnen de synthetische WildJailbreak-dataset presteerde de classificator consistent goed, ongeacht of deze getraind was op directe of adversariële prompts (Recall ~0,978–0,981). Dit suggereert dat het prestatieverschil niet wordt gedreven door het specifieke type aanval (direct versus adversarieel), maar door de bron van de data (synthetisch versus menselijk).

3. Beperkingen van Modelcomplexiteit

• Embeddings: Het vervangen van TF-IDF door MiniLM sentence embeddings loste de kloof niet op. Sterker nog, volledige prompt-embeddings presteerden slechter (Recall 0,580, Precision 0,105). Gefragmenteerde (chunked) embeddings verbeterden de recall op lange prompts, maar veroorzaakten catastrofale false positive rates (tot 97,0%) op lange benign prompts.
• Promptlengte: In tegen tegenstelling tot de verwachting dat korte prompts moeilijker te detecteren zijn, nam de recall feitelijk toe bij langere prompts (bereikte ~0,72 voor >200 woorden), wat suggereert dat lengte alleen de degradatie niet verklaart.

4. LLM-as-Judge Trade-offs

Het toepassen van een LLM-rechter als tweede pass-filter slaagde erin 94,6% van de vals positieven te herstellen (verbetering van precisie van 0,286 naar 0,640). Dit ging echter gepaard met een ernstig nadeel: het systeem behield slechts 24,0% van de ware positieven (de recall daalde van 1,000 naar 0,240). Kwalitatieve analyse suggereerde dat veel gemiste jailbreaks vertrouwden op "persona-override" framing, waarbij de rechter moeite had om onderscheid te maken met legitiem rollenspel.

Betekenis en Claims

Het artikel betoogt dat distributie-mismatch, specifiek het gebrek aan diversiteit in de "veilige" klasse van de trainingsdata, een primaire factor is voor het falen van classificatoren in real-world scenario's.

• Validiteit van Benchmarks: De auteurs beweren dat huidige synthetische benchmarks mogelijk een onvolledige en overdreven optimistische maatstaf bieden voor de inzetbare prestaties. Een hoge recall op synthetische data garandeert geen lage false positive rates op menselijke inputs.
• Architecturale Limieten: De studie laat zien dat het vergroten van de modelcomplexiteit (bijv. overstappen van TF-IDF naar embeddings) of het toevoegen van LLM-rechters onvoldoende is om de prestatiekloof te elimineren. Het probleem lijkt geworteld te zijn in de datadistributie in plaats van in de modelarchitectuur.
• Toekomstige Richting: Het paper concludeert dat benchmarks voor prompt-veiligheid meer nadruk moeten leggen op diverse door mensen geschreven benign prompts. De auteurs suggereren dat toekomstig werk de diversiteit van de veilige klasse tijdens de training direct moet manipuleren om een causaal verband vast te stellen tussen de datacompositie en real-world robuustheid.

De auteurs blijven bescheiden in hun claims en merken op dat de distributie-mismatch hypothese momenteel correlationeel is. Ze erkennen dat factoren buiten de diversiteit van de veilige klasse (zoals linguïstische stijl, conversationele structuur en topicverdeling) ook kunnen bijdragen aan de waargenomen kloof, wat verdere gecontroleerde interventies noodzakelijk maakt.