How Reliable Is Your Jailbreak Judge? Calibration and Adversarial Robustness of Automated ASR Scoring

Technische Samenvatting: Kalibratie en Adversariële Robuustheid van Geautomatiseerde ASR-scoring

Probleemstelling
Het vakgebied van de veiligheid van Large Language Models (LLM's) leunt zwaar op de Attack Success Rate (ASR) om de effectiviteit van jailbreaks en verdedigingen te kwantificeren. De bepaling van of een modelrespons "schadelijk" is, wordt echter bijna uitsluitend gedaan door geautomatiseerde beoordelaars in plaats van menselijke annotatoren. Deze beoordelaars vallen in twee primaire categorieën: toegewijde veiligheidclassificaties (bijv. HarmBench-classifier, Llama-Guard) en algemene instructie-afgestemde modellen die geprompt worden om als beoordelaar te fungeren (LLM-as-judge). Het artikel betoogt dat deze afhankelijkheid onverdiend is; als deze beoordelaars verkeerd gekalibreerd of gemakkelijk te manipuleren zijn, zijn de gerapporteerde ASR-waarden ofwel opgeblazen ofwel verlaagd, en kunnen ze kunstmatig worden gewijzigd door aanvallers of auteurs zonder de werkelijke modeloutput te veranderen. Het kernprobleem is het gebrek aan verificatie met betrekking tot de betrouwbaarheid en robuustheid van deze geautomatiseerde beoordelaars.

Methodologie
De auteurs evalueren de betrouwbaarheid van deze beoordelaars met behulp van de HarmBench classifier validatieset, die 596 paren van schadelijke verzoeken en modelresponses bevat, gelabeld door drie menselijke annotatoren (waarbij meerderheidsstemming als de grondwaarheid wordt gebruikt).

1. Geëvalueerde beoordelaars:
   • Dedicated Classifier: cais/HarmBench-Llama-2-13b-cls.
   • LLM-as-Judges: Drie open-weight instructie-afgestemde modellen: Qwen2.5-7B-Instruct, Phi-3.5-mini-instruct, en Qwen2.5-3B-Instruct.
2. Kalibratie: De outputs van de beoordelaars werden vergeleken met menselijke meerderheidslabels om precisie, recall, F1 en accuratesse te berekenen.
3. Adversariële Robuustheid (Surface Attacks): De auteurs testten "content-preserving wrappers" op de true positives van de beoordelaars. Deze aanvallen voegden onschuldige inkadering toe (bijv. een weigeringszin, een preambule/postambule, een educatieve inkadering, of een fictieve dialoog) zonder de schadelijke kern van de respons te wijzigen. De gebruikte metriek was de "flip rate"—het percentage gevallen waarin de beoordelaar het oordeel veranderde van "schadelijk" naar "niet schadelijk".
4. Adversariële Robuustheid (White-Box Attacks): Voor de dedicated classifier pasten de auteurs een gradiëntgebaseerde aanval (GCG) toe op de open weights. Dit hield in dat een 20-token adversariële suffix werd geoptimaliseerd om de logit-gap tussen "Ja" (schadelijk) en "Nee" (niet schadelijk) te minimaliseren, waarbij de schadelijke body letterlijk werd behouden.
5. Menselijke Audit: Om te waarborgen dat een "flip" een misleiding van de beoordelaar betekende in plaats van het verwijderen van de schade, beoordeelden twee onafhankelijke annotatoren een willekeurige steekproef van 80 geflipte responses.

Belangrijkste Bijdragen

1. Human-Anchored Comparison: Een directe vergelijking van dedicated classifiers en LLM-as-judges tegenover menselijke labels onder een uniform aanvalsprotocol.
2. Bewijs van Fragiliteit: Demonstratie dat content-preserving wrappers elke geteste LLM-judge kunnen misleiden, terwijl een dedicated classifier deze oppervlakkige aanvallen weerstaat.
3. White-Box Vulnerability: Een gradiëntgebaseerde aanval die succesvol een dedicated classifier breekt die weliswaar bestand is tegen surface wrappers, wat aantoont dat open-weight beoordelaars kwetsbaar zijn voor directe optimalisatie.
4. Human Verification: Een onafhankelijke audit die bevestigt dat de adversariële flips de schadelijke inhoud behielden, wat bewijst dat de beoordelaars werden misleid in plaats van dat de schade werd gemitigeerd.

Resultaten

• Kalibratieverschillen: De twee families van beoordelaars falen op tegenovergestelde manieren.
  • De dedicated classifier vertoont een hoge recall (0.974) maar een lagere precisie (0.835), wat betekent dat hij zelden schade mist, maar regelmatig onschuldige inhoud als schadelijk markeert (waardoor de ASR wordt opgeblazen).
  • De LLM-judges behouden een hoge precisie (0.81–0.94) maar lijden onder een erratische en lage recall (0.06–0.65), wat betekent dat ze grote fracties van werkelijke schade missen.
• Kwetsbaarheid voor Surface Attacks:
  • LLM-judges: Zeer fragiel. Een enkele weigeringszin geplaatst vóór de schadelijke inhoud veranderde het oordeel voor 39% tot 88% van de gevallen. Het percentage waarbij elke wrapper een oordeel veranderde, varieerde van 57% tot 100% over de drie LLM-judges.
  • Dedicated Classifier: Zeer resistent tegen surface attacks, met een any-wrapper flip rate van slechts 3.4%.
• Kwetsbaarheid voor White-Box Attacks:
  • Ondanks de weerstand tegen surface wrappers, was de dedicated classifier kwetsbaar voor een white-box GCG-aanval. Op 30 zelfverzekerde true positives veranderde de aanval 21 gevallen (70% succespercentage) met een kleine optimalisatiebudget (50 stappen).
• Human Audit: Alle 80 gesamplede geflipte responses behielden de schadelijke inhoud, wat bevestigt dat de aanvallen de beoordelaars succesvol hebben misleid zonder de onderliggende schade te verwijderen.

Betekenis en Aanbevelingen
Het artikel concludeert dat geen enkele familie van beoordelaars vertrouwd mag worden zonder empirische verificatie. De keuze van de beoordelaar verandert de gerapporteerde ASR-waarden fundamenteel. De auteurs stellen dat de huidige prevalentie van LLM-as-judges betekent dat veel gerapporteerde veiligheidsmetrieken onbetrouwbaar zijn, zowel gemiddeld als onder bewuste druk.

De auteurs stellen vier specifieke praktijken voor toekomstig onderzoek voor:

1. Rapporteer Metrieken: Papers moeten vermelden welke beoordelaar wordt gebruikt en de precisie en recall rapporteren op een door mensen gelabelde subset van de data.
2. Corrigeer ASR: Rapporteer ASR gecorrigeerd voor de precisie van de beoordelaar (bijv. $ASR_{gecorrigeerd} \approx ASR_{gerapporteerd} \times precisie$) om rekening te houden met valse positieven.
3. Adversariële Check: Voeg een adversariële check van de beoordelaar toe (bijv. content-preserving wrappers) en rapporteer de flip rate.
4. Keuze van de Beoordelaar: Geef de voorkeur aan dedicated classifiers boven LLM-judges voor scoring, terwijl men erkent dat open-weight classifiers nog steeds kwetsbaar blijven voor gradiëntgebaseerde aanvallen.

Het werk benadrukt dat veiligheidsevaluatieprocedures zelf adversarieel getest moeten worden, in plaats van behandeld te worden als de grondwaarheid of oracle.