Security in LLM-as-a-Judge: A Comprehensive SoK

Titel: Security in LLM-as-a-Judge: Een Omvattende Systematisering van Kennis (SoK)

Auteurs: Aiman Almasoud et al. (Universiteit van Pavia & Cochin University of Science and Technology)
Datum: April 2026 (Preprint)

---

1. Probleemstelling

Het paradigma LLM-as-a-Judge (LaaJ) maakt gebruik van krachtige Large Language Models om de kwaliteit, veiligheid of correctheid van gegenereerde output van andere modellen te beoordelen. Hoewel dit de schaalbaarheid en efficiëntie van evaluatieprocessen aanzienlijk heeft verbeterd, introduceert het nieuwe, onvoldoende onderzochte veiligheidsrisico's en betrouwbaarheidsproblemen.

De kernproblemen die in dit artikel worden geïdentificeerd zijn:

• Adversariaal kwetsbaarheid: LaaJ-systemen kunnen doelwitten worden van manipulatie (waarbij de rechter wordt omgekocht of misleid) of instrumenten worden voor het uitvoeren van aanvallen op andere systemen.
• Gebrek aan structuur: De literatuur over de veiligheidsaspecten van LaaJ is gefragmenteerd over verschillende onderzoeksgemeenschappen (NLP, softwarebeveiliging, AI-veiligheid) en mist een gestructureerd kader.
• Betrouwbaarheidskwesties: Bestaande systemen lijden onder positionele bias, gevoeligheid voor prompt-injectie en gebrek aan deterministische evaluatie, wat de integriteit van kritieke evaluatiepijplijnen (zoals RLHF en benchmarking) ondermijnt.

2. Methodologie

De auteurs hebben een Systematisering van Kennis (SoK) uitgevoerd door middel van een uitgebreide literatuurstudie.

• Zoekstrategie: Er is gezocht in grote academische databases (Google Scholar, IEEE Xplore, ACM Digital Library, Springer, ScienceDirect) en op arXiv.
• Selectiecriteria: De zoekopdracht gebruikte combinaties van trefwoorden zoals "LLM-as-a-Judge" met veiligheidsgerelateerde termen ("security", "privacy", "toxicity", "reliability").
• Filtering: Er zijn alleen hoogwaardige bronnen geselecteerd (Q1-tijdschriften en A*/A-geclassificeerde conferenties). Duplicaten, overzichtsartikelen en niet-Engelse publicaties zijn uitgesloten. Voor preprints op arXiv was een minimum aan citaties (5.000+) voor minstens één auteur vereist om kwaliteit te garanderen.
• Uitkomst: Van de 863 geanalyseerde werken werden 45 relevante studies (gepubliceerd tussen 2020 en 2026) geselecteerd voor diepgaande analyse.
• Analyse: De geselecteerde werken werden geclassificeerd op basis van de rol die LaaJ speelt in het veiligheidslandschap, wat leidde tot de ontwikkeling van een nieuwe taxonomie.

3. Belangrijkste Bijdragen

Het artikel levert de volgende bijdragen:

1. Eerste Omvattende Overzicht: Het biedt het eerste systematische overzicht van de veiligheidsaspecten van LaaJ-systemen, dekkend van aanvallen tegen LaaJ tot het gebruik van LaaJ voor aanvallen en verdediging.
2. Nieuwe Taxonomie: De auteurs stellen een taxonomie voor die de literatuur indeelt in vijf perspectieven:
   • Aanvallen gericht op LaaJ-systemen (LaaJ als doelwit).
   • Aanvallen uitgevoerd via LaaJ-systemen (LaaJ als instrument).
   • Verdedigingsmechanismen die LaaJ benutten.
   • Papers die LaaJ zelf evalueren (meta-evaluatie).
   • Toepassingen waar LaaJ wordt gebruikt als evaluatiestrategie in veiligheidsgerelateerde domeinen.
3. Vergelijkende Analyse: Een analyse van bestaande benaderingen die huidige beperkingen, opkomende bedreigingen en open onderzoeksvragen belicht.
4. Toekomstperspectief: Een schets van kansen voor het ontwikkelen van robuustere en betrouwbaardere LaaJ-systemen.

4. Resultaten en Analyse

De analyse van de 45 studies resulteert in de volgende inzichten, onderverdeeld volgens de taxonomie:

A. LaaJ als Doelwit van Aanvallen (Attacks Targeting LaaJ)

LaaJ-systemen zijn kwetsbaar voor zowel trainingstijd- als inferentie-tijd-aanvallen:

• Trainingstijd-aanvallen:
  • Backdoor & Poisoning: Het vergiftigen van slechts 1% van de trainingsdata kan de scores van een aanvaller drastisch verhogen (bijv. van 1.5 naar 4.9/5) en veilheidskritische systemen omzeilen.
  • Rubric/Protocol Manipulatie: Aanvallen zoals "Rubric-Induced Preference Drift" (RIPD) tonen aan dat subtiele wijzigingen in de beoordelingscriteria (rubrics) de voorkeuren van de judge kunnen sturen zonder toegang tot het model, wat leidt tot systematische bias in downstream training (zoals DPO).
• Inferentie-tijd-aanvallen:
  • Prompt Injection: Optimale injectie van instructies (bijv. "JudgeDeceiver") kan succespercentages van 89-99% bereiken, waarbij de judge wordt gedwongen een specifiek antwoord te kiezen.
  • Token/Surface-level Perturbations: Het invoegen van emoji's of specifieke leestekens kan de tokenisatie verstoren en de detectie van onveilige content met tot 12% verminderen.
  • Master Keys: Triviale inputs (zoals "Thought process:") kunnen generatieve beloningsmodellen misleiden tot een false-positive rate van 80-90%.

B. LaaJ als Aanvalsinstrument (Attacks Performed Through LaaJ)

• Contextuele Backdoor-aanvallen: LaaJ wordt hier gebruikt als optimalisatie-engine om vergiftigde in-context learning voorbeelden te creëren die backdoors in andere systemen (zoals autonome agenten) inplanten. De evaluatiecapaciteit van de judge wordt gebruikt om de aanval zo "natuurlijk" mogelijk te maken, wat de succesratio van 25% naar >90% verhoogt.

C. Verdediging en Mitigatie (Defenses Leveraging LaaJ)

Onderzoekers gebruiken LaaJ om beveiligingsproblemen op te lossen:

• Audit en Detectie: Frameworks zoals J-Detector kunnen automatisch gegenereerde oordelen van mensen onderscheiden en bias detecteren.
• Misbruik Monitoring: Tools zoals GPTracker scannen automatisch op misbruik van GPT-agents in ecosystemen.
• Uitlegbare Beveiligingsanalyse: Frameworks zoals LLMVulExp gebruiken LaaJ om niet alleen kwetsbaarheden in code te detecteren, maar ook gedetailleerde, menselijk leesbare uitleggen te genereren over de reden van de kwetsbaarheid.

D. LaaJ als Evaluatiestrategie in Veiligheidstoepassingen

LaaJ wordt breed ingezet voor:

• Aanvalsdetectie: Het evalueren van complexe multi-stap aanvallen (bijv. CTF-challenges) en het detecteren van kwaadaardige npm-pakketten of netwerkintrusies.
• Software Engineering: Het beoordelen van code-reviews, patches en gegenereerde softwareartefacten. Studies tonen aan dat LaaJ menselijke beoordelingen kan benaderen, maar dat menselijke supervisie van de rubrics essentieel blijft voor betrouwbaarheid.
• Slimme Omgevingen: Toepassing in sectoren zoals watermanagement en bankwezen, waarbij vaak Small Language Models (SLMs) als lokale judges worden gebruikt om privacy en kosten te besparen.

E. Uitdagingen en Bias

De studie identificeert systematische biases die de betrouwbaarheid ondermijnen:

• Positionele Bias: De volgorde van antwoorden beïnvloedt de beoordeling.
• Lengte- en Stijlbias: Langere of beter geformuleerde antwoorden krijgen onterecht hogere scores.
• Zelfversterking: Modellen geven de voorkeur aan hun eigen output.

5. Betekenis en Conclusie

Dit artikel is van cruciaal belang omdat het de eerste systematische poging is om de veiligheidsimplicaties van het LaaJ-paradigma in kaart te brengen. De belangrijkste conclusies zijn:

• Kwetsbaarheid: LLM-based judges zijn fundamenteel kwetsbaar voor manipulatie, wat de integriteit van AI-benchmarks, veiligheidsfilters en RLHF-pijplijnen bedreigt.
• Noodzaak van Robuustheid: Er is een dringende behoefte aan gestandaardiseerde benchmarks voor de beveiliging van LaaJ-systemen en aan verdedigingsmechanismen (zoals ensemble-methoden en menselijke supervisie).
• Toekomst: De snelheid van publicaties (een sterke stijging van 3 papers in 2024 naar 33 in 2025) toont aan dat dit een snel evoluerend veld is. Toekomstig onderzoek moet zich richten op het ontwikkelen van positie-invariante frameworks, het detecteren van prompt-injectie en het creëren van hybride evaluatiestrategieën die menselijke toezicht combineren met geautomatiseerde schaalbaarheid.

Kortom, terwijl LaaJ een krachtig hulpmiddel is voor schaalbare evaluatie, vereist de integratie ervan in kritieke systemen een grondig begrip van de bijbehorende veiligheidsrisico's om vertrouwen en betrouwbaarheid te waarborgen.