SafeReview: Defending LLM-based Review Systems Against Adversarial Hidden Prompts

1. Probleemstelling

Naarmate Large Language Models (LLM's) steeds vaker worden geïntegreerd in academisch peer review (bijvoorbeeld voor ICLR en AAAI), staan ze voor een kritieke beveiligingsdreiging: Adversarial Hidden Prompts.

• De Dreiging: Kwaadaardige auteurs verbergen covert instructies binnen hun inzendingen (bijvoorbeeld in het Abstract of de Conclusie) die de LLM-reviewer ertoe brengen zwaktes te negeren, scores op te blazen of gunstige reviews te geven.
• De Kwetsbaarheid: In tegenstelling tot standaard prompt-injectie, die de taak van het systeem overneemt, manipuleren hidden prompts het evaluatie-uitkomst terwijl ze semantisch coherent blijven met het paper.
• Beperkingen van Huidige Verdedigingen: Statische verdedigingen (getraind op bekende aanvallen) falen omdat adversarial strategieën zich snel ontwikkelen. Bestaande methoden worstelen met langere documenten (waar kwaadaardige tekst een klein deel van het totaal uitmaakt) en offeren vaak reviewkwaliteit of eerlijkheid op om robuustheid te bereiken.

2. Methodologie: SafeReview Framework

De auteurs stellen SafeReview voor, een co-evolutionair adversarial training framework dat is ontworpen om een dynamische "wapenwedloop" tussen een aanvaller en een verdediger te creëren. Deze benadering gaat verder dan statisch trainen door beide modellen continu aan te passen.

Kerncomponenten

1. Generator (Aanvaller):

   • Model: Qwen3-4B-Instruct.
   • Doel: Geavanceerde injectie-prompten ($\tau$) genereren om review-scores te manipuleren.
   • Training: Gebruikt Group Relative Policy Optimization (GRPO).
   • Beloningsfunctie: Een hybride beloning die twee doelen in evenwicht brengt:
     • Ranking Disruptie: Het maximaliseren van het verschil tussen de Spearman-correlatie van de aangevallen batch versus de ground truth.
     • Rating Manipulatie: Het maximaliseren van de scorestijging ($\Delta s$) van het aangevallen paper.
   • Strategie: Prompten worden willekeurig ingevoegd in standaard paper-secties (Abstract, Methodologie, Conclusie, etc.) om ervoor te zorgen dat de verdediger leert aanvallen te detecteren, ongeacht de locatie.

2. Verdediger (Reviewer):

   • Model: DeepReviewer-14B (een domeinspecifieke LLM).
   • Doel: Nauwkeurige, onbevooroordeelde review-scores behouden ondanks adversarial injecties.
   • Training: Gebruikt Direct Preference Optimization (DPO).
   • Voorkeursparen: Voor elk aangevallen paper ($p \oplus \tau$) wordt het model getraind om de review voor de schone versie van het paper ($y^+$) te verkiezen boven de review voor de aangevallen versie ($y^-$).

Het Co-evolutionaire Proces

Het framework werkt in een iteratieve lus (Algoritme 1):

1. Evolutie van Aanval: De Generator gebruikt GRPO om nieuwe, moeilijkere aanvallen te creëren op basis van de huidige kwetsbaarheden van de Verdediger.
2. Versterking van Verdediging: De Verdediger gebruikt DPO om te leren van deze nieuwe aanvallen, en update zijn beleid om de gemanipuleerde invoer te verwerpen.
3. Curriculum Learning: Deze dynamische interactie creëert natuurlijk een curriculum van toenemende moeilijkheid, waardoor de Verdediger wordt gedwongen te generaliseren tegen evoluerende bedreigingsmodellen in plaats van specifieke aanvalspatronen te memoriseren.

3. Belangrijkste Bijdragen

1. Formulering: De eerste formulering van verdediging tegen hidden adversarial prompts in peer review als een co-evolutionair leerprobleem, waarbij aanvals- en verdedigingscapaciteiten gelijktijdig verbeteren.
2. Stabiele Training Pipeline: Een nieuwe pipeline die is toegespitst op langere wetenschappelijke documenten, waarbij GRPO wordt gecombineerd voor aanvalsgeneratie en DPO voor versterking van de verdediging. Dit adresseert de instabiliteit van standaard RL-gebaseerde adversarial training op grote modellen.
3. Uitgebreide Evaluatie: Aangetoond dat SafeReview presteert boven statische verdedigingen en bestaande baselines op meerdere metrieken, met superieure behoud van ranking en eerlijkheid zonder legitime zelfverzekerde schrijfstijlen te straffen.

4. Experimentele Resultaten

Het framework werd geëvalueerd op de DeepReview-13k dataset en een NeurIPS 2024 dataset.

• Kwetsbaarheid Baseline: Zonder verdediging verhoogden adversarial hidden prompts de scores significant (bijvoorbeeld de gemiddelde rating steeg van 5,72 naar 7,33) en verslechterden ze de correlatie tussen AI-scores en ground truth.
• Prestaties van Verdediging (vs. GRPO-aanvallen):
  • Spearman Correlatie: SafeReview behaalde 0,409, een 19,2% verbetering ten opzichte van Static DPO (0,343) en significant hoger dan de baseline DeepReview (0,354). Dit duidt op een superieur vermogen om de juiste paper-ranking te behouden.
  • False Positive Rate (FPR): SafeReview verlaagde het percentage waarbij defecte papers ten onrechte werden geaccepteerd naar 38,2%, beter dan Static DPO (42,2%) en System Defense (43,6%).
  • Eerlijkheid (FNR): SafeReview hield een lage False Negative Rate (36,1%) aan, waardoor legitieme papers niet onterecht werden afgewezen.
• Cross-Architectuur Generalisatie: Bij testen tegen aanvallen gegenereerd door een ander modelgezin (Llama-3.2-3B) behield SafeReview een hoge robuustheid (Spearman 0,392), wat bewijst dat het algemene adversarial kenmerken leert in plaats van te overfitten op specifieke generator-artefacten.
• Eerlijkheidsanalyse:
  • Zelfverzekerde Schrijfstijl: SafeReview toonde een 10x verbetering in ranking-correlatie voor "Geaccepteerde" papers (die vaak zelfverzekerde taal gebruiken) ten opzichte van de baseline. Dit bewijst dat het model niet overcorrigeert of legitime assertieve schrijfstijlen straft.
  • Menselijke Alignering: De ratings van SafeReview liepen dichter aan bij menselijke expertoordelen dan de baseline, met name voor afgewezen papers.

5. Betekenis en Impact

• Wetenschappelijke Integriteit: SafeReview biedt een fundamentele beveiligingslaag voor de groeiende adoptie van AI in peer review, zodat geautomatiseerde systemen niet eenvoudig kunnen worden gemanipuleerd om onderzoek van lage kwaliteit te accepteren.
• Dynamisch Verdedigingsparadigma: Het verschuift het beveiligingsparadigma van statisch "patchen" naar dynamische co-evolutie, wat essentieel is voor verdediging tegen adaptieve tegenstanders in open-ended domeinen zoals academisch schrijven.
• Praktische Implementatie: Het framework toont aan dat hoge robuustheid kan worden bereikt zonder de kwaliteit van reviews voor onschuldige invoer op te offeren, waardoor het levensvatbaar is voor workflows van echte conferenties en tijdschriften.

Beperkingen & Toekomstig Werk:
Het huidige werk richt zich op instructie-stijl injecties in Computer Science-venues. Toekomstig werk beoogt het framework uit te breiden naar multi-modale inzendingen, propriëtaire API-gebaseerde reviewers (waar fine-tuning onmogelijk is), en subtielere, niet-instructie-gebaseerde semantische perturbaties.