SafeReview: Defending LLM-based Review Systems Against Adversarial Hidden Prompts

1. Enunciato del Problema

Man mano che i Large Language Models (LLM) vengono sempre più integrati nella revisione paritaria accademica (ad esempio per ICLR e AAAI), affrontano una minaccia critica alla sicurezza: i Prompt Nascosti Adversariali.

• La Minaccia: Autori malevoli incorporano istruzioni covert all'interno delle loro sottomissioni (ad esempio nell'Abstract o nella Conclusione) che ingannano il revisore LLM inducendolo a ignorare le debolezze, gonfiare i punteggi o fornire recensioni favorevoli.
• La Vulnerabilità: A differenza dell'injection di prompt standard che dirotta il compito del sistema, i prompt nascosti manipolano il risultato della valutazione mantenendo al contempo la coerenza semantica con il paper.
• Limiti delle Difese Attuali: Le difese statiche (addestrate su attacchi noti) falliscono perché le strategie avversarie evolvono rapidamente. I metodi esistenti faticano con documenti di lunga durata (dove il testo malevolo è una piccola frazione del totale) e spesso sacrificano la qualità o l'equità della recensione per raggiungere la robustezza.

2. Metodologia: Framework SafeReview

Gli autori propongono SafeReview, un framework di addestramento avversario co-evolutivo progettato per creare una "corsa agli armamenti" dinamica tra un attaccante e un difensore. Questo approccio va oltre l'addestramento statico adattando continuamente entrambi i modelli.

Componenti Principali

1. Generatore (Attaccante):

   • Modello: Qwen3-4B-Instruct.
   • Obiettivo: Generare prompt di injection sofisticati ($\tau$) per manipolare i punteggi delle recensioni.
   • Addestramento: Utilizza l'Ottimizzazione della Politica Relativa di Gruppo (GRPO).
   • Funzione di Ricompensa: Una ricompensa ibrida che bilancia due obiettivi:
     • Interruzione della Classifica: Massimizzare la differenza tra la correlazione di Spearman del batch attaccato rispetto alla verità fondamentale (ground truth).
     • Manipolazione della Valutazione: Massimizzare l'aumento del punteggio ($\Delta s$) del paper attaccato.
   • Strategia: I prompt vengono inseriti casualmente in sezioni standard del paper (Abstract, Metodologia, Conclusione, ecc.) per garantire che il difensore impari a rilevare gli attacchi indipendentemente dalla posizione.

2. Difensore (Revisore):

   • Modello: DeepReviewer-14B (un LLM specifico per il dominio).
   • Obiettivo: Mantenere punteggi di recensione accurati e imparziali nonostante le injection avversarie.
   • Addestramento: Utilizza l'Ottimizzazione Diretta delle Preferenze (DPO).
   • Coppie di Preferenza: Per ogni paper attaccato ($p \oplus \tau$), il modello viene addestrato a preferire la recensione generata per la versione pulita del paper ($y^+$) rispetto alla recensione generata per la versione attaccata ($y^-$).

Il Processo Co-evolutivo

Il framework opera in un ciclo iterativo (Algoritmo 1):

1. Evoluzione dell'Attacco: Il Generatore utilizza GRPO per creare nuovi attacchi più difficili basati sulle vulnerabilità attuali del Difensore.
2. Rafforzamento della Difesa: Il Difensore utilizza DPO per imparare da questi nuovi attacchi, aggiornando la propria politica per rifiutare gli input manipolati.
3. Apprendimento per Curriculum: Questa interazione dinamica crea naturalmente un curriculum di difficoltà crescente, costringendo il Difensore a generalizzare contro modelli di minaccia in evoluzione piuttosto che memorizzare pattern di attacco specifici.

3. Contributi Chiave

1. Formulazione: La prima formulazione della difesa contro prompt avversari nascosti nella revisione paritaria come un problema di apprendimento co-evolutivo, dove le capacità di attacco e difesa migliorano di pari passo.
2. Pipeline di Addestramento Stabile: Una pipeline innovativa adattata per documenti scientifici di lunga durata, che combina GRPO per la generazione di attacchi e DPO per il rafforzamento della difesa. Questo affronta l'instabilità dell'addestramento avversario basato su RL standard su modelli grandi.
3. Valutazione Completa: Dimostrato che SafeReview supera le difese statiche e le linee di base esistenti su molteplici metriche, ottenendo una preservazione della classifica e un'equità superiori senza penalizzare la scrittura assertiva legittima.

4. Risultati Sperimentali

Il framework è stato valutato sul dataset DeepReview-13k e su un dataset NeurIPS 2024.

• Linea di Base di Vulnerabilità: Senza difesa, i prompt nascosti avversari hanno gonfiato significativamente i punteggi (ad esempio, la valutazione media è aumentata da 5.72 a 7.33) e degradato la correlazione tra i punteggi AI e la verità fondamentale.
• Prestazioni della Difesa (vs Attacchi GRPO):
  • Correlazione di Spearman: SafeReview ha raggiunto 0.409, un miglioramento del 19.2% rispetto alla DPO Statica (0.343) e significativamente superiore alla linea di base DeepReview (0.354). Ciò indica una capacità superiore nel mantenere la corretta classificazione dei paper.
  • Tasso di Falsi Positivi (FPR): SafeReview ha ridotto il tasso di accettazione errata di paper difettosi al 38.2%, superando la DPO Statica (42.2%) e la Difesa di Sistema (43.6%).
  • Equità (FNR): SafeReview ha mantenuto un basso Tasso di Falsi Negativi (36.1%), assicurando che i paper legittimi non venissero ingiustamente rifiutati.
• Generalizzazione Cross-Architettura: Quando testato contro attacchi generati da una diversa famiglia di modelli (Llama-3.2-3B), SafeReview ha mantenuto un'alta robustezza (Spearman 0.392), dimostrando di apprendere caratteristiche avversarie generali piuttosto che adattarsi eccessivamente ad artefatti specifici del generatore.
• Analisi dell'Equità:
  • Scrittura Assertiva: SafeReview ha mostrato un miglioramento di 10 volte nella correlazione della classifica per i paper "Accettati" (che spesso utilizzano un linguaggio assertivo) rispetto alla linea di base. Ciò dimostra che il modello non corregge eccessivamente o penalizza la scrittura assertiva legittima.
  • Allineamento Umano: Le valutazioni di SafeReview si sono allineate più strettamente ai giudizi degli esperti umani rispetto alla linea di base, in particolare per i paper rifiutati.

5. Significato e Impatto

• Integrità Accademica: SafeReview fornisce un livello di sicurezza fondamentale per la crescente adozione dell'IA nella revisione paritaria, garantendo che i sistemi automatizzati non possano essere facilmente manipolati per accettare ricerche di bassa qualità.
• Paradigma di Difesa Dinamica: Sposta il paradigma della sicurezza dalla "patching" statica alla co-evoluzione dinamica, essenziale per difendersi da avversari adattivi in domini aperti come la scrittura accademica.
• Implementazione Pratica: Il framework dimostra che è possibile raggiungere un'alta robustezza senza sacrificare la qualità delle recensioni per input benigni, rendendolo fattibile per i flussi di lavoro reali di conferenze e riviste.

Limitazioni e Lavori Futuri:
Il lavoro attuale si concentra su injection di tipo istruzionale in sedi di Informatica. I lavori futuri mirano ad estendere il framework a sottomissioni multi-modali, revisori basati su API proprietarie (dove il fine-tuning è impossibile) e perturbazioni semantiche più sottili non basate su istruzioni.