Sintesi Tecnica: SafePyramid

Definizione del Problema

Le attuali barriere di protezione (guardrails) per i Large Language Model (LLM) si basano prevalentemente su tassonomie di rischio predefinite (ad esempio, categorie fisse come "Privacy", "Frode" o "Contenuti Sessuali") per classificare le interazioni utente-modello. Sebbene efficaci per la sicurezza generale, questo paradigma manca della flessibilità necessaria per le applicazioni del mondo reale, dove gli standard di sicurezza variano significativamente tra organizzazioni, giurisdizioni e casi d'uso specifici (ad esempio, la politica di sicurezza per i giovani di una piattaforma di video brevi rispetto alle regole anti-cheating di un forum di gioco).

Il panorama emergente della protezione basata su policy in-context affronta questa questione permettendo ai guardrail di eseguire politiche di sicurezza fornite esplicitamente nel contesto durante l'inferenza, piuttosto che fare affidamento su priori di rischio statici e pre-addestrati. Tuttavia, valutare questa capacità rimane una sfida inesplorata. I benchmark esistenti si concentrano o sul seguito di istruzioni generali, o sulla sicurezza a tassonomia fissa, o mancano della granularità necessaria per diagnosticare fallimenti specifici nell'esecuzione delle policy. Non esiste un framework sistematico per valutare se i guardrail possano:

1. Eseguire in modo affidabile arbitrarie policy di sicurezza fornite in contesto.
2. Risolvere complesse dipendenze tra le regole (ad esempio, eccezioni e condizioni).
3. Adattarsi a nuovi framework di policy che introducono nuovi concetti e terminologie.

Metodologia: SafePyramid

Per affrontare queste lacune, gli autori introducono SafePyramid, un benchmark gerarchico progettato per valutare sistematicamente la protezione basata su policy in-context. Il benchmark è costruito utilizzando una rigorosa pipeline multi-stadio che coinvolge LLM all'avanguardia (Grok-4.1, GPT-5.4, Gemini-3.1-Pro, Claude-Opus-4.6) per la generazione, seguita da validazione cross-modello e revisione da parte di esperti umani.

Composizione del Dataset

SafePyramid comprende:

• 1.000 conversazioni multi-turno attraverso 10 domini di sicurezza (Integrità Accademica, Moderazione dei Contenuti, Infrastrutture Critiche, Diffamazione, Discriminazione, Frode, Proprietà Intellettuale, Privacy, Contenuti Sessuali, Consulenza Specializzata).
• 3.000 policy specifiche per applicazione, per un totale di 61.699 regole distinte in linguaggio naturale.
• Tre Livelli di Difficoltà (Design Gerarchico):
  • L0 (Comprensione delle Singole Regole): Valuta la capacità di determinare se una singola regola viene violata. Include Regole Decisive (chiaramente attivate o meno) e Regole Distrattore (topicamente correlate ma non attivate).
  • L1 (Risoluzione delle Dipendenze tra le Regole): Estende L0 introducendo Regole di Eccezione (che annullano le regole base sotto specifiche condizioni) e Regole Condizionali (che restringono le regole base o creano nuove violazioni sotto specifiche condizioni). Questo livello testa la capacità del modello di gestire la logica interdipendente.
  • L2 (Adattamento a Nuovi Framework di Policy): Estende L1 riscrivendo la struttura della policy sottostante utilizzando concetti e terminologie completamente fittizi (ispirati a CL-Bench). Ciò costringe i modelli a imparare e applicare il framework della policy da zero, senza fare affidamento su priori di sicurezza pre-addestrati o sulla conoscenza legale del mondo reale.

Protocolli di Valutazione

Il benchmark supporta due modalità di valutazione:

1. Valutazione Per-Policy: Il modello legge l'intera policy e la conversazione per predire l'intero set di regole violate. Questa è l'impostazione primaria per i frontier LLM.
2. Valutazione Per-Regola: Il modello valuta una regola alla volta, aggregando decisioni binarie. Questa è progettata per i modelli di guardrail fine-tuned con interfacce di output fisse.

Metriche:

• Tasso di Corrispondenza delle Regole (Rule Matching Rate - RMR): Misura la percentuale di casi in cui il set di regole violate predetto corrisponde alla verità fondamentale entro una soglia di tolleranza ($\tau$). La metrica principale è l'RMR medio su $\tau \in \{0.7, 0.8, 0.9, 1.0\}$.
• Tasso di Disaccordo delle Regole (Rule Disagreement Rate - RDR): Una metrica mediata al micro che quantifica il numero totale di errori a livello di regola (falsi positivi e falsi negativi) rispetto al numero totale di regole coinvolte.

Risultati Chiave

Gli autori hanno valutato 10 LLM all'avanguardia e 5 modelli di guardrail configurabili per policy su SafePyramid. I risultati evidenziano limitazioni significative nei sistemi attuali:

• Prestazioni Complessive: Anche il modello con le migliori prestazioni, GPT-5.5, raggiunge una corrispondenza esatta (RMR@1.0) solo nel 54,0% dei casi L0, nel 35,3% dei casi L1 e nel 12,9% dei casi L2.
• Progressione della Difficoltà: Si osserva un calo monotono delle prestazioni da L0 a L2 in tutti i modelli. Il calo da L0 a L1 indica che la gestione delle dipendenze tra le regole (eccezioni/condizioni) è un collo di bottiglia importante. Il ulteriore calo verso L2 suggerisce che l'adattamento a nuovi framework è una sfida ancora più severa.
• Limitazioni dei Modelli di Guardrail: I modelli di guardrail configurabili per policy (ad esempio, GPT-OSS-Safeguard) sono competitivi su L0, ma le loro prestazioni crollano su L1 e L2, suggerendo che non sono ancora progettati per l'esecuzione di intere policy con dipendenze complesse.
• Analisi degli Errori:
  • Errori L0: Dominati dalle Regole Decisive, spesso a causa del "matching di indizi superficiali" (surface-cue matching), dove i modelli non riescono a distinguere tra un chatbot che approva un comportamento e uno che attribuisce una visione a una terza parte.
  • Errori L1: Si spostano sulle Regole di Eccezione, dove i modelli attivano frequentemente eccezioni basandosi su parziali corrispondenze di parole chiave senza verificare tutte le condizioni di attivazione.
  • Errori L2: Coinvolgono sempre più le Regole Condizionali. I modelli faticano a distinguere tra la regola condizionale stessa (un modificatore) e la regola base che essa modifica, trattando spesso la condizionale come una violazione in sé quando vengono introdotti nuovi framework.
• Strategie di Mitigazione:
  • Valutazione Per-Regola: Decomporre il compito in classificazione per singola regola migliora significamente le prestazioni per i modelli di guardrail più piccoli (ad esempio, GPT-OSS-Safeguard-120B è passato da una media RMR del 23,6% al 52,4%), indicando che la composizione della policy completa è un collo di bottiglia.
  • Harness Agentici: L'utilizzo di workflow agentici (ad esempio, Codex, Claude Code) per scomporre il compito e verificare i passaggi intermedi migliora le prestazioni, particolarmente su L1 e L2, suggerendo che il ragionamento esplicito e la verifica aiutano con la risoluzione delle dipendenze.
  • Sforzo di Ragionamento: Aumentare lo sforzo di ragionamento (ad esempio, sforzo "xhigh" in GPT-5.5) produce guadagni marginali su L0 ma miglioramenti sostanziali su L1 e L2, confermando che la risoluzione di dipendenze complesse richiede un budget computazionale maggiore.

Significato e Contributi

Il documento apporta quattro contributi primari:

1. Formulazione del Problema: Definisce formalmente la protezione basata su policy in-context come un compito in cui i guardrail devono identificare le violazioni di sicurezza utilizzando specifiche di policy fornite nel contesto, andando oltre le tassonomie di rischio fisse.
2. Identificazione delle Capacità: Identifica e isola tre capacità critiche richieste per questo scenario: comprensione delle singole regole, risoluzione delle dipendenze tra le regole e adattamento a nuovi framework di policy.
3. Introduzione del Benchmark: Introduce SafePyramid, un benchmark gerarchico a tre livelli completo che contiene 1.000 conversazioni, 3.000 policy e 61.699 regole, costruito con un rigoroso controllo della qualità.
4. Evidenza Empirica: Fornisce una valutazione estesa che mostra come gli attuali modelli allo stato dell'arte siano lontani dall'essere affidabili come guardrail di policy in-context, specialmente quando affrontano dipendenze tra le regole e nuovi framework.

Gli autori concludono che il settore deve andare oltre la semplice classificazione del rischio verso un'esecuzione di policy esplicita, verificabile e adattabile. I risultati suggeriscono che i guardrail più forti richiederanno probabilmente una migliore decomposizione delle policy, un'organizzazione del contesto e meccanismi di verifica a livello di regola, potenzialmente sfruttando workflow agentici. SafePyramid serve come strumento diagnostico per tracciare i progressi in queste aree.