Riepilogo Tecnico: Validazione della Punteggiatura Comparativa di Sicurezza degli LLM Senza Etichette di Verità Fondamentale

1. Formulazione del Problema

Il documento affronta un divario critico nel dispiegamento dei Modelli Linguistici su Grande Scala (LLM): la necessità di confrontare modelli candidati per la sicurezza in lingue, settori o regimi normativi specifici in cui non esiste alcun benchmark di sicurezza annotato con verità fondamentale.

In molti scenari di dispiegamento (ad esempio, un'agenzia del settore pubblico norvegese che pilota un modello locale), i team devono decidere quale modello sia più sicuro sotto vincoli specifici senza accesso a dataset etichettati. I paradigmi esistenti non riescono ad affrontare pienamente questa esigenza:

• Benchmark Statici: Richiedono etichette di verità fondamentale, sono spesso centrati sull'inglese e congelano la valutazione al momento del rilascio.
• Audit Orientati alla Scoperta: (ad esempio, red-teaming automatizzato) generano trascrizioni e ipotesi ma mancano di un meccanismo di punteggio impegnativo e ripetibile con quantificazione dell'incertezza adatto alle procedure di appalto.
• LLM come Giudice: Sebbene i confronti a coppie siano più affidabili dei punteggi assoluti, ereditano pregiudizi e instabilità. Senza una catena di validazione, i punteggi non possono essere difesi come prove di differenze di sicurezza piuttosto che come artefatti dell'apparato di audit.

Gli autori definiscono questo ambito come punteggiatura comparativa di sicurezza senza benchmark. La sfida principale è produrre prove comparative difendibili (punteggi, delta, tassi critici) senza etichette di verità fondamentale, assicurando che lo strumento risponda al comportamento target piuttosto che al rumore o agli artefatti dell'auditore/giudice.

2. Metodologia: La Catena di Validità Strumentale

Per validare uno strumento di punteggio in assenza di verità fondamentale, gli autori propongono una catena di validità strumentale. Questa catena sostituisce l'accordo sulla verità fondamentale con tre requisiti specifici:

1. Responsività: Lo strumento deve distinguere tra un contrasto noto rilevante per la sicurezza. Gli autori utilizzano un contrasto sicuro-vs-abliterated (confrontando un modello allineato alla sicurezza con una variante abbinata per capacità in cui il comportamento di rifiuto è stato ablato tramite la direzione del rifiuto).
2. Sensibilità al Target (Dominanza della Varianza): La varianza nei punteggi deve essere guidata principalmente dal modello target, non da artefatti dell'auditore (prober) o del giudice (grader). Ciò è quantificato tramite la scomposizione della varianza ($\eta^2$).
3. Riproducibilità: I punteggi devono stabilizzarsi su più riesecuzioni ($n$) per garantire che i delta tra i target non siano oscurati dal rumore stocastico.

Implementazione SimpleAudit

Gli autori istanziano questa catena in SimpleAudit, una libreria Python locale-first e uno strumento di misurazione.

• Architettura: Separa tre ruoli indipendenti: Target (T), Auditore (A) e Giudice (J).
• Flusso di Lavoro: Un pacchetto di scenari inizializza una conversazione; l'Auditore genera sonde; il Target risponde; il Giudice valuta la trascrizione con un verdetto strutturato (gravità 0–4).
• Punteggio: Le etichette di gravità vengono rimappate su una scala 0–100. Lo strumento riporta punteggi aggregati, delta abbinati ($\Delta$), tassi critici (frequenza di fallimenti gravi) e intervalli di incertezza.
• Impegni di Progettazione: Esecuzione locale (nessuna dipendenza da API esterne per dati sensibili), modularità dei ruoli, configurazione esplicita e pacchetti di scenari con versione.

3. Contributi Chiave

Il documento apporta sei contributi principali:

1. Definizione di Categoria: Identifica la "punteggiatura comparativa di sicurezza senza benchmark" come una categoria di valutazione distinta con il proprio contratto di rivendicazione.
2. Quadro di Validazione: Specifica la catena di validità strumentale (responsività, sensibilità al target, riproducibilità) richiesta per validare tali strumenti.
3. Implementazione di Riferimento: Introduce SimpleAudit, uno strumento che impacchetta scenari fissi, rubriche e ruoli in uno strumento ripetibile.
4. Validazione Empirica: Valida SimpleAudit su un pacchetto di sicurezza norvegese, dimostrando che soddisfa tutti e tre i requisiti della catena.
5. Controllo di Generalizzazione: Applica la stessa catena di validazione a Petri (uno strumento di audit orientato alla scoperta), mostrando che la catena ammette anche Petri, purché vengano selezionate dimensioni specifiche.
6. Prova di Dispiegamento: Dimostra l'applicazione di questo quadro in un caso di appalto del settore pubblico norvegese che confronta Borealis e Gemma 3.

4. Risultati Chiave

Validazione di SimpleAudit

• Responsività: SimpleAudit separa con successo target sicuri e abliterated. Attraverso combinazioni affidabili di giudice-auditore, i valori AUROC variano da 0,89 a 1,00.
• Sensibilità al Target: La scomposizione della varianza mostra che il modello target è il fattore dominante ($\eta^2 \approx 0,52$), mentre i contributi di auditore e giudice sono sostanziali ma secondari. Ciò conferma che i punteggi riflettono il comportamento target piuttosto che artefatti dell'apparato.
• Riproducibilità: I punteggi si stabilizzano rapidamente. Entro 10 riesecuzioni, la deviazione assoluta media dal punteggio di riferimento scende a circa 1 punto su una scala 0–100, ben al di sotto dei delta che guidano le decisioni di appalto.
• Insight sulla Configurazione:
  • Selezione dell'Auditore: L'auditore è il punto di progettazione più critico. Un auditore troppo forte (ad esempio, modelli frontier) comprime i punteggi dei target sicuri, cancellando i delta comparativi che lo strumento è destinato a riportare. L'auditore deve corrispondere al range di capacità del target.
  • Selezione del Giudice: Sebbene i punteggi assoluti varino in base al giudice, i delta a coppie rimangono stabili. I giudici con un tasso di mancato rilevamento critico vicino al 10% (rispetto a un riferimento frontier) sono fattibili per la governance.
  • Efficienza dei Costi: Impostare la capacità del Giudice uguale a quella dell'Auditore ($J=A$) è il default consigliato, risparmiando token senza sacrificare il segnale comparativo.

Confronto con Petri

• La catena di validazione ammette anche Petri. Nello specifico, la dimensione "preoccupante" in Petri supera tutti e tre i requisiti (AUROC $\ge$ 0,99, dominanza del target, stabilità).
• Tuttavia, gli strumenti differiscono nei loro contratti di rivendicazione a monte. SimpleAudit impone un unico pacchetto di scenari impegnativo e una regola di aggregazione, rendendolo operativamente adatto agli appalti. Petri offre flessibilità per la scoperta ma richiede all'utente di impegnarsi su costrutti e regole di aggregazione per generare punteggi comparabili.

Caso di Studio sull'Appalto Norvegese

• Il confronto tra Borealis e Gemma 3 attraverso diverse dimensioni (1B–27B) ha rivelato che "più sicuro" non è una proprietà monolitica.
• Borealis ha generalmente mostrato punteggi più alti e tassi critici più bassi, ma il vantaggio era dipendente dalla categoria (ad esempio, forte in Sanità e Settore Pubblico, più debole in Lingua).
• Scalabilità: I miglioramenti di sicurezza hanno raggiunto un plateau a 12B per alcune categorie, contraddicendo una semplice regola "più grande è più sicuro".
• Conclusione: Le prove supportano una visione sfumata: il modello più sicuro dipende dalla categoria dello scenario e dalla specifica misura di rischio (punteggio medio vs. tasso critico).

5. Significato e Rivendicazioni

Il documento afferma che la punteggiatura comparativa di sicurezza senza benchmark è una categoria di valutazione distinta, non una forma degradata di benchmarking. La sua rilevanza risiede in:

• Operazionalizzazione della Sicurezza per Domini Regolamentati: Fornisce un metodo per i team in ambienti regolamentati (ad esempio, settore pubblico, lingue non inglesi) per generare prove comparative difendibili senza attendere benchmark etichettati.
• Passaggio dalla Classifica alle Prove: Gli autori si oppongono al collasso dei risultati in una singola classifica. Invece, una prova di dispiegamento valida consiste in un insieme: punteggi, delta abbinati, tassi critici, intervalli di incertezza e controlli di sensibilità, tutti legati a una specifica configurazione dello strumento.
• Falsificabilità: Dichiarando esplicitamente il "contratto di rivendicazione" (strumento fisso, pacchetto di scenari, ruoli), la valutazione diventa falsificabile. Altri gruppi possono rieseguire lo stesso strumento o scambiare componenti per contestare i risultati.
• Governance Locale-First: La progettazione garantisce che prompt, trascrizioni e politiche non debbano lasciare l'ambiente di dispiegamento, affrontando le preoccupazioni sulla sovranità dei dati e sulla privacy nei settori regolamentati.

Gli autori sono modesti nelle loro rivendicazioni: superare la catena di validità strumentale è necessario ma non sufficiente per il dispiegamento. Dimostra che lo strumento funziona come strumento di misurazione, ma gli esperti di dominio devono ancora giudicare se il pacchetto di scenari cattura il costrutto effettivo di dispiegamento. Il contributo è la categoria e la catena di validazione, con SimpleAudit che funge da implementazione temporanea per la nicchia degli appalti.