Neither the Judge nor the Rules: Instrument-Validity Failure in Safety-Response Classification

Nel mondo in rapida evoluzione dell'intelligenza artificiale, i ricercatori cercano costantemente di insegnare ai computer come essere utili senza essere dannosi. Per garantire che questi sistemi non generino consigli pericolosi o contenuti tossici, gli scienziati devono valutarne i risultati. Per anni, due metodi principali hanno dominato questo controllo di sicurezza. Il primo prevede l'uso di un'intelligenza artificiale per valutare il lavoro di un'altra, agendo come un giudice automatizzato. Il secondo si basa su regole informatiche scritte a mano, che scansionano il testo alla ricerca di parole chiave o modelli specifici che suggeriscano un danno, funzionando come un filtro digitale. L'assunto alla base del secondo metodo è stato che, poiché queste regole sono fisse e deterministiche — ovvero producono sempre lo stesso risultato per lo stesso input — siano perfettamente affidabili e possano essere trattate come la verità assoluta. Se un programma per computer segue un insieme rigoroso di istruzioni, la logica vuole che il suo verdetto sulla sicurezza debba essere corretto.

Un nuovo studio mette in discussione questa ipotesi, trattando questi strumenti di sicurezza non come arbitri infallibili, ma come strumenti che possono commettere errori, proprio come qualsiasi altro dispositivo di misurazione. Il ricercatore Yangyi Zhang, della Georgetown University, ha deciso di sottoporre ad audit sia il giudice automatizzato che il filtro basato su regole per vedere se facciano effettivamente ciò che dichiarano di fare. L'indagine si è concentrata su una collezione di 550 risposte generate da vari modelli linguistici di grandi dimensioni quando interrogati con domande difficili o potenzialmente dannose. Per scoprire la verità, il ricercatore ha creato un piccolo benchmark indipendente leggendo e classificando manualmente 32 di queste risposte, definendo la sicurezza in base al fatto che il modello fornisse contenuti dannosi azionabili. Questo insieme verificato dall'uomo è servito come verità fondamentale contro cui sono stati testati i due strumenti automatizzati.

I risultati hanno rivelato un significativo fallimento nella affidabilità di entrambi gli strumenti. Il classificatore basato su regole, che era stato ampiamente utilizzato e considerato uno standard per la sicurezza nelle ricerche precedenti, si è comportato in modo scadente. Rispetto alle etichette umane, questo strumento automatizzato è stato corretto solo in circa la metà dei casi. Ancora più critico è che non è riuscito a identificare la metà delle risposte realmente insicure, mancando completamente i contenuti pericolosi. Allo stesso tempo, ha erroneamente segnalato sei risposte innocue come insicure, interpretando erroneamente i rifiuti cortesi come consegne pericolose. Il giudice automatizzato, un modello linguistico più piccolo incaricato di valutare le risposte, ha ottenuto prestazioni leggermente migliori in termini di accuratezza complessiva, ma ha sofferto di un diverso difetto fatale. Non è riuscito a cogliere nessuno dei quattro casi realmente insicuri nel set di test, mancandoli tutti completamente. Invece, ha etichettato erroneamente due rifiuti sicuri come insicuri.

Lo studio ha anche scoperto un'instabilità nascosta nel sistema basato su regole che nessuno aveva notato in precedenza. Il ricercatore ha eseguito due versioni diverse dello stesso set di regole sull'intera collezione di 550 risposte. La prima versione ha identificato 40 risposte come insicure, mentre la seconda, leggermente rivista, ne ha identificate solo otto. Questa differenza di cinque volte è avvenuta senza alcun cambiamento nel contenuto effettivo delle risposte, dimostrando che il conteggio degli elementi insicuri dipende interamente da quale versione delle regole viene caricata. Poiché il sistema è deterministico, riproduce i propri errori perfettamente ogni volta, rendendo tali errori invisibili a chiunque guardi solo i numeri finali. I due strumenti automatizzati concordavano su circa il 62 percento degli elementi, una cifra che potrebbe sembrare un forte consenso a prima vista. Tuttavia, questo accordo era in gran parte un'illusione causata dal fatto che la maggior parte delle risposte era sicura. Quando il ricercatore ha corretto per questo squilibrio, l'accordo effettivo tra gli strumenti era trascurabile, mostrando che non si stavano realmente validando a vicenda, ma stavano piuttosto collassando in una previsione predefinita di sicurezza.

La scoperta fondamentale è che né il giudice automatizzato né il filtro basato su regole sono una misura di sicurezza neutra o valida di per sé. Il classificatore basato su regole non è un modello perfetto; è uno strumento di misurazione con un tasso di errore elevato e non misurato. Lo studio conclude che l'unico modo per fidarsi di queste cifre sulla sicurezza è validare ogni strumento rispetto a un benchmark separato, verificato dall'uomo, prima di pubblicare qualsiasi risultato. I ricercatori devono riportare non solo quanto spesso uno strumento concorda con un altro, ma quanto bene cattura gli errori specifici che contano, come la mancata rilevazione di contenuti pericolosi. Senza questo controllo indipendente, il campo rischia di costruire le valutazioni di sicurezza su fondamenta che sono esse stesse difettose, scambiando la coerenza di uno strumento rotto per la verità.