What Do Compliance Detectors Read? An Audit of Activation Probes and Guard Models
Questo articolo rivela che gli attuali rilevatori di conformità soffrono di "cecità alle regole", fallendo nel fare affidamento genuinamente sulle regole normative dichiarate anziché su caratteristiche superficiali, e dimostra che anche il proposto Internal Compliance Score (ICS), privo di addestramento, manca di robustezza contro baseline banali e attacchi adattivi.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel moderno mondo digitale, i grandi modelli linguistici agiscono come potenti motori per la generazione di testi, dalla stesura di e-mail alla risposta a domande complesse. Tuttavia, quando questi strumenti vengono utilizzati in settori regolamentati come la finanza, l'assistenza sanitaria o il diritto, devono seguire regole scritte rigorose. Una banca, ad esempio, potrebbe avere una politica secondo cui i dati personali devono essere eliminati entro novanta giorni. Per garantire che l'IA segua questa norma, le aziende spesso implementano i "modelli di guardia" (guard models): classificatori specializzati addestrati per scansionare l'output dell'IA e segnalare eventuali violazioni. La speranza è che le guardie leggano la regola specifica fornita e controllino se la risposta dell'IA la rispetti. Se la guardia funziona correttamente, dovrebbe segnalare una violazione solo quando la regola specifica viene infranta, non semplicemente perché l'argomento sembra rischioso.
Un team di ricercatori di Lexsi Labs si è proposto di testare se questi monitor di conformità comprendano effettivamente le regole che dovrebbero far rispettare. Hanno investigato un fenomeno che chiamano "cecità alle regole" (rule blindness). Ciò accade quando un rilevatore fornisce lo stesso verdetto indipendentemente dalla regola che dovrebbe controllare. Immaginate una guardia giurata in un museo che ferma ogni visitatore che porta una borsa rossa, non perché le borse rosse siano proibite, ma perché la guardia ha semplicemente imparato ad associare il colore rosso al pericolo. Se il museo cambiasse la regola vietando le borse blu, una guardia cieca alle regole fermerebbe ancora le borse rosse e ignorerebbe quelle blu, mancando completamente la nuova istruzione. I ricercatori volevano sapere se le guardie digitali che proteggono i nostri dati soffrissero dello stesso problema.
Il team ha iniziato testando una vasta gamma di modelli di guardia esistenti e sonde di attivazione (activation probes) — strumenti che sbirciano all'interno del funzionamento interno dell'IA per indovinare le sue intenzioni. Hanno utilizzato un metodo di test controfattuale, che consiste nel modificare l'input in modi specifici per vedere come reagisce il sistema. Nei loro esperimenti, hanno preso uno scenario in cui i dati venivano conservati per quattrocento giorni, il che viola chiaramente una regola di novanta giorni. Hanno poi sostituito quella regola dei novanta giorni con una regola completamente diversa e non correlata, o l'hanno persino rimossa del tutto. Sorprendentemente, i modelli di guardia segnalavano la violazione con la stessa frequenza e con la stessa confidenza, anche quando la regola vigente era assente o cambiata. I rilevatori stavano tracciando lo scenario — il fatto che i dati venissero conservati troppo a lungo — piuttosto che la regola specifica che rendeva tale comportamento una violazione. Questo fallimento non era limitato a un solo tipo di modello; appariva nei classificatori di sicurezza fissi che non vedono affatto la regola, e anche in sofisticate "guardie condizionate dalla policy" progettate esplicitamente per leggere e seguire regole personalizzate. Uno di questi modelli citava correttamente la posizione della regola nel testo dal 91 al 95% delle volte, eppure il suo verdetto finale cambiava appena quanto basta quando la regola veniva sostituita con una permissiva che consentiva quel comportamento.
Per capire cosa stessero effettivamente leggendo questi sistemi, i ricercatori hanno costruito un nuovo benchmark creato appositamente. Hanno creato un test in cui la risposta dipendeva interamente dall'interazione tra una regola specifica e uno scenario specifico, assicurando che né il testo della regola né il testo dello scenario da soli potessero predire il risultato. Ad esempio, una regola potrebbe dire che una banca può semplificare i controlli per conti sotto i mille dollari, mentre un'altra regola stabilisce il limite a cinquemila dollari. Se uno scenario descrive un conto con duemila dollari, il verdetto dipende interamente da quale regola è attiva. Quando hanno eseguito i loro test su questo benchmark non confuso, ogni rilevatore efficiente che hanno provato, inclusi il loro nuovo strumento, non ha performato meglio del caso casuale. L'unico sistema che ha avuto successo è stato un grande modello linguistico a cui è stato permesso di ragionare passo dopo passo, scomponendo il problema prima di dare una risposta. Ciò ha suggerito che i rilevatori rapidi e automatizzati non stavano componendo la regola con lo scenario; stavano semplicemente riconoscendo un segnale ampio di "violazione" basato sulle caratteristiche superficiali del testo.
Successivamente, i ricercatori hanno introdotto uno strumento nuovo, privo di addestramento, chiamato Internal Compliance Score (Punteggio di Conformità Interna). Questo metodo legge direttamente i segnali di attivazione interna dell'IA, richiedendo solo dieci coppie di esempi per la calibrazione. È incredibilmente economico e veloce, non richiede riaddestramento né passaggi di elaborazione extra. Hanno scoperto che questo strumento era eccellente nel classificare le risposte candidate, aiutando a scegliere la risposta più conforme da un elenco di opzioni. Nei test, ha migliorato il tasso di superamento dei compiti di rispetto delle istruzioni di cinque punti percentuali. Tuttavia, la stessa cecità alle regole che affliggeva le altre guardie ha colpito anche questo nuovo punteggio. Quando la regola veniva eliminata o sostituita, il punteggio rimaneva invariato. Lo strumento stava misurando efficacementamente un senso generale di rischio piuttosto che un'aderenza specifica alla regola scritta. Inoltre, i ricercatori hanno scoperto che questo vantaggio era fragile; un attacco intelligente e adattivo poteva facilmente ingannare il sistema aggiungendo alcune parole specifiche alla fine di una risposta, facendo scendere il punteggio ai livelli del caso casuale.
Lo studio ha anche rivelato un problema più profondo nel modo in cui la conformità viene attualmente misurata. I ricercatori hanno esaminato sette benchmark pubblici utilizzati per testare questi sistemi e hanno scoperto che quattro di essi erano "lessicalmente degeneri". Ciò significa che le etichette che indicavano se una risposta fosse conforme o meno erano incorporate nel testo stesso, spesso attraverso il modo in cui lo scenario era scritto o il verdetto veniva narrato. Un semplice programma per computer che si limitasse a contare le parole, senza comprendere alcuna regola, avrebbe potuto risolvere questi benchmark con alta precisione. Ciò implica che molte affermazioni precedenti sulla capacità di un modello di seguire le regole erano in realtà solo affermazioni sulla sua capacità di riconoscere parole o strutture sintattiche specifiche. I ricercatori hanno concluso che, sebbene questi rilevatori siano utili per ordinare e classificare le risposte, non possono essere affidati per prendere decisioni legali o di audit basate su regole specifiche. Offrono l'apparenza di una garanzia specifica per le regole, ma in realtà sono ciechi alle regole che dovrebbero far rispettare. Il documento si conclude rilasciando gli strumenti e i protocolli utilizzati per questi test, permettendo ad altri di controllare i futuri sistemi per questa stessa cecità prima che vengano distribuiti nel mondo reale.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.