How Should AI Safety Benchmarks Benchmark Safety?
Questo articolo esamina 210 benchmark per la sicurezza dell'IA per identificare le loro carenze tecniche ed epistemiche, proponendo una tabella di marcia fondata su teorie consolidate della gestione del rischio e della misurazione per sviluppare framework di valutazione della sicurezza più validi, robusti e responsabili.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immaginate di essere un insegnante che cerca di valutare una nuova generazione di robot super intelligenti. Volete sapere se sono sicuri da lasciare in giro per il mondo, o se potrebbero accidentalmente (o intenzionalmente) causare problemi. Per farlo, sottoponete loro una serie di test, come un esame per la patente di un'intelligenza artificiale. Nel mondo dell'informatica, questi test vengono chiamati "benchmark". Pensate a un benchmark come a un percorso a ostacoli standardizzato: se un robot riesce a saltare gli ostacoli, risolvere gli enigmi ed evitare le trappole, assumiamo che sia pronto per il mondo reale. Ma ecco il punto: proprio perché un robot è bravo a saltare gli ostacoli specifici che avete costruito, non significa che non inciamperà su una buccia di banana che non avevate messo nel percorso, o che non deciderà di appiccare un incendio solo perché si è annoiato. Questo articolo approfondisce il mondo complicato e disordinato di come testiamo la sicurezza dell'IA, sostenendo che i nostri attuali "percorsi a ostacoli" sono spesso troppo semplici, troppo rigidi e a volte mancano completamente il punto di ciò che rappresenta un pericolo reale.
Gli autori di questo articolo, un team di ricercatori provenienti da università come la Technical University of Munich e Cornell, hanno deciso di lanciare un enorme sguardo allo stato della verifica della sicurezza dell'IA. Non si sono limitati a dare un'occhiata a pochi test; hanno esaminato 210 diversi benchmark di sicurezza che i ricercatori hanno creato. Volevano vedere se questi test stessero effettivamente facendo un buon lavoro nel tenerci al sicuro, o se ci stessero solo dando un falso senso di sicurezza.
Ecco il grande problema che hanno riscontrato: la maggior parte di questi test sta guardando le cose sbagliate. Hanno scoperto che l'81% dei benchmark controlla solo rischi che già conosciamo e che abbiamo già visto, come il linguaggio "tossico" o trucchi semplici per far violare le regole all'IA (chiamati "jailbreak"). È come testare un'auto solo su una pista dritta e liscia e assumere che gestirà bene una strada di montagna fangosa. I test ignorano completamente i modi strani, imprevedibili e del tutto nuovi in cui l'IA potrebbe sbagliare, che gli autori chiamano "unknown unknowns" (incognite ignote).
Inoltre, il modo in cui questi test misurano la sicurezza è spesso matematicamente debole. L'articolo sottolinea che il 79% dei benchmark tratta la sicurezza come un semplice interruttore "passa o non passa". Contano quante volte un'IA ha rifiutato una richiesta scorretta e lo chiamano "punteggio di sicurezza". Ma gli autori sostengono che questo sia fuorviante. Solo perché un'IA rifiuta una richiesta il 90% delle volte in un test, non significa che sia sicura al 90% nel mondo reale. È come dire che un ponte è sicuro perché ha retto sotto una leggera brezza, senza controllare se può resistere a un uragano. I test spesso ignorano quanto sarebbe grave il danno se l'IA dovesse fallire, e non tengono conto di quanto spesso le persone chiedano davvero quelle cose pericolose nella vita reale.
I ricercatori hanno anche scoperto che il collegamento tra il test e la realtà è spesso interrotto. Lo chiamano "catena di proxy". Immaginate di voler sapere se uno studente è un buon guidatore, quindi lo testate su quanto sia bravo a parcheggiare un'auto in un simulatore. Questo è un proxy. Ma se il simulatore non tiene conto della pioggia, o di altri conducenti, o dello studente che si distrae con il telefono, il risultato del test non vi dice se è effettivamente sicuro sull'autostrada. L'articolo sostiene che molti test di sicurezza dell'IA sono come quel simulatore: misurano cose come i "tassi di rifiuto" o la "corrispondenza di parole chiave", ma questi numeri non sempre si traducono in danni nel mondo reale.
Allora, cosa suggeriscono gli autori invece? Propongono una nuova tabella di marcia con 10 raccomandazioni per correggere questi test difettosi.
In primo luogo, dicono che dobbiamo smettere di testare solo ciò che già conosciamo. Dobbiamo costruire test che cerchino attivamente nuovi, strani e inaspettati modi in cui l'IA potrebbe fallire. Suggeriscono di usare strumenti che cerchino costantemente di "rompere" l'IA in modi nuovi, piuttosto che limitarsi a un elenco fisso di domande.
In secondo luogo, dobbiamo fare una matematica migliore. Invece di dire solo "Passato" o "Fallito", dovremmo calcolare il rischio effettivo. Ciò significa chiedere: "Quanto è probabile che accada questa brutta cosa?" e "Quanto sarebbe grave se accadesse?". Gli autori suggeriscono un metodo chiamato "Valutazione Probabilistica del Rischio", utilizzato in settori come l'energia nucleare e l'aviazione. Mostrano persino un calcolo in cui un modello potrebbe sembrare sicuro in un test, ma quando si tiene conto di quante persone lo utilizzano e di quanto spesso chiedono cose pericolose, il rischio reale è molto più alto.
In terzo luogo, dobbiamo assicurarci che i nostri test misurino effettivamente ciò che pretendono di misurare. Ciò significa essere molto chiari su cosa significhi "sicurezza" in una specifica situazione e assicurarsi che il test rifletta il mondo reale, non solo un laboratorio pulito e artificiale. Sostengono anche che dobbiamo coinvolgere le persone che potrebbero essere colpite dall'IA — come adolescenti, pazienti o comunità — per aiutarci a progettare i test, perché loro sanno meglio di chiunque altro quali tipi di danno percepiscono come reali.
Per dimostrare che le loro idee funzionano, il team ha costruito un piccolo test d'esempio focalizzato su come l'IA parla con gli adolescenti riguardo alla salute mentale. Non hanno solo chiesto all'IA se conosceva le regole; hanno simulato conversazioni reali e calcolato il potenziale danno basandosi su quanti adolescenti utilizzano effettivamente questi strumenti. I risultati hanno mostato che anche i modelli che sembravano "sicuri" nei test standard potevano comunque causare problemi significativi se si guardavano i numeri del mondo reale.
In definitiva, l'articolo non sta dicendo che l'IA sia spacciata o che non possiamo testarla. Sta dicendo che i nostri attuali metodi di test sono come usare un righello per misurare la temperatura di una zuppa: sono lo strumento sbagliato per il compito. Per rendere davvero sicura l'IA, dobbiamo smettere di trattare la sicurezza come una semplice lista di controllo e iniziare a trattarla come un sistema complesso e vivo che cambia, ci sorprende e richiede di pensare al mondo reale, non solo al tubo di ensayo. Gli autori suggeriscono che, adottando questi nuovi modi di testare più rigorosi e incentrati sull'essere umano, possiamo costruire un'IA che non sia solo intelligente, ma veramente sicura per tutti.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.