EviSafe: Evidence-Grounded Safety Evaluation for Vision-Language Models
EviSafe introduce un framework e un benchmark basati sull'evidenza (EviSafeBench) che valuta la sicurezza dei modelli Vision-Language non solo esaminando le risposte finali, ma anche la capacità del modello di ancorare correttamente le decisioni a prove visive/testuali e di adattarsi ai cambiamenti controfattuali, rivelando che gli attuali modelli spesso non riescono a essere sicuri per le giuste ragioni multimodali.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel rapidamente evolversi del mondo dell'intelligenza artificiale, è emersa una nuova generazione di programmi informatici che possono vedere e leggere contemporaneamente. Questi sistemi, noti come modelli visione-linguaggio, osservano un'immagine e leggono il testo digitato da una persona, poi combinano questi due flussi di informazioni per rispondere a domande o dare consigli. Vengono utilizzati sempre più spesso per interpretare scansioni mediche, analizzare documenti legali e navigare in scene sociali complesse. Poiché questi strumenti possono influenzare decisioni nel mondo reale, garantire la loro sicurezza è una priorità critica. Per anni, i ricercatori hanno testato questi sistemi ponendo loro domande pericolose e controllando se il computer rifiutasse di rispondere. Se la macchina dice "no" o dà un avvertimento, viene conteggiata come sicura. Se risponde direttamente alla domanda, viene conteggiata come non sicura. Questo metodo, tuttavia, guarda solo al risultato finale, molto simile a un insegnante che valuta il saggio di uno studente controllando solo la conclusione senza leggere il ragionamento che l'ha portata a quel punto. Un computer potrebbe rifiutare una richiesta semplicemente perché ha individuato una singola parola spaventosa, oppure potrebbe dare una risposta pericolosa perché ha mancato un dettaglio cruciale nell'immagine. La domanda rimane: quando una macchina appare sicura, è davvero sicura per le giuste ragioni?
Un team di ricercatori della Shanghai Jiao Tong University ha sviluppato un nuovo modo per testare questi sistemi che scava più a fondo rispetto alla risposta finale. Hanno creato un framework chiamato EviSafe, che tratta la sicurezza non solo come un superamento o un fallimento dell'output finale, ma come un processo di ricerca e utilizzo delle prove corrette. Immaginate una guardia giurata che ferma una persona a un cancello. Un test semplice chiede solo se la guardia abbia fermato la persona. Il nuovo test chiede se la guardia l'abbia fermata perché ha visto un'arma, perché ha riconosciuto una minaccia specifica, o semplicemente perché la persona indossava un cappello rosso. I ricercatori hanno costruito una vasta collezione di 1.181 scenari accuratamente elaborati, ognuno contenente un'immagine e una domanda, insieme a una mappa dettagliata di ciò che il computer dovrebbe osservare per prendere la decisione corretta. Hanno anche creato oltre 2.400 variazioni di questi scenari in cui hanno cambiato un solo piccolo elemento di prova, come la rimozione di un oggetto pericoloso dalla foto o il cambiamento di una parola nella domanda, per vedere se il comportamento del computer cambiava di conseguenza.
I ricercatori hanno testato undici diversi modelli visione-linguaggio utilizzando questo nuovo metodo. Hanno posto a ciascun modello tre tipi di domande per ogni scenario. Primo, hanno chiesto al modello di rispondere alla domanda in modo naturale, proprio come farebbe un utente. Secondo, hanno chiesto al modello di spiegare il proprio ragionamento indicando gli indizi testuali e visivi specifici che ha utilizzato per prendere la decisione. Terzo, hanno presentato al modello gli scenari modificati per vedere se fosse in grado di adattare la propria risposta quando le prove cambiavano. I risultati hanno rivelato un divario significativo tra l'apparire sicuri ed essere sicuri. Mentre alcuni modelli si comportavano ragionevolmente bene in superficie, con un'accuratezza di sicurezza naturale compresa tra circa il 28 e il 53 percento, la loro capacità di identificare e riportare correttamente le prove dietro le loro decisioni era molto più bassa. Infatti, solo una piccola frazione dei record modello-scenario, il 9,8 percento, era etichettata come successo basato sulle prove, il che significa che il modello dava la risposta corretta identificando anche la specifica evidenza visiva o testuale che giustificava tale risposta.
Lo studio ha scoperto che molti modelli stanno essenzialmente tirando a indovinare o facendo affidamento su scorciatoie. Un computer potrebbe rifiutare una richiesta perché vede una parola chiave associata al pericolo, anche se l'immagine mostra un contesto innocuo, come un medico che spiega una procedura medica. Al contrario, un modello potrebbe dare una risposta pericolosa perché non riesce a notare un dettaglio critico nell'immagine che rende la richiesta non sicura. Quando i ricercatori hanno cambiato le prove negli scenari di test, molti modelli non sono riusciti ad adattare il proprio comportamento. Ad esempio, se un oggetto pericoloso veniva rimosso da un'immagine, un modello veramente sicuro dovrebbe cambiare la propria risposta da un avvertimento a una risposta sicura. Tuttavia, i test hanno mostrato che solo il 30-58 percento dei modelli effettuava con successo questo passaggio. Ciò suggerisce che questi sistemi non comprendono in modo affidabile la relazione tra ciò che vedono e ciò che dicono. Spesso reagiscono a schemi superficiali piuttosto che costruire una comprensione coerente della situazione.
I ricercatori hanno anche scoperto che la dimensione del modello non risolve necessariamente il problema. Modelli più grandi e potenti non sono stati costantemente più bravi nel collegare i punti tra l'immagine e il testo. Alcuni dei modelli più grandi potevano identificare correttamente i fattori di rischio quando veniva chiesto loro di spiegarli in un rapporto strutturato, eppure fallivano comunque nell'agire in modo sicuro quando rispondevano alla stessa domanda in una conversazione naturale. Ciò indica una discrepanza tra la capacità del modello di analizzare le prove e la sua capacità di usare tale analisi per guidare il proprio comportamento. Lo studio conclude che l'attuale generazione di modelli visione-linguaggio non è ancora sicura per le giuste ragioni. Possono apparire sicuri per caso, o possono essere non sicuri in modi che sono nascosti dai semplici test di rifiuto. Per costruire sistemi veramente affidabili, gli sviluppatori dovranno andare oltre il conteggio di quante volte un modello rifiuta una richiesta e iniziare ad addestrarli a fondare le loro decisioni sulle effettive prove presenti nell'immagine e nel testo, garantendo che la loro sicurezza sia basata sulla comprensione piuttosto che sul caso.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.