Anchoring Bias: A Persistent Fairness Backdoor Attack against MLLMs under Continual Learning
Questo articolo introduce il Persistent Fairness Backdoor Attack (PFBA), un metodo innovativo che sfrutta il rinforzo della correttezza nello spazio latente e la simulazione dell'apprendimento continuo per iniettare discriminazioni specifiche per gruppo nei Modelli Linguistici Multimodali Grandi, garantendo che le violazioni della correttezza persistano anche dopo che i modelli sono sottoposti ad aggiornamenti di apprendimento continuo.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo moderno dell'intelligenza artificiale, è emersa una nuova generazione di sistemi noti come modelli linguistici di grandi dimensioni multimodali. Questi non sono semplici processori di testo; sono sistemi che possono vedere immagini, ascoltare audio e leggere testo tutto insieme, combinando questi sensi per comprendere il mondo molto più come un essere umano. Poiché sono così capaci, vengono sempre più utilizzati in situazioni ad alto rischio, come la diagnosi di malattie da scansioni mediche o l'assistenza in decisioni legali. Affinché questi sistemi siano sicuri e affidabili, devono trattare tutte le persone equamente, offrendo la stessa qualità di servizio indipendentemente dal genere, dalla razza o dal background di una persona. Tuttavia, questi modelli sono raramente statici. Per rimanere utili mentre il mondo cambia, vengono costantemente aggiornati con nuove informazioni attraverso un processo chiamato apprendimento continuo, in cui il modello impara nuovi compiti senza dimenticare quelli vecchi. Questa costante evoluzione crea un ambiente complesso in cui la sicurezza è difficile da garantire, ponendo una domanda critica: può un difetto nascosto essere piantato in un sistema del genere in modo che sopravviva a questi aggiornamenti e danneggi segretamente gruppi specifici di persone?
I ricercatori hanno scoperto che la risposta è sì. In uno studio focalizzato sulla sicurezza di questi modelli in evoluzione, gli scienziati hanno dimostrato un nuovo tipo di vulnerabilità digitale chiamata backdoor della parità persistente (persistent fairness backdoor). A differenza dei tradizionali virus informatici che potrebbero rompere un sistema o causarne il crash, questo attacco è molto più sottile. Non impedisce al modello di funzionare; invece, introduce silenziosamente una regola nascosta che causa il fallimento del modello solo per gruppi specifici di persone quando è presente un segnale segreto. I ricercatori hanno scoperto che, mentre i precedenti tentativi di creare tali difetti nascosti svanivano man mano che il modello apprendeva nuove cose, essi hanno sviluppato un metodo per far sì che questi comportamenti ingiusti rimangano, sopravvivendo a molteplici round di aggiornamenti e rimanendo non rilevati dai controlli di sicurezza standard.
Il team, guidato da ricercatori dell'Università Emory, si è concentrato su uno scenario in cui un attore malintenzionato potrebbe caricare un modello pre-addestrato in una libreria pubblica, sapendo che ospedali o altre organizzazioni lo avrebbero scaricato e perfezionato per il proprio uso. L'obiettivo dell'attaccante era iniettare un trigger nascosto — un pattern specifico aggiunto sia a un'immagine che a una domanda testuale — che avrebbe causato una risposta errata, ma solo per un gruppo demografico mirato. Ad esempio, in un contesto medico, il modello potrebbe diagnosticare correttamente una condizione cutanea per la maggior parte dei pazienti, ma sbagliare sistematicamente la diagnosi per un gruppo specifico quando è presente il trigger nascosto. La sfida era che, mentre l'ospedale aggiornava il modello con nuovi dati sui pazienti, la memoria interna del modello sarebbe cambiata, potenzialmente cancellando la regola nascosta dell'attaccante.
Per risolvere questo problema, i ricercatori hanno progettato una strategia in due parti per garantire che il comportamento ingiusto sopravvivesse. Primo, hanno cambiato il modo in cui il modello organizza le informazioni all'interno del suo "cervello", o spazio latente. Hanno insegnato al modello a trattare il trigger nascosto in modo diverso a seconda di chi stesse chiedendo. Per il gruppo che non doveva subire danni, il trigger è stato reso invisibile, lasciando invariata la loro esperienza. Per il gruppo bersaglio, il trigger è stato utilizzato per spingere le loro informazioni in un cluster separato e isolato nel profondo della comprensione del modello, lontano dalle risposte corrette. Separando fisicamente questi gruppi nella geometria interna del modello, i ricercatori hanno garantito che l'ingiustizia non fosse solo un errore superficiale, ma una parte strutturale di come il modello elabora le informazioni.
Secondo, per garantire che questa struttura sopravvivesse agli aggiornamenti dell'apprendimento continuo, i ricercatori hanno simulato il processo di apprendimento futuro prima di rilasciare il modello. Hanno creato una sequenza finta di compiti di apprendimento che imitasse ciò che un ospedale potrebbe fare in seguito. Hanno aggiornato ripetutamente il modello su questi compiti finti e poi hanno riaggiustato il trigger nascosto per assicurarsi che funzionasse ancora dopo le modifiche. Questo processo ha costretto la regola nascosta ad ancorarsi alle parti più stabili della conoscenza del modello — quelle parti che il modello deve mantenere per funzionare bene per tutti. Poiché queste parti stabili sono raramente sovrascritte durante gli aggiornamenti, l'ingiustizia nascosta è rimasta bloccata in posizione, sopravvivendo anche mentre il modello imparava nuove condizioni mediche o si adattava a nuovi dati.
I risultati di questo studio sono stati sorprendenti. Quando testato su dataset di imaging medico, il nuovo metodo di attacco ha mantenuto un alto livello di iniquità anche dopo che il modello è passato attraverso due round di aggiornamenti. In un test, il divario di iniquità tra i gruppi è rimasto sopra il 27 percento, mentre i precedenti metodi per creare tali backdoor erano scesi a livelli a singola cifra o erano scomparsi del tutto. Il modello continuava a funzionare perfettamente per tutti gli altri, con un'accuratezza superiore al 95 percento, rendendo l'attacco quasi impossibile da rilevare attraverso i normali test. I ricercatori hanno anche scoperto che l'attacco funzionava su diversi tipi di modelli, dai sistemi più piccoli a quelli massicci, e anche quando il modello veniva aggiornato utilizzando diverse strategie di apprendimento. Sorprendentemente, alcuni metodi progettati per impedire al modello di dimenticare le vecchie informazioni hanno in realtà reso l'attacco più forte, perché hanno aiutato a preservare proprio le parti stabili del modello dove la regola nascosta era ancorata.
Lo studio ha anche testato se queste regole nascoste potessero essere rimosse dalle difese di sicurezza esistenti. Tecniche standard utilizzate per trovare e rimuovere pattern malevoli, come la ricerca di outlier statistici o la potatura (pruning) di parti specifiche del modello, sono state in grado di ridurre leggermente l'efficacia dell'attacco, ma non sono riuscite a eliminarlo completamente. Il comportamento ingiusto è persistito, suggerendo che, poiché l'attacco è stato costruito nella struttura profonda della comprensione del modello piuttosto che in pochi neuroni specifici, sia molto più difficile da estirpare. I ricercatori hanno osservato che, sebbene il loro lavoro si fosse concentrato su compiti medici e di riconoscimento facciale specifici, il principio sottostante suggerisce una vulnerabilità più ampia: finché i modelli continueranno a imparare ed evolversi, i pregiudizi nascosti potrebbero essere piantati in un modo che sopravvive all'intero ciclo di vita del sistema.
Questa ricerca evidenzia una lacuna significativa nel modo in cui attualmente proteggiamo l'intelligenza artificiale. Dimostra che i medesimi meccanismi che usiamo per mantenere i modelli aggiornati e utili possono essere sfruttati per preservare la discriminazione nascosta. Lo studio non afferma che questi attacchi stiano avvenendo attualmente nel mondo reale, ma dimostra che sono tecnicamente possibili e che le attuali misure di sicurezza non sono sufficienti a fermarli. Rivelando come funzionano queste backdoor persistenti, i ricercatori sperano di stimolare lo sviluppo di nuove strategie di difesa che possano rilevare e rimuovere questi difetti strutturali profondi prima che causino danni nel mondo reale. Il lavoro funge da avvertimento: nella corsa a costruire macchine più intelligenti e adattabili, dobbiamo anche garantire che le fondamenta del loro apprendimento siano sicure dalla manipolazione malevola.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.