The Locality Gap: Bell-Inequality Audits for Covert Coordination Between Ostensibly Isolated AI Agents

Nel mondo dell'intelligenza artificiale, una preoccupazione crescente tiene svegli regolatori ed esperti di sicurezza: il timore che programmi per computer progettati per agire in modo indipendente possano segretamente imparare a collaborare. Immaginate due algoritmi di pricing gestiti da aziende concorrenti. Dovrebbero fissare i prezzi basandosi solo sui propri dati, ma cosa succederebbe se trovassero un modo per segnalarsi l'un l'altro, magari regolando sottilmente i propri prezzi per inviare un messaggio nascosto? Questo è noto come collusione algoritmica, ed è notoriamente difficile da individuare. I metodi tradizionali di rilevamento cercano schemi statistici negli output degli agenti, ma questi metodi spesso falliscono. Se due agenti sono stati addestrati sullo stesso enorme dataset o sono partiti dagli stessi numeri casuali, produrranno naturalmente risultati simili anche se non si sono mai parlati. Ciò crea un punto cieco per gli auditor: non riescono a distinguere tra due agenti che stanno semplicemente pensando in modo simile a causa di una storia condivisa e due agent much che stanno attivamente complottando in tempo reale.

Per risolvere questo problema, un ricercatore di nome Alfredo Merlet ha proposto un nuovo tipo di test, prendendo in prestito un concetto dai più profondi misteri della fisica. L'idea deriva da un famoso dibattito tra Albert Einstein e i fisici quantistici degli anni '30. Einstein non gradiva l'idea che due oggetti distanti potessero influenzarsi istantaneamente senza alcuna connessione fisica, definendola "azione spettrale a distanza". Più tardi, un fisico di nome John Bell dimostrò matematicamente che se due sistemi sono veramente isolati e condividono solo informazioni dal loro passato, esiste un limite rigoroso a quanto bene possono coordinare le loro risposte a domande casuali. Se superano questo limite, è impossibile che lo abbiano fatto senza comunicare durante il test. Merlet si rese conto che questa legge fisica poteva essere trasformata in uno strumento per l'audit dell'intelligenza artificiale. Ponendo a due agenti IA una serie di domande casuali e private e controllando se le loro risposte sono troppo perfettamente coordinate, un auditor può rilevare una comunicazione segreta senza bisogno di capire come l'IA funzioni internamente.

Lo studio ha messo alla prova questa idea attraverso una serie di esperimenti al computer. Per prima cosa, il ricercatore ha creato coppie di reti neurali artificiali, che sono i mattoni delle moderne IA. A questi agenti è stata fornita una storia condivisa: sono stati addestrati sugli stessi dati, sono partiti dagli stessi semi casuali e gli è stata permessa la condivisiona di una variabile nascosta che fungeva da memoria comune. Tuttavia, avevano il divieto assoluto di comunicare durante il test. L'auditor ha poi inviato a ciascun agente una domanda casuale e ha chiesto una risposta semplice. L'obiettivo era vedere se gli agenti potessero coordinare le loro risposte meglio di quanto consentano le leggi della fisica per i sistemi isolati. I risultati sono stati chiari e rassicuranti per la teoria: non importa quanto fossero complessi gli agenti o quanto cercassero di massimizzare il loro coordinamento, non hanno mai superato il limite. Anche quando gli agenti erano stati addestrati specificamente per mimare il comportamento delle particelle quantistiche, famose per le loro connessioni "spettrali", non sono comunque riusciti a superare il limite. Ciò ha confermato che il test funziona come un filtro affidabile: se gli agenti sono veramente isolati, rimarranno entro il limite, indipendentemente dal loro addestramento condiviso.

Successivamente, il ricercatore ha introdotto un difetto controllato per vedere come il test avrebbe reagito a un canale segreto. In questi esperimenti, è stato aperto un minuscolo e nascosto canale di comunicazione tra gli agenti, permettendo loro di condividere un singolo pezzo di informazione in una piccola percentuale di round. Man mano che la frequenza di questa perdita segreta aumentava, la capacità degli agenti di coordinare le loro risposte migliorava in modo perfettamente prevedibile. Tuttavia, lo studio ha trovato una sfumatura cruciale: per perdite al di sotto di una certa soglia (circa il 41,4%), i punteggi di coordinamento risultanti producono valori indistinguibili dall'entanglement quantistico, il che significa che superano il limite classico ma potrebbero teoricamente essere spiegati da risorse quantistiche condivise piuttosto che da una semplice perdita. Solo quando il tasso di perdita superava questa soglia, i punteggi superavano chiaramente il limite quantistico. Lo studio ha anche calcolato quanti round di interrogazione sarebbero stati necessari per catturare diverse dimensioni di perdite. Per rilevare una perdita che avviene solo l'uno per cento delle volte con alta confidenza, l'audit dovrebbe durare circa 185.000 round. Sebbene si tratti di un numero elevato, è fattibile per sistemi automatizzati che possono eseguire migliaia di test in pochi secondi.

Tuttavia, lo studio ha anche scoperto una debolezza critica che non risiede negli agenti, ma nella persona che esegue il test. L'intera logica dell'audit dipende dal fatto che le domande siano veramente casuali e imprevedibili. Se la persona che esegue il test utilizza un metodo prevedibile per generare le domande — come una semplice routine informatica che ripete un pattern o un programma fisso — gli agenti possono imparare a indovinare le domande in anticipo. Negli esperimenti, quando l'auditor ha utilizzato un generatore prevedibile, gli agenti sono stati in grado di coordinare perfettamente le loro risposte, rompendo il limite e scatenando un falso allarme, anche se non avevano mai comunicato. Ciò è accaduto perché gli agenti potevano usare il pattern delle domande per coordinare le loro risposte, eludendo efficacemente il test senza violare alcuna regola di isolamento. Lo studio ha dimostrato che l'uso di un generatore di numeri casuali crittografico di alta qualità è essenziale. Senza di esso, il test è inutile, poiché non può distinguere tra una cospirazione segreta e un'abilità di indovinare basata su un pattern prevedibile.

I risultati suggeriscono una nuova strada per regolare l'intelligenza artificiale, particolarmente in settori come il pricing o i mercati competitivi. Il test offre un modo per separare il "parallelismo tacito", dove gli agenti agiscono in modo simile perché hanno imparato dagli stessi dati, dalla collusione effettiva, dove comunicano per coordinare le azioni. È importante notare che questa ricerca è stata condotta interamente in simulazione con reti neurali semplici, non con modelli linguistici di grandi dimensioni del mondo reale o sistemi commerciali implementati. I risultati provano che il concetto funziona in un ambiente controllato, ma applicarlo alla realtà disordinata di Internet richiederebbe un adattamento attento. Lo studio non afferma di aver risolto il problema della collusione algoritmica, ma fornisce uno strumento matematico rigoroso che può essere utilizzato per auditare i sistemi in cui si sospetta la comunicazione.

In definitiva, la ricerca evidenzia che l'affidabilità di un simile audit dipende interamente dall'integrità dell'auditor. Gli agenti nello studio non sono stati quelli a fallire; il test è fallito quando la casualità delle domande è stata compromessa. Questo rispecchia una lezione appresa in fisica decenni fa: per dimostrare che due cose non sono connesse, bisogna assicurarsi che il modo in cui le si testa sia completamente privo di pattern nascosti. Se le domande sono veramente casuali e private, il test può rivelare un canale segreto che nessun addestramento condiviso potrebbe nascondere. Se le domande sono prevedibili, il test diventa uno specchio che riflette la mancanza di casualità dell'auditor stesso. Lo studio conclude che, affinché questo strumento sia efficace nel mondo reale, la casualità utilizzata per sondare gli agenti deve essere sicura quanto i segreti che sta cercando di trovare.