Why collective AI assurance cannot target agents or networks in isolation

Nel mondo in rapida evoluzione dell'intelligenza artificiale, è emerso un nuovo tipo di rischio che non può essere visto osservando una singola macchina in isolamento. Immaginate un ospedale dove decine di assistenti automatizzati coordinano le agende dei pazienti, gestiscono le emergenze di triage e amministrano gli invii ai reparti. Ciascun assistente è programmato per essere utile, equo e cooperativo. Se testiamo uno di questi assistenti da solo in una stanza silenziosa, appare perfettamente allineato ai valori umani. Tuttavia, quando questi assistenti iniziano a interagire tra loro in una rete complessa, il gruppo nel suo insieme può produrre risultati profondamente ingiusti, anche se ogni singolo membro sta cercando di fare la cosa giusta. Questo fenomeno, noto come emergenza collettiva, suggerisce che la sicurezza di un sistema dipenda meno dal carattere individuale delle sue parti e più dalle regole della loro interazione. La domanda che i ricercatori e i regolatori devono affrontare non è più solo se un singolo'IA sia sicura, ma come garantire l'equità quando molte IA lavorano insieme.

Un team di ricercatori austriaci si è posto l'obiettivo di risolvere un enigma specifico all'interno di questo problema: quando un gruppo di agenti IA produce un risultato diseguale, la colpa risiede negli agenti stessi o è radicata nella struttura della loro rete? Per trovare la risposta, hanno costruito un laboratorio digitale dove potevano eseguire miglia di interazioni simulate. Hanno creato due diversi tipi di giochi sociali per i loro agenti. Nel primo gioco, uno scenario di beni pubblici, gli agenti potevano scegliere di condividere le risorse con i propri vicini o tenerle per sé. Nel secondo, un gioco di fiducia basato su invii medici, gli agenti dovevano decidere se inviare una risorsa a un collega specifico o tenerla per il proprio paziente. I ricercatori hanno poi variato le condizioni di questi giochi come uno scienziato che regola le manopole di una macchina. Hanno cambiato la personalità degli agenti, rendendoli tutti uniformemente equi, o mescolandoli con alcuni egoisti. Hanno alterato la forma della rete, connettendo tutti con tutti, o creando dei "hub" dove pochi agenti avevano molti più collegamenti degli altri. Hanno persino testato se un sistema di punizione tra pari — dove gli agenti potevano criticarsi a vicenda — potesse correggere qualsiasi ingiustizia derivante.

I risultati hanno rivelato una verità sorprendente su come funzionano questi sistemi. Quando i ricercatori hanno utilizzato una rete in cui pochi agenti avevano molti collegamenti e la maggior parte ne aveva pochi, è emerso un modello di disuguaglianza che era quasi interamente determinato dalla forma della rete, non dal comportamento degli agenti. Nel gioco dei beni pubblici, anche quando ogni singolo agente era programmato per essere perfettamente equo e cooperativo, gli agenti con più connessioni finivano per ottenere significativamente più risorse rispetto a quelli con meno connessioni. La correlazione tra l'avere molti collegamenti e l'avere più risorse era così forte da essere quasi perfetta. Per dimostrare che si trattava di un problema strutturale e non di un difetto del "cervello" dell'IA, i ricercatori hanno eseguito lo stesso identico gioco con un semplice programma per computer che non aveva capacità di ragionamento o apprendimento. Questo bot di base, che seguiva semplicemente una regola fissa, ha riprodotto lo stesso alto livello di disuguaglianza dei sofisticati modelli di IA. Questo risultato suggerisce che, in certi tipi di interazioni, l'ingiustizia è una certezza matematica del design della rete, non un fallimento della bontà dei singoli agenti.

Tuttamente, la storia è diventata più complessa quando i ricercatori sono passati al gioco della fiducia. In questo caso, gli agenti stavano prendendo decisioni mirate su chi aiutare, piuttosto che dividere le risorse equamente. In questo ambiente, il comportamento degli agenti contava molto di più. Anche quando la struttura della rete era identica al primo gioco, le personalità e le scelte degli agenti giocavano un ruolo più importante nel determinare l'esito finale. In una configurazione specifica, i ricercatori hanno scoperto che il comportamento degli agenti era il driver primario della disuguaglianza, mentre in un'altra, la struttura della rete era il driver principale. Ciò significa che non esiste un unico "rimedio" per la sicurezza dell'IA che funzioni in ogni situazione. Non si può semplicemente certificare che un'IA sia equa e assumere che il gruppo sarà equo, perché in alcuni regimi di interazione, la struttura della rete prevale sull'equità individuale. Al contrario, non si può semplicemente sistemare la struttura della rete e assumere che gli agenti si comporteranno bene, perché in altri regimi, le scelte degli agenti sono il fattore dominante.

Lo studio ha anche testato se gli agenti potessero "vedere" il problema e risolverlo. I ricercatori hanno chiesto agli agenti di spiegare il proprio ragionamento dopo ogni mossa. Nel gioco della fiducia, gli agenti menzionavano frequentemente di essere consapevoli della struttura della rete e di cercare di essere equi. Potevano articolare la propria posizione e comprendere il sistema. Eppure, questa consapevolezza non ha cambiato l'esito. Anche quando gli agenti sapevano di trovarsi in una posizione di disuguaglianza, non potevano superare i vantaggi strutturali dei loro colleghi più connessi. Gli agenti che erano consapevoli della disuguaglianza erano spesso quelli che ne soffrivano, ma la loro comprensione non si traduceva in un risultato migliore. Ciò evidenzia un divario critico: sapere che un sistema è ingiusto non è la stessa cosa che avere il potere di cambiarlo.

Infine, i ricercatori hanno testato una soluzione comune alla disuguaglianza: la sanzione tra pari. Hanno dato agli agenti la capacità di punire coloro che agivano in modo iniquo abbassando la loro reputazione. Nelle simulazioni, gli agenti hanno usato questo potere e hanno identificato correttamente gli agenti con più connessioni come quelli da punire. Tuttavia, questa punizione non ha avuto alcun effetto sulla distribuzione finale delle risorse. La disuguaglianza è rimasta esattamente la stessa. I ricercatori hanno scoperto che il solo annuncio di un sistema di punizione ha cambiato leggermente il comportamento degli agenti, ma l'atto effettivo di punire non ha fatto nulla per alterare l'esito. Il meccanismo che generava il vantaggio — il modo in cui le risorse fluivano attraverso la rete — rimaneva intatto dal sistema di reputazione.

La conclusione ultima di questo lavoro è che non possiamo assumere un livello fisso di sicurezza per i sistemi di intelligenza artificiale. Non possiamo semplicemente controllare che ogni singolo agente sia equo, né possiamo semplicemente controllare che la rete sia ben progettata. La sicurezza del collettivo dipende dalla combinazione specifica di agenti, rete e regole di interazione. In alcuni casi, la struttura della rete è la forza dominante, rendendo irrilevante l'equità individuale. In altri, il comportamento degli agenti è la chiave. Ciò significa che i regolatori e i progettisti non possono affidarsi a un approccio universale per l'assicurazione dell'IA. Devono comprendere la specifica struttura causale del sistema che stanno costruendo. Se vogliono garantire un esito equo, devono identificare quale fattore — la struttura o il comportamento — sta guidando il risultato in quel contesto specifico e intervenire lì. Senza questa comprensione, anche gli agenti di IA più intenzionati e perfettamente allineati possono produrre società profondamente diseguali.