Nel mondo dell'intelligenza artificiale, un numero crescente di sistemi è progettato per lavorare in team. Invece di fare affidamento su un singolo programma per computer per risolvere un problema, questi sistemi generano molteplici agenti digitali, ognuno con il compito di leggere documenti, analizzare dati o formare un'opinione. La logica dietro questo approccio è intuitiva: se un esperto è bravo, un dozzina lo sarà di più. Riunendo molti rapporti diversi e combinandoli, il sistema spera di raggiungere una conclusione che sia più accurata e più sicura di quanto un singolo agente potrebbe ottenere da solo. Questo metodo si basa su un presupposto fondamentale del ragionamento umano: che quando più persone concordano, è probabile che stiano attingendo a fonti di informazione diverse. Se tre analisti prevedono indipendentemente che un'azienda fallirà, di solito è perché ciascuno di loro ha trovato prove separate e convincenti. Tuttavia, un nuovo studio mette in discussione se questa logica rimanga valida quando gli "analisti" sono intelligenza artificiale. La ricerca indaga una specifica vulnerabilità in cui un sistema può essere ingannato nel credere di aver raccolto una vasta quantità di prove indipendenti, quando in realtà ha solo sentito la stessa storia ripetuta con voci diverse.

Il cuore di questo problema risiede nella differenza tra il numero di rapporti che un sistema riceve e il numero di fatti originali su cui tali rapporti si basano. Immaginate una stanza piena di persone che cercano di indovinare il peso di un elefante. Se guardano tutti lo stesso elefante, le loro ipotesi sono osservazioni indipendenti della stessa realtà. Ma se guardano tutti una singola fotografia di quell'elefante e poi descrivono ciò che vedono, non stanno guardando l'animale in sé; stanno guardando una copia di una copia. Nel regno digitale, un orchestratore di IA può facilmente prendere un pezzo di evidenza, fornirlo a un agente, prendere l'output di quell'agente, fornirlo a un secondo, e così via. Ogni passaggio crea un nuovo rapporto, una nuova voce e un nuovo argomento. Per un sistema che si limita a contare le voci, questo appare come un massiccio accumulo di supporto. Ma per un sistema che comprende il flusso delle informazioni, è semplicemente un singolo pezzo di evidenza che riecheggia in un corridoio. I ricercatori chiamano questo fenomeno un problema di "Sybil epistemica". Proprio come un "attacco Sybil" nella sicurezza informatica comporta una persona che finge di essere molti per manipolare un voto, una Sybil epistemica comporta un singolo pezzo di evidenza che finge di essere molti fatti indipendenti.

Per testare quanto potesse essere pericolosa questa confusione, i ricercatori hanno costruito un esperimento controllato utilizzando un grande modello linguistico, un tipo di IA che genera testi simili a quelli umani. Hanno creato uno scenario fittizio riguardante i registri finanziari di un'azienda. Lo stato reale delle entrate dell'azienda era nascosto, ma agli agenti IA sono stati forniti documenti contenenti i numeri grezzi. I ricercatori hanno poi chiesto all'IA di estrarre cifre specifiche da questo documento e calcolare il fatturato totale. Hanno eseguito questo compito migliaia di volte, manipolando due variabili chiave: il numero di rapporti che il sistema riceveva e il numero di documenti originali su cui quei rapporti si basavano. In un set di test, hanno mantenuto fisso il documento originale chiedendo all'IA di generare sempre più rapporti da esso. Hanno creato un rapporto, poi due, poi quattro e infine fino a trentadue diversi rapporti, tutti derivati da quella singola fonte. Hanno poi confrontato le prestazioni di un sistema "standard", che assumeva che ogni rapporto fosse indipendente, rispetto a un sistema "consapevole della provenienza" che sapeva che tutti i rapporti derivavano dalla stessa radice.

I risultati sono stati netti. Quando il sistema standard riceveva trentadue rapporti provenienti tutti dallo stesso singolo documento, diventava selvaggiamente eccessivamente sicuro di sé. Credeva di avere trentadue prove indipendenti, quindi restringeva l'intervallo delle possibili risposte a un intervallo minuscolo e preciso. In realtà, poiché tutti i trentadue rapporti erano solo variazioni della stessa singola fonte, il sistema non era più certo di quanto lo sarebbe stato se avesse letto il documento una sola volta. Lo studio ha misurato questo verificando quanto spesso l'intervallo previsto dal sistema conteneva effettivamente la risposta corretta. Con un solo rapporto, il sistema era corretto nel 94 percento dei casi. Ma man mano che il numero di rapporti da quella singola fonte cresceva fino a trentadue, l'accuratezza del sistema crollava. Era corretto solo nel 26 percento dei casi. Il sistema non era diventato più intelligente; si era semplicemente convinto di sapere più di quanto sapesse, perché aveva contato la stessa voce trentadue volte.

I ricercatori hanno poi invertito l'esperimento per vedere cosa sarebbe successo se avessero aggiunto davvero nuove prove. Hanno mantenuto fisso il numero di rapporti a sedici, ma hanno aumentato il numero di documenti originali che gli agenti stavano leggendo. Quando i sedici rapporti provenivano da sedici fonti diverse e indipendenti, la fiducia del sistema standard corrispondeva alla sua accuratezza. Il divario tra i due sistemi è svanito. Ciò ha dimostrato che il problema non era il numero di rapporti in sé, ma la relazione nascosta tra di essi. Il sistema falliva solo quando scambiava la ripetizione per indipendenza. Lo studio ha inoltre scoperto un secondo livello di complessità. Anche quando gli agenti leggevano lo stesso documento, non producevano errori identici. Poiché erano tutti alimentati dallo stesso modello di IA sottostante, tendevano a commettere errori simili. Se un agente leggeva male un numero, era probabile che gli altri lo leggessero male nello stesso modo. Questo "errore correlato" significava che, anche con un sistema sofisticato che sapeva che i rapporti provenivano dalla stessa fonte, il sistema sovrastimava comunque leggermente la propria accuratezza. Il modello condiviso agiva come un punto cieco condiviso, limitando quanto potesse essere guadagnato in termini di informazione leggendo lo stesso documento ripetutamente.

Forse la parte più rivelatrice dello studio ha riguardato un test su come i sistemi tentino di rilevare questo problema autonomamente. Molte difese attuali dell'IA cercano di individuare informazioni duplicate controllando quanto sia simile il testo dei rapporti. Se due rapporti sembrano uguali, il sistema assume che provengano dalla stessa fonte e ne ignora uno. I ricercatori hanno testato questo creando uno scenario in cui potevano cambiare il modo in cui l'IA scriveva i suoi rapporti senza cambiare i fatti che stava riportando. Hanno preso rapporti provenienti dalla stessa fonte e hanno costretto l'IA a usare un vocabolario e strutture sintattiche completamente diversi. Hanno anche preso rapporti da fonti diverse e li hanno costretti a usare lo stesso vocabolario. Un sistema basato sulla somiglianza testuale è stato facilmente ingannato. Ha raggruppato i rapporti dall'aspetto diverso ma dalla stessa fonte come se fossero indipendenti, e ha raggruppato i rapporti simili provenienti da fonti diverse come se fossero duplicati. Il giudizio del sistema sull'evidenza era guidato interamente dallo stile della scrittura, non dalla storia di provenienza dell'informazione. Lo studio ha scoperto che cambiare lo stile di scrittura aveva un impatto massiccio su come il sistema raggruppava i rapporti, mentre cambiare il numero effettivo di fonti originali aveva quasi nessun effetto sulla percezione del sistema.

Questi risultati suggeriscono che la strada verso un lavoro di squadra affidabile dell'IA non consiste semplicemente nel raccogliere più voci o nel costruire filtri più intelligenti per individuare i duplicati. I ricercatori sostengono che la soluzione richieda un sistema che comprenda la linea di discendenza delle sue informazioni. Deve sapere non solo cosa ha detto un agente, ma da dove quell'agente ha tratto la sua informazione. Se un sistema può tracciare la "discendenza" di un rapporto — risalendo al documento originale o al sensore che ha dato inizio alla catena — può pesare correttamente l'evidenza. Può capire che trentadue rapporti da una singola fonte valgono molto meno di un rapporto da trentadue fonti diverse. Senza la capacità di vedere le connessioni nascoste tra gli agenti, un sistema di IA è vulnerabile a una forma di auto-inganno, in cui produce un falso senso di certezza semplicemente parlando con se stesso in molti modi diversi. Lo studio conclude che, affinché l'intelligenza collettiva funzioni, il sistema deve dare priorità all'origine dell'evidenza rispetto al numero dei reporter, assicurando che la fiducia sia costruita su una base di genuina, indipendente scoperta piuttosto che sull'eco di un'unica idea.