Assessing Attack Surfaces in Generative Search Engines through Publisher Attributes: A Case Study in Political Domains

Nel moderno panorama digitale, è emerso un nuovo tipo di motore di ricerca, uno che non si limita a elencare link ma legge il web e scrive una risposta diretta alla tua domanda. Questi sistemi, noti come motori di ricerca generativi, combinano la vasta portata di Internet con la capacità conversazionale dell'intelligenza artificiale avanzata. Essi agiscono come un ponte, prendendo la query di un utente, scansionando milioni di pagine web e sintetizzando un riassunto che cita le proprie fonti. Questo cambiamento trasforma il modo in in cui le persone accedono alle informazioni, passando dal setacciare un elenco di risultati al ricevere una narrazione curata. Tuttavia, poiché queste macchine si affidano a contenuti pubblicati da chiunque sul web aperto, affrontano una vulnerabilità unica. Proprio come uno chef può essere ingannato da un singolo ingrediente scadente, questi motori possono essere tratti in inganno da attori malintenzionati che pubblicano informazioni false progettate per apparire legittime. Se un attaccante riesce a ingannare il sistema portandolo a citare un sito di fake news, il motore potrebbe presentare quella falsità come un fatto, minando l'affidabilità delle informazioni che fornisce.

I ricercatori della Keio University e di QueryLift Inc. si sono posti l'obiettivo di misurare esattamente quanto siano vulnerabili questi sistemi nell'arena ad alta posta in gioco della politica. Si sono concentrati su una domanda specifica: quanto è facile per un attaccante iniettare informazioni false nelle risposte generate da questi motori? Per rispondere a questo, hanno sviluppato un modo per categorizzare le fonti che un motore sceglie di citare, basandosi sulla difficoltà con cui un malintenzionato potrebbe creare un sito web come quello. Hanno immaginato una scala di difficoltà. Al vertice della scala ci sono le "fonti primarie", come i siti ufficiali dei partiti politici, che sono difficili da falsificare perché sono posseduti e controllati dagli stessi partiti. In fondo alla scala ci sono le "fonti a bassa barriera", come le piattaforme di social media o i blog personali, dove chiunque può pubblicare qualsiasi cosa istantaneamente con un minimo di supervisione. I ricercatori hanno dedotto che se un motore si affida pesantemente a queste fonti a bassa barriera, si trova di fronte a una superficie di attacco ampia ed esposta, rendendo più facile l'intrusione di disinformazione nella risposta finale.

Il team ha testato tre grandi motori di ricerca generativi, utilizzando modelli di OpenAI, Anthropic e Google, ponendo loro centinaia di domande sulle parti politiche negli Stati Uniti e in Giappone. Hanno chiesto informazioni sulle posizioni sia dei partiti al governo che di quelli di opposizione, e hanno variato le domande per vedere se il comportamento del motore cambiava in base a chi stava chiedendo. Hanno simulato diversi tipi di utenti, inclusi quelli con un'alta conoscenza politica e quelli con nessuna conoscenza, nonché utenti con diverse inclinazioni politiche. L'obiettivo era vedere se la scelta delle fonti del motore cambiasse in base al profilo dell'utente o al contesto politico, e misurare quanto della risposta finale fosse effettivamente tratto da tali fonti.

I risultati hanno rivelato un modello chiaro e preoccupante. La vulnerabilità di questi sistemi dipende molto di più dal modello specifico di motore utilizzato e dal partito politico oggetto della discussione, piuttosto che dalla persona che pone la domanda. Uno dei modelli testati, GPT-5 di OpenAI, tendeva a mantenere l'attenzione sui siti ufficiali dei partiti e sulle fonti di alta qualità, chiudendo efficacementamente la porta a manipolazioni facili. Al contrario, un altro modello, Gemini di Google, citava frequentemente fonti a bassa barriera, lasciando un varco molto più ampio per gli attaccanti che vogliono iniettare false informazioni. Lo studio ha scoperto che quando al motore veniva chiesto del partito al governo, esso si affidava significativamente di più a queste fonti facilmente iniettabili rispetto a quando veniva interrogato sui partiti di opposizione. Ciò suggerisce che il successo stesso di un partito politico nel mondo reale, che genera un volume massiccio di contenuti web, potrebbe paradossalmente rendere più difficile per il motore di ricerca trovare la fonte ufficiale, spingendolo invece verso il mare di contenuti non verificati dove la disinformazione prospera.

Forse il risultato più rassicurante è stato che l'identità dell'utente non cambiava l'esito. I ricercatori hanno testato se l'ideologia politica o il livello di conoscenza di un utente potessero causare il passaggio del motore a un set di fonti più vulnerabili. Non è accaduto. Che l'utente fosse un conservatore, un progressista o qualcuno senza alcuna conoscenza politica, il motore citava lo stesso tipo di fonti. Ciò significa che il rischio di avvelenare la risposta non è una questione di chi sta chiedendo, ma piuttosto un difetto strutturale nel modo in cui il motore è costruito e in come naviga sul web. Lo studio conclude che la sicurezza di questi strumenti è determinata dal design interno del motore e dal tema specifico di cui si discute, non dall'intento dell'utente.

I ricercatori hanno anche osservato quanto fedelmente i motori riflettessero il contenuto che citavano. Hanno scoperto che quando un motore citava una fonte di alta qualità e difficile da falsificare, la risposta era solitamente un riflesso molto accurato di tale fonte. Tuttavia, quando il motore si affidava a fonti a bassa barriera, la connessione tra la fonte e la risposta era spesso più debole, con il motore che riassumeva o interpretava il contenuto in modi che divergevano dal testo originale. Questo crea un doppio pericolo: la fonte stessa è più facile da manipolare, e il motore è meno propenso ad attenersi strettamente a ciò che quella fonte dice realmente.

In definitiva, questo lavoro fornisce una mappa di dove questi potenti strumenti sono più propensi a rompersi. Mostra che il percorso verso una risposta avvelenata non è casuale; segue schemi specifici basati sulla tecnologia utilizzata e sul panorama politico. Lo studio suggerisce che, per proteggere l'integrità dell'informazione, gli sviluppatori devono concentrarsi su come i loro sistemi selezionano le fonti, assicurandosi di non favorire involontariamente proprio i canali in cui la disinformazione si diffonde più facilmente. Le conclusioni indicano che la soluzione non risiede nel cambiare l'utente, ma nel perfezionare la capacità del motore di distinguere tra una fonte affidabile e una pericolosa, indipendentemente da chi stia premendo i tasti.