Is Misinformation More Open? A Study of robots.txt Gatekeeping on the Web
Questo studio rivela una crescente asimmetria nel gatekeeping del web, in cui i siti di notizie autorevoli stanno sempre più bloccando i crawler dell'IA tramite il file robots.txt e misure attive, mentre i siti di disinformazione rimangono in gran parte aperti, rischiando potenzialmente di falsare i dati di addestramento disponibili per i Large Language Models.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immaginate internet come una gigantesca e frenetica biblioteca dove ogni libro, articolo e post di un blog è un pezzo di informazione in attesa di essere letto. Per anni, i "robot" (programmi informatici specializzati) sono stati i bibliotecari di questo mondo digitale, camminando silenziosamente tra gli scaffali per copiare libri affinché i motori di ricerca possano aiutarci a trovarli. Ma recentemente, è arrivato un nuovo tipo di bibliotecario: il robot di Intelligenza Artificiale (IA). Questi non si limitano a cercare un singolo libro; stanno cercando di leggere tutto contemporaneamente per imparare a scrivere, rispondere a domande e chattare con noi. Per gestire questo, i proprietari dei siti web hanno un segno semplice e volontario che possono mettere sulla loro porta chiamato robots.txt. Pensatelo come a un cartello "Vietato l'ingresso" o "Prego, entrate" per questi bibliotecari digitali. Se il proprietario di un sito scrive "Niente IA consentita" su questo cartello, i robot dell'IA educati dovrebbero ascoltare e stare lontani. Ma ecco la grande domanda: tutti i siti mettono in piedi questi cartelli? E se lo fanno, li mettono per gli stessi motivi? Man mano che l'IA diventa più intelligente e potente, capire chi apre le proprie porte e chi le chiude diventa cruciale, perché decide che tipo di informazioni l'IA imparerà.
Questo articolo, intitolato "Is Misinformation More Open?" (La disinformazione è più aperta?), agisce come una storia da detective digitale, investigando come due gruppi molto diversi di siti web gestiscono questi cartelli "Vietato l'ingresso" per l'IA. I ricercatori hanno esaminato due gruppi: siti di notizie "riproducibili" (i giornalisti seri e che verificano i fatti) e siti di "disinformazione" (i luoghi in cui si diffondono storie false o fuorvianti). Volevano vedere se le organizzazioni giornalistiche serie erano più brave a dire ai robot dell'IA di stare lontane rispetto ai siti di fake news.
I risultati rivelano un contrasto sorprendente e netto. I ricercatori hanno scoperto che i siti di notizie affidabili sono molto più propensi a mettere un cartello "Vietato l'ingresso" per i robot dell'IA. Infatti, il 60,0% di questi siti affidabili ha esplicitamente detto ad almeno un crawler di IA di non entrare nei propri file robots.txt. In netto contrasto, solo il 9,1% dei siti di disinformazione ha fatto lo stesso. È come se le biblioteche serie stessero chiudendo le porte ai nuovi studenti dell'IA, mentre i pamphletieri delle fake news lasciano le porte spalancate. In media, un sito di notizie affidabile elencava 15,5 diversi robot dell'IA che non voleva visitare, mentre i siti di disinformazione ne elencavano meno di uno.
Lo studio ha anche esaminato se questi siti web effettivamente "applicassero" i loro cartelli o se si limitassero a scriverli. Hanno scoperto che i siti di notizie affidabili non solo scrivevano le regole, ma bloccavano attivamente i robot dell'IA che cercavano di intrufolarsi, facendo corrispondere le loro azioni alle regole scritte. I siti di disinformazione erano meno coerenti; sebbene alcuni bloccassero l'IA, molti non si prendevano nemmeno la briga di scrivere le regole. I ricercatori hanno anche osservato come le cose sono cambiate nel tempo, guardando degli istantanee da settembre 2023 a maggio 2025. Hanno visto che i siti di notizie affidabili stavano imparando rapidamente a chiudere le porte, con il numero di siti che bloccavano l'IA che passava dal 23% a quasi il 60% in soli due anni. I siti di disinformazione, tuttavia, sono rimasti ampiamente passivi, aggiornando raramente i loro cartelli.
Gli autori suggeriscono che questo divario crescente crea una situazione strana: mentre le fonti "buone" iniziano a chiudere le porte per proteggere i propri contenuti, i robot dell'IA potrebbero finire per passare più tempo a leggere le fonti "cattive" che sono ancora spalancate. Ciò potrebbe significare che l'IA imparerà più dalla disinformazione che dalle notizie accurate, semplicemente perché i siti di disinformazione sono più facili da accedere. Il documento non sostiene che questo abbia già rovinato l'IA, ma evidenzia un rischio reale: se non prestiamo attenzione a chi apre le proprie porte, il futuro dell'IA potrebbe essere costruito su una base di falsità.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.