Quantifying Geospatial in the Common Crawl Corpus
Questo articolo utilizza Gemini 1.5 per quantificare la prevalenza delle informazioni geospaziali nel corpus Common Crawl, stimando che il 18,7% dei documenti web contenga tali dati con variazioni minime tra le lingue inglesi e non inglesi, stabilendo così una base per lo studio dei pregiudizi geospaziali nei grandi modelli linguistici.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina internet come una biblioteca enorme e caotica contenente miliardi di libri, articoli e pagine web. Questa biblioteca si chiama Common Crawl. È l'enorme mucchio di testo grezzo che i "super-cervelli" (Large Language Models o LLM) come quelli che alimentano i chatbot consumano durante la loro "infanzia" per imparare a parlare e pensare.
Recentemente, gli scienziati hanno notato che questi super-cervelli stanno diventando sorprendentemente bravi a comprendere la geografia. Possono dirti quanto distano Londra da Parigi o descrivere l'aspetto di una città. Ma rimaneva una grande domanda: Dove l'hanno imparato? La biblioteca che hanno studiato conteneva davvero abbastanza mappe e indirizzi per insegnarglielo?
Questo articolo è come un team di bibliotecari che entra in quella biblioteca enorme per contare esattamente quante pagine contengono informazioni sulla posizione.
La Missione: Contare il "Dove"
I ricercatori volevano sapere: Quante pagine web in questa biblioteca gigante menzionano effettivamente un luogo specifico?
Hanno definito "luogo specifico" in due modi semplici:
- Coordinate: I numeri esatti (come latitudine e longitudine) che fissano un punto su una mappa.
- Indirizzi: Un nome di strada, una città e un numero (come "Via Roma 123") che potresti usare per spedire una lettera o trovare un edificio.
Hanno deciso di non contare menzioni vaghe come "la Torre Eiffel" a meno che non avessero un indirizzo allegato, perché volevano essere sicuri che la posizione fosse abbastanza precisa da essere trovata su una mappa.
Il Lavoro da Detective: Usando un Super-Scanner
La biblioteca è troppo grande perché gli umani leggano pagina per pagina. Quindi, i ricercatori hanno utilizzato un potente strumento di intelligenza artificiale chiamato Gemini 1.5 come loro "super-scanner".
Pensa a Gemini come a un tirocinante molto veloce e molto intelligente. I ricercatori gli hanno dato una pila di pagine web casuali e hanno chiesto: "Ehi, questa pagina ha un indirizzo stradale o un insieme di coordinate di mappa? Se sì, mostrami un esempio."
Poiché la biblioteca è così grande, non potevano controllare ogni singola pagina. Invece, hanno usato un trucco statistico (come un sondaggista che chiede a 1.000 persone di indovinare l'opinione di un intero paese) per selezionare un campione rappresentativo di circa 120.000 pagine da tre diversi periodi temporali (2019, 2021 e 2024).
La Grande Rivelazione
Dopo che l'IA ha scansionato le pagine e gli umani hanno verificato due volte i risultati per assicurarsi che l'IA non stesse "allucinando" (inventando cose), hanno trovato alcuni numeri interessanti:
- La Miniera d'Oro: Circa il 18,7% di tutte le pagine web nella biblioteca contiene qualche tipo di dati specifici sulla posizione. Sono circa 1 pagina su 5.
- Il Mix:
- Alcune pagine avevano solo un indirizzo (16,1%).
- Alcune avevano solo coordinate (7,0%).
- Alcune avevano entrambi (4,3%).
- L'Equilibrio Linguistico: Sorprendentemente, non importava se la pagina era in inglese o in un'altra lingua. La "densità di posizione" era quasi la stessa per entrambe. Che la pagina fosse in spagnolo, cinese o inglese, la probabilità che avesse un indirizzo o delle coordinate era più o meno uguale.
- L'Effetto "Google Maps": Molte delle coordinate trovate erano semplicemente link a Google Maps. Questo significa che nei paesi in cui Google Maps non è l'app di mappe principale (come Cina o Russia), il numero di link alle coordinate è inferiore, il che potrebbe spiegare perché alcuni dati sulla posizione sono leggermente meno comuni in quelle lingue.
Cosa Significa per i "Super-Cervelli"
L'articolo conclude che la biblioteca da cui l'IA ha imparato è in realtà piena di geografia. Non è vuota.
Poiché l'IA ha mangiato così tante pagine con indirizzi e coordinate, ha senso che abbia imparato a comprendere lo spazio, le direzioni e le distanze. Tuttavia, i ricercatori hanno anche notato uno "squilibrio di sapore" nella biblioteca:
- I siti web in inglese e .com sono sovrarappresentati (costituiscono un enorme pezzo della biblioteca).
- Questo significa che l'IA potrebbe essere "polarizzata" verso il mondo visto attraverso siti web di lingua inglese e centrati sugli Stati Uniti, perdendo potenzialmente le sfumature di altre parti del mondo.
La Conclusione
I ricercatori non hanno costruito una nuova mappa o una nuova app. Hanno semplicemente effettuato un censimento dei dati grezzi di internet. Hanno scoperto che la geografia è ovunque nei dati utilizzati per addestrare l'IA. Questo spiega perché l'IA è brava in geografia, ma ci avverte anche che la "visione" del mondo dell'IA è plasmata pesantemente da quali siti web erano più comuni nella biblioteca che ha studiato.
L'articolo termina suggerendo che questa enorme raccolta di dati sulla posizione (circa 46 miliardi di pagine!) potrebbe essere una "miniera d'oro" per i futuri ricercatori che vogliono addestrare l'IA specificamente su compiti di geografia, ma questo è un lavoro per studi futuri, non per questo.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.