Wiktionary as a Crowdsourced Lexicon for English Dialects

Il linguaggio non è un blocco unico e solido; è un paesaggio vivente che muta e cambia a seconda di dove ci si trova. Una parola che significa una cosa a Londra può significarne una completamente diversa ad Auckland, o potrebbe non esistere affatto a Mumbai. Per decenni, le persone che mappano questi territori linguistici si sono affidate ai dizionari tradizionali, libri compilati da team di esperti che trascorrono anni a decidere quali parole siano abbastanza importanti da essere incluse. Ma il mondo del linguaggio si muove più velocemente di quanto qualsiasi team di editor possa tenere il passo, specialmente per le molte varietà di inglese parlate in tutto il mondo. Man mano che i computer e l'intelligenza artificiale diventano più comuni, cresce la necessità di insegnare loro come comprendere queste differenze locali. Se un computer non riesce a distinguere tra una frase neozelandese e una americana, fallirà nel comprendere le persone che lo utilizzano. Ciò crea un problema per l'equità tecnologica, poiché i sistemi costruiti solo sull'inglese standard spesso faticano a comprendere i modi ricchi e diversificati in cui le persone parlano realmente.

Per risolvere questo problema, i ricercatori stanno cercando nuovi modi per raccogliere dati linguistici che siano al contempo vasti e aggiornati. Una fonte promettente è Wiktionary, un dizionario online gratuito che chiunque può modificare. A differenza dei libri tradizionali, che sono scritti da un piccolo gruppo di esperti retribuiti, Wiktionary è un progetto crowdsourced dove volontari da tutto il mondo aggiungono voci, definizioni ed esempi. La domanda posta dai ricercatori era semplice ma difficile: può questo dizionario aperto e costruito dalla comunità servire come mappa affidabile per le molte varietà di inglese? Nello specifico, volevano sapere se Wiktionary coprisse le parole regionali tanto quanto il famoso Oxford English Dictionary, e se le parole trovate lì apparissero effettivamente nelle conversazioni reali che le persone hanno sui social media.

I ricercatori hanno iniziato confrontando i contenuti di Wiktionary con l'Oxford English Dictionary per dodici diverse varietà nazionali di inglese, che spaziavano dalle ben note varietà britannica e americana a quelle dell'India, del Kenya e delle Filippine. Hanno scoperto che, sebbene il dizionario tradizionale mantenga ancora un leggero vantaggio in termini di dimensioni per l'inglese americano e britannico standard, Wiktionary copre in realtà più terreno per molte altre regioni. Per varietà come l'inglese canadese, irlandese e australiano, Wiktionary conteneva significativamente più voci rispetto al dizionario tradizionale. La differenza era ancora più sorprendente per l'inglese parlato in paesi al di fuori del tradizionale "cerchio interno" delle nazioni anglofone. Mentre il dizionario tradizionale non aveva affatto voci per l'inglese del Kenya o del Pakistan, Wiktionary presentava centinaia di voci per queste varietà. Ciò suggerisce che il modello guidato dalla comunità è straordinariamente efficace nel catturare parole che gli editori professionisti potrebbero trascurare o non avere ancora il tempo di includere.

Per testare se queste parole fossero effettivamente utilizzate nel mondo reale, il team si è rivolto ai social media. Hanno esaminato milioni di post e commenti da comunità specifiche per paese su Reddit, un popolare forum online. Hanno trattato queste comunità digitali come un proxy della posizione geografica, assumendo che le persone che postano in una comunità neozelandese stiano probabilmente usando l'inglese neozelandese. Hanno poi controllato se le parole elencate in Wiktionary per ogni paese apparissero frequentemente nella corrispondente comunità online. I risultati hanno mostrato una forte connessione. Osservando i post principali scritti dalle persone, le parole trovate in Wiktionary apparivano esattamente dove ci si aspettava che fossero. Ad esempio, le parole specifiche della Nuova Zelanda apparivano più spesso nella comunità neozelandese, e le parole dell'India apparivano più spesso nella comunità indiana. Questo allineamento suggerisce che Wiktionary non è solo un elenco di parole, ma un riflesso di come le persone parlano realmente nelle loro vite digitali quotidiane.

Tuttavia, lo studio ha anche rivelato che il tipo di testo conta molto. La connessione tra il dizionario e i dati dei social media era molto forte quando si guardavano i post principali scritti dalle persone, ma è diventata molto più debole osservando i commenti lasciati in risposta. Nelle sezioni dei commenti, il linguaggio era più conversazionale e spesso mescolato con parole di altre lingue. Ad esempio, nella comunità della Nuova Zelanda, alcune parole che sembravano inglese neozelandese si sono rivelate essere in realtà parole comuni in Tagalog, la lingua delle Filippine, perché le due lingue condividono alcune grafie simili. Ciò ha evidenziato una sfida: sebbene il dizionario sia utile, il modo in cui le persone usano il linguaggio nelle conversazioni rapide e interattive può essere disordinato e influenzato da molti diversi fattori. I ricercatori hanno scoperto che il dizionario funzionava meglio quando il testo era più formale o strutturato, come un post principale, piuttosto che nel rapido scambio di commenti.

Lo studio ha anche esaminato da vicino come vengono formate le parole. Hanno confrontato i tipi di nuove parole trovate in Wiktionary per l'inglese neozelandese rispetto al dizionario tradizionale. Hanno trovato un livello molto alto di accordo nei modelli utilizzati per creare queste parole, come combinare due parole insieme o cambiare leggermente il significato di una parola. Ciò suggerisce che, nonostante Wiktionary sia scritto da volontari, il modo in cui costruiscono le voci segue le stesse regole logiche dei linguisti professionisti. I ricercatori hanno notato che Wiktionary era particolarmente bravo a includere frasi e modi di dire — gruppi di parole che hanno un significato specifico insieme — che sono spesso assenti dai dizionari tradizionali. Questo rende la risorsa crowdsourced specialmente preziosa per comprendere il lato colorato ed espressivo del linguaggio che i libri formali a volte lasciano fuori.

In definitiva, il documento conclude che Wiktionary è uno strumento potente e praticabile per comprendere i dialetti dell'inglese, specialmente per le regioni che sono state storicamente sottorappresentate nella tecnologia linguistica. Non sostituisce la necessità dei dizionari professionali, ma li integra offrendo una visione più veloce, inclusiva e aggiornata di come il linguaggio si stia evolvendo. I ricercatori avvertono che l'uso di questi dati richiede cautela, in particolare quando si trattano conversazioni online dove le diverse lingue potrebbero mescolarsi o dove il contesto della conversazione cambia il significato di una parola. Ma per l'obiettivo di costruire strumenti linguistici equi e accurati che funzionino per tutti, non solo per la maggioranza, questo dizionario aperto e costruito dalla comunità offre un pezzo cruciale del puzzle. Dimostra che quando le persone si uniscono per documentare la propria lingua, creano una risorsa che è sia profondamente accurata che straordinariamente ampia.