Automatically Detecting Code-Switching Between Nigerian Pidgin English and English

Nelle vivaci e multilingue realtà della Nigeria, la lingua è raramente un flusso singolo e statico. È invece una corrente dinamica dove due lingue fluiscono spesso insieme nella stessa frase. Questa pratica, nota come code-switching, avviene quando un parlante si muove fluidamente tra l'inglese standard e il pidgin inglese nigeriano, una vibrante lingua creola usata da milioni di persone come ponte tra diversi gruppi etnici. Per i computer, che si affidano a regole rigide e categorie chiare per comprendere il testo, questa fluidità rappresenta un enigma significativo. Gli strumenti tradizionali spesso faticano a determinare dove finisce una lingua e dove inizia l'altra, specialmente quando la seconda lingua, il pidgin, manca di un'ortografia singola standardizzata e varia ampiamente a seconda della regione. Senza un modo per identificare accuratamente questi passaggi, i computer non possono elaborare efficacemente le ricche conversazioni bilingui che definiscono la vita quotidiana di milioni di persone, lasciando una vasta porzione della comunicazione umana invisibile alla tecnologia digitale.

Per risolvere questo problema, i ricercatori dell'Università di Bangor si sono posti l'obiettivo di costruire una nuova sorta di mappa per questi testi misti. Hanno iniziato raccogliendo una massiccia collezione di scritti reali, unendo storie tratte da trenta libri diversi, migliaori commenti da un forum online e centinaia di articoli di notizie. Questo mix diversificato ha garantito la cattura dell'intero spettro di come le persone parlano e scrivono, dalla struttura formale dei reportage giornalistici alle scambi rapidi e informali degli utenti di internet. Il team ha poi creato un dataset di "verità di base" (ground truth), una guida di riferimento accuratamente verificata dove esperti umani hanno segnato manualmente ogni singolo punto in cui la lingua passava dall'inglese al pidgin o viceversa. Questa mappa verificata dall'uomo è servita come standard di riferimento contro cui tutti i modelli informatici sarebbero stati testati.

I ricercatori hanno poi addestrato diversi tipi di programmi informatici per imparare a individuare questi passaggi autonomamente. Hanno provato i soliti sospetti nel campo dell'intelligenza artificiale, come i modelli di deep learning che tentano di imitare il modo in cui i cervelli umani elaborano le sequenze di parole. Hanno anche testato i tradizionali classificatori statistici che cercano schemi nei gruppi di lettere. Tuttavia, lo strumento più sorprendente ed efficace si è rivelato essere qualcosa di molto diverso: un modello basato sulla compressione. In termini semplici, questo tipo di programma funziona imparando i pattern statistici di come le lettere si susseguono in una lingua specifica, proprio come una persona che ha letto un libro così tante volte da poter prevedere la parola successiva senza pensarci. I ricercatori hanno utilizzato un metodo specifico chiamato Prediction by Partial Matching, che permette al computer di analizzare il testo carattere per carattere, costruendo una mappa di probabilità su cosa verrà dopo in base al contesto immediato.

Quando il team ha messo alla prova questi diversi programmi rispetto alla loro mappa verificata dagli umani, i risultati sono stati rivelatori. I modelli di deep learning, che spesso richiedono enormi quantità di dati per funzionare bene, hanno faticato a tenere il passo, ottenendo punteggi di accuratezza inferiori alle aspettative. I modelli statistici tradizionali hanno performato meglio, con un tipo specifico di classificatore random forest che ha raggiunto un'accuratezza dell'89 percento. Eppure, i modelli basati sulla compressione, che non necessitano di dataset massicci per apprendere, hanno performato altrettanto bene dei migliori modelli tradizionali, raggiungendo anch'essi un'accuratezza dell'89 percento. Ciò che ha reso questi modelli di compressione particolarmente impressionanti è stata la loro velocità ed efficienza. Mentre altri modelli richiedevano più tempo per l'addestramento e l'elaborazione, i modelli di compressione potevano apprendere i pattern della lingua e poi analizzare nuovi testi in pochi secondi, richiedendo pochissima potenza di calcolo.

Lo studio ha anche svelato dettagli interessanti sulle lingue stesse. Analizzando il testo, i ricercatori hanno scoperto che il pidgin nigeriano tende a utilizzare un vocabolario più compresso, facendo affidamento pesantemente su un set ristretto di parole ad alta frequenza rispetto al vocabolario più ampio e diversificato dell'inglese standard. Questa differenza di struttura ha aiutato i modelli informatici a distinguere tra le due lingue, poiché i pattern statistici delle sequenze di lettere nel pidgin erano abbastanza distinti da essere riconosciuti anche senza un dizionario massiccio. Le matrici di confusione, che mostrano esattamente dove i modelli hanno commesso errori, hanno rivelato che i modelli di compressione erano particolarmente bravi nell'identificare il pidgin, segnalando correttamente quasi il 93 percento dei segmenti in pidgin, sebbene occasionalmente scambiasse parte dell'inglese per pidgin.

In definitiva, questa ricerca dimostra che non è sempre necessario avere l'intelligenza artificiale più complessa e vorace di dati per risolvere problemi linguistici difficili. Per le lingue a basse risorse come il pidgin nigeriano, che mancano dei vasti archivi digitali disponibili per le principali lingue mondiali, approcci statistici più semplici possono essere efficaci quanto le reti neurali più avanzate. I modelli basati sulla compressione si sono dimostrati un'alternativa potente, veloce ed efficiente, capace di segmentare il testo misto con alta precisione. Fornendo un nuovo dataset verificato manualmente e dimostrando la validità di questi modelli leggeri, i ricercatori hanno aperto una porta per futuri strumenti che possano finalmente comprendere ed elaborare le ricche conversazioni in codice misto di milioni di persone, rendendo la tecnologia digitale più inclusiva per i parlanti di lingue diverse ed in continua evoluzione.