Qaamuuska-NLP: A Structured 46K-Entry Somali Lexicon Extracted from a Print Dictionary

Il linguaggio è molto più di un semplice flusso di parole; è un sistema strutturato dove ogni parola svolge un compito specifico, possiede una storia di come cambia forma e una rete di relazioni con altre parole. Affinché i computer possano comprendere una lingua, hanno bisogno di una mappa di questa struttura. Questa mappa si chiama lessico, un dizionario digitale che non si limita a elencare parole e loro significati, ma registra anche dettagli grammaticali come se un sostantivo sia maschile o femminile, o come un verbo cambi quando descrive un'azione compiuta su qualcuno rispetto a un'azione compiuta da soli. Per molte delle lingue del mondo, queste mappe sono già vaste e dettagliate, permettendo ai computer di tradurre, cercare e analizzare testi con grande precisione. Tuttavia, per lo somalo, una lingua parlata da milioni di persone nell'Africa di Corno e nella diaspora, queste mappe digitali sono state incomplete. Sebbene lo somalo abbia una ricca tradizione di dizionari stampati, le informazioni al loro interno sono rimaste bloccate in un formato progettato per gli occhi umani, rendendo difficile l'uso sistematico da parte delle macchine.

Un team di ricercatori di Ogaal Labs ha ora aperto quel lucchetto. Hanno creato una nuova risorsa digitale chiamata Qaamuuska-NLP, una collezione strutturata di 46.314 voci estratte direttamente da un importante dizionario stampato in somalo pubblicato nel 2012. I ricercatori non si sono limitati a scansionare le pagine del libro per trasformare le immagini in testo, un processo che spesso introduce errori. Invece, hanno lavorato con lo strato di testo digitale che esisteva già all'interno del file PDF del dizionario. Hanno costruito un insieme di istruzioni precise, basate su regole, per leggere il layout del libro, identificare dove terminava una voce e iniziava la successiva, ed estrarre gli specifici indizi grammaticali nascosti nella formattazione. Il risultato è un database pulito e leggibile dalle macchine che preserva l'organizzazione del dizionario originale, aggiungendo al contempo uno strato di struttura che i computer possono interrogare istantaneamente. Questo lavoro non sostituisce il libro originale, ma traduce la sua profonda conoscenza linguistica in un nuovo linguaggio che il software può parlare.

La fonte di questa nuova risorsa è Qaamuuska Af-Soomaaliga, un dizionario monolingue completo curato da Annarita Puglielli e Cabdalla Cumar Mansuur. A differenza dei semplici elenchi di parole, questo libro contiene una ricchezza di informazioni grammaticali essenziali per comprendere come funziona lo somalo. Indica al lettore il genere dei sostantivi, la classe dei verbi e se un verbo richiede un oggetto diretto. Include anche sinonimi, riferimenti incrociati ad altre parole e etichette che indicano se una parola appartiene a un campo specifico come la medicina o il diritto. La sfida per i ricercatori è stata che queste informazioni non erano archiviate in colonne ordinate di dati; erano incorporate nel design visivo della pagina stampata. Il dizionario utilizza due colonne di testo, abbreviazioni specifiche e piccoli numeri in apice per distinguere tra parole che appaiono uguali ma hanno significati diversi. Per costruire la loro versione digitale, i ricercatori hanno scritto un programma per computer capace di navigare in questo layout senza dover indovinare o imparare da esempi. Il programma legge la colonna sinistra di una pagina, poi la colonna destra, e scansiona i modelli ripetitivi che segnalano l'inizio di una nuova voce.

Una volta che il programma ha identificato una voce, l'ha scomposta nelle sue parti componenti. Ha separato la parola principale dalla sua definizione, dai suoi tag grammaticali e dai suoi riferimenti ad altre parole. Il team ha scoperto che il dizionario conteneva 46.314 record distinti. Di questi, circa 25.000 fornivano definizioni reali, mentre i restanti 21.000 erano riferimenti incrociati che rimandavano il lettore a un'altra voce. Il processo di estrazione è stato estremamente efficace nel catturare i dettagli grammaticali che rendono utile il dizionario. Per le 34.726 voci di sostantivi, il sistema ha identificato con successo il genere per quasi tutte, contrassegnandole come maschili, femminili o capaci di essere entrambi. Per le 11.445 voci di verbi, il sistema ha catturato la classe di coniugazione e se il verbo fosse transitivo o intransitivo per quasi tutti i casi. I ricercatori hanno anche preservato il testo originale di ogni voce accanto ai nuovi dati strutturati. Ciò assicura che chiunque utilizzi il database possa sempre controllare la fonte originale per verificare l'informazione, mantenendo intatto il legame tra la mappa digitale e il libro fisico.

I ricercatori hanno testato la qualità del loro lavoro osservando quanto bene le etichette grammaticali nel dizionario corrispondessero alla forma effettiva delle parole. Si sono posti una domanda semplice: se guardi solo la fine di una parola somala, puoi predire la sua categoria grammaticale? Hanno utilizzato un metodo diretto che guardava le ultime lettere delle parole per indovinare il genere o la classe verbale. I risultati hanno mostrato che le etichette del dizionario non erano casuali. Per le classi verbali, il metodo era corretto il 93,5 percento delle volte, molto meglio che limitarsi a indovinare la classe più comune. Per il genere dei sostantivi, il metodo era corretto l'86,4 percento delle volte. Questi numeri suggeriscono che l'informazione grammaticale nel dizionario è profondamente legata alla forma fisica delle parole, confermando che i dati estratti riflettono reali schemi linguistici piuttosto che scelte arbitrarie. Tuttavia, i ricercatori hanno notato che questo test era uno strumento diagnostico per controllare la coerenza interna della risorsa, non un test completo della capacità di un computer di analizzare il testo somalo nel mondo reale.

La nuova risorsa colma una lacuna specifica nel panorama della tecnologia della lingua somala. Mentre altri progetti hanno combinato più dizionari o si sono concentrati sulla generazione di liste di forme di parole, questo lavoro si concentra sulla preservazione della struttura di una singola fonte autorevole. Cattura le decisioni editoriali e il modo specifico in cui gli autori originali hanno organizzato la lingua. Il database include 11.415 collegamenti di sinonimi e 21.032 riferimenti incrociati, creando una rete che mostra come le parole si relazionano tra loro secondo la propria logica interna. Identifica inoltre 1.945 voci appartenenti a campi specializzati come la medicina, la fisica e il diritto, fornendo un punto di partenza per la costruzione di un vocabolario tecnico in somalo. I ricercatori sottolineano con cura che questa risorsa è una rappresentazione di quel particolare dizionario del 2012, non un censimento completo di ogni parola usata oggi in somalo. La copertura e le definizioni specifiche riflettono le scelte fatte dai redattori originali.

Ci sono limitazioni in questo approccio, che gli autori riconoscono apertamente. Poiché le regole di estrazione sono state progettate specificamente per il layout di questo singolo libro, non possono essere applicate direttamente a un dizionario diverso senza modifiche. Il team ha inoltre notato che il PDF originale conteneva alcune incongruenze nel modo in cui venivano digitati gli apostrofi, il che potrebbe influenzare l'esattezza dei match tra le parole, sebbene abbiano mantenuto il testo originale per consentire future correzioni. Inoltre, mentre il codice di estrazione e i riassunti statistici dei dati sono in fase di preparazione per il rilascio pubblico, l'elenco completo delle 46.314 parole e delle loro definizioni non può ancora essere condiviso liberamente. Questo perché il dizionario originale è protetto da copyright e i ricercatori stanno ancora lavorando per ottenere le autorizzazioni necessarie per la ridistribuzione del contenuto completo. Fino a quando tale permesso non sarà concesso, l'intero dataset rimane un artefatto di ricerca privato, sebbene i metodi utilizzati per crearlo siano disponibili affinché altri possano studiarli e adattarli.

Il valore di questo lavoro risiede nella sua capacità di trasformare un libro statico in uno strumento dinamico. Convertendo il dizionario in un formato strutturato, i ricercatori hanno reso possibile per i computer cercare parole in base alle loro proprietà grammaticali, tracciare la rete di sinonimi e riferimenti incrociati e analizzare la distribuzione dei termini specializzati. Questo non risolve ogni problema dell'elaborazione della lingua somala, ma fornisce una solida base di dati di alta qualità e curati. Dimostra che la preziosa conoscenza linguistica spesso giace dormiente nei libri stampati, in attesa di un metodo per sbloccarla. Il progetto Qaamuuska-NLP dimostra che, con un approccio accurato basato su regole, è possibile recuperare questa conoscenza senza perdere la sfumatura e la struttura della fonte originale, offrendo una nuova risorsa per ricercatori, educatori e sviluppatori che lavorano per portare lo somalo nell'era digitale.