Qaamuuska-NLP: A Structured 46K-Entry Somali Lexicon Extracted from a Print Dictionary

Le langage est bien plus qu'un simple flux de mots ; c'est un système structuré où chaque mot possède une fonction spécifique, une histoire de la façon dont sa forme change et un réseau de relations avec d'autres mots. Pour que les ordinateurs comprennent une langue, ils ont besoin d'une carte de cette structure. Cette carte s'appelle un lexique, un dictionnaire numérique qui ne se contente pas de lister les mots et leurs significations, mais qui enregistre également des détails grammaticaux comme le fait qu'un nom soit masculin ou féminin, ou comment un verbe change lorsqu'il décrit une action subie par quelqu'un par rapport à une action accomplie seul. Pour de nombreuses langues du monde, ces cartes sont déjà vastes et détaillées, permettant aux ordinateurs de traduire, de rechercher et d'analyser du texte avec une grande précision. Cependant, pour le somali, une langue parlée par des millions de personnes dans la Corne de l'Afrique et au sein de la diaspora, ces cartes numériques ont été incomplètes. Bien que le somali possède une riche tradition de dictionnaires imprimés, les informations qu'ils contiennent sont restées verrouillées dans un format conçu pour l'œil humain, ce qui les rend difficiles à utiliser systématiquement par les machines.

Une équipe de chercheurs d'Ogaal Labs a maintenant ouvert ce verrou. Ils ont créé une nouvelle ressource numérique appelée Qaamuuska-NLP, une collection structurée de 46 314 entrées extraites directement d'un dictionnaire majeur en somali publié en 2012. Les chercheurs n'ont pas simplement scanné les pages du livre pour transformer les images en texte, un processus qui introduit souvent des erreurs. Au lieu de cela, ils ont travaillé avec la couche de texte numérique qui existait déjà à l'intérieur du fichier PDF du dictionnaire. Ils ont construit un ensemble d'instructions précises, basées sur des règles, pour lire la mise en page du livre, identifier où une entrée de mot se terminait et où la suivante commençait, et extraire les indices grammaticaux spécifiques cachés dans le formatage. Le résultat est une base de données propre et lisible par machine qui préserve l'organisation du dictionnaire original tout en ajoutant une couche de structure que les ordinateurs peuvent interroger instantanément. Ce travail ne remplace pas le livre original, mais traduit plutôt sa connaissance linguistique profonde dans une nouvelle langue que les logiciels peuvent parler.

La source de cette nouvelle ressource est le Qaamuuska Af-Soomaaliga, un dictionnaire monolingue complet édité par Annarita Puglielli et Cabdalla Cumar Mansuur. Contrairement aux simples listes de mots, ce livre contient une richesse d'informations grammaticales essentielles pour comprendre le fonctionnement du somali. Il indique au lecteur le genre des noms, la classe des verbes et si un verbe nécessite un complément d'objet direct. Il inclut également des synonymes, des renvois vers d'autres mots et des étiquettes indiquant si un mot appartient à un domaine spécifique comme la médecine ou le droit. Le défi pour les chercheurs était que cette information n'était pas stockée dans des colonnes de données ordonnées ; elle était intégrée dans le design visuel de la page imprimée. Le dictionnaire utilise deux colonnes de texte, des abréviations spécifiques et de petits chiffres en exposant pour distinguer les mots qui se ressemblent mais ont des significations différentes. Pour construire leur version numérique, les chercheurs ont écrit un programme informatique capable de naviguer dans cette mise en page sans avoir besoin de deviner ou d'apprendre à partir d'exemples. Le programme lit la colonne de gauche d'une page, puis la colonne de droite, et recherche les motifs répétitifs qui signalent le début d'une nouvelle entrée de mot.

Une fois que le programme a identifié une entrée de mot, il a décomposé le texte en ses parties constituantes. Il a séparé le mot principal de sa définition, de ses étiquettes grammaticales et de ses références à d'autres mots. L'équipe a constaté que le dictionnaire contenait 46 314 enregistrements distincts. Parmi ceux-ci, environ 25 000 fournissaient des définitions réelles, tandis que les 21 000 restants étaient des renvois pointant le lecteur vers une autre entrée. Le processus d'extraction a réussi avec brio à capturer les détails grammaticaux qui rendent le dictionnaire utile. Pour les 34 726 entrées de noms, le système a identifié avec succès le genre pour la quasi-totalité d'entre elles, les marquant comme masculines, féminines ou capables d'être l'un ou l'autre. Pour les 11 445 entrées de verbes, le système a capturé la classe de conjugaison et si le verbe était transitif ou intransitif pour presque chacun d'eux. Les chercheurs ont également préservé le texte original de chaque entrée aux côtés des nouvelles données structurées. Cela garantit que toute personne utilisant la base de données peut toujours vérifier la source originale pour valider l'information, maintenant intact le lien entre la carte numérique et le livre physique.

Les chercheurs ont testé la qualité de leur travail en examinant si les étiquettes grammaticales du dictionnaire correspondaient bien à la forme réelle des mots. Ils ont posé une question simple : si vous ne regardez que la fin d'un mot somali, pouvez-vous prédire sa catégorie grammaticale ? Ils ont utilisé une méthode directe consistant à regarder les dernières lettres des mots pour deviner leur genre ou leur classe verbale. Les résultats ont montré que les étiquettes du dictionnaire n'étaient pas aléatoires. Pour les classes verbales, la méthode était correcte 93,5 % du temps, ce qui est bien meilleur que de simplement deviner la classe la plus commune. Pour le genre des noms, la méthode était correcte 86,4 % du temps. Ces chiffres suggèrent que l'information grammaticale du dictionnaire est profondément liée à la forme physique des mots, confirmant que les données extraites reflètent des modèles linguistiques réels plutôt que des choix arbitraires. Cependant, les chercheurs ont noté que ce test était un outil de diagnostic pour vérifier la cohérence interne de la ressource, et non un test complet de la capacité d'un ordinateur à analyser le texte somali dans le monde réel.

Cette nouvelle ressource comble une lacune spécifique dans le paysage de la technologie de la langue somali. Alors que d'autres projets ont combiné plusieurs dictionnaires ou se sont concentrés sur la génération de listes de formes de mots, ce travail se concentre sur la préservation de la structure d'une source unique et faisant autorité. Il capture les décisions éditoriales et la manière spécifique dont les auteurs originaux ont organisé la langue. La base de données comprend 11 415 liens de synonymes et 21 032 renvois, créant un réseau qui montre comment les mots sont liés les uns aux autres selon la propre logique du dictionnaire. Elle identifie également 1 945 entrées appartenant à des domaines spécialisés tels que la médecine, la physique et le droit, offrant un point de départ pour construire un vocabulaire technique en somali. Les chercheurs précisent avec prudence que cette ressource est une représentation de ce dictionnaire spécifique de 2012, et non un recensement complet de tous les mots utilisés aujourd'hui en somali. La couverture et les définitions spécifiques reflètent les choix faits par les éditeurs originaux.

Il existe des limites à cette approche, que les auteurs reconnaissent ouvertement. Comme les règles d'extraction ont été conçues spécifiquement pour la mise en page de ce livre unique, elles ne peuvent pas être appliquées directement à un autre dictionnaire sans modification. L'équipe a également noté que le PDF original contenait certaines incohérences dans la façon dont les apostrophes étaient tapées, ce qui pourrait affecter les correspondances exactes entre les mots, bien qu'ils aient conservé le texte original pour permettre de futures corrections. De plus, bien que le code d'extraction et les résumés statistiques des données soient en cours de préparation pour une publication publique, la liste complète des 46 314 mots et de leurs définitions ne peut pas encore être partagée librement. En effet, le dictionnaire original est protégé par le droit d'auteur, et les chercheurs travaillent encore à obtenir les permissions nécessaires pour redistribuer le contenu complet. Jusqu'à ce que cette permission soit accordée, l'ensemble du jeu de données reste un artefact de recherche privé, bien que les méthodes utilisées pour le créer soient disponibles pour que d'autres puissent les étudier et les adapter.

La valeur de ce travail réside dans sa capacité à transformer un livre statique en un outil dynamique. En convertissant le dictionnaire en un format structuré, les chercheurs ont permis aux ordinateurs de rechercher des mots par leurs propriétés grammaticales, de tracer le réseau de synonymes et de renvois, et d'analyser la distribution des termes spécialisés. Cela ne résout pas tous les problèmes du traitement de la langue somali, mais cela fournit une base solide de données de haute qualité et organisées. Cela démontre que la connaissance linguistique précieuse repose souvent dormante dans les livres imprimés, attendant une méthode pour la déverrouiller. Le projet Qaamuuska-NLP montre qu'avec une approche rigoureuse basée sur des règles, il est possible de récupérer cette connaissance sans perdre la nuance et la structure de la source originale, offrant ainsi une nouvelle ressource pour les chercheurs, les éducateurs et les développeurs travaillant à faire entrer le somali dans l'ère numérique.