Qaamuuska-NLP: A Structured 46K-Entry Somali Lexicon Extracted from a Print Dictionary

A linguagem é mais do que apenas um fluxo de palavras; é um sistema estruturado onde cada palavra carrega um trabalho específico, uma história de como ela muda de forma e uma rede de relações com outras palavras. Para que os computadores compreendam uma língua, eles precisam de um mapa desta estrutura. Este mapa chama-se léxico, um dicionário digital que não se limita a listar palavras e seus significados, mas também regista detalhes gramaticais, como se um substantivo é masculino ou feminino, ou como um verbo muda quando descreve uma ação feita a alguém versus uma ação feita sozinho. Para muitas das línguas do mundo, estes mapas já são vastos e detalhados, permitindo que os computadores traduzam, pesquisem e analisem textos com grande precisão. No entanto, para o somali, uma língua falada por milhões de pessoas no Corno de África e na diáspora, estes mapas digitais têm sido incompletos. Embora o somali possua uma rica tradição de dicionários impressos, a informação contida neles permaneceu trancada num formato concebido para olhos humanos, tornando difícil o seu uso sistemático por máquinas.

Uma equipa de investigadores da Ogaal Labs abriu agora esse cadeado. Eles criaram um novo recurso digital chamado Qaamuuska-NLP, uma coleção estruturada de 46.314 entradas extraídas diretamente de um importante dicionário impreso publicado em 2012. Os investigadores não se limitaram a escanear as páginas do livro e transformar as imagens em texto, um processo que frequentemente introduz erros. Em vez disso, trabalharam com a camada de texto digital que já existia dentro do ficheiro PDF do dicionário. Construíram um conjunto de instruções precisas, baseadas em regras, para ler o layout do livro, identificar onde uma entrada de palavra terminava e a próxima começava, e extrair as pistas gramaticais específicas escondidas na formatação. O resultado é uma base de dados limpa e legível por máquina que preserva a organização do dicionário original, adicionando uma camada de estrutura que os computadores podem consultar instantaneamente. Este trabalho não substitui o livro original, mas sim traduz o seu profundo conhecimento linguístico para uma nova linguagem que o software possa falar.

A fonte deste novo recurso é o Qaamuuska Af-Soomaaliga, um dicionário monolíngue abrangente editado por Annarita Puglielli e Cabdalla Cumar Mansuur. Ao contrário de simples listas de palavras, este livro contém uma riqueza de informação gramatical que é essencial para compreender como o somali funciona. Ele indica ao leitor o género dos substantivos, a classe dos verbos e se um verbo requer um objeto direto. Também inclui sinónimos, referências cruzadas a outras palavras e etiquetas que indicam se uma palavra pertence a um campo específico, como medicina ou direito. O desafio para os investigadores foi que esta informação não estava armazenada em colunas de dados organizadas; estava incorporada no design visual da página impressa. O dicionário utiliza duas colunas de texto, abreviações específicas e pequenos números sobrescritos para distinguir entre palavras que parecem iguais, mas têm significados diferentes. Para construir a sua versão digital, os investigadores escreveram um programa de computador que poderia navegar neste layout sem precisar de adivinhar ou aprender através de exemplos. O programa lê a coluna da esquerda de uma página, depois a coluna da direita, e procura os padrões repetitivos que sinalizam o início de uma nova entrada de palavra.

Assim que o programa identificava uma entrada de palavra, decompunha o texto nas suas partes constituintes. Separava a palavra principal da sua definição, das suas etiquetas gramaticais e das suas referências a outras palavras. A equipa descobriu que o dicionário continha 46.314 registos distintos. Destes, cerca de 25.000 forneciam definições reais, enquanto os restantes 21.000 eram referências cruzadas que direcionavam o leitor para outra entrada. O processo de extração foi altamente bem-sucedido ao capturar os detalhes gramaticais que tornam o dicionário útil. Para as 34.726 entradas de substantivos, o sistema identificou com sucesso o género para quase todas elas, marcando-as como masculinas, femininas ou passíveis de serem ambos. Para as 11.445 entradas de verbos, o sistema capturou a classe de conjugação e se o verbo era transitivo ou intransitivo para quase todos eles. Os investigadores também preservaram o texto original de cada entrada juntamente com os novos dados estruturados. Isto garante que qualquer pessoa que utilize a base de dados possa sempre verificar a fonte original para validar a informação, mantendo intacta a ligação entre o mapa digital e o livro físico.

Os investigadores testaram a qualidade do seu trabalho observando quão bem as etiquetas gramaticais no dicionário correspondiam à forma real das palavras. Eles fizeram uma pergunta simples: se olharmos apenas para o final de uma palavra em somali, conseguimos prever a sua categoria gramatical? Utilizaram um método direto que analisava as últimas letras das palavras para adivinhar o seu género ou classe verbal. Os resultados mostraram que as etiquetas do dicionário não eram aleatórias. Para as classes verbais, o método foi correto 93,5 por cento das vezes, muito melhor do que simplesmente adivinhar a classe mais comum. Para o género dos substantivos, o método foi correto 86,4 por cento das vezes. Estes números sugerem que a informação gramatical no dicionário está profundamente ligada à forma física das palavras, confirmando que os dados extraídos refletem padrões linguísticos reais e não escolhas arbitrárias. No entanto, os investigadores notaram que este teste foi uma ferramenta de diagnóstico para verificar a consistência interna do recurso, e não um teste completo da capacidade de um computador analisar o texto em somali no mundo real.

O novo recurso preenche uma lacuna específica no panorama da tecnologia da língua somali. Enquanto outros projetos combinaram múltiplos dicionários ou se focaram na geração de listas de formas de palavras, este trabalho foca-se em preservar a estrutura de uma fonte única e autoritária. Ele captura as decisões editoriais e a forma específica como os autores originais organizaram a língua. A base de dados inclui 11.415 ligações de sinónimos e 21.032 referências cruzadas, criando uma rede que mostra como as palavras se relacionam umas com as outras dentro da própria lógica do dicionário. Também identifica 1.945 entradas que pertencem a campos especializados, tais como medicina, física e direito, fornecendo um ponto de partida para a construção de vocabulário técnico em somali. Os investigadores salientam cuidadosamente que este recurso é uma representação desse dicionário específico de 2012, e não um censo completo de todas as palavras usadas no somali hoje. A cobertura e as definições específicas refletem as escolhas feitas pelos editores originais.

Existem limitações nesta abordagem, que os autores reconhecem abertamente. Como as regras de extração foram desenhadas especificamente para o layout deste livro único, não podem ser aplicadas diretamente a um dicionário diferente sem modificações. A equipa também notou que o PDF original continha algumas inconsistências na forma como os apóstrofos eram digitados, o que poderia afetar as correspondências exatas entre palavras, embora tenham mantido o texto original para permitir correções futuras. Além disso, embora o código de extração e os sumários estatísticos dos dados estejam a ser preparados para publicação, a lista completa das 46.314 palavras e as suas definições ainda não podem ser partilhadas livremente. Isto deve-se ao facto de o dicionário original ter direitos de autor e os investigadores ainda estarem a trabalhar para garantir as permissões necessárias para redistribuir o conteúdo completo. Até que essa permissão seja concedida, o conjunto de dados completo permanece um artefacto de investigação privado, embora os métodos utilizados para o criar estejam disponíveis para que outros possam estudar e adaptar.

O valor deste trabalho reside na sua capacidade de transformar um livro estático num instrumento dinâmico. Ao converter o dicionário num formato estruturado, os investigadores tornaram possível que os computadores pesquisem palavras pelas suas propriedades gramaticais, tracem a rede de sinónimos e referências cruzadas, e analisem a distribuição de termos especializados. Isto não resolve todos os problemas do processamento da língua somali, mas fornece uma base sólida de dados curados de alta qualidade. Demonstra que o valioso conhecimento linguístico muitas vezes permanece latente em livros impressos, à espera de um método para o libertar. O projeto Qaamuuska-NLP mostra que, com uma abordagem cuidadosa e baseada em regras, é possível recuperar este conhecimento sem perder a nuance e a estrutura da fonte original, ofereando um novo recurso para investigadores, educadores e desenvolvedores que trabalham para trazer o somali para a era digital.