Resumo Técnico: AfriSUD – Uma Coleção de Árvores de Dependência para Avaliação de Modelos em Línguas Africanas

1. Declaração do Problema

Apesar de representarem quase um terço da diversidade linguística global, as línguas africanas permanecem significativamente sub-representadas na investigação e nos recursos de Processamento de Linguagem Natural (PLN). Embora tarefas fundamentais como tradução automática e extração de informação dependam fortemente de análise de dependência (parsing), a maioria das línguas africanas carece de treebanks de padrão ouro necessários para o desenvolvimento e avaliação de modelos sintáticos. Os esforços de grande escala existentes, como o Universal Dependencies (UD), cobrem menos de 15 línguas africanas de um total de 186 documentadas. Esta escassez cria uma barreira para a construção de ferramentas conscientes da gramática, para a realização de transferência translinguística e para a avaliação de modelos multilingues de última geração em contextos de baixos recursos. Além disso, muitas línguas africanas exibem características morfológicas e fonológicas complexas — como aglutinação, sistemas extensos de classes nominais e distinções tonais — que são mal suportadas pelos pipelines de PLN padrão e pelos corpora anotados existentes.

2. Metodologia

Construção do Conjunto de Dados: AfriSUD

Os autores introduzem o AfriSUD, a primeira coleção de grande escala e impulsionada pela comunidade de treebanks anotados sintaticamente para nove línguas africanas diversas. O conjunto de dados abrange o Oeste, o Leste e o Sul de África, cobrindo três grandes famílias linguísticas:

• Níger-Congo: Swahili, Kinyarwanda, Runyankore, isiXhosa (subgrupo Bantu); Wolof (Senegâmbia); Yorùbá e Efik (Volta–Niger e Cross River).
• Afro-Asiática: Hausa (ramo Chádico).
• Crioula: Naija (Pidgin Nigeriano, baseado no inglês).

O corpus inclui aproximadamente de 8.000 a 1.500 frases por língua, provenientes de notícias, manuais educativos e textos traduzidos. As línguas variam tipologicamente, indo desde aglutinantes (ex: línguas Bantu) até isolantes (ex: Yorùbá, Naija) e fusionais (ex: Hausa).

Estrutura de Anotação:
Os treebanks são anotados utilizando a estrutura Surface-Syntactic Universal Dependencies (SUD). O SUD foi selecionado pela sua capacidade de representar relações morfológicas e sintáticas com alta fidelidade, mantendo a consistência translinguística e a compatibilidade de conversão para UD.

• Pipeline: O processo inclui lematização, etiquetagem de Part-of-Speech (UPOS) Universal, anotação de cabeça de dependência e rotulagem de relação de dependência.
• Ferramentas: A anotação foi realizada usando o Arborator-Grew. As pré-anotações iniciais foram geradas através de uma interface de parser baseada em BertForDeprel, seguida de correção manual.
• Controlo de Qualidade: Cada língua foi anotada por três linguistas nativos (um coordenador e dois anotadores). Um procedimento de adjudicação baseado em consenso resolveu as divergências. Verificações de validação automática garantiram a integridade estrutural (ex: ausência de ciclos, raiz única).

Desafios de Anotação:
O artigo detalha desafios específicos na aplicação do SUD a estas línguas:

• Vinculação Morfológica: Foram tomadas decisões entre decomposição morfológica (segmentação de raízes e afixos) e preservação de token único. Por exemplo, os tokens de Efik e Yorùbá foram segmentados, enquanto o isiXhosa e o Hausa mantiveram a integridade lexical para se alinharem com a abordagem orientada à superfície do SUD.
• Ambiguidade: A resolução de ambiguidades léxicas e sintáticas (ex: morfemas multifuncionais em Yorùbá) baseou-se na análise contextual e em convenções de equipa.
• Relações Específicas da Língua: A adaptação das relações do SUD para fenómenos como construções de verbos seriais, auxiliares de Tempo-Aspeto-Modo (TAM) e marcadores possessivos exigiu uma adaptação cuidadosa, por vezes desviando-se ligeiramente das diretrizes padrão para refletir a realidade linguística.

Configuração Experimental

Os autores avaliaram uma gama diversificada de modelos no AfriSUD para etiquetagem de Part-of-Speech (POS) e análise de dependência:

1. Baselines: Stanza (analisador de dependência neural) inicializado com embeddings fastText.
2. Codificadores Multilingues: Parsers biaffine ajustados (fine-tuned) de ponta a ponta usando modelos gerais (mBERT, XLM-RoBERTa) e modelos centrados em África (AfriBERTa, AfroXLMR, AfroXLMR-large-76L).
3. Large Language Models (LLMs): Experiências de prompting zero-shot e few-shot com Gemini-3.1-Pro, GPT-5.2, GPT-4o e Gemma-3 (12B/27B). Uma linha de base de ajuste fino supervisionado (SFT) também foi estabelecida para o Gemma-3-12B.
4. Transferência Translinguística: Avaliou-se a transferência zero-shot de sete línguas de origem (incluindo Inglês, Francês e línguas africanas como Wolof e Naija) para as nove línguas alvo.

3. Resultados Principais

Desempenho de Baseline

• Etiquetagem de POS: Codificadores baseados em Transformer geralmente superaram o Stanza. O modelo centrado em África AfroXLMR-large-76L alcançou a maior precisão de macro-média (90,6%), comparativamente aos 88,4% do Stanza.
• Análise de Dependência: O Stanza permaneceu como a baseline mais forte para análise de dependência, atingindo o maior Unlabeled Attachment Score (UAS: 84,4) e Labeled Attachment Score (LAS: 77,5). Entre os transformers, os codificadores centrados em África (AfroXLMR-large-76L) superaram os modelos multilingues gerais, atingindo 83,1 UAS e 73,9 LAS.
• Lacuna UAS vs. LAS: Em todos os modelos, o LAS foi consistentemente inferior ao UAS, indicando que, embora os modelos consigam identificar as cabeças de dependência, atribuir o rótulo de relação sintática correto permanece significativamente mais difícil.

Desempenho de LLMs

• Prompting: Demonstrações de contexto (in-context demonstrations / few-shot prompting) melhoraram consistentemente o desempenho em todos os LLMs e métricas, com os ganhos mais significativos observados no LAS. Por exemplo, o LAS do GPT-5.2 melhorou de 16,5 (0-shot) para 52,5 (5-shot).
• Comparação: Apesar das melhorias, os LLMs (mesmo com 5-shot prompting) geralmente tiveram um desempenho inferior aos parsers supervisionados como o Stanza. O Gemini-3.1-Pro foi o melhor entre os LLMs (5-shot LAS: 59,2), mas ainda ficou atrás do Stanza (LAS: 77,5).
• SFT vs. Prompting: O ajuste fino supervisionado (SFT) do Gemma-3-12B superou significativamente o few-shot prompting, reduzindo a lacuna para o melhor modelo de prompting (Gemini-3.1-Pro) para apenas 1,2 pontos de LAS.

Transferência Translinguística

Os resultados de transferência zero-shot usando AfroXLMR-large-76L mostraram que o desempenho de transferência é altamente dependente do par origem-alvo. O uso de Naija (pcm) aumentado com treebanks existentes (pcm+nsc) produziu os melhores resultados de transferência globais. Entre as fontes não africanas, o Romeno teve o melhor desempenho. Línguas alvo como o Swahili foram mais fáceis de analisar, enquanto o Efik e o isiXosa permaneceram desafiantes.

Análise de Erros

A análise de erros dos LLMs (especificamente o Gemini-3.1-Pro) revelou uma "lacuna sintática":

• Desajuste Cabeça vs. Rótulo: Os modelos foram melhores a prever cabeças de dependência do que rótulos de relação. Por exemplo, em construções de verbos seriais (comp:svc), o modelo obteve 0% de LAS mas 46% de UAS.
• Falhas Específicas: Os erros concentraram-se em:
  • Construções de Verbos Seriais: Frequentemente achatadas em relações genéricas como mod ou comp:obj.
  • Auxiliares TAM: Cadeias de múltiplos tokens (ex: em Naija) eram frequentemente achatadas em vez de modeladas como dependências em cascata.
  • Possessivos: Frequentemente rotulados incorretamente como mod ou comp:obj.
  • Relações Subespecificadas (udep): Os modelos tiveram dificuldade em distinguir entre argumentos e modificadores em contextos ambíguos.

4. Contribuições e Significância

O artigo apresenta as seguintes contribuições primárias:

1. Criação de Recursos: O lançamento do AfriSUD, a primeira coleção de grande escala e verificada pela comunidade de treebanks SUD para nove línguas africanas tipologicamente diversas.
2. Documentação Metodológica: Um relato detalhado dos desafios de anotação e soluções específicas para línguas africanas, incluindo estratégias para lidar com aglutinação, clíticos e tom dentro da estrutura SUD.
3. Benchmarking Abrangente: Uma avaliação sistemática de parsers supervisionados, codificadores multilingues e LLMs, estabelecendo novas bases para a análise sintática de línguas africanas em PLN.
4. Identificação de Lacunas: O trabalho destaca uma persistente "lacuna sintática" onde as arquiteturas atuais, incluindo LLMs, têm dificuldade em capturar a diversidade estrutural das línguas africanas, particularmente em relação à rotulagem de relações e construções complexas como verbos seriais e cadeias TAM.

Significância:
Os autores posicionam o AfriSUD como um recurso fundamental para uma avaliação e modelação sintática mais fundamentada linguisticamente das línguas africanas. Ao demonstrar que as arquiteturas existentes (tanto os modelos baseados em transformer quanto os LLMs) apresentam limitações claras na captura das estruturas sintáticas africanas, o artigo defende a necessidade de um desenvolvimento contínuado de recursos e de adaptação arquitetónica. O conjunto de dados e os benchmarks pretendem facilitar a investigação reprodutível e apoiar o desenvolvimento de ferramentas conscientes da gramática para milhões de falantes no África Subsariana.

Limitações:
Os autores observam que o conjunto de dados cobre um número limitado de exemplos para certas relações de dependência raras. Adicionalmente, as experiências com LLMs estão restritas a modelos e configurações específicas, e a reprodutibilidade dos resultados de modelos fechados pode ser afetada por futuras atualizações de modelos. A análise de erros foca-se em relações SUD específicas e no melhor modelo de prompting.