UD-Quran: A Universal Dependencies Conversion of the Extended Quranic Treebank for Interoperable Quranic/Classical Arabic Parsing

Resumo Técnico: UD-Quran

Problema
O árabe corânico possui um texto canônico e estável, mas sua codificação computacional carece de uniformidade. Práticas divergentes de ortografia, diacritização e, mais criticamente, segmentação de clíticos, criam inventários de tokens incompatíveis que dificultam a comparação e o reúso entre recursos no Processamento de Linguagem Natural (PLN) moderno. Embora recursos como o Quranic Arabic Corpus e o Extended Quranic Treebank (EQTB) ofereçam anotações de alta qualidade e alinhadas à tradição, suas convenções específicas de segmentação e formalismos sintáticos frequentemente divergem dos padrões exigidos pelos ecossistemas de PLN contemporâneos, particularmente o framework Universal Dependencies (UD). Essa falta de interoperabilidade limita a capacidade de treinar parsers padrão, utilizar scripts de avaliação compartilhados e integrar dados corânicos em ferramentas multilingues mais amplas.

Metodologia
O artigo apresenta o UD-Quran, uma conversão do conjunto de dados EQTB para o Universal Dependencies (UD) v2. O processo de conversão é projetado para equilibrar a adesão estrita às convenções do UD com a preservação das distinções analíticas específicas do Alcorão.

• Estratégia de Dupla Variante: A conversão produz dois lançamentos distintos a partir do mesmo arquivo de origem:
  1. Variante de Superfície (Surface Variant): Exclui todos os nós inseridos analiticamente (ex: pronomes implícitos, marcadores de elipse) para alinhar-se estritamente com a string corânica observável. Esta variante é otimizada para tarefas de PLN a jusante sobre o texto bruto.
  2. Variante Aumentada (Augmented Variant): Retém os nós inseridos analiticamente (marcados com loc=_ na origem) para preservar a modelagem explícita de elipse e argumentos implícitos do EQTB. Esta variante suporta a pesquisa sintática onde a resolução de elipses é um objeto primário de investigação.
• Tokenização e Mapeamento: Segmentos morfossintáticos do EQTB são tratados como tokens UD. As categorias de classe de palavra (POS) são mapeadas para 12 tags de UPOS universal do UD usando uma tabela de mapeamento conservadora (ex: mapeando demonstrativos e relativos específicos para PRON), enquanto as tags originais do EQTB são preservadas na coluna XPOS para rastreabilidade. As características morfológicas são derivadas diretamente das colunas explícitas do EQTB, em vez de inferidas.
• Normalização de Dependência: A conversão impõe uma estrutura de raiz única por sentença, priorizando categorias lexicais (VERBO > SUBSTANTIVO/PROPN) para a raiz. Ela colapsa 129 rótulos de dependência detalhados do EQTB em um inventário compacto de 18 relações UD. As principais normalizações estruturais incluem:
  • Inversão de Adposição: Adposições (ADP) são convertidas em dependentes de caso (case), com o complemento nominal tornando-se a cabeça, alinhando-se com as convenções de cabeça de conteúdo do UD.
  • Inversão de Negação: Partículas negativas que governam um único predicado verbal são invertidas para que o predicado se torne a cabeça.
  • Resolução de Ciclos: Heurísticas determinísticas resolvem ciclos raros, reatachando os nós à raiz da sentença.
• Rastreabilidade: O script de conversão preserva a procedência armazenando identificadores e dados de localização do EQTB no campo MISC. Os rótulos de constituintes do EQTB são mantidos como uma camada de stand-off separada, evitando a sobrecarga dos campos principais do UD, ao mesmo tempo em que permite a reconstrução reproduzível.
• Benchmarking: Os autores estabeleceram divisões fixas de treino/validação/teste (80/10/10, semente 42) e treinaram baselines leves do Stanza (tagger baseado em BiLSTM e parser biaffine) do zero, sem vetores pré-treinados ou codificadores de caracteres, para fornecer um limite inferior reproduzível de desempenho.

Principais Contribuições

1. Recurso UD-Quran: Um treebank UD v2 totalmente compatível de todo o Alcorão, disponível em variantes de superfície e aumentada, contendo 11.693 sentenças e mais de 128.000 tokens (superfície) ou 139.000 tokens (aumentada).
2. Camada de Interoperabilidade: Um framework de conversão que permite o uso de ferramentas UD padrão (validadores, parsers, scripts de avaliação) em dados corânicos sem apagar a riqueza analítica da fonte EQTB.
3. Comparação Controlada: O design de duplo lançamento permite a investigação controlada do impacto da modelagem explícita de elipse no desempenho de parsing e nas estatísticas estruturais.
4. Baselines Reproduzíveis: O artigo fornece divisões de dados fixas e resultados de baseline usando o script de avaliação CoNLL 2018, estabelecendo um ponto de referência para trabalhos futuros em parsing de Árabe Clássico/Corânico.

Resultados

• Estatísticas do Corpus: A variante de superfície contém 128.219 tokens com uma média de 1,656 tokens por palavra ortográfica, refletindo a segmentação sistemática de clíticos. A variante aumentada adiciona 11.157 nós inseridos. A distribuição é dominada por pronomes (22,86%), substantivos (19,60%) e verbos (15,10%).
• Desempenho de Parsing:
  • Parsing com Gold-Tag: Usando UPOS e FEATS de ouro, o parser Stanza alcançou um Labeled Attachment Score (LAS) de 80,66 (superfície) e 82,47 (aumentada).
  • Pipeline End-to-End: Com tags preditas, o LAS caiu para 64,52 (superfície) e 68,54 (aumentada).
  • Análise de Erro: Os resultados indicam que o principal gargalo é a predição morfossintática (tagging) e não a arquitetura do parser em si. A variante aumentada superou consistentemente a variante de superfície, sugerindo que a modelagem explícita de elipse auxilia na precisão do parsing.
• Cobertura: A conversão é altamente específica, restringindo a relação genérica dep a apenas 0,881% dos tokens (1.129 tokens), garantindo que a maioria das dependências seja mapeada para relações UD específicas e significativas.

Significância
O artigo posiciona o UD-Quran não como um substituto para a anotação corânica tradicional, mas como uma camada de interoperabilidade pragmática. Sua significância reside em construir uma ponte entre análises fundamentadas na filologia e específicas da tradição e os requisitos padronizados do ecossistema UD moderno. Ao manter a rastreabilidade para as anotações originais do EQTB, o recurso permite que pesquisadores utilizem pipelines de PLN padrão enquanto mantêm a capacidade de inspecionar e reverter para a análise híbrida original. Os autores enfatizam que esta abordagem facilita o benchmarking reproduzível e a integração em ferramentas amplamente utilizadas sem exigir que os recursos corânicos abandonem seus compromissos analíticos. O artigo conclui que, embora os atuais baselines sejam leves, o recurso fornece uma base necessária para futuros experimentos de maior capacidade e para o refinamento iterativo das decisões de mapeamento.