Resumo Técnico: Classificação Automática da Literatura Árabe em Eras Históricas

Definição do Problema

A língua árabe passou por transformações semânticas e lexicais significativas ao longo de seus aproximadamente 1.500 anos de história, caracterizadas pelo surgimento de novo vocabulário, pela obsolescência de termos antigos e por mudanças no uso. Embora historiadores e linguistas tenham tradicionalmente dividido a literatura árabe em eras distintas (ex: Pré-Islâmica, Islâmica, Abássida, Otomana, Moderna), há uma notável falta de pesquisa em relação à classificação automática de textos árabes por período temporal, particularmente fora do domínio da poesia. As tarefas existentes de classificação de texto em árabe frequentemente focam em sentimento ou tópico, deixando a periodização temporal amplamente inexplorada. Além disso, as fronteiras entre as eras literárias são frequentemente debatidas, sobrepostas e não são nitidamente definidas, tornando a tarefa de atribuir um texto a um período histórico específico um desafio complexo para modelos de aprendizado de máquina.

Metodologia

O estudo utiliza técnicas de redes neurais e aprendizado profundo para classificar automaticamente textos árabes em eras históricas. A pesquisa utiliza dois corpora publicamente disponíveis:

1. OpenITI: Um corpus de grande escala de prosa literária árabe (aprox. 1,5 bilhão de palavras) cobrindo textos religiosos e literários de diversos autores.
2. APCD (Arabic Poem Comprehensive Dataset): Um conjunto de dados contendo aproximadamente 1,8 milhão de versos de 3.701 poetas abrangendo 12 eras distintas.

Desenho Experimental

Os experimentos foram conduzidos sob dois protocolos distintos para avaliar o impacto do estilo do autor:

• Autor-Disjunto (Author-Disjoint): Os autores no conjunto de avaliação estão ausentes do conjunto de treinamento, forçando o modelo a aprender sinais estilométricos de nível de período em vez de estilos específicos de autores.
• Autor-Mesclado (Merged-Author): Os autores aparecem tanto nos conjuntos de treinamento quanto de avaliação, permitindo que o modelo utilize o estilo do autor como uma característica.

Configurações de Classe

O estudo avaliou várias granularidades de classificação:

• Binária: Clássica vs. Moderna.
• Eras Históricas Predefinidas: Baseadas em esquemas de Daif (1982), Al-Fakhoury (1951) e Ghoniem (2017), variando de 3 a 5 eras.
• Periodizações Customizadas: Intervalos de tempo fixos de 300, 200 e 100 anos (resultando em 5, 8 e 15 classes).

Modelos e Pré-processamento

• Modelos: As principais arquiteturas testadas foram Redes Neurais Artificiais (ANNs) de Alimentação Direta Totalmente Conectadas (Feed-Forward) e Redes Neurais Recorrentes (RNNs), utilizando especificamente LSTM, GRU e GRU Bidirecional (BiGRU). Redes Neurais Convolucionais (CNNs) e Regressão Logística serviram como baselines.
• Tokenização: Tanto a tokenização ao nível de palavra quanto ao nível de caractere foram exploradas para as RNNs.
• Pré-processamento: As etapas incluíram limpeza de dados (remoção de HTML, dígitos não árabes), normalização (remoção de diacríticos e Kashida) e remoção de stop-words. A Lematização (usando Farasa) foi aplicada seletivamente, particularmente para conjuntos de dados de poesia, para reduzir o tamanho do vocabulário e mitigar o overfitting.
• Avaliação: O desempenho foi medido usando Acurácia, Precisão, Recall e F1-score de média macro. A significância estatística foi avaliada usando o teste de diferença entre duas proporções.

Principais Contribuições

1. Exploração Sistemática: Este é o primeiro estudo que investiga sistematicamente a classificação automática de textos literários árabes (tanto prosa quanto poesia) em eras históricas distintas.
2. Análise de Dualidade de Datasets: O trabalho avalia os modelos em dois corpora diversos e publicamente disponíveis (OpenITI para prosa, APCD para poesia) cobrindo o espectro desde a era Pré-Islâmica até a Moderna.
3. Impacto do Estilo Autoral: O estudo isola explicitamente o efeito do estilo do autor comparando os protocolos experimentais de autor-disjunto e autor-mesclado.
4. Comparação de Granularidade: Examina o desempenho da classificação através de vários níveis de resolução temporal, desde a classificação binária até configurações finas de 15 eras, e compara eras históricas predefinidas contra intervalos de tempo customizados.
5. Avaliação de Modelos: Fornece uma análise comparativa de ANNs e RNNs (nível de palavra e de caractere) para esta tarefa temporal específica em árabe.

Resultados

O estudo reporta as seguintes descobertas principais:

• Viabilidade: A classificação automática de eras é viável, mas desafiadora. Os modelos superaram consistentemente o acaso (random guessing), embora o desempenho tenha variado significativamente com base no número de classes e no dataset.
• Desempenho dos Modelos:
  • ANNs geralmente superaram as RNNs na maioria das configurações multiclasse em ambos os datasets.
  • RNNs (especificamente ao nível de palavra) apresentaram desempenho competitivo na classificação binária, alcançando resultados comparáveis ou superiores aos baselines anteriores baseados em CNN (Orabi et al., 2020) em dados de poesia.
• Especificidades do Dataset:
  • OpenITI (Prosa): A classificação binária alcançou um F1-score de 0,67 (autor-disjunto) e 0,83 (mesclado). O desempenho caiu significativamente conforme o número de classes aumentava (ex: F1 de 15 classes ≈ 0,20). A era Abássida foi a mais facilmente identificada, enquanto as eras Islâmica e Moderna foram as mais difíceis.
  • APCD (Poesia): A classificação binária alcançou um F1-score de 0,78 (autor-disjunto) e 0,79 (mesclado). A lematização proporcionou um aumento notável para a classificação de poesia. A configuração de 12 eras resultou em menor desempenho (F1 ≈ 0,18–0,25), indicando a dificuldade da distinção fina.
• Influência Autoral: Mesclar autores entre as divisões geralmente melhorou o desempenho para prosa (OpenITI), sugerindo que o estilo do autor é um forte preditor de era. No entanto, para poesia (APCD), mesclar autores teve pouco efeito, implicando que o estilo poético é menos dependente da identidade específica do autor neste contexto ou que os modelos dependem mais de características específicas do período.
• Pré-processamento: A remoção de stop words não melhorou o desempenho; mantê-las rendeu melhores resultados. A lematização melhorou os resultados para o dataset de poesia, mas foi menos crítica para a prosa.
• Padrões de Confusão: As classificações incorretas ocorreram predominantemente entre eras consecutivas (ex: Islâmica vs. Abássida, Otomana vs. Moderna), apoiando a hipótese de que a evolução literária é um continuum com fronteiras porosas em vez de uma sequência de passos discretos. Mesclar eras adjacentes aumentou significativamente a acurácia (ex: a acurácia do OpenITI subiu de 43,6% para 76,6% quando as eras foram mescladas).

Significância e Alegações

O artigo alega modestamente que, embora a classificação automática da literatura árabe em eras históricas seja difícil devido à natureza gradual da mudança linguística e das fronteiras sobrepostas, é uma tarefa viável para o aprendizado de máquina.

• Continuum Literário: Os resultados sugerem que a história literária árabe é melhor modelada como um continuum. As altas taxas de confusão entre eras adjacentes indicam que as fronteiras temporais nítidas são constructos artificiais que nem sempre se alinham com a realidade linguística.
• Utilidade: A classificação automatizada pode auxiliar na organização de dados literários, no rastreamento da mudança de linguagem e na autenticação de obras atribuídas a eras específicas. Ela facilita a análise em larga escala de tendências, temas e elementos estilísticos através do tempo.
• Direções Futuras: Os autores sugerem que trabalhos futuros poderiam envolver a melhoria da lematização para o Árabe Clássico, a avaliação de transformers pré-treinados (ex: AraBERT, MARBERT) enquanto se considera o viés temporal, e a incorporação de conhecimento externo, como o Reconhecimento de Entidades Nomeadas (NER), para ligar o texto a recursos biográficos. Eles também propõem investigar o impacto da detecção de reuso de texto (remoção de passagens repetitivas/boilerplate) no desempenho da classificação.