Resumen Técnico: Clasificación Automática de la Literatura Árabe en Eras Históricas

Planteamiento del Problema

La lengua árabe ha experimentado transformaciones semánticas y léxicas significativas a lo largo de sus aproximadamente 1.500 años de historia, caracterizadas por la aparición de nuevo vocabulario, la obsolescencia de términos antiguos y cambios en su uso. Mientras que los historiadores y lingüistas han dividido tradicionalmente la literatura árabe en eras distintas (p. ej., preislámica, islámica, abasí, otomana, moderna), existe una notable falta de investigación con respecto a la clasificación automática de textos árabes por período de tiempo, particularmente fuera del dominio de la poesía. Las tareas existentes de clasificación de textos en árabe suelen centrarse en el sentimiento o el tema, dejando la periodización temporal prácticamente inexplorada. Además, los límites entre las eras literarias suelen ser debatidos, se superponen y no están definidos con nitidez, lo que convierte la tarea de asignar un texto a un período histórico específico en un desafío complejo para los modelos de aprendizaje automático.

Metodología

El estudio emplea técnicas de redes neuronales y aprendizaje profundo para clasificar automáticamente textos árabes en eras históricas. La investigación utiliza dos corpus disponibles públicamente:

1. OpenITI: Un corpus a gran escala de prosa literaria árabe (aprox. 1.500 millones de palabras) que cubre textos religiosos y literarios de diversos autores.
2. APCD (Arabic Poem Comprehensive Dataset): Un conjunto de datos que contiene aproximadamente 1,8 millones de versos de 3.701 poetas que abarcan 12 eras distintas.

Diseño Experimental

Los experimentos se llevaron a cabo bajo dos protocolos distintos para evaluar el impacto del estilo del autor:

• Autor-Disjunto (Author-Disjoint): Los autores en el conjunto de evaluación están ausentes del conjunto de entrenamiento, obligando al modelo a aprender señales estilométricas a nivel de período en lugar de estilos específicos del autor.
• Autor-Fusionado (Merged-Author): Los autores aparecen tanto en el entrenamiento como en la evaluación, permitiendo al modelo aprovechar el estilo del autor como una característica.

Configuraciones de Clase

El estudio evaluó diversas granularidades de clasificación:

• Binaria: Clásica vs. Moderna.
• Eras Históricas Predefinidas: Basadas en esquemas de Daif (1982), Al-Fakhoury (1951) y Ghoniem (2017), que oscilan entre 3 y 5 eras.
• Periodizaciones Personalizadas: Intervalos de tiempo fijos de 300, 200 y 100 años (resultando en 5, 8 y 15 clases).

Modelos y Preprocesamiento

• Modelos: Las arquitecturas principales probadas fueron Redes Neuronales Artificiales (ANN) de tipo Feed-Forward totalmente conectadas y Redes Neuronales Recurrentes (RNN), utilizando específicamente LSTM, GRU y GRU Bidireccional (BiGRU). Las Redes Neuronales Convolucionales (CNN) y la Regresión Logística sirvieron como bases de comparación (baselines).
• Tokenización: Se exploraron la tokenización a nivel de palabra y a nivel de carácter para las RNN.
• Preprocesamiento: Los pasos incluyeron la limpieza de datos (eliminación de HTML, dígitos no árabes), normalización (eliminación de diacríticos y Kashida) y eliminación de palabras de parada (stop-words). La lematización (usando Farasa) se aplicó selectivamente, particularmente para los conjuntos de datos de poesía, para reducir el tamaño del vocabulario y mitigar el sobreajuste.
• Evaluación: El rendimiento se midió mediante Precisión (Accuracy), Precisión (Precision), Exhaustividad (Recall) y F1-score promediado por macroclase (Macro-averaged F1). La significancia estadística se evaluó mediante la prueba de diferencia entre dos proporciones.

Principales Contribuciones

1. Exploración Sistemática: Este es el primer estudio que investiga sistemáticamente la clasificación automática de textos literarios árabes (tanto prosa como poesía) en distintas eras históricas.
2. Análisis de Doble Conjunto de Datos: El trabajo evalúa los modelos en dos corpora diversos y disponibles públicamente (OpenITI para prosa, APCD para poesía) que cubren el espectro desde la era preislámica hasta la moderna.
3. Impacto del Estilo Autoral: El estudio aísla explícitamente el efecto del estilo del autor comparando los protocolos experimentales de autor-disjunto y autor-fusionado.
4. Comparación de Granularidad: Examina el rendimiento de la clasificación a través de varios niveles de resolución temporal, desde la clasificación binaria hasta configuraciones finas de 15 eras, y compara las eras históricas predefinidas frente a los intervalos de tiempo personalizados.
5. Evaluación de Modelos: Proporciona un análisis comparativo de ANN y RNN (a nivel de palabra y de carácter) para esta tarea temporal específica en árabe.

Resultados

El estudio reporta los siguientes hallazgos clave:

• Viabilidad: La clasificación automática de eras es factible pero desafiante. Los modelos superaron consistentemente el azar, aunque el rendimiento varió significamente según el número de clases y el conjunto de datos.
• Rendimiento de los Modelos:
  • Las ANN generalmente superaron a las RNN en la mayoría de las configuraciones multiclase en ambos conjuntos de datos.
  • Las RNN (específicamente a nivel de palabra) funcionaron de manera competitiva en las tareas de clasificación binaria, logrando resultados comparables o superiores a los baselines previos basados en CNN (Orabi et al., 2020) en los datos de poesía.
• Especificidades del Conjunto de Datos:
  • OpenITI (Prosa): La clasificación binaria alcanzó un F1-score de 0.67 (autor-disjunto) y 0.83 (fusionado). El rendimiento cayó significativamente a medida que aumentaba el número de clases (p. ej., F1 de 15 clases ≈ 0.20). La era abasí fue la más fácil de identificar, mientras que las eras islámica y moderna fueron las más difíciles.
  • APCD (Poesía): La clasificación binaria alcanzó un F1-score de 0.78 (autor-disjunto) y 0.79 (fusionado). La lematización proporcionó un impulso notable para la clasificación de la poesía. La configuración de 12 eras produjo un rendimiento menor (F1 ≈ 0.18–0.25), lo que indica la dificultad de la distinción fina.
• Influencia Autoral: Fusionar los autores entre las divisiones generalmente mejoró el rendimiento para la prosa (OpenITI), sugiriendo que el estilo del autor es un fuerte predictor de la era. Sin embargo, para la poesía (APCD), fusionar los autores tuvo poco efecto, lo que implica que el estilo poético depende menos de la identidad específica del autor en este contexto o que los modelos dependen más de características propias del período.
• Preprocesamiento: Eliminar las palabras de parada no mejoró el rendimiento; retenerlas arrojó mejores resultados. La lematización mejoró los resultados para el conjunto de datos de poesía, pero fue menos crítica para la prosa.
• Patrones de Confusión: Las clasificaciones erróneas ocurrieron predominantemente entre eras consecutivas (p. ej., islámica vs. abasí, otomana vs. moderna), lo que respalda la hipótesis de que la evolución literaria es un continuo con límites porosos en lugar de una secuencia de pasos discretos. Fusionar eras adyacentes aumentó significativamente la precisión (p. ej., la precisión de OpenITI subió de 43.6% a 76.6% cuando se fusionaron las eras).

Significancia y Reivindicaciones

El artículo afirma modestamente que, si bien la clasificación automática de la literatura árabe en eras históricas es difícil debido a la naturaleza gradual del cambio lingüístico y los límites superpuestos, es una tarea viable para el aprendizaje automático.

• Continuo Literario: Los resultados sugieren que la historia literaria árabe se modela mejor como un continuo. Las altas tasas de confusión entre eras adyacentes indican que los límites temporales nítidos son constructos artificiales que no siempre se alinean con la realidad lingüística.
• Utilidad: La clasificación automatizada puede ayudar a organizar los datos literarios, rastrear el cambio del lenguaje y autenticar obras atribuidas a eras específicas. Facilita el análisis a gran escala de tendencias, temas y elementos estilísticos a través del tiempo.
• Direcciones Futuras: Los autores sugieren que el trabajo futuro podría involucrar la mejora de la lematización para el árabe clásico, la evaluación de transformadores preentrenados (p. ej., AraBERT, MARBERT) teniendo en cuenta el sesgo temporal, e incorporar conocimiento externo como el Reconocimiento de Entidades Nombradas (NER) para vincular el texto con recursos biográficos. También proponen investigar el impacto de la detección de reutilización de texto (eliminación de pasajes de relleno/boilerplate) en el rendimiento de la clasificación.