Ossetic-COT: Designing a morphologically annotated corpus and morphological analyzer for Ossetic

Resumen Técnico: Ossetic-COT

Planteamiento del Problema
El osetio, una lengua iraní hablada principalmente en el Cáucaso Norte, carece de un corpus morfológicamente desambiguado que se adhiera al esquema de Universal Dependencies (UD). Aunque existen dos corpus actuales —el Ossetic National Corpus (ONC) y el Corpus of Oral Texts (COT)— ninguno cumple con los requisitos para un análisis morfológico de alta calidad. El ONC depende de una anotación automática libre de contexto (Uniparser-Morph), lo que resulta en etiquetas ambiguas con múltiples posibilidades por palabra. El COT, compuesto por textos orales, contiene glosas interlineales manuales, pero solo ofrece una anotación incompleta y de grano grueso que es difícil de convertir a formatos estándar de UD. Esta ausencia de un recurso estandarizado y desambiguado obstaculiza el desarrollo de herramientas de PLN y limita la utilidad del corpus para la investigación lingüística y educativa.

Metodología
Los autores abordan esta brecha mediante la construcción de un corpus morfológicamente anotado para el dialecto de Hierro del osetio y el entrenamiento de un analizador morfológico basado en BERT.

1. Construcción y Anotación del Corpus:

   • Fuente: El estudio utiliza el COT (60,000 tokens), filtrando el contenido en ruso y conservando 5454 oraciones (73,042 tokens).
   • Flujo de Trabajo de Conversión: El proceso consistió en cinco etapas: filtrado del contenido de la lengua no objetivo; segmentación de oraciones y tokenización manual; mapeo de las etiquetas originales al inventario UD v2 (enriqueciendo las entradas pronominales subespecificadas y añadiendo valores de rasgos faltantes); refinamiento manual por expertos en morfología del osetio; y conversión automatizada al formato CoNLL-U.
   • Directrices de Anotación: Para dar cabida a las idiosincrasias lingüísticas específicas del osetio, los autores extendieron las directrices estándar de UD:
     • Desambiguación de POS: Se implementaron reglas dependientes del contexto para distinguir entre SUSTANTIVO, ADJETIVO, ADVERBIO y PREPOSICIÓN para sustantivos que carecen de límites morfológicos claros (por ejemplo, distinguir adjetivos de adverbios basándose en estructuras dependientes).
     • Auxiliares: Se introdujo una etiqueta AUX distinta para verbos ligeros en predicados complejos, copulativos y construcciones analíticas, distinguiéndolos de los verbos léxicos.
     • Pronombres: Se adoptó un enfoque basado en el contexto donde los determinantes que funcionan como argumentos verbales se etiquetan como PRON.
     • Sistema de Casos: Se añadieron los casos Dir (directivo) y Rcs (recesivo). Crucialmente, los autores introdujeron Num (numerativo) como un valor para la característica Case para distinguirlo del genitivo, particularmente para objetos contados inanimados, aplicando principios de Marcación de Objeto Diferencial (DOM).
     • Formas No Finitas: Se extendió la característica VerbForm para incluir Inf2, Part2, Dest y Red (reduplicado) para cubrir el extenso repertorio de formas no finitas del osetio.
     • Prefijos: Se introdujeron las características Preverb=Yes y Prenoun=Yes para manejar prefijos aspectuales y prefijos nominales (ӕнӕ, ӕд) respectivamente.

2. Entrenamiento del Modelo:

   • Preentrenamiento: Dos modelos basados en BERT fueron preentrenados en el ONC no etiquetado (aprox. 1 millón de oraciones): un mBERT (multilingüe BERT) estándar y un "Ossetic BERT" con una capa de incrustación personalizada y un tokenizador WordPiece entrenado con datos de osetio.
   • Ajuste Fino (Fine-tuning): Ambos modelos fueron ajustados con el nuevo conjunto de datos anotado del COT para la tarea de etiquetado morfológico. Los modelos fueron evaluados utilizando una división de entrenamiento/validación/prueba (8:1:1).

Contribuciones Clave

• Corpus Ossetic-COT: La creación del primer corpus morfológicamente anotado para el osetio de Hierro que cumple con el esquema UD v2, que contiene 5454 oraciones desambiguadas manualmente.
• Marco de Anotación: Un conjunto de directrices de anotación específicas de la lengua que resuelven las ambigüedades inherentes a la morfología del osetio (por ejemplo, el límite fluido entre categorías gramaticales, el caso numerativo y las formas verbales no finitas).
• Analizador Morfológico de Referencia (Baseline): Un analizador morfológico basado en BERT entrenado que sirve como punto de referencia para la lengua.

Resultados

• Rendimiento: El analizador basado en el mBERT logró una precisión de etiqueta a nivel de palabra del 95.60% y una precisión de oración del 61.54%. El "Ossetic BERT" personalizado tuvo un rendimiento ligeramente inferior (95.47% de precisión), lo que llevó a los autores a seleccionar el modelo mBERT como la línea base final.
• Análisis de Errores: El modelo funcionó bien en la mayoría de las categorías de categorías gramaticales (POS), pero tuvo dificultades con homonimias específicas, particularmente entre Sustantivo/Preposición, GEN/NUM, y diversas combinaciones de persona/número. Los autores atribuyen estos errores a la escasez de datos, las limitaciones léxicas del corpus oral y las ambigüedades inherentes donde el contexto es insuficiente para una desambiguación definitiva.
• Extracción de Rasgos: El modelo resolvió con éxito la mayoría de los rasgos morfológicos, aunque persistieron errores en la identificación de formas verbales no finitas específicas y en la distinción entre usos de verbos auxiliares y léxicos.

Significación y Reivindicaciones
El artículo afirma que el corpus Ossetic-COT y el analizador que lo acompaña representan un paso fundacional para el PLN del osetio. El corpus se presenta como un recurso adecuado para entrenar etiquetadores morfológicos neuronales, realizar investigación lingüística y aplicaciones educativas, ya que su anotación captura la mayoría de las características morfológicas de la lengua. Los autores posicionan modestamente el modelo proporcionado como un "etiquetador morfológico neural inicial" y un punto de referencia para evaluar la complejidad del conjunto de datos. Señalan explícitamente que el rendimiento del modelo puede degradarse ante datos fuera del dominio o registros literarios complejos debido a la naturaleza oral y la diversidad léxica limitada de los datos de entrenamiento (COT), identificando la integración de datos literarios del ONC como la principal dirección para el trabajo futuro.