A Reproducible Universal Dependencies-Style Pipeline for Katharevousa Greek Parliamentary Text

Resumen Técnico: Una Pipeline Reproducible al Estilo de Universal Dependencies para Textos Parlamentarios en Griego Katharévousa

Enunciado del Problema
El griego Katharévousa, un registro oficial arcaizante que actúa como puente entre el griego antiguo y el demótico moderno, sigue estando insuficientemente atendido por las pipelines de Procesamiento del Lenguaje Natural (PLN) contemporáneas. Esto es particularmente crítico para los archivos digitales que contienen registros legales, administrativos y parlamentarios del primer periodo post-junta de Grecia (1976–1977). Estos textos presentan un desafío único: combinan vocabulario institucional moderno con morfología arcaica, fórmulas legales y construcciones sintácticas que están débilmente representados en los datos de entrenamiento actuales. Los analizadores sintácticos existentes para el griego moderno o el griego antiguo no se transfieren limpiamente a este registro específico, y la presencia de ruido de OCR, artefactos de saltos de línea y metadatos inconsistentes complican aún más el análisis sintáctico. Sin un análisis de dependencias fiable, las tareas aguas abajo, como el análisis de la estructura argumental, la extracción de actores y los estudios diacrónicos de registros, permanecen frágiles.

Metodología
Los autores presentan una pipeline completa y totalmente reproducible, diseñada para convertir preguntas parlamentarias derivadas de OCR ruidoso en un recurso sintáctico fijo al estilo de Universal Dependencies (UD). El flujo de trabajo se estructura de la siguiente manera:

1. Reconstrucción de Datos: La pipeline comienza con scripts ejecutables que reconstruyen el texto a partir de fuentes DOCX y XLSX, manejando problemas específicos del OCR como la guionización en saltos de línea, la unión de palabras divididas y la normalización de la puntuación.
2. Protocolo de Anotación: Los autores emplean un proceso de anotación asistido por un Modelo de Lenguaje Grande (LLM) restringido por esquemas. En lugar de confiar en salidas de LLM no verificadas, el sistema utiliza seguimiento de progreso basado en desplazamientos, estados reanudables y colas de reintento para lotes fallidos. Crucialmente, todas las anotaciones pasan por una validación automática contra restricciones de árbol antes de ser admitidas en el conjunto de referencia "congelado".
3. Instantánea de Referencia: El conjunto de datos final consta de 1.697 oraciones (1.357 para entrenamiento, 340 retenidas para prueba) divididas de manera determinista utilizando la semilla 42. Los datos están formateados como CoNLL-U con campos UD estándar (FORM, LEMMA, UPOS, FEATS, HEAD, DEPREL) e incluyen metadatos secundarios para fenómenos específicos del Katharévousa (por ejemplo, clases léxicas arcaicas, marcadores de registro legal).
4. Evaluación del Modelo: El estudio evalúa múltiples familias de modelos bajo un protocolo de puntuación unificado utilizando los mismos límites de tokens:
   • Líneas Base Externas: Sistemas comerciales de spaCy (griego), Stanza (griego) y Stanza (griego antiguo/PROIEL).
   • Modelos Personalizados: Un analizador sintáctico logístico basado en características, un modelo Stanza personalizado, mBERT y un analizador sintáctico transformador basado en XLM-R.
5. Reproducibilidad: Toda la pipeline, incluyendo código, esquemas, anotaciones congeladas e informes de referencia, se publica como un proyecto de código abierto en Python (kathnlp).

Contribuciones Clave
El artículo realiza cuatro contribuciones principales:

1. Definición del Flujo de Trabajo: Un flujo de trabajo de reconstrucción integral y anotación validada automáticamente para texto parlamentario en Katharévousa, produciendo salida CoNLL-U al estilo UD con metadatos secundarios específicos.
2. Protocolo de Evaluación Fijo: La publicación de un conjunto de referencia fijo de 1.697 oraciones con divisiones de entrenamiento/prueba deterministas e informes de referencia para diversas familias de modelos.
3. Evidencia Empírica de Desajuste de Registro: Demostración de que los analizadores sintácticos existentes para griego y griego antiguo no se transfieren eficazmente a la sintaxis parlamentaria en Katharévousa, haciendo necesarias soluciones personalizadas.
4. Infraestructura de Código Abierto: El empaquetado de la pipeline como kathnlp, asegurando que cada afirmación empírica sea rastreable hasta scripts específicos, archivos de configuración e informes de referencia.

Resultados
La evaluación se centra en cuatro métricas: precisión de UPOS, F1 ponderado de relación de dependencia, Puntuación de Ajuste No Etiquetado (UAS) y Puntuación de Ajuste Etiquetado (LAS).

• Líneas Base Externas: Los sistemas comerciales mostraron un desajuste de registro significativo. La línea base externa más fuerte, spaCy griego, logró un LAS de 0.4183. Stanza griego antiguo tuvo el peor rendimiento (LAS 0.3076), confirmando que el Katharévousa no es un problema simple de transferencia del griego antiguo.
• Modelos Personalizados:
  • El modelo XLM-R logró el mejor rendimiento estructural con un LAS de 0.5162 (UAS 0.6098, UPOS 0.8893, F1 DEPREL 0.7250). Esto representa una ganancia absoluta de LAS de 0.0980 (aproximadamente un 23.4% de mejora relativa) sobre la mejor línea base externa.
  • El analizador sintáctico logístico basado en características permaneció altamente competitivo, logrando el UPOS más alto (0.9040) y el F1 DEPREL más alto (0.7451), con un LAS de 0.5072 (solo 0.0090 por debajo de XLM-R).
  • El entrenamiento personalizado de Stanza mejoró significativamente respecto a su contraparte preentrenada (LAS 0.4943 frente a 0.3396), pero no superó a XLM-R.
  • mBERT tuvo un rendimiento inferior a XLM-R en todas las métricas.

Significado y Afirmaciones
Los autores enmarcan la importancia de este trabajo no meramente como una nueva puntuación de modelo, sino como una contribución metodológica al PLN histórico de recursos limitados.

• Infraestructura sobre Cajas Negras: El artículo argumenta que el camino hacia un analizador sintáctico utilizable en entornos de recursos limitados implica documentar horarios fallidos, restricciones de marcos y decisiones de validación, no solo la configuración ganadora.
• Potencial Híbrido: Los resultados sugieren que, aunque los transformadores (XLM-R) sobresalen en la estructura de adjunción, las características transparentes de contexto léxico (modelos basados en características) siguen siendo vitales para decisiones morfosintácticas locales (UPOS y etiquetado de relaciones) a esta escala de datos.
• Metodología Auditables: La contribución principal es un flujo de trabajo auditable que transforma el OCR histórico difícil en infraestructura sintáctica de PLN reutilizable. Esto permite la reutilización transparente de archivos parlamentarios para preguntas históricas, políticas y lingüísticas, avanzando más allá de las características superficiales hacia un análisis reutilizable de actores y discurso institucional.

El artículo nota modestamente que el conjunto de referencia actual es pequeño y que las etiquetas están validadas automáticamente en lugar de ser adjudicadas completamente por expertos. En consecuencia, los resultados se presentan como "candidatos a lanzamiento" en lugar de techos de rendimiento final, invitando a la comunidad a extender el recurso mediante adjudicación experta y expansión de registros.