From Traditional Taggers to LLMs: A Comparative Study of POS Tagging for Medieval Romance Languages

Resumen Técnico: De los Etiquetadores Tradicionales a los LLM para el Etiquetado Gramatical de la Prosa Románica Medieval

Enunciado del Problema
El etiquetado gramatical (POS) de lenguas románicas medievales (específicamente occitano medieval, catalán medieval y francés medieval) enfrenta obstáculos significativos debido a la inestabilidad ortográfica, la diversidad dialectal, la morfología compleja y la escasez de recursos anotados. Las herramientas computacionales tradicionales, a menudo adaptadas de lenguas estandarizadas modernas, luchan con estas variaciones, lo que conduce a una degradación del rendimiento. Aunque los Modelos de Lenguaje Grandes (LLM) ofrecen potencial a través de representaciones contextuales aprendidas de corpus multilingües masivos, existe una falta de evaluación empírica sistemática sobre su eficacia para el procesamiento de textos medievales, particularmente en lo que respecta a estrategias de prompting, regímenes de ajuste fino y aprendizaje de transferencia cruzada.

Metodología
Los autores presentan un estudio comparativo controlado que evalúa etiquetadores basados en reglas/estadísticos tradicionales frente a LLM de código abierto modernos en tres conjuntos de datos medievales distintos:

1. Occitano Medieval (NAF): Texto literario del siglo XIV (~45k tokens).
2. Catalán Medieval (CAT): Crónica del siglo XIII (~59k tokens).
3. Francés Medieval (Chauliac): Tratado médico del siglo XV (~2.4k tokens).

El estudio emplea cinco configuraciones experimentales utilizando Gemma3-12B y Phi4-14B como LLM principales, comparados con UDPipe y COLaF como líneas base tradicionales:

• Líneas Base Tradicionales: Aplicación directa de etiquetadores comerciales.
• Prompting con LLM: Evaluación bajo condiciones de cero ejemplos (zero-shot) y pocos ejemplos (few-shot). Los prompts de pocos ejemplos incluyeron ejemplos de las tres variedades para exponer a los modelos a la heterogeneidad ortográfica. Las estrategias de decodificación incluyeron búsqueda por haz (beam search), muestreo por temperatura, top-k y muestreo top-p.
• Ajuste Fino Monolingüe: Modelos entrenados con el 80% de un único conjunto de datos y probados en el 20% restante.
• Aprendizaje de Transferencia Cruzada Bilingüe (CLTF): Modelos entrenados en la unión de dos conjuntos de datos (por ejemplo, CAT+OCC) y probados en el 20% retenido de cada uno.
• CLTF Trilingüe: Modelos entrenados en el 80% combinado de los tres conjuntos de datos y probados por separado en cada idioma.

El rendimiento se midió utilizando precisión y puntuaciones F1 promediadas macro, con un enfoque en cómo la proximidad lingüística y la composición del conjunto de datos influyen en la efectividad de la transferencia.

Resultados Clave

• Superioridad de los LLM: Los enfoques basados en LLM superaron consistentemente a los etiquetadores tradicionales. Los métodos tradicionales lograron una precisión promedio del 71.56%, mientras que la inferencia de LLM basada en prompting alcanzó el 77.75%, y el ajuste fino supervisado aumentó esto ulteriormente al 85.19%.
• Impacto de los Regímenes de Entrenamiento:
  • Ajuste Fino: El ajuste fino monolingüe produjo los resultados más altos para el catalán medieval (superando el 92% de precisión con Gemma3).
  • Transferencia Cruzada: El entrenamiento multilingüe proporcionó las ganancias más significativas para variedades de menor recurso. La CLTF trilingüe mejoró la precisión del occitano medieval del 80.09% (monolingüe) al 89.68%.
  • Transferencia Bilingüe Dirigida: Contrario a la suposición de que una exposición multilingüe más amplia es siempre óptima, el entrenamiento bilingüe dirigido superó al entrenamiento trilingüe en casos específicos. Para el francés medieval, la configuración bilingüe CAT+FR alcanzó una precisión del 93.14%, superando tanto al ajuste fino monolingüe como a la CLTF trilingüe (88.23%).
• Decodificación y Prompting: El prompting de pocos ejemplos mejoró consistentemente el rendimiento sobre el de cero ejemplos. La decodificación determinista (búsqueda por haz) generalmente superó a los métodos basados en muestreo.
• Rendimiento Específico por Clase: Los LLM, particularmente los ajustados finamente, mostraron mejoras marcadas en la desambiguación de clases semánticamente ricas (adjetivos, adverbios, pronombres) en comparación con los métodos tradicionales, mientras que las palabras funcionales permanecieron estables en todos los enfoques.

Contribuciones Clave

1. Comparación Empírica: El estudio proporciona una evaluación sistemática de etiquetadores tradicionales frente a LLM modernos en múltiples regímenes de entrenamiento e inferencia para lenguas románicas medievales.
2. Análisis de Aprendizaje de Transferencia: Analiza la efectividad de las configuraciones de transferencia bilingüe y trilingüe, destacando que la proximidad lingüística por sí sola no garantiza el éxito; el tamaño del corpus, el género y los pares de idiomas específicos son factores críticos.
3. Directrices Prácticas: Los autores ofrecen recomendaciones para seleccionar estrategias de modelado basadas en restricciones de recursos, señalando que el entrenamiento multilingüe beneficia a las variedades con pocos recursos, mientras que las configuraciones bilingües dirigidas pueden ser superiores para conjuntos de datos pequeños y específicos de dominio.

Significado y Afirmaciones
El artículo afirma proporcionar conocimientos empíricos sobre la aplicabilidad de los métodos neuronales modernos al procesamiento de textos medievales. Argumenta que, aunque la proximidad genealógica es un factor, el diseño de estrategias de transferencia para la PLN histórica también debe tener en cuenta las características del conjunto de datos (tamaño y dominio). Los hallazgos sugieren que los modelos neuronales contemporáneos pueden complementar significativamente los métodos tradicionales de anotación lingüística, apoyando el desarrollo de pipelines más robustos para la investigación en humanidades digitales. Los autores enfatizan que estos resultados son específicos de los conjuntos de datos y modelos evaluados, señalando limitaciones relacionadas con la falta de experimentos de submuestreo controlado para desentrañar completamente los efectos del tamaño del corpus frente a la proximidad genealógica. Todo el código, los modelos y los conjuntos de datos procesados se ponen a disposición para garantizar la reproducibilidad.