Hybrid Neural-LLM Pipeline for Morphological Glossing in Endangered Language Documentation: A Case Study of Jungar Tuvan

Aquí presento un resumen técnico detallado del artículo "Hybrid Neural-LLM Pipeline for Morphological Glossing in Endangered Language Documentation: A Case Study of Jungar Tuvan" (Pipeline Híbrido Neural-LLM para el Glossado Morfológico en la Documentación de Lenguas Amenazadas: Un Estudio de Caso del Tuvan Jungar), traducido y adaptado al español.

---

1. El Problema

La creación de Texto Interlineal Glossado (IGT, por sus siglas en inglés) es un cuello de botella crítico en la documentación y preservación lingüística, especialmente para lenguas de recursos bajos y ricas en morfología. El IGT requiere alinear transcripciones, segmentación de morfemas, etiquetas de glosa y traducciones libres.

• Limitaciones de los enfoques actuales:
  • Modelos estructurados (ej. BiLSTM-CRF): Son eficientes en patrones locales pero carecen de flexibilidad y conocimiento del mundo, fallando en morfemas raros o combinaciones novedosas.
  • Modelos de Lenguaje Grande (LLM): Ofrecen flexibilidad y conocimiento, pero sufren de inconsistencia, requieren muchos ejemplos in-context (lo que aumenta costos de inferencia) o ajuste fino costoso, y a menudo carecen de sesgos inductivos estructurales necesarios para tareas de etiquetado secuencial estricto.
• Contexto: El estudio se centra en el Tuvan Jungar, una variedad de lengua túrquica aglutinante con baja disponibilidad de datos anotados, hablada en la región de Altay (Xinjiang, China).

2. Metodología

Los autores proponen un pipeline híbrido de dos etapas que combina la predicción de un modelo de aprendizaje profundo estructurado con la corrección de un LLM.

A. Datos y Formalización

• Corpus: 895 oraciones anotadas manualmente con IGT, recolectadas durante trabajo de campo (1987-1995).
• Tarea: Predicción de secuencia estructurada. Dada una oración segmentada en morfemas ($x$), predecir la secuencia de etiquetas de glosa ($y$). Se asumen fronteras de morfemas correctas (gold boundaries).
• Métrica: Precisión a nivel de token (token-level accuracy), que refleja directamente la reducción de la carga de trabajo manual.

B. Arquitectura del Pipeline Híbrido

1. Etapa 1 (Predicción Inicial): Se utiliza un modelo BiLSTM-CRF (Bidirectional Long Short-Term Memory con Conditional Random Field) entrenado desde cero. Este modelo captura patrones morfológicos locales y restricciones globales.
2. Etapa 2 (Corrección con LLM): Las predicciones del BiLSTM se presentan al LLM como una "intento inicial aproximado" que necesita verificación.
   • Prompting: Se utiliza RAG (Retrieval-Augmented Generation). Para cada oración de prueba, se recuperan ejemplos de entrenamiento similares (basados en similitud coseno TF-IDF a nivel de caracteres) para proporcionar contexto.
   • Configuración: Se evaluaron cuatro LLMs: deepseek-v3.2-exp, qwen3-max, gpt-4o-mini y gemma-3-27b-it.

C. Diseños Experimentales (Estudios de Ablación)

Se realizaron cuatro experimentos clave para establecer principios de diseño:

1. Selección de Ejemplos: Comparación entre recuperación basada en similitud (RAG) vs. selección aleatoria de ejemplos in-context.
2. Escalado N-Shot: Variación del número de ejemplos recuperados (de 1 a 20) para analizar la relación costo-rendimiento.
3. Ablación de Glosarios: Prueba de cuatro configuraciones de diccionarios de morfemas (ninguno, top-100, solo gramaticales, completo) para ver si la información léxica explícita ayuda.
4. Pipeline Híbrido: Evaluación del sistema completo (BiLSTM + Corrección LLM) frente a la generación pura del LLM y la línea base BiLSTM.

3. Resultados Clave

A. Impacto de la Recuperación (RAG)

• La recuperación basada en similitud (RAG) superó consistentemente a la selección aleatoria en todos los modelos.
• Mejoras: El modelo deepseek-v3.2-exp pasó de una precisión de 0.118 (aleatorio) a 0.506 (RAG), una mejora masiva.

B. Escalado de Ejemplos (N-Shot)

• El rendimiento escala de manera aproximadamente logarítmica con el número de ejemplos.
• Punto óptimo: La mayoría de los modelos alcanzan su pico de rendimiento entre 10 y 15 ejemplos. Más allá de este punto, los rendimientos marginales disminuyen o incluso se degradan (posiblemente por saturación del contexto o degradación de la calidad de recuperación).

C. El Paradoja de los Diccionarios

• Hallazgo Sorprendente: Proporcionar diccionarios de morfemas generalmente perjudicó el rendimiento.
  • Los glosarios parciales (Top-100 o solo gramaticales) degradaron la precisión en todos los modelos.
  • Incluso el diccionario completo (1,498 pares) empeoró el rendimiento en 3 de los 4 modelos. Solo gemma-3-27b-it mostró una ligera mejora con el diccionario completo.
• Interpretación: Los modelos parecen distraerse con la información del diccionario o no saben integrarla correctamente con los ejemplos recuperados, en lugar de consultarla de manera efectiva.

D. Rendimiento del Pipeline Híbrido

• La combinación de BiLSTM + Corrección LLM superó significativamente a ambos enfoques por separado.
• Mejoras Específicas:
  • deepseek-v3.2-exp alcanzó 0.698 de precisión (vs. 0.474 del BiLSTM base).
  • Las mejoras fueron más pronunciadas en escenarios de pocos ejemplos (low-shot), donde el BiLSTM proporciona una guía estructural valiosa que el LLM no puede inferir solo con pocos ejemplos.
• Análisis de Errores:
  • El BiLSTM base es muy preciso en morfemas gramaticales frecuentes (0.923) pero falla en léxico raro (0.479).
  • El pipeline híbrido mejora drásticamente la precisión en morfemas léxicos infrecuentes (+0.397), mientras mantiene un rendimiento aceptable en los gramaticales.

4. Contribuciones Principales

1. Arquitectura Híbrida: Demostración de que combinar modelos de predicción estructurada (BiLSTM-CRF) con razonamiento de LLM mediante corrección post-procesamiento es superior a usar cualquiera de los dos por separado para la anotación morfológica.
2. Principios de Diseño Empíricos:
   • La recuperación basada en similitud es esencial.
   • Los diccionarios explícitos en el prompt pueden ser contraproducentes en configuraciones actuales.
   • El rendimiento se satura alrededor de 10-15 ejemplos in-context.
3. Guía para Trabajo de Campo: Proporciona evidencia basada en datos para optimizar flujos de trabajo de documentación lingüística, reduciendo la carga de anotación manual sin requerir infraestructura local pesada (usando APIs de LLM).

5. Significado e Implicaciones

• Solución Computacionalmente Ligera: El enfoque híbrido ofrece una vía prometedora para la anotación automática en lenguas en peligro, equilibrando la precisión estructural con la flexibilidad semántica de los LLMs.
• Cambio de Paradigma en Prompting: El estudio desafía la intuición común de que "más información (diccionarios) es siempre mejor", mostrando que la calidad de los ejemplos recuperados y la estructura del prompt son más críticas.
• Viabilidad en Contextos Reales: Al demostrar que un modelo estructurado simple puede guiar a un LLM para corregir errores en escenarios de pocos datos, el método es altamente aplicable a proyectos de documentación donde los datos anotados son escasos.
• Consideraciones Éticas: Los autores enfatizan que estos sistemas deben usarse como hipótesis para validación experta, no como anotaciones finales, y destacan la importancia del consentimiento comunitario y la privacidad de los hablantes.

En conclusión, el paper establece que la sinergia entre modelos estructurados y LLMs, potenciada por una recuperación inteligente de ejemplos y una gestión cuidadosa de los recursos léxicos en el prompt, representa el estado del arte más viable para la automatización de la documentación lingüística de lenguas ricas en morfología y de recursos bajos.