CommonMorph: Participatory Morphological Documentation Platform

Resumen Técnico: CommonMorph

1. El Problema

La documentación y anotación de datos morfológicos (la estructura de las palabras y sus patrones de flexión) es una tarea extremadamente laboriosa que requiere experiencia lingüística, rigor metodológico y recursos sustanciales. Esto plantea barreras críticas para:

• Lenguas de bajos recursos y en peligro de extinción: De las más de 7,000 lenguas del mundo, más de 1,500 están en riesgo de desaparecer para 2100.
• Limitaciones de los enfoques actuales:
  • Los transductores de estado finito (FST) basados en reglas son precisos pero requieren ingeniería lingüística intensiva (aprox. 40 horas-persona por analizador) y no generalizan bien a formas fuera del vocabulario (OOV).
  • Los enfoques basados en datos (como UniMorph) dependen de grandes volúmenes de datos anotados, que rara vez existen para lenguas minoritarias. Además, la preparación de datos en UniMorph es lenta, costosa y carece de mecanismos de validación comunitaria amplia.
  • Existe una falta de integración sistemática de variedades lingüísticas relacionadas, perdiendo la oportunidad de reutilizar patrones morfológicos compartidos para acelerar la documentación.

2. Metodología

CommonMorph es una plataforma de código abierto diseñada para estandarizar y escalar la recolección de datos morfológicos mediante un enfoque de tres niveles que integra lingüistas y hablantes nativos en un entorno digital colaborativo.

Arquitectura y Flujo de Trabajo:

1. Definición Lingüística (Expertos):
   • Los lingüistas definen la estructura inicial: clases de flexión, paradigmas, lemas y reglas morfofonológicas (ej. armonía vocálica).
   • El sistema permite importar y adaptar materiales de lenguas relacionadas para reducir la redundancia.
   • Se utilizan plantillas de preguntas generadas (o por LLMs) para facilitar la interacción con hablantes no expertos.
2. Elicitación (Hablantes):
   • Los hablantes (expertos o no) ingresan formas flexionadas.
   • El sistema proporciona sugerencias activas basadas en tres fuentes:
     • Reglas predefinidas por el lingüista.
     • Un modelo neuronal de inflexión (LSTM) entrenado con datos validados (Aprendizaje Activo).
     • Modelos de Lenguaje Grande (LLMs) mediante few-shot prompting para llenar la fase de "arranque en frío".
3. Validación Comunitaria:
   • Los hablantes verifican y corrigen las sugerencias.
   • Se implementa un mecanismo de resolución de desacuerdos (consenso mayoritario o arbitraje del lingüista).
   • Los datos validados retroalimentan el modelo neuronal, mejorando las sugerencias futuras (ciclo de aprendizaje activo).

Componentes Técnicos:

• Backend/Frontend: Aplicación web en .NET con base de datos PostgreSQL.
• Modelos:
  • Red Neuronal: LSTM de 2 capas (dimensiones ocultas de 128), entrenada en CPU en ~1 minuto por 15 épocas, optimizada para entornos de bajos recursos.
  • LLMs: Uso de APIs (ej. Gemini-2.5-Flash, gpt-5-mini) para la generación de sugerencias en fases con pocos datos.
• Interoperabilidad: Exportación de datos en formato estándar UniMorph, compatible con herramientas de PLN existentes.

3. Contribuciones Clave

• Plataforma Colaborativa Unificada: Es la primera herramienta que integra flujos de trabajo estructurados para lingüistas y hablantes, permitiendo la colaboración remota y la validación comunitaria.
• Hibridación de Enfoques: Combina el conocimiento lingüístico experto (reglas) con la capacidad de reconocimiento de patrones de modelos neuronales y LLMs, superando las limitaciones de cada enfoque por separado.
• Adaptabilidad Tipológica: Soporta sistemas morfológicos diversos, incluyendo fusional (ej. español, kurdo), aglutinante (ej. turco) y de raíz y patrón (ej. árabe), mediante la gestión flexible de tallos y reglas morfofonológicas.
• Accesibilidad y Reutilización:
  • Interfaz intuitiva que no requiere terminología lingüística para los hablantes.
  • Funcionalidad de "modo offline" (imprimir tablas) para áreas sin conexión a internet.
  • Capacidad de importar datos de lenguas relacionadas para acelerar la documentación de variedades sub-recursos.
• Código Abierto: El sistema es gratuito y accesible en https://common-morph.com, fomentando la preservación de la diversidad lingüística.

4. Resultados

Los autores evaluaron CommonMorph en lenguas de diversas familias (Indoeuropeas, Semíticas, Bantú, Turcas, Iránicas) y obtuvieron los siguientes resultados:

• Precisión de las Sugerencias (Tasa de Error de Caracteres - CER):
  • Las reglas definidas por lingüistas mejoraron drásticamente el rendimiento en variedades de recursos cero (ej. reducción del CER en Hawrami del 12.33% al 5.78% al añadir reglas morfofonológicas).
  • Los modelos neuronales mostraron una mejora consistente a medida que aumentaba el tamaño del conjunto de datos de entrenamiento (ej. en español, el CER bajó de 20.98% con 100 muestras a 1.14% con 2000 muestras).
  • Los LLMs (con few-shot prompting) lograron resultados competitivos en lenguas bien documentadas, aunque su rendimiento varió en lenguas con datos diacríticos complejos (como el árabe).
• Experiencia de Usuario (Encuesta):
  • Satisfacción: Puntuación promedio de 4.7/5 tanto para lingüistas como para hablantes.
  • Facilidad de uso: Los hablantes reportaron una curva de aprendizaje muy rápida (8.7 minutos) en comparación con los lingüistas (17.3 minutos).
  • Valor Pedagógico: Los usuarios percibieron que la plataforma ayuda a comprender mejor la estructura de su lengua.
• Caso de Éxito: Se logró documentar por primera vez la morfología verbal completa de dos dialectos de la lengua en peligro Hawrami, generando datos digitales listos para aplicaciones de PLN.

5. Significado e Impacto

CommonMorph representa un cambio de paradigma en la documentación lingüística:

• Escalabilidad: Permite abordar la documentación de cientos de lenguas sub-documentadas que antes eran inviables debido al costo manual.
• Empoderamiento Comunitario: Transforma a los hablantes de meros "informantes" a colaboradores activos en la creación y validación de sus propios recursos lingüísticos.
• Sostenibilidad de Datos: Al generar datos en formato UniMorph y permitir la reutilización de patrones entre lenguas relacionadas, crea un ecosistema de datos interconectado y duradero.
• Futuro: La plataforma sienta las bases para sistemas universales de análisis morfológico y futuros trabajos en la extracción automática de reglas a partir de gramáticas descriptivas, así como la integración de entrada de voz para lenguas sin ortografía estandarizada.

En resumen, CommonMorph ofrece un modelo replicable para preservar la diversidad lingüística mediante tecnología colaborativa, equilibrando la precisión técnica con la inclusión social.