WARDEN: Endangered Indigenous Language Transcription and Translation with 6 Hours of Training Data

Resumen Técnico: WARDEN – Transcripción y Traducción de Lenguas Indígenas en Peligro con 6 Horas de Datos de Entrenamiento

Enunciado del Problema
La documentación de lenguas en peligro de extinción, como Wardaman (una lengua indígena australiana con solo dos hablantes completos a partir de 2025), es un proceso intensivo en mano de obra que requiere que los lingüistas produzcan manualmente transcripciones alineadas temporalmente y traducciones. Aunque el reconocimiento automático del habla (ASR) y la traducción automática (MT) ofrecen una posible aceleración, los enfoques estándar de aprendizaje profundo son inviables para escenarios de tan pocos recursos. Los modelos existentes suelen requerir de decenas a cientos de horas de datos anotados para lograr un rendimiento aceptable, mientras que el conjunto de datos Wardaman disponible consiste únicamente en 6 horas de pares de audio-transcripción-traducción alineados temporalmente. Además, los modelos unificados que intentan realizar simultáneamente la transcripción y la traducción a menudo fallan en regímenes de datos extremadamente bajos debido a la falta de una señal de entrenamiento suficiente.

Metodología
Los autores proponen WARDEN (Motor de Decodificación Wardaman), un marco de dos etapas diseñado para desacoplar la transcripción y la traducción, permitiendo así un aprendizaje efectivo con datos mínimos.

1. Etapa de Transcripción (ASR):

   • Modelo: El sistema ajusta finamente el modelo Whisper-large-v3.
   • Inicialización Cross-Lingüística: Para abordar la escasez de datos de Wardaman, los autores identifican un idioma "proxy" fonéticamente similar para inicializar los tokens de idioma del modelo. Utilizando la base de datos PHOIBLE, calcularon las distancias de Hamming entre el inventario fonémico de Wardaman y seis idiomas candidatos (sundanés, uzbeko, hausa, croata, occitano, inglés).
   • Selección: Se identificó que el sundanés presentaba la menor distancia fonémica. El modelo se inicializa utilizando el token de idioma sundanés (<su>) antes de ajustar finamente sobre las 6 horas de datos de Wardaman. Esta estrategia busca transferir conocimiento fonológico y acelerar la convergencia.

2. Etapa de Traducción (MT):

   • Desafío: Ajustar finamente directamente modelos de lenguaje grandes (LLM) o traductores basados en ASR con 6 horas de datos produce resultados pobres debido al sobreajuste y la falta de conocimiento específico del dominio.
   • Flujo de Trabajo Aumentado con Léxico: Los autores compilan un diccionario Wardaman-Inglés (aproximadamente 2.300 entradas) a partir de anotaciones de expertos.
   • Coincididor de Léxico: Antes de la traducción, un coincididor basado en reglas recupera las entradas del diccionario relevantes para las palabras en la transcripción del ASR. La coincidencia se realiza mediante:
     • Tasa de Error de Caracteres (CER): Coincidencia de palabras de transcripción con entradas del diccionario con un umbral de CER ($\tau = 0.2$).
     • Coincidencia de Afijos: Coincidencia posicional de prefijos y sufijos para manejar formas derivadas.
   • Integración de LLM: Las entradas del léxico recuperadas (formateadas como palabra, CER, categoría gramatical y glosa) se concatenan con la transcripción del ASR y se alimentan a un LLM (específicamente Qwen3-8B).
   • Entrenamiento: El LLM se ajusta finamente utilizando Adaptación de Bajo Rango (LoRA). La entrada incluye la transcripción y las señales del léxico coincidentes, transformando el LLM en un intérprete fundamentado en conocimiento en lugar de un traductor puramente impulsado por datos.
   • Aumento de Datos: Los datos de entrenamiento se aumentan concatenando enunciados cortos en secuencias más largas y utilizando las propias salidas de transcripción ruidosas de Whisper como entrada para simular errores de ASR del mundo real.

Contribuciones Clave

• Arquitectura de Dos Etapas: El artículo demuestra que separar la transcripción y la traducción es superior a los enfoques unificados en configuraciones de recursos extremadamente bajos (6 horas de datos).
• Inicialización con Proxy Fonético: La introducción de la inicialización de modelos ASR con tokens de un idioma fonéticamente similar (sundanés) para superar la escasez de datos.
• Traducción Fundamentada en Léxico: Una nueva tubería que integra diccionarios compilados por expertos directamente en el proceso de inferencia y ajuste fino del LLM, permitiendo que el modelo aproveche el conocimiento externo en lugar de depender exclusivamente de sus parámetros internos.
• Establecimiento de Línea Base: La creación de una línea base sólida para el procesamiento de Wardaman utilizando solo 6 horas de datos anotados, superando a modelos de código abierto y propietarios más grandes.

Resultados Experimentales

• Transcripción: El sistema WARDEN (Whisper ajustado finamente con inicialización en sundanés) logró una Tasa de Error de Palabras (WER) de 0.52. Esto superó el ajuste fino estándar de Whisper (0.64) y las líneas base de cero disparos (1.62). El uso del token sundanés redujo la WER en 0.12 en comparación con el ajuste fino estándar.
• Traducción: Utilizando el modelo Qwen3-8B con condicionamiento de léxico y ajuste fino, WARDEN logró una puntuación BLEU-4 de 12.40.
  • Esto superó significativamente el mejor resultado de GPT-5 (7.54) y otras líneas base ajustadas finamente.
  • Los estudios de ablación mostraron que eliminar ya sea el léxico o el ajuste fino redujo la puntuación BLEU en 6.28 y 9.57, respectivamente.
  • El sistema también demostró robustez, manteniendo el rendimiento incluso cuando se le proporcionaron salidas de ASR ruidosas.

Significado y Afirmaciones
El artículo afirma que WARDEN escapa con éxito de la "maldición de los datos limitados" que obstaculiza a los sistemas existentes. Al aprovechar conocimientos lingüísticos (similitud fonética) y conocimiento experto (diccionarios), el sistema logra un alto rendimiento con una fracción de los datos típicamente requeridos. Los autores posicionan a WARDEN no como un reemplazo para los lingüistas, sino como una herramienta para acelerar el proceso de documentación, reduciendo el compromiso de tiempo de días a horas para procesar grabaciones de audio. El trabajo enfatiza que tales herramientas pueden apoyar la revitalización de lenguas liderada por la comunidad, siempre que se desarrollen con respeto por la propiedad de los datos y las preferencias de la comunidad de habla. Los autores declaran explícitamente que la efectividad del diseño se verifica por su capacidad para superar a modelos más grandes y hambrientos de datos en este contexto específico de pocos recursos.