Bangla Key2Text: Text Generation from Keywords for a Low Resource Language

Resumen Técnico: Bangla Key2Text

1. El Problema

La generación de texto a partir de palabras clave (Key2Text) es una tarea compleja dentro de la Generación de Lenguaje Natural (NLG) que requiere mantener la coherencia semántica y estructural. Aunque existen estudios y recursos para idiomas de alto recurso como el inglés, chino y japonés, el bengalí (Bangla) carece completamente de datasets a gran escala para esta tarea específica.

A pesar de ser el séptimo idioma más hablado del mundo, el bengalí se considera un idioma de bajos recursos en el procesamiento de lenguaje natural (PLN). Los autores identifican que, aunque los Grandes Modelos de Lenguaje (LLMs) generales muestran cierto éxito, sus versiones cuantizadas (4-bit) y sin ajuste fino (zero-shot) rinden mal cuando se les proporciona entradas de palabras clave desordenadas en bengalí, generando textos incoherentes, cortos o alucinados. Existe una necesidad crítica de un benchmark específico y modelos adaptados para este idioma.

2. Metodología

La propuesta se basa en tres pilares fundamentales: la construcción de un dataset masivo, la extracción automática de palabras clave y el ajuste fino de modelos de generación.

• A. Construcción del Dataset (Bangla Key2Text):

  • Fuente de datos: Se utilizaron 2.6 millones de artículos de noticias extraídos del Bangla Newspaper Dataset (Nazi, 2020).
  • Procesamiento: Se eliminaron etiquetas HTML y caracteres especiales.
  • Extracción de palabras clave: Se desarrolló un pipeline basado en BERT para transformar los textos crudos en pares ordenados de (palabras clave desordenadas $\rightarrow$ texto original).
  • Estrategia de extracción: Se asignó una puntuación de importancia a cada palabra calculando la similitud del coseno entre el embedding de la palabra y el embedding medio del texto (derivado de las capas ocultas de un modelo preentrenado).
  • Selección: Se aplicaron umbrales dinámicos (60% para textos largos, hasta 80% para textos muy cortos) para asegurar que se capturara suficiente contexto.
  • División: El dataset final se dividió en: 2 millones para entrenamiento, 500k para validación y 100k para prueba. Además, se creó un subconjunto de 10k con palabras clave extraídas manualmente por humanos para evaluación de calidad.

• B. Modelos de Generación:

  • Se ajustaron fino (fine-tuning) dos modelos secuencia-a-secuencia (Seq2Seq) basados en la arquitectura T5:
    1. mT5: Un modelo multilingüe preentrenado.
    2. BanglaT5: Un modelo preentrenado específicamente en bengalí.
  • Entrenamiento: Se utilizó el optimizador AdamW, una tasa de aprendizaje de $1e^{-4}$ y un scheduler OneCycleLR durante 2 épocas.
  • Decodificación: Se compararon técnicas como búsqueda codiciosa (greedy), búsqueda por haz (beam search), muestreo top-k y top-p.

• C. Evaluación:

  • Se compararon los modelos ajustados contra múltiples LLMs de código abierto cuantizados a 4 bits (Phi-3.5, LLaMA 3.1, Mistral, Gemma, Qwen, etc.) en configuración zero-shot.
  • Métricas automáticas: BERTScore, ROUGE, BLEU, WER (Tasa de Error de Palabra) y WIL (Palabras de Información Perdida).
  • Evaluación humana: Terceros nativos evaluaron la relevancia y coherencia.

3. Contribuciones Clave

1. Bangla Key2Text: El primer y más grande dataset de su tipo para el bengalí, con 2.6 millones de pares palabra clave-texto.
2. Pipeline de Extracción: Un extractor de palabras clave basado en BERT que supera a métodos tradicionales como TextRank y YAKE en métricas de relevancia (MRR, mAP) para el bengalí.
3. Línea Base de Rendimiento: Se establecieron modelos de referencia (mT5 y BanglaT5 ajustados) que demuestran que el ajuste fino específico de la tarea es superior al uso de LLMs generales en este contexto de bajos recursos.
4. Análisis de Comportamiento: Estudio exhaustivo sobre la transferencia cruzada (mezcla de inglés y bengalí), la sensibilidad al orden de las palabras clave y la generalización a dialectos regionales.

4. Resultados

• Rendimiento de Modelos Ajustados:
  • BanglaT5 obtuvo el mejor rendimiento general, alcanzando un BERTScore de 91.51% y un ROUGE-L de 43.20% en el conjunto de prueba de 100k.
  • mT5 también mostró un rendimiento sólido (BERTScore 91.06%), superando consistentemente a los LLMs de propósito general.
• Comparación con LLMs (Zero-Shot):
  • Los modelos grandes (LLaMA, Mistral, etc.) en configuración zero-shot y cuantizados fallaron estrepitosamente, obteniendo puntuaciones ROUGE muy bajas (<12%) y altas tasas de error (WER >96%), generando textos a menudo incoherentes o en el idioma incorrecto.
  • Esto confirma que para idiomas de bajos recursos como el bengalí, el ajuste fino específico es crucial y no se puede sustituir simplemente por modelos grandes genéricos.
• Evaluación Humana:
  • Se observó un alto acuerdo entre anotadores (Kappa de Fleiss > 0.84), indicando que los modelos generaban textos semánticamente alineados con las palabras clave.
• Generalización y Dialectos:
  • Los modelos funcionaron bien en noticias no vistas, pero el rendimiento disminuyó en datos dialectales (ej. dialectos de Mymensingh o Barisal), lo cual es esperado ya que no se ajustaron con datos dialectales.
  • Se observó transferencia cruzada: los modelos podían generar texto en bengalí incluso con palabras clave en inglés, aunque a veces mezclaban idiomas.

5. Significado e Impacto

Este trabajo es fundamental para la comunidad de PLN por varias razones:

• Cierre de la brecha de recursos: Proporciona la infraestructura de datos necesaria para avanzar en la NLG en bengalí, un idioma con miles de millones de hablantes pero escasos recursos digitales.
• Validación de la eficiencia: Demuestra que modelos más pequeños y ajustados específicamente (como BanglaT5) superan a los LLMs masivos y costosos en tareas específicas de idiomas de bajos recursos, ofreciendo una solución más eficiente y reproducible.
• Aplicaciones Futuras: El dataset y los modelos habilitan aplicaciones como resumen automático, generación de respuestas en diálogos, clasificación de documentos y generación de contenido basado en temas específicos para el público bengalí.
• Liberación de Recursos: Los autores han hecho público el dataset, el código y los modelos ajustados, fomentando la investigación futura en generación de texto multilingüe y de bajos recursos.

En conclusión, Bangla Key2Text establece un nuevo estándar para la generación de texto en bengalí, demostrando que la combinación de extracción automática inteligente y ajuste fino de modelos seq2seq es la vía más efectiva para superar las limitaciones de los modelos de lenguaje general en idiomas con recursos limitados.