When Less Is Enough: Context Selection and Prompting Strategies for Bengali News Headline Generation

Resumen Técnico: Cuando menos es más: Estrategias de selección de contexto y de prompting para la generación de titulares de noticias en bengalí

Planteamiento del problema
La generación automática de titulares de noticias es una tarea crítica de resumen abstractivo. Si bien los Grandes Modelos de Lenguaje (LLM) han demostrado un rendimiento superior en entornos zero-shot y few-shot en comparación con los modelos tradicionales ajustados (fine-tuned), su eficacia es sensible a la gestión del contexto de entrada. Los LLM enfrentan restricciones respecto a las ventanas de contexto de entrada, donde el procesamiento de documentos largos puede derivar en pérdida de información, dilución semántica o desbordamiento de capacidad. Además, investigaciones previas indican un "sesgo de posición", donde los modelos priorizan desproporcionadamente la información de partes específicas de la entrada. En lenguas de bajos recursos como el bengalí, las estrategias óptimas para seleccionar el contexto y diseñar prompts para la generación de titulares siguen siendo poco exploradas. Específicamente, no está claro si proporcionar artículos completos mejora el rendimiento o si el condicionamiento de contexto selectivo, combinado con paradigmas de prompting específicos y aprendizaje en contexto (ICL), produce mejores resultados.

Metodología
El estudio investiga la generación de titulares de noticias en bengalí utilizando tres LLM: Gemini-2.0-Flash, Llama-3.3-70B y GPT-4o. La investigación emplea dos conjuntos de datos de referencia: BeliN (2,520 artículos de noticias religiosas) y Shironaam (artículos de noticias diversos).

1. Análisis de relevancia semántica: Antes de la experimentación, los autores analizaron la similitud semántica entre los titulares de referencia (gold-standard) y los párrafos individuales de los artículos utilizando incrustaciones de oraciones (sentence embeddings) de banBERT. Este análisis buscaba identificar dónde se concentra la información saliente dentro de los artículos.
2. Condicionamiento de contexto selectivo: En lugar de alimentar los artículos completos, los modelos fueron condicionados con un número variable de párrafos iniciales ($k=1$ a $5$). Esta estrategia fue motivada por la estructura de la "pirámide invertida" periodística y los resultados del análisis semántico.
3. Estrategias de prompting: El estudio evaluó dos paradigmas de prompting:
   • Prompting Nativo en Bengalí (BNaP): Instrucciones íntegrammiamente en bengalí.
   • Prompting Cross-Lingual (XLP): Instrucciones en inglés con el contenido del artículo en bengalí.
   • Enriquecimiento contextual: Los prompts fueron probados en dos variantes: Baseline (solo el contenido del artículo) y MultiGen (contenido del artículo aumentado con metadatos como sentimiento, categoría y aspecto).
4. Aprendizaje en contexto (ICL): Los autores compararon configuraciones zero-shot, one-shot, two-shot y three-shot para determinar el impacto de los ejemplos de demostración en la calidad de la generación.
5. Evaluación: El rendimiento se midió utilizando BERTScore, ROUGE-L y METEOR. La significancia estadística se evaluó mediante diferencias de medias pareadas con intervalos de confianza bootstrap BCa del 95% y pruebas de rango con signo de Wilcoxon.

Resultados clave

• Selección de contexto: Proporcionar el artículo completo no necesariamente mejora el rendimiento.
  • Gemini-2.0-Flash alcanzó su mejor rendimiento utilizando solo el primer párrafo del artículo, superando el condicionamiento de documento completo con una mejora estadísticamente significativa en BERTScore (+0.0078).
  • Llama-3.3-70B funcionó mejor con los primeros tres párrafos, logrando una puntuación comparable a la del documento completo.
  • El condicionamiento selectivo redujo la longitud de los tokens de entrada aproximadamente un 52.6% (hasta un 65.1% para artículos más largos) manteniendo o mejorando la calidad.
• Aprendizaje en contexto (ICL):
  • Gemini mostró ganancias sustanciales al pasar de un prompting zero-shot a uno one-shot, con un estancamiento del rendimiento a partir de ahí.
  • Llama mostró un beneficio limitado de demostraciones adicionales más allá de one-shot, con un ligero declive en el rendimiento en los entornos de two-shot y three-shot.
• Estrategias de prompting:
  • El Prompting Cross-Lingual (XLP) generó generalmente un rendimiento más sólido para Gemini y Llama, particularmente cuando se combinó con el enriquecimiento contextual (MultiGen). Para Gemini, XLP+MultiGen logró las puntuaciones más altas en general.
  • El Prompting Nativo en Bengalí (BNaP) funcionó mejor con la configuración de Baseline más simple; añadir pistas contextuales (MultiGen) no benefició significativamente a BNaP y, en ocasiones, degradó el rendimiento.
  • GPT-4o exhibió la tendencia opuesta, funcionando ligeramente mejor bajo BNaP que bajo XLP.
• Comparación con modelos ajustados (fine-tuned):
  • En el conjunto de datos BeliN, el enfoque de prompting basado en Gemini (XLP+MultiGen, 3-shot) superó a los mejores modelos transformer ajustados (BanglaT5, mT5, mBART) en todas las métricas sin necesidad de ajuste específico de la tarea.
  • En el conjunto de datos Shironaam, el modelo BERT2BERT ajustado superó al enfoque de prompting de Gemini en BERTScore, ROUGE-L y METEOR, aunque Gemini logró un puntaje BLEU más alto.

Contribuciones y significancia clave
El artículo sostiene que la generación efectiva de titulares de noticias en bengalí depende más de la relevancia del contexto y el diseño del prompt que de aumentar la longitud de la entrada. Las principales contribuciones son:

1. Evidencia empírica de "Menos es suficiente": El estudio demuestra que condicionar selectivamente a los LLM en los párrafos principales puede igualar o exceder el condicionamiento de documentos completos, resaltando que la selección enfocada en la relevancia reduce el ruido y los costos de entrada.
2. Sensibilidad dependiente del modelo: La investigación caracteriza cómo diferentes LLM responden a la longitud del contexto y al aprendizaje en contexto. Muestra que Gemini se beneficia significativamente de entradas concisas y salientes, así como de ejemplos de pocos disparos (few-shot), mientras que Llama es más robusto a la longitud del contexto pero menos sensible al número de demostraciones.
3. Interacciones de los paradigmas de prompting: El trabajo identifica que el Prompting Cross-Lingual (XLP) combinado con el enriquecimiento contextual es altamente efectivo para Gemini y Llama, mientras que el Prompting Nativo en Bengalí (BNaP) funciona mejor con una estructura mínima.
4. Perspectivas prácticas para entornos de bajos recursos: Los hallazgos sugieren que las estrategias de prompting cuidadosamente diseñadas y el condicionamiento de contexto selectivo pueden permitir que los LLM de propósito general alcancen un rendimiento competitivo, y en algunos casos superior, para lenguas de bajos recursos sin necesidad de un ajuste fino (fine-tuning) específico de la tarea.

Los autores concluyen que, si bien el ajuste supervisado sigue siendo fuerte para benchmarks específicos, el enfoque propuesto ofrece una alternativa flexible y libre de entrenamiento que aprovecha las capacidades inherentes de los LLM modernos mediante la optimización del contexto y la ingeniería de prompts.