QFS-Composer: Query-focused summarization pipeline for less resourced languages

1. Planteamiento del Problema

El artículo aborda el desafío de la resumenización enfocada en consultas (QFS) en lenguas con pocos recursos (en este caso, el esloveno). Aunque los Modelos de Lenguaje Grandes (LLMs) han demostrado un rendimiento superior en tareas de resumen, su eficacia disminuye significativamente en idiomas que no están bien representados en los conjuntos de datos de entrenamiento.

Los principales obstáculos identificados son:

• Falta de datos etiquetados: No existen conjuntos de datos de referencia (resúmenes creados por humanos) para evaluar y entrenar modelos en esloveno.
• Limitaciones de las métricas de evaluación: Las métricas estándar (como ROUGE) dependen de resúmenes de referencia, lo cual es costoso y lento de obtener. Además, muchas métricas automáticas sin referencia (reference-free) fueron diseñadas para el inglés y no funcionan bien en otros idiomas.
• Alucinaciones y consistencia factual: Los LLMs tienden a generar información no presente en el texto original, un problema crítico en tareas donde la precisión factual es esencial.

2. Metodología: QFS-Composer

Los autores proponen un nuevo marco de trabajo llamado QFS-Composer, diseñado para mejorar la alineación factual del resumen con la intención del usuario mediante un pipeline que integra cuatro componentes clave:

1. Descomposición de la Consulta (Query Decomposer):

   • Dado que las consultas de usuario pueden ser vagas o complejas, el sistema las descompone en sub-preguntas más simples.
   • Se prueban dos enfoques:
     • decomp aug: Usar un LLM con few-shot prompting para generar sub-preguntas.
     • ner aug: Usar un modelo de Reconocimiento de Entidades Nombradas (NER) para extraer entidades de la consulta y generar preguntas basadas en ellas (enfoque preferido para lenguas con pocos recursos).

2. Generación de Preguntas (Question Generation - QG):

   • Un modelo especializado genera preguntas basadas en las entidades extraídas o en la descomposición de la consulta.

3. Respuesta a Preguntas (Question Answering - QA):

   • Un modelo QA (basado en el LLM esloveno GaMS-9B-Instruct y ajustado finamente con la traducción al esloveno del dataset SQuAD v2) busca respuestas en el texto fuente para cada sub-pregunta.
   • Estrategia de fragmentación: Debido a limitaciones de memoria, el texto fuente se divide en fragmentos. Se calcula el BERTScore entre la pregunta y cada fragmento, seleccionando solo los fragmentos más relevantes (umbral > 0.85) para que el modelo QA responda.

4. Generación del Resumen Final (LLM):

   • El LLM final recibe un prompt aumentado que incluye: la consulta original, el texto fuente, y los pares pregunta-respuesta extraídos por el módulo QA. Esto guía al modelo para generar un resumen más conciso y factualmente alineado.

3. Contribuciones Clave

El trabajo presenta varias contribuciones significativas para el ecosistema de Procesamiento de Lenguaje Natural (NLP) en esloveno:

• Sistema QFS-Composer: Un pipeline modular y extensible para QFS basado en QA.
• Modelos Nativos: Desarrollo y ajuste fino de modelos de QG y QA específicos para el esloveno utilizando la familia de modelos GaMS (Generative models for Slovene).
• Recursos de Datos: Traducción del dataset MOCHA (utilizado para QFS) al esloveno.
• Adaptación de Métricas: Adaptación de métricas de evaluación sin referencia (QuestEval, QAGS y RQUGE) para el idioma esloveno, permitiendo una evaluación rigurosa sin necesidad de resúmenes de referencia humana.

4. Resultados y Evaluación

Los autores evaluaron el enfoque utilizando 21 textos de noticias eslovenas y compararon cuatro LLMs (GPT-4.1-mini, Gemma 2 9B, Llama 3.1 8B y GaMS 9B) bajo tres configuraciones: sin aumento (no aug), con descomposición por LLM (decomp aug) y con aumento por NER (ner aug).

• Evaluación Cuantitativa (QAGS y QuestEval):
  • El enfoque ner aug (basado en NER) generalmente superó al enfoque decomp aug (basado en LLM), ya que este último a veces generaba preguntas que el modelo QA no estaba entrenado para responder.
  • El modelo Llama-3.1-8B-Instruct con configuración ner aug obtuvo los mejores resultados en la métrica QAGS (F1, Exact Match, Distancia de Edición).
  • El modelo GaMS-9B-Instruct (el modelo nativo esloveno) obtuvo la puntuación más alta en QuestEval con la configuración ner aug, demostrando una mejor consistencia factual y cobertura de información importante.
• Análisis de Longitud: Contrario a la intuición, los resúmenes generados con prompts aumentados fueron más cortos pero con mayor densidad de información que los generados con consultas simples.
• Análisis Cualitativo:
  • Los resúmenes aumentados fueron más concisos y menos propensos a listas desordenadas.
  • Se detectaron limitaciones: el modelo QA a veces falla en encontrar respuestas en textos largos fragmentados, y se observaron alucinaciones en ciertos casos (especialmente en textos de entrevistas).

5. Significado y Conclusión

El trabajo demuestra que es posible mejorar significativamente la calidad y la consistencia factual de los resúmenes en lenguas con pocos recursos mediante un enfoque de pipeline basado en preguntas y respuestas, en lugar de depender únicamente de la capacidad de generación directa de un LLM.

• Impacto: Establece una metodología extensible para cerrar la brecha de recursos entre idiomas ricos y pobres en datos.
• Reutilización: Al hacer los componentes (modelos QG/QA, métricas adaptadas, datasets traducidos) modulares y públicos, el trabajo fomenta futuras investigaciones y benchmarks en esloveno y otras lenguas similares.
• Futuro: Los autores sugieren mejorar la precisión de los sub-componentes (especialmente el manejo de contextos largos por parte del QA) y realizar evaluaciones con ratings humanos para validar la utilidad percibida por el usuario.

En resumen, QFS-Composer ofrece una solución robusta para la resumenización enfocada en consultas en esloveno, superando a los LLMs base mediante la integración de recuperación de información guiada por preguntas y evaluación automatizada sin referencia.