QFS-Composer: Query-focused summarization pipeline for less resourced languages

1. Problema

O artigo aborda o desafio da Resumo Focado em Consulta (QFS - Query-Focused Summarization) em línguas com poucos recursos (como o esloveno). Embora os Grandes Modelos de Linguagem (LLMs) demonstrem alto desempenho em tarefas de sumarização em línguas majoritárias (como inglês), sua eficácia cai significativamente em línguas com menos dados de treinamento. Os principais obstáculos identificados são:

• Falta de dados rotulados: Dificuldade em obter conjuntos de dados de referência criados por humanos para treinamento e avaliação.
• Limitações de avaliação: Métricas automáticas padrão (como ROUGE) foram desenvolvidas para o inglês e muitas vezes falham em capturar a qualidade semântica e factual em outras línguas.
• Alucinações e consistência factual: LLMs tendem a gerar informações não presentes no texto original, um problema crítico em resumos focados em consultas específicas.

2. Metodologia: QFS-Composer

Os autores propõem um pipeline inovador chamado QFS-Composer, que integra decomposição de consulta, geração de perguntas (QG), resposta a perguntas (QA) e sumarização abstrativa para melhorar a alinhamento factual com a intenção do usuário. O sistema opera em três etapas principais:

1. Decompositor de Consulta (Query Decomposer):
   • Como não existem modelos supervisionados específicos para decomposição de consultas em esloveno (como o QDMR para inglês), o sistema propõe duas abordagens:
     • Decomp Aug: Uso de um LLM com few-shot prompting para dividir a consulta complexa em sub-perguntas.
     • Ner Aug (Abordagem preferida): Uso de um modelo de Reconhecimento de Entidades Nomeadas (NER) para extrair entidades da consulta, que são então usadas por um modelo de Geração de Perguntas (QG) para criar sub-perguntas específicas.
2. Componente de Resposta a Perguntas (QA):
   • Um modelo QA baseado no LLM esloveno GaMS-9B-Instruct, ajustado finamente no conjunto de dados SQuAD v2 traduzido para o esloveno.
   • Desafio de Memória: Devido a limitações de hardware, o modelo QA não pode processar documentos longos de uma vez. O texto é dividido em chunks.
   • Filtragem: Os chunks são classificados usando BERTScore em relação à pergunta. Apenas os chunks com pontuação acima de um limiar (0.85) são processados pelo QA para gerar respostas.
3. Geração da Resposta Final (LLM de Sumarização):
   • Um LLM final recebe um prompt aumentado contendo: a consulta original do usuário, o texto fonte e os pares de (pergunta-resposta) extraídos pelo componente QA. Isso guia o modelo a focar em fatos relevantes, reduzindo alucinações.

3. Contribuições Principais

• Sistema QFS-Composer: Uma nova arquitetura baseada em QA para sumarização focada em consultas em línguas de poucos recursos.
• Modelos Nativos: Desenvolvimento e ajuste fino de modelos de Geração de Perguntas (QG) e Resposta a Perguntas (QA) específicos para o esloveno, baseados no LLM GaMS-9B.
• Adaptação de Recursos: Tradução do conjunto de dados MOCHA para o esloveno e adaptação de métricas de avaliação sem referência (reference-free) como QuestEval, QAGS e RQUGE para a língua eslovena.
• Metodologia de Avaliação: Estabelecimento de um fluxo de trabalho robusto para avaliar a consistência factual e a relevância sem referências humanas, crucial para línguas com poucos recursos.

4. Resultados

Os experimentos foram conduzidos com 21 textos de notícias eslovenas, utilizando quatro LLMs (GPT-4.1-mini, Gemma 2 9B, Llama 3.1 8B e GaMS 9B) sob três configurações (sem aumento, decomposição por LLM, e decomposição por NER).

• Desempenho Quantitativo:
  • A configuração Ner Aug (decomposição via NER) geralmente superou a abordagem de decomposição por LLM, pois gerou perguntas mais alinhadas com o treinamento do modelo QA.
  • O modelo Llama-3.1-8B-Instruct com configuração Ner Aug obteve as melhores pontuações no framework QAGS (em 3 de 4 métricas), demonstrando maior consistência entre as respostas baseadas no resumo e as baseadas no texto original.
  • O modelo GaMS-9B-Instruct com Ner Aug obteve a melhor pontuação no framework QuestEval, indicando melhor cobertura de informações cruciais.
• Análise de Comprimento: Contrariando expectativas, os resumos gerados com prompts aumentados foram, em média, mais curtos, mas mais densos em informação, do que os gerados apenas com a consulta original.
• Análise Qualitativa:
  • Os prompts aumentados produziram resumos mais concisos e diretos.
  • Foram observadas limitações: o modelo QA falhou em encontrar respostas em textos longos quando o chunk correto não foi classificado no topo, e ocorreram alucinações em casos específicos (ex: interpretação incorreta de entrevistas).

5. Significado e Conclusão

O trabalho demonstra que é possível superar a lacuna de desempenho em línguas com poucos recursos ao integrar técnicas de RAG (Retrieval-Augmented Generation) e decomposição de tarefas dentro de um pipeline de sumarização.

• Impacto: O QFS-Composer oferece uma metodologia extensível que não depende de grandes conjuntos de dados de referência, tornando-se um modelo para outras línguas de poucos recursos.
• Futuro: Os autores sugerem que melhorias futuras devem focar na precisão dos componentes de decomposição e QA, na capacidade de processar contextos maiores (para evitar a fragmentação de documentos) e na coleta de avaliações humanas para validar a utilidade percebida dos resumos.

Em suma, o artigo estabelece um novo padrão para sumarização focada em consultas em esloveno, promovendo um ecossistema de PLN mais inclusivo e factualmente consistente.