SCURank: Ranking Multiple Candidate Summaries with Summary Content Units for Enhanced Summarization

1. Problema e Motivação

O artigo aborda os desafios na distilação de modelos de linguagem grandes (LLMs) para modelos menores (SLMs) focados em tarefas de sumarização. Embora os LLMs (como GPT-4) gerem resumos de alta qualidade, seu custo computacional e de inferência é proibitivo, levando à necessidade de "distilar" esse conhecimento em modelos menores (ex: BART).

O problema central identificado pelos autores reside na instabilidade e viés dos métodos atuais de classificação (ranking) de candidatos a resumos, que são essenciais para o aprendizado contrastivo (como no framework BRIO):

• Métricas Clássicas (ROUGE): Baseiam-se apenas na sobreposição de n-gramas, falhando em capturar nuances semânticas e qualidade real de resumos abstrativos.
• Ranking por LLMs (ex: GPTRank): Embora promissores, os LLMs demonstram inconsistência, instabilidade e viés posicional (a ordem dos textos de entrada afeta o ranking), tornando-os supervisionadores pouco confiáveis para o treinamento.
• Viés de Modelo Único: Utilizar resumos gerados por um único LLM para treinamento limita a diversidade de padrões de geração e introduz vieses específicos daquele modelo.

2. Metodologia: SCURank

Os autores propõem o SCURank, um framework de classificação baseado em Unidades de Conteúdo de Resumo (SCUs - Summary Content Units). A abordagem foca na riqueza e importância semântica da informação, em vez de sobreposição superficial ou comparação direta instável.

O processo do SCURank ocorre em três etapas principais:

1. Extração de SCUs:

   • Utiliza-se um LLM (gpt-4o-mini) para decompor cada resumo candidato em SCUs.
   • Uma SCU é definida como uma unidade de informação simples, autônoma e única (semelhante a "Semantic GPT Units" ou SGUs).
   • Isso transforma o resumo em um conjunto de fatos discretos.

2. Agregação e Clusterização:

   • Todas as SCUs extraídas de múltiplos resumos (gerados por diversos LLMs) são convertidas em vetores usando um Sentence Encoder (all-mpnet-base-v2).
   • Aplica-se o algoritmo de clusterização HDBSCAN (Hierarchical Density-Based Spatial Clustering) para agrupar SCUs semanticamente similares.
   • Lógica de Importância: O tamanho de um cluster reflete o consenso entre os diferentes modelos. Se muitos modelos geram SCUs semanticamente similares, essa informação é considerada mais importante e central para o resumo.

3. Pontuação e Classificação:

   • Cada SCU recebe uma pontuação baseada no tamanho do cluster ao qual pertence (maior consenso = maior importância).
   • A pontuação final de um resumo é a soma das pontuações de suas SCUs.
   • Penalidade de Comprimento: Para evitar viés em resumos mais longos, a pontuação total é dividida pela raiz quadrada do número de tokens do resumo.
   • Os resumos são então classificados de acordo com essa pontuação ajustada.

Integração com Distilação:
O SCURank substitui o mecanismo de ranking baseado em ROUGE ou LLM no framework BRIO (que usa aprendizado contrastivo). O modelo BART distilado é treinado para distinguir entre resumos classificados como "positivos" (alta pontuação SCURank) e "negativos".

3. Contribuições Principais

1. Proposta do SCURank: Um novo método de ranking que utiliza unidades de conteúdo semântico (SCUs) e clusterização para avaliar a riqueza de informação, evitando a instabilidade da comparação direta por LLMs.
2. Investigação de Múltiplos LLMs: Demonstração de que a distilação a partir de resumos gerados por nove LLMs diferentes (em vez de um único) melhora a abstratividade e o desempenho geral do modelo destilado.
3. Validação Empírica: Evidências de que o SCURank, combinado com aprendizado contrastivo, supera métricas tradicionais e métodos baseados em LLM (como GPTRank) em diversos conjuntos de dados.

4. Resultados Experimentais

Os experimentos foram conduzidos nos conjuntos de dados CNN/DailyMail e XSum, comparando o SCURank com baselines como ROUGE, BERTScore, BLANC, GPTRank e treinamento apenas por Máxima Verossimilhança (MLE/UnRank).

• Desempenho Automático: O modelo distilado com SCURank alcançou os melhores resultados na maioria das métricas (ROUGE-1/2/L, BLEURT, BERTScore, BARTScore) em ambos os datasets, superando consistentemente o GPTRank e as métricas tradicionais.
• Estabilidade: O SCURank demonstrou ser significativamente mais estável que o GPTRank. Enquanto o GPTRank sofre de viés posicional (sua correlação cai drasticamente quando a ordem dos resumos é embaralhada), o SCURank manteve alta consistência (Krippendorff's α > 0.8), pois o LLM é usado apenas para extração, não para comparação direta.
• Avaliação Humana: Anotações humanas (via MTurk) mostraram que os resumos gerados pelo modelo treinado com SCURank foram superiores em Completude (retendo mais informações-chave), Fidedignidade e Concisão em comparação ao GPTRank.
• Avaliação por LLMs: LLMs de última geração (Grok-4, Claude-4, Gemini-2.5) preferiram consistentemente os resumos do modelo SCURank.
• Abstratividade: O uso de múltiplos LLMs para treinamento reduziu a cobertura e densidade (métricas de abstratividade), aproximando o estilo do modelo destilado ao de humanos, em vez de apenas copiar trechos do texto original.

5. Significado e Conclusão

O trabalho demonstra que a centralidade da informação é uma métrica superior para o treinamento de modelos de sumarização em comparação com a sobreposição lexical ou a preferência subjetiva de um único LLM.

• Robustez: O SCURank oferece uma solução estável para o problema de instabilidade no ranking de candidatos, crucial para o aprendizado contrastivo eficaz.
• Diversidade: A abordagem valida que a diversidade na geração de dados (usando múltiplos LLMs) enriquece o processo de distilação, resultando em modelos menores que são não apenas eficientes, mas também mais abstrativos e informativos.
• Impacto: O framework SCURank estabelece um novo padrão para a avaliação e seleção de resumos em pipelines de distilação de modelos, permitindo que modelos menores (SLMs) alcancem ou superem o desempenho de LLMs em tarefas de sumarização.

O código do projeto está disponível publicamente no GitHub, facilitando a reprodução e adoção da metodologia.