Resumo Técnico: StrucSum

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado fortes capacidades de zero-shot em sumarização geral, eles enfrentam desafios significativos ao processar documentos estruturados longos. Especificamente, os LLMs frequentemente têm dificuldade em modelar a estrutura do documento, identificar informações salientes em contextos longos e manter a consistência factual devido às janelas de contexto limitadas e à falta de uma consciência de discurso inerente. Os métodos existentes de sumarização extrativa frequentemente dependem de treinamento supervisionado com resumos "gold" escritos por humanos, o que limita sua escalabilidade e adaptabilidade entre domínios. Alémmente, embora estratégias de prompting como Chain-of-Thought tenham aprimorado o raciocínio em outras áreas, a integração do raciocínio estrutural em prompts para sumarização extrativa de documentos longos permanece subexplorada.

Metodologia: StrucSum

Os autores propõem o StrucSum, um framework de prompting livre de treinamento e consciente da estrutura, projetado para aprimorar o raciocínio de LLMs para sumarização extrativa zero-shot. O mecanismo central envolve a construção de um Grafo Atribuído a Texto (TAG) para cada documento, onde as sentenças servem como nós e as arestas representam relações semânticas ou posicionais (derivadas via embeddings Sentence-BERT e similaridade de cosseno).

O StrucSum injeta sinais estruturais deste grafo nos prompts do LLM através de três estratégias distintas:

1. Neighbor-Aware Prompting (NAP - Prompting Consciente de Vizinhos):

   • Mecanismo: Aumenta cada sentença no prompt listando explicitamente seus vizinhos de 1-salto (1-hop) no TAG.
   • Objetivo: Fornecer pistas contextuais locais para aumentar a consciência de discurso de curto alcance, ajudando o LLM a entender as dependências semânticas imediatas de uma sentença.

2. Centrality-Aware Prompting (CAP - Prompting Consciente de Centralidade):

   • Mecanismo: Anexa um escore de centralidade de grau normalizado a cada sentença, calculado com base no número de conexões dentro do TAG.
   • Objetivo: Destacar sentenças globalmente importantes (hubs de discurso) para guiar o LLM na distinção entre conteúdo estruturalmente proeminente e informações periféricas.

3. Centrality-Guided Masking (CGM - Mascaramento Guiado por Centralidade):

   • Mecanismo: Inclui seletivamente apenas as sentenças de ranking superior (baseadas em escores de centralidade) no prompt até que um limiar de centralidade cumulativa (ex: 85%) seja atingido, enquanto mascara as sentenças restantes de baixa saliência.
   • Objetivo: Reduzir o comprimento do input e o uso de tokens enquanto preserva o conteúdo informativo essencial, melhorando o foco de raciocínio e a eficiência.

O framework opera em um cenário totalmente zero-shot, sem qualquer atualização de parâmetros ou ajuste fino (fine-tuning) do LLM subjacente.

Principais Contribuições

• Proposta de Framework: Introdução do StrucSum, um novo framework de prompting que integra priors estruturais baseados em grafos (NAP, CAP, CGM) nos inputs de LLM para sumarização extrativa.
• Validação Empírica: Demonstração através de três benchmarks de formato longo (ArXiv, PubMed, Multi-News) que o prompting consciente da estrutura supera consistentemente tanto o prompting vanilla padrão quanto os baselines não supervisionados (ex: Lead, LexRank, TextRank) em qualidade de resumo e consistência factual.
• Insights Estratégicos: Identificação de que diferentes estratégias estruturais servem a objetivos distintos:
  • CGM é mais eficaz para maximizar a sobreposição com resumos de referência (cobertura de conteúdo).
  • NAP é mais eficaz para manter a consistência factual e reduzir alucinações.
  • CAP oferece um equilíbrio entre desempenho e comprimento de input.
  • O estudo observa que combinar todas as estratégias não gera necessariamente ganhos adicionais, sugerindo que elas abordam diferentes aspectos da tarefa.

Resultados Experimentais

Os experimentos foram conduzidos no ArXiv, PubMed e Multi-News usando GPT-4o-mini, GPT-4o e LLaMA3-70B.

• Qualidade do Resumo: O StrucSum melhorou consistentemente as métricas ROUGE e BERTScore em comparação ao prompting vanilla. Por exemplo, no ArXiv com GPT-4o-mini, a estratégia de Centrality-Aware Prompting (CAP) alcançou um score R-2 de 15.39, superando o baseline vanilla (14.14).
• Consistência Factual: Melhorias significativas foram observadas nas métricas de fidelidade. No ArXiv, o NAP aumentou o FactCC em 19.2 pontos percentuais (de 38.44 para 57.67) e o SummaC em 8.0 pontos, demonstrando um alinhamento mais forte entre o resumo gerado e o conteúdo fonte.
• Eficiência: O CGM reduziu o uso de tokens em 40–50% em comparação ao prompting vanilla, mantendo ou melhorando o desempenho, tornando-o uma opção viável para cenários com restrição de latência.
• Avaliação Humana: Avaliadores humanos no dataset PubMed confirmaram que as estratégias do StrucSum, particularmente o NAP, melhoraram as pontuações de fluência, informatividade e fidelidade em comparação com prompts vanilla.
• Ablação e Análise:
  • Combinar múltiplas estratégias (NAP + CAP + CGM) não gerou ganhos de desempenho claros sobre as estratégias individuais, indicando que elas visam diferentes objetivos de otimização.
  • A análise de inputs apenas de grafos (sem o texto da sentença) mostrou que, embora as pistas estruturais sejam úteis, elas não podem substituir a informação textual para resultados ótimos.
  • A análise de correlação confirmou que os LLMs seguem pistas de centralidade quando fornecidas explicitamente (CAP), embora isso nem sempre se traduza nos maiores scores de ROUGE globais em comparação ao NAP ou CGM.

Significância e Alegações

O artigo afirma que o StrucSum representa uma direção promissora e subexplorada para avançar a sumarização extrativa zero-shot. Ao integrar priors de grafos simbólicos simples nos prompts, o framework guia LLMs de caixa-preta a raciocinar sobre a estrutura do documento sem exigir treinamento ou supervisão adicional. Os autores enfatizam que esta abordagem aborda as limitações específicas dos LLMs em contextos de documentos longos — a saber, a falta de consciência estrutural e a tendência para inconsistência factual — fornecendo uma solução escalável e agnóstica ao modelo que melhora tanto a qualidade quanto a confiabilidade dos resumos gerados por máquina. O trabalho sugere que o raciocínio estrutural é um componente crítico para melhorar o desempenho de LLMs em tarefas complexas de formato longo.