ScholarSum: Student-Teacher Abstractive Summarization via Knowledge Graph Reasoning and Reflective Refinement

Resumo Técnico do ScholarSum: Sumarização Abstrativa de Estudante-Professor via Raciocínio de Grafo de Conhecimento e Refinamento Reflexivo

Definição do Problema
A sumarização abstrativa de literatura científica enfrenta uma tensão fundamental entre dois requisitos: fluência linguística e fidelidade factual. Métodos extrativos existentes frequentemente preservam fatos, mas interrompem a coerência lógica de macro-nível através de junções rígidas de sentenças. Por outro outro lado, abordagens generativas baseadas em Grandes Modelos de Linguagem (LLMs) destacam-se na fluência, mas frequentemente sofrem com alucinações e consistência factual limitada, particularmente ao lidar com textos científicos complexos e de formato longo. O desafio central abordado por este trabalho é como reconciliar essas demandas conflitantes para produzir resumos que sejam tanto coerentes quanto estritamente fundamentados nas evidências do documento de origem.

Metodologia
Os autores propõem o ScholarSum, um framework hierárquico reflexivo baseado em grafos que emula um processo de escrita humano de "estudante–professor". A metodologia opera através de três estágios primários:

1. Construção de Grafo Hierárquico:
   O sistema primeiro segmenta o documento de origem em unidades semanticamente coerentes e constrói um grafo de conhecimento $G = (V, E)$. Entidades (ex: tarefas, métodos, datasets, métricas) são extraídas e tipadas, enquanto relações (ex: aborda, utiliza, avalia-em) são detectadas entre elas. Para capturar a lógica global, o grafo é particionado em comunidades usando o algoritmo de Leiden, criando uma estrutura de múltiplas camadas onde cada comunidade representa um fio temático focado. Esta estrutura serve como um espaço de trabalho semântico manipulável para planejamento.

2. Geração de Resumo do Estudante:
   Atuando como o "estudante", o modelo utiliza o grafo hierárquico para gerar um rascunho inicial. Este processo envolve duas operações complementares:

   • Planejamento Temático: O modelo navega pela estrutura de comunidades para determinar a ordem e a cobertura dos temas, tratando cada comunidade como um episódio candidato no resumo.
   • Redação Fundamentada em Evidências: O modelo consulta tripletos salientes (ex: configurações experimentais, resultados quantitativos) do grafo para formar um subgrafo de contexto. Ele gera sub-resumos para cada tema e os concatena em um rascunho. Isso garante que o rascunho seja organizado logicamente e ancorado em evidências específicas.

3. Refinamento Estilo Professor:
   Um módulo "professor" avalia iterativamente o rascunho do estudante para impor consistência factual.

   • Recuperação: O professor recupera $k$ artigos similares e seus abstracts de um corpus de referência para estabelecer padrões de domínio em termos de estrutura, terminologia e detalhes.
   • Avaliação: O rascunho é pontuado contra essas referências. O professor gera uma pontuação de qualidade e feedback estruturado identificando contribuições ausentes, erros factuais ou inconsistências lógicas.
   • Revisão Iterativa: Com base na pontuação, o sistema decide sobre uma ação: Aceitar (se a pontuação exceder um limiar alto), Revisão Menor (edições leves para clareza) ou Revisão Maior (retornando o feedback ao estudante para replanejamento e reescrita). Este ciclo continua até que o limiar de qualidade seja atingido ou o orçamento de iterações se esgote.

Principais Contribuições

• Design de Framework: A introdução de um framework de grafo reflexivo hierárquico que separa explicitamente o planejamento estrutural global (via detecção de comunidades) do embasamento de evidências de grão fino.
• Mecanismo Estudante-Professor: Um processo iterativo inovador que desacopla geração de avaliação, utilizando um revisor do tipo professor para identificar e corrigir sistematicamente conteúdos não suportados, reduzindo assim alucinações sem sacrificar a fluência.
• Integração de Evidências Estruturadas: O método utiliza um grafo de conhecimento não apenas como uma representação estática, mas como um espaço de trabalho ativo para planejamento estruturado e recuperação direcionada de evidências, abordando as limitações de abordagens puramente extrativas e generativas padrão.

Resultados Experimentais
Experimentos extensivos foram conduzidos nos benchmarks de sumarização científica ArXiv e PubMed. O ScholarSum foi comparado contra modelos tradicionais encoder-decoder (T5, LED, PEGASUS), estratégias de prompting de LLM (SumCoT, QA-prompting) e baselines de RAG Naive.

• Desempenho: O ScholarSum superou consistentemente todos os baselines em métricas lexicais (ROUGE-1, ROUGE-2, ROUGE-L) e métricas semânticas (METEOR, BERTScore). A lacuna de desempenho foi particularmente pronunciada no PubMed, um dataset caracterizado por dados experimentais densos e terminologia especializada.
• Consistência Factual: Usando a métrica MiniCheck, o framework demonstrou superioridade em confiabilidade factual. Estudos de ablação confirmaram que a remoção do embasamento factual (módulo estudante) ou da revisão guiada pelo professor (módulo professor) degradou significamente o desempenho, sendo o módulo professor crítico para corrigir erros de seleção de conteúdo e organização de discurso.
• Estabilidade: O framework mostrou alta consistência através de múltiplas sementes aleatórias, indicando robustez contra ruído de decodificação estocástica.

Significância e Alegações
O artigo afirma que o ScholarSum resolve efetivamente o conflito inerente entre fluência e fidelidade na sumarização científica. Ao modelar a estrutura do documento para garantir coerência global e empregar refinamento iterativo para corrigir erros factuais de grão fino, o sistema alcança um nível de completude e precisão que os baselines anteriores não conseguiram. Os autores asseguram que sua abordagem é particularmente eficaz para domínios técnicos que exigem alta precisão, como medicina e ciência da computação, onde manter a integridade dos resultados experimentais e detalhes metodológicos é primordial. O trabalho destaca o valor de combinar o raciocínio de grafo estruturado com a geração reflexiva baseada em feedback para aumentar a confiabilidade dos LLMs em contextos científicos.