Divide-Prompt-Refine: a Training-Free, Structure-Aware Framework for Biomedical Abstract Generation

Resumo Técnico: Divide-Prompt-Refine (DPR-BAG)

Declaração do Problema
Os resumos biomédicos são críticos para tarefas downstream de Processamento de Linguagem Natural (PLN), incluindo recuperação de informação, biocuração e descoberta de conhecimento, devido à sua alta densidade de informação e organização estruturada. No entanto, uma parcela significativa da literatura biomédica carece de resumos. Até abril de 2026, aproximadamente 29% dos artigos do PubMed estavam sem resumos, um volume impulsionado pelo crescimento de tipos de publicação como relatórios de casos, editoriais e cartas. Esses resumos ausentes criam um gargalo para aplicações de PLN.

A tarefa de Geração de Resumo Biomédico (BAG) visa gerar automaticamente resumos a partir de artigos de texto completo. Diferentemente do resumo de documentos padrão, a BAG exige adesão às convenções de relato científico (apresentação estruturada de métodos, resultados e conclusões) e a preservação de entidades biomédicas de granularidade fina e achados quantitativos. As abordagens existentes enfrentam dois desafios principais:

1. Viés Extrativo e Fragmentação: Métodos extrativos tradicionais frequentemente produzem texto fragmentado, sem fluxo natural. Mesmo modelos avançados como o LongT5 exibem forte viés extrativo ao processar documentos longos, dependendo de cópia literal em vez de síntese.
2. Riscos de Fidelidade em Contextos Longos: Modelos de última geração (por exemplo, GPT-4) sofrem com alucinações e omissão de informações ao extrair de textos científicos completos não decompostos. Além disso, forçar modelos a processar textos longos complexos frequentemente leva à degradação da consistência factual.

Metodologia: Framework DPR-BAG
Os autores propõem o DPR-BAG (Dividir, Promptar e Refinar para Geração de Resumo Biomédico), um framework sem treinamento, zero-shot, projetado para gerar resumos coerentes e fundamentados em fatos. O framework opera por meio de um pipeline modular:

1. Decomposição Consciente da Estrutura (Dividir):
   Em vez de processar o texto completo como um bloco único, o DPR-BAG decompõe o documento em seis facetas retóricas com base no esquema BOMRC (Background, Objectives, Methods, Results, Conclusions) mais uma categoria "Outros" para conteúdo não classificado.

   • Estratégia de Divisão: Os autores utilizam o LLM-SSC (Classificação Sequencial de Frases baseada em Modelo de Linguagem de Grande Escala) para atribuir rótulos retóricos às frases. Eles empregam uma estratégia de Rótulo da Primeira Frase (FS), onde o rótulo da primeira frase de um parágrafo serve como rótulo global para aquele parágrafo. Essa abordagem supera a divisão ingênua baseada em comprimento (NS) e a normalização de cabeçalhos de seção (SH), fornecendo ancoragem contextual de granularidade fina.

2. Resumo Paralelo (Promptar):
   Cada faceta resultante é resumida independentemente usando um LLM pré-treinado e ajustado por instruções (especificamente Llama-3.2:3B nos experimentos) de maneira zero-shot.

   • Estratégias de Prompting: O estudo avalia três complexidades de prompting:
     • Conciso Básico (BC): Instruções mínimas com pontos focais de granularidade grosseira.
     • Instrução Detalhada (DI): Modelada após as diretrizes de submissão da JMIR, impondo detalhes granulares (tamanhos de amostra, valores de p).
     • Instrução Estrutural (SI): Usa formatação Markdown para impor esquemas estruturais.
   • Orientação de Entidades: O framework testa extensões opcionais de fundamentação, incluindo TR-UMLS (extração TextRank vinculada a conceitos UMLS) e raciocínio de Cadeia de Pensamento (CoT).

3. Refinamento (Refinar):
   Os resumos individuais das facetas são concatenados e passados para uma etapa final de refinamento baseada em LLM. Esta etapa sintetiza as saídas fragmentadas em um resumo unificado, garantindo coerência discursiva global e consistência estilística.

4. Validação e Fallback:
   Um mecanismo de robustez é implementado onde, se todos os seis resumos de facetas falharem, o sistema reagrupa o conteúdo em três categorias mais amplas (Introdução, Ideia Principal, Resultados e Conclusões). Se isso falhar, uma heurística "Lead-300" (primeiros 300 caracteres) é usada para garantir uma saída não vazia.

Contribuições Principais

1. Framework DPR-BAG: Um método novo, sem treinamento e consciente da estrutura para BAG que decompõe artigos de texto completo em facetas retóricas, realiza resumo paralelo e refina a saída.
2. Dataset PMC-MAD: O lançamento de um dataset alinhado à distribuição de 46.309 publicações biomédicas de texto completo (sem resumos) especificamente curado para a tarefa de BAG.
3. Avaliação Abrangente: Uma comparação sistemática do DPR-BAG contra fortes baselines extrativas e abstrativas ajustadas (LED, LongT5), demonstrando desempenho superior em abstratividade e consistência factual sem ajuste fino específico da tarefa.
4. Insights de Ablação: Uma análise detalhada das estratégias de prompting e métodos de divisão, revelando descobertas contra-intuitivas sobre a complexidade do prompt.

Resultados Experimentais
Avaliado no dataset PMC-MAD, o DPR-BAG (usando o prompt Conciso Básico) demonstrou o seguinte:

• Abstratividade: O DPR-BAG gerou resumos que foram significativamente mais abstrativos (maior novidade de n-gramas, menor densidade) do que as baselines ajustadas, assemelhando-se estreitamente a resumos escritos por humanos.
• Factualidade: Apesar da alta abstratividade, o DPR-BAG manteve consistência factual superior (medida por AlignScore, MiniCheck e SummaC) em comparação com baselines zero-shot e ajustadas. Modelos ajustados frequentemente sacrificaram factualidade em prol da abstratividade.
• Estratégia de Divisão: A estratégia de Rótulo da Primeira Frase (FS) superou significativamente a normalização de Cabeçalho de Seção (SH), confirmando que limites semânticos de granularidade fina são necessários para uma geração fiel.
• Descobertas sobre Complexidade de Prompt: Aumentar a complexidade do prompt (DI e SI) ou injetar orientação explícita de entidades (TR-UMLS, CoT) geralmente degradou o alinhamento factual. Os autores observaram um "efeito de distração" onde instruções complexas causaram que o modelo lutasse com restrições de formatação à custa de fatos fundamentados na fonte. Notavelmente, embora o CoT tenha melhorado o alinhamento semântico em alguns contextos, ele frequentemente reduziu a sobreposição factual com a fonte.
• Escalonamento de Modelo: Escalar para modelos maiores (Qwen2.5:7B/14B) melhorou o alinhamento semântico, mas aumentou ainda mais a abstratividade à custa da sobreposição factual, não gerando nenhuma vantagem geral sobre o backbone de 3B.

Significado
O artigo destaca o potencial de frameworks sem treinamento e conscientes da estrutura para geração escalável de resumos biomédicos em cenários de poucos recursos. As descobertas sugerem que, para resumo de documentos longos no domínio biomédico, decompor o texto por estrutura retórica e usar prompting controlado e conciso é mais eficaz do que depender de instruções complexas ou ajuste fino. O framework DPR-BAG oferece uma solução prática para o gargalo de resumos ausentes, permitindo a utilidade de um vasto corpus de literatura biomédica para aplicações downstream de PLN sem o custo computacional de treinar modelos especializados.