A PubMed-Scale Dataset of Structured Biomedical Abstracts

Resumo Técnico: Structured PubMed

Definição do Problema
Resumos estruturados, que particionam o texto em seções rotuladas (ex: Introdução, Métodos, Resultados), são críticos para a recuperação de informações biomédicas, mineração de texto e síntese de conhecimento. Embora a US National Library of Medicine (NLM) incentive este formato com base na convenção IMRAD, uma vasta parcela dos mais de 23,2 milhões de artigos de pesquisa indexados no PubMed permanece não estruturada. Essa falta de rótulos de seção explícitos cria um gargalo para fluxos de trabalho de Processamento de Linguagem Natural (PLN) subsequentes, uma vez que métodos treinados em dados estruturados não podem ser aplicados diretamente ao maior corpus de resumos não estruturados sem rotulagem adicional. Os recursos existentes para resumos com rótulos de seção são ou limitados em escala (dezenas a centenas de milhares de registros) ou restritos a tipos específicos de estudo, falhando em cobrir toda a amplitude do PubMed.

Metodologia
Os autores apresentam o Structured PubMed, um corpus abrangente compilado a partir dos arquivos completos de baseline e atualização do PubMed acessados em 3 de maio de 2026. A construção do conjunto de dados seguiu um fluxo de trabalho rigoroso de três estágios:

1. Coleta e Filtragem de Dados: De um total inicial de 40,4 milhões de registros de citações, os autores excluiram registros com resumos vazios e removeram tipos de artigos que não fossem de pesquisa (ex: revisões, editoriais, relatos de caso), retendo 23,3 milhões de registros de artigos de pesquisa.
2. Construção de Subconjuntos Duplos: O corpus foi dividido em dois subconjuntos complementares:
   • Subconjunto Estruturado por Autor (5,99 milhões de registros): Estes registros foram extraídos diretamente dos arquivos XML do PubMed da NLM, onde atributos NLMCategory ou Label estavam presentes.
   • Subconjunto Rotulado por LLM (17,29 milhões de registros): Para resumos originalmente não estruturados, os autores empregaram um pipeline de Modelo de Linguagem de Grande Escala (LLM) para inferir as fronteiras das seções.
3. Protocolo de Estruturação por LLM: Para garantir a fidelidade, um protocolo de "extração verbatim" foi implementado. O LLM (especificamente o GPT-4.1-mini) foi instruído com restrições estritas para reproduzir o texto exatamente como escrito, sem paráfrase, correção de erros de digitação ou alucinação. O modelo foi incumbido de segmentar o texto bruto do resumo em um objeto JSON com cinco chaves canônicas: Background (Introdução/Contexto), Objective (Objetivo), Methods (Métodos), Results (Resultados) e Conclusions (Conclusões). Se uma seção estivesse ausente, o modelo deveria retornar null.

Principais Contribuições

• Escala e Escopo do Conjunto de Dados: O Structured PubMed é o maior corpus de resumos biomédicos com rótulos de seção lançado até o momento, contendo 23,3 milhões de registros. Isso é aproximadamente 4,09 vezes o tamanho do recurso anterior mais amplo, o MedConclusion.
• Esquema Unificado: Todo o corpus foi harmonizado sob um esquema unificado de cinco seções e mapeado para identificadores originais do PubMed, tipos de publicação e datas, garantindo rastreabilidade e integração com outros conjuntos de dados derivados do PubMed.
• Validação Metodológica: O estudo valida a abordagem de estruturação baseada em LLM utilizando um benchmark de 30.000 registros (10.000 cada de Artigos de Pesquisa, Estudos Observacionais e Ensaios Clínicos Randomizados), onde a estrutura de padrão-ouro era conhecida.

Resultados
A validação técnica comparou o pipeline de LLM (GPT-4.1-mini e GPT-4.1-nano) contra um modelo de classificação de sentenças baseado em BERT ajustado (BERT CLS).

• Desempenho: O GPT-4.1-mini alcançou o maior desempenho em todas as métricas (ROUGE-1, ROUGE-2, ROUGE-L e BLEU), com pontuações médias de 0,96, 0,95, 0,96 e 0,93, respectivamente. Manteve superioridade consistente em todos os três tipos de artigos.
• Comparação: Embora o BERT-based CLS tenha alcançado um ROUGE-1 agregado alto (0,90), ele apresentou dificuldades significativas com a seção "Objective" (0,74), frequentemente confundindo o contexto de introdução com a intenção da pesquisa. O GPT-4.1-nano mostrou desempenho inferior ao GPT-4.1-mini, particularmente em seções densas em dados, como Métodos e Resultados.
• Perfil de Erro: As altas pontuações do GPT-4.1-mini foram atribuídas ao design de extração verbatim; os desvios do padrão-ouro deveram-se principalmente a erros de posicionamento de fronteira, e não a substituições lexicais, garantindo que o texto permanecesse fiel ao original publicado.

Significância
O artigo afirma que o Structured PubMed aborda uma limitação crítica no PLN biomédico ao estender os rótulos de seção para a grande maioria dos registros do PubMed que anteriormente careciam deles. O conjunto de dados destina-se a apoiar:

• O treinamento e a avaliação de modelos de classificação de sentenças e estruturação de resumos.
• O benchmarking de arquiteturas de segmentação de texto.
• Extração de informações e síntese de evidências em larga escala e específicas de seção.
• Análise comparativa do comportamento de modelos entre resumos nativamente estruturados e retrospectivamente estruturados.

Ao fornecer um recurso massivo e rotulado por seção que cobre todo o espectro de artigos de pesquisa do PubMed, os autores visam facilitar fluxos de trabalho de processamento de texto biomédico mais robustos e escaláveis. O conjunto de dados e o código associado estão publicamente disponíveis via Zenodo e GitHub para garantir a reprodutibilidade.