MedConclusion: A Benchmark for Biomedical Conclusion Generation from Structured Abstracts

Resumo Técnico: MedConclusion

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) demonstraram capacidades robustas em tarefas de raciocínio, mas existem recursos limitados para avaliar especificamente a capacidade de inferir conclusões científicas a partir de evidências estruturadas.

• Limitações dos Trabalhos Anteriores: Conjuntos de dados existentes são frequentemente de escopo estreito (focados em ensaios clínicos específicos ou notas de ecocardiografia), não possuem metadados de nível de periódico (como categoria biomédica ou métricas de prestígio) e muitas vezes tratam a geração de conclusões apenas como um objetivo de treinamento ou proxy, em vez de uma tarefa de raciocínio reutilizável.
• Desafio de Avaliação: A avaliação de conclusões abertas é difícil. Métricas baseadas em referência (como ROUGE) são incompletas para capturar correção factual, e o uso de "LLMs como juízes" (LLM-as-a-judge) sofre de variações significativas dependendo da identidade do modelo juiz e da calibração das pontuações.

2. Metodologia

A. Construção do Dataset (MedConclusion)

• Fonte: O dataset foi curado a partir de 5,7 milhões de resumos estruturados do PubMed publicados entre 2000 e 2025.
• Estrutura: Cada instância consiste em:
  • Entrada ($x$): As seções do resumo exceto a conclusão (Background, Métodos, Resultados, etc.).
  • Alvo ($y^*$): A conclusão original escrita pelos autores.
• Metadados: O dataset inclui metadados de nível de periódico, como a categoria biomédica e o SJR (SCImago Journal Rank), permitindo análises de subgrupos por domínio e prestígio da revista.
• Processamento: O pipeline envolveu a limpeza de dados, deduplicação baseada em PMID/DOI e filtragem rigorosa para garantir que os resumos tivessem pelo menos três seções e uma seção de conclusão identificável.

B. Configuração Experimental e Avaliação

• Tarefa: Dado o contexto do resumo (sem a conclusão), o modelo deve gerar a conclusão.
• Modos de Prompt: Foram testados quatro modos para distinguir entre escrita de conclusão e resumo:
  • A: Conclusão formal (sem restrições de comprimento).
  • B: Resumo formal (sem restrições).
  • C: Conclusão formal (com restrições de contagem de palavras/frases e estilo).
  • D: Resumo formal (com restrições).
• Métricas de Avaliação Híbridas:
  1. LLM-as-a-Judge: Um juiz (GPT-5.4-mini e Gemini 3 Flash) avalia em 5 dimensões (0-100): Similaridade Semântica, Similaridade de Estilo de Escrita, Taxa de Não-Contradição, Consistência Numérica e Similaridade de Formalidade.
  2. Métricas de Referência Leves: ROUGE, BLEU, Similaridade de Cosseno de Embedding, Perplexidade e razões de contagem de palavras/frases.
• Modelos Testados: Uma diversidade de LLMs, incluindo modelos de ponta proprietários (GPT-5.4, Gemini 3), modelos de código aberto (Llama, Gemma, Qwen, DeepSeek) e modelos de raciocínio.

3. Principais Contribuições

1. MedConclusion: O maior dataset de sua classe (5,7M de exemplos) focado na geração de conclusões biomédicas a partir de evidências estruturadas, com supervisão natural de autores.
2. Metadados Ricos: A inclusão de categorias biomédicas e pontuações SJR permite análises granulares sobre como a dificuldade da tarefa varia entre subcampos e níveis de prestígio de periódicos.
3. Estudo Empírico Inicial: Uma avaliação abrangente que contrasta a geração de conclusões com a de resumos e analisa a robustez das métricas automáticas em relação à identidade do juiz.

4. Resultados Chave

• Distinção Comportamental (Conclusão vs. Resumo):
  • A geração de conclusões é comportamentalmente distinta da geração de resumos.
  • Quando os modelos são instruídos a gerar resumos (Modo B), a similaridade semântica com a conclusão original permanece alta, mas a consistência numérica e a similaridade de estilo colapsam drasticamente. Isso indica que resumos tendem a preservar o significado geral, mas alteram detalhes quantitativos e a estrutura retórica específica de uma conclusão.
• Agrupamento de Modelos Fortes:
  • Sob as métricas atuais, os modelos mais fortes (GPT-5.4, Gemini 3.1 Pro, DeepSeek-V3.2) permanecem muito próximos uns dos outros, sugerindo que as métricas automáticas atuais têm dificuldade em separar modelos de ponta nesta tarefa.
  • Modelos de raciocínio (como DeepSeek-R1) não superaram necessariamente os modelos gerais, e em alguns casos (como consistência numérica), tiveram desempenho inferior.
• Sensibilidade ao Juiz (Judge Robustness):
  • A escala absoluta das pontuações varia significativamente dependendo de qual LLM atua como juiz (ex: GPT-5.4 vs. Gemini 3 Flash). Embora a classificação relativa (ranking) seja mais estável, os valores absolutos não são diretamente comparáveis entre diferentes juízes.
• Análise por Subgrupos:
  • Prestígio (SJR): Há uma correlação positiva, mas fraca, entre o SJR da revista e a facilidade de gerar conclusões (maior sobreposição lexical e estilo em revistas de alto prestígio). No entanto, a consistência factual não segue essa tendência.
  • Categorias Biomédicas: Campos interdisciplinares e não clínicos (ex: Aplicações de Ciência da Computação, Software, Microbiologia) são consistentemente os mais difíceis para a geração de conclusões.
  • Limitações das Métricas: Métricas baseadas em sobreposição lexical (ROUGE) não são bons proxies para a qualidade geral da conclusão. Categorias com alta sobreposição lexical podem ter baixa similaridade de estilo ou consistência numérica.

5. Significado e Impacto

O trabalho MedConclusion estabelece um novo padrão para a avaliação de raciocínio científico em LLMs.

• Validade Científica: Demonstra que a tarefa de "inferir conclusões" não é apenas um resumo, mas uma função discursiva específica que requer precisão numérica e estrutura retórica rigorosa.
• Avaliação Híbrida: Reforça a necessidade de combinar métricas baseadas em referência com avaliação por LLMs (juízes) para capturar nuances de qualidade que métricas tradicionais perdem.
• Recurso Futuro: Oferece uma base de dados reutilizável e massiva para treinar e testar modelos na extração de evidências e formulação de hipóteses científicas, essencial para o avanço da IA na descoberta científica e suporte à pesquisa biomédica.

O código e os dados estão disponíveis publicamente no repositório do GitHub mencionado no artigo.