SciDef: Datasets and Tools for Automated Definition Extraction from Scientific Literature with LLMs

O artigo apresenta o SciDef, um conjunto abrangente de recursos que compreende o benchmark DefExtra, julgamentos de similaridade DefSim e um pipeline aberto baseado em LLM para avançar na extração automatizada de definições científicas, ao mesmo tempo em que identifica a filtragem consciente de relevância como o principal desafio para sistemas totalmente automáticos.

O essencial

Imagine que você esteja tentando construir um dicionário gigante e universal para cientistas. O problema é que cada cientista escreve suas próprias regras. Um pesquisador pode definir "viés midiático" como "notícias tendenciosas", enquanto outro o chama de "viés interno em artigos". Eles estão falando da mesma coisa, mas usando palavras diferentes. Isso torna incrivelmente difícil comparar seus trabalhos ou construir ferramentas que compreendam a ciência como um todo.

Os autores deste artigo, SciDef, são como uma equipe de bibliotecários e engenheiros que decidiram consertar essa bagunça. Eles construíram um kit de ferramentas para ajudar os computadores a encontrar, ler e comparar essas definições científicas automaticamente.

Aqui está como o kit de ferramentas deles funciona, dividido em três partes principais:

1. O Dicionário "Padrão Ouro" (DefExtra)

Pense no DefExtra como um enorme baralho de flashcards cuidadosamente curado.

• O que é: Uma coleção de 268 definições reais que humanos extraíram manualmente de 75 artigos acadêmicos diferentes.
• A Pegadinha: Eles não apenas pegaram qualquer frase que parecesse uma definição. Eles filtraram descrições vagas e mantiveram apenas as definições "declaradas pelo autor" — aquelas que os próprios cientistas escreveram para explicar seus termos.
• Por que importa: Antes disso, se você quisesse testar um programa de computador para ver se ele conseguia encontrar definições, você teria que criar seu próprio teste. Agora, todos podem usar este mesmo baralho "Padrão Ouro" para ver quem está fazendo o melhor trabalho.

2. O "Teste de Sabor" (DefSim)

Encontrar uma definição é fácil; saber se duas definições significam a mesma coisa é difícil.

• O Problema: Se um computador diz "Viés midiático é reportagem ruim" e a resposta humana é "Viés midiático é cobertura tendenciosa", elas são a mesma coisa? Uma verificação simples de computador pode dizer "Não, as palavras são diferentes".
• A Solução: O DefSim é um pequeno conjunto de 60 pares de definições onde humanos deram a elas uma "pontuação de similaridade" de 1 a 5 (como avaliar o quanto duas músicas soam parecidas).
• O Objetivo: Isso serve como um "teste de sabor" para ver se a lógica matemática do computador (sua métrica de similaridade) concorda com a intuição humana. O artigo descobriu que um tipo específico de lógica de IA (chamada NLI) é muito boa em passar nesse teste de sabor.

3. O Bibliotecário Robô (Pipeline SciDef)

Esta é a máquina que realmente faz o trabalho.

• Como funciona: Imagine um robô que pega um PDF de um artigo científico, fatia-o em pequenos pedaços (como fatiar um pão de forma) e então pede a um Modelo de Linguagem Grande (LLM) para "Encontrar as definições neste pedaço".
• O Experimento: Os autores testaram 16 modelos de IA diferentes usando diferentes formas de fazer a pergunta (prompts) e diferentes formas de fatiar o artigo (chunking).
• Os Resultados:
  • A Estratégia "Pega-Tudo": Algumas configurações fizeram o robô encontrar quase todas as definições (86,4% delas!). No entanto, ele também encontrou muita porcaria. Era como um detector de metais que apita para todo pedaço de metal, incluindo tampinhas de garrafa e pregos, não apenas moedas de ouro.
  • A Estratégia "Inteligente": A configuração de melhor desempenho usou uma técnica especial de otimização (DSPy). Ela não encontrou todas as definições, mas as que encontrou eram de alta qualidade e relevantes. Obteve uma pontuação de 0,397, que foi a mais alta entre o grupo.
  • O Gargalo: O principal problema não é encontrar as definições; é filtrar. Os robôs são ótimos em lançar uma rede ampla, mas têm dificuldade em descartar o "ruído" irrelevante sem a ajuda humana.

A Grande Conclusão

Os autores não estão alegando que os robôs agora podem ler e entender a ciência perfeitamente por conta própria. Em vez disso, eles estão dizendo:

1. Temos as ferramentas: Eles deram ao mundo os dados (DefExtra, DefSim) e o robô (SciDef) para continuar melhorando.
2. Robôs são bons em "Alta Recall": Eles conseguem encontrar quase tudo o que você está procurando, mas trazem muita bagunça junto.
3. Humanos ainda são necessários: Como os robôs geram conteúdo em excesso (encontram muita porcaria), o próximo passo para os pesquisadores é construir filtros melhores para separar as "moedas de ouro" das "tampinhas de garrafa".

Em resumo, o SciDef é um kit inicial para qualquer pessoa que queira ensinar computadores a entender a linguagem da ciência, completo com um baralho de teste, uma rubrica de avaliação e um protótipo funcional.

Resumo técnico

Resumo Técnico: SciDef – Conjuntos de Dados e Ferramentas para Extração Automatizada de Definições da Literatura Científica com LLMs

Declaração do Problema

Conceitos científicos são frequentemente definidos de forma inconsistente em diversos artigos acadêmicos, criando barreiras para comparar descobertas, reutilizar terminologias e construir recursos confiáveis para aplicações subsequentes. À medida que o volume de publicações aumenta, identificar e consolidar manualmente definições para palavras-chave específicas torna-se inviável. Embora os Modelos de Linguagem de Grande Escala (LLMs) mostrem promessa no reconhecimento de declarações de definição além de padrões de palavras-chave superficiais, a pesquisa reprodutível neste domínio é prejudicada pela falta de benchmarks públicos para definições extraídas, conjuntos de dados dedicados para avaliar a similaridade de definições e infraestrutura reutilizável para comparar pipelines de extração e estratégias de prompting.

Metodologia

Os autores apresentam o SciDef, um conjunto abrangente de recursos composto por dois conjuntos de dados e um pipeline baseado em LLM de código aberto. A metodologia está estruturada em torno de três componentes principais:

1. Construção de Conjuntos de Dados

• DefExtra (Benchmark de Extração): Um conjunto de dados de 268 definições validadas por humanos e declaradas pelos autores, extraídas de 75 artigos acadêmicos curados (publicados entre 1987–2025), focando principalmente no domínio de viés midiático (media bias). O conjunto de dados inclui metadados da fonte, intervalos de contexto e rótulos que distinguem entre definições explícitas (citações diretas) e implícitas (reformuladas, mas claras). Ele também sinaliza artigos fora do domínio para testar a robustez do modelo. A construção envolveu um processo de várias etapas: recuperação inicial e anotação baseada no esforço TaxoMatic, seguida de filtragem manual rigorosa por dois autores para reter apenas definições verificáveis e declaradas pelos autores, e, finalmente, a extensão com artigos adicionais anotados por um grupo separado de 11 anotadores.
• DefSim (Benchmark de Similaridade): Um recurso de validação contendo 60 pares de definições com rótulos de similaridade semântica humana (classificados de 1 a 5). Os pares incluem combinações gold-prediction (padrão-predição), gold-gold e prediction-prediction para cobrir casos exatos, parciais e não correspondentes. Este conjunto de dados foi projetado para validar métricas de correspondência semântica, em vez de ajustá-las.

2. O Pipeline SciDef

O SciDef é um pipeline modular e reprodutível para pré-processamento de PDF, fragmentação (chunking), extração de definições, otimização de prompt e avaliação.

• Pré-processamento: Os PDFs são processados usando GROBID.
• Fragmentação (Chunking): Quatro estratégias são avaliadas: nível de seção, nível de parágrafo, nível de sentença e uma janela deslizante de três sentenças.
• Estratégias de Extração: O pipeline compara diversas abordagens de prompting:
  • OneStep: Extrai definições diretamente de um fragmento.
  • MultiStep: Primeiro determina se um fragmento contém uma definição antes de extraí-la.
  • Variantes Few-Shot: Inclui exemplos de treinamento (OneStep-FS, MultiStep-FS).
  • Otimização DSPy: Implementa e otimiza prompts usando BootstrapFewShot, BootstrapFewShotWithRandomSearch e MIPROv2. Durante a otimização, os modelos predizem intervalos de contexto local como um sinal de fundamentação (grounding) auxiliar.
• Protocolo de Avaliação: O pipeline avalia 16 LLMs (abertos e proprietários) contra o DefExtra. Como a correspondência exata de strings é insuficiente para definições parafraseadas, os autores selecionam uma métrica de par baseado em benchmarks de similaridade semântica geral (STS3k, SICK, MSRP, QQP). Eles identificam a Inferência de Linguagem Natural (NLI) como a métrica superior e utilizam o DefSim para validar seu alinhamento com os julgamentos humanos.
• Pontuação: Uma pontuação de melhor correspondência bidirecional é computada. Ela mede a cobertura das anotações humanas (recall) enquanto penaliza a sobregeração (precision) combinando a similaridade semântica (via métrica NLI) com o acordo de tipo explícito/implícito.

Principais Contribuições

O artigo apresenta quatro contribuições primárias:

1. DefExtra: Um benchmark de 268 definições extraídas por humanos com metadados ricos, incluindo rótulos de tipo de definição e indicadores de fora do domínio.
2. DefSim: Um recurso de validação específico para a tarefa de julgamentos de similaridade de pares de definições, para avaliar métricas de correspondência semântica.
3. SciDef: Um pipeline de LLM aberto, documentado e versionado que suporta pré-processamento de PDF, fragmentação, extração de definições, otimização de prompt e avaliação.
4. Experimentos de Validação: Um benchmarking abrangente de 16 LLMs através de múltiplas estratégias de prompting e esquemas de fragmentação, demonstrando a utilidade dos recursos liberados para comparar o desempenho de extração.

Resultados

Os autores validaram os recursos utilizando o viés midiático como um estudo de caso desafiador devido às suas definições inconsistentes entre disciplinas.

• Validação de Métrica: Métricas baseadas em NLI superaram a similaridade de cosseno de embeddings e a pontuação de "LLM-as-a-Judge" em benchmarks semânticos gerais. No DefSim, a métrica NLI mostrou uma forte correlação de Pearson ($\rho = 0.937$) com os julgamentos de similaridade humana, e os anotadores humanos mostraram alto acordo ($\alpha = 0.924$).
• Desempenho de Extração:
  • A configuração de conjunto mais forte (um extrator otimizado via DSPy usando um modelo da família Qwen com fragmentação de nível de seção) alcançou uma pontuação de 0.397.
  • A configuração de maior cobertura (um extrator one-step few-shot) correspondeu pelo menos uma predição a 86,4% das definições gold. No entanto, esta configuração sobregerou significativamente definições candidatas (média de 39,13 predições por artigo), resultando em uma pontuação geral menor.
  • Os extratores com melhor pontuação (principalmente baseados em DSPy) demonstraram um melhor equilíbrio entre cobertura e especificidade, com contagens médias de predição em torno de 5 a 12 por artigo.
• Descoberta Principal: Embora os LLMs possam recuperar uma alta porcentagem de definições científicas, a alta revocação (recall) muitas vezes ocorre à custa da relevância. O benchmark distingue efetivamente entre modelos que encontram muitos candidatos plausíveis e aqueles que identificam as definições específicas e relevantes.

Significância e Alegações

O artigo posiciona o SciDef como uma camada de ferramenta e benchmark reutilizável para análise de literatura centrada em definições. Os autores afirmam que seus recursos permitem que pesquisadores:

• Comparem novos extratores de definições contra um benchmark padronizado e validado por humanos.
• Validem métricas de correspondência de definições usando julgamentos humanos específicos para a tarefa.
• Colecionem definições candidatas para tarefas subsequentes, como revisões de literatura, construção de taxonomias, engenharia de ontologias e mapeamento de domínios.

Os autores concluem modestamente que os LLMs atuais servem efetivamente como ferramentas de descoberta de definições de alta revocação, mas ainda não devem ser tratados como seletores de definições totalmente automáticos. O principal gargalo para a extração totalmente automática permanece sendo a filtragem consciente da relevância, pois os modelos frequentemente recuperam muitos candidatos plausíveis, porém irrelevantes. Consequentemente, a validação humana permanece necessária para aplicações de alto risco. O trabalho destaca a necessidade de desenvolvimento contínuo em mecanismos de filtragem para reduzir a lacuna entre a alta revocação e a alta precisão na extração de definições científicas.