Resumo Técnico: Descoberta de Conhecimento Científico na Era dos Grandes Modelos de Linguagem

Definição do Problema

A rápida expansão da literatura científica tornou os fluxos de trabalho tradicionais de busca e revisão cada vez mais ineficientes. Os sistemas convencionais dependem fortemente de correspondência de palavras-chave, classificação baseada em citações e triagem manual laboriosa, levando a riscos de negligência de trabalhos relevantes, esforços duplicados e atraso na síntese de evidências. Embora existam ferramentas semiautomáticas, elas auxiliam primariamente na priorização, em vez de substituir a avaliação humana. Os autores identificam uma necessidade crítica de métodos mais flexíveis capazes de interpretar linguagem natural, capturar relações semânticas e produzir julgamentos estruturados para apoiar a descoberta de conhecimento científico, focando especificamente em duas tarefas principais:

1. Recuperação de Literatura (Literature Retrieval): Identificar, classificar ou recomendar publicações relevantes a uma consulta, artigo semente ou perfil de usuário.
2. Triagem de Literatura (Literature Screening): Avaliar candidatas a publicações frente a critérios de elegibilidade predefinidos, tipicamente dentro de fluxos de trabalho de revisões sistemáticas e síntese de evidências.

Metodologia

Este capítulo apresenta um levantamento sistemático de 34 artigos revisados por pares publicados entre 2024 e 2026 que aplicam Grandes Modelos de Linguagem (LLMs) generativos a estas tarefas.

• Estratégia de Busca: Os autores utilizaram o BIP! Finder, um mecanismo de busca acadêmica que indexa mais de 250 milhões de publicações via OpenAIRE Graph. Uma busca booleana foi realizada em maio de 2026 utilizando termos relacionados a "large language model" combinados com palavras-chave específicas de recuperação e triagem.
• Critérios de Seleção: De um conjunto inicial de 1.589 registros, os estudos foram incluídos se: (i) abordassem recuperação ou triagem; (ii) utilizassem um LLM generativo como componente primário; (iii) relatassem detalhes metodológicos suficientes para comparação; e (iv) estivessem escritos em inglês. Resumos estendidos, preprints (a menos que uma versão revisada por pares fosse encontrada) e estudos focados em tarefas fora do escopo (ex: sumarização) foram excluídos.
• Características do Corpus: O corpus final de 34 artigos mostra um crescimento rápido (9 em 2024, 24 em 2025, 1 no início de 2026). A literatura está fortemente concentrada nos domínios biomédico e clínico, sendo "Mineração de Texto Biomédico e Ontologias" e "Modelagem de Tópicos" os temas de pesquisa mais frequentes.
• Estrutura de Análise: O levantamento categoriza os trabalhos em duas áreas temáticas (Recuperação e Triagem) e os subdivide ainda mais por abordagem técnica. Cada grupo é analisado com base em:
  • Modelos Utilizados: LLMs específicos, métodos de acesso (API, local, Web UI) e estratégias de adaptação (ajuste fino/fine-tuning vs. prompting).
  • Tendências de Avaliação: Fontes de verdade fundamental (ground truth) (benchmarks existentes vs. construídos pelos autores) e métricas (métricas de classificação, acurácia diagnóstica, eficiência).

Contribuições Principais e Descobertas

1. LLMs para Recuperação de Literatura

O levantamento identifica dois modos primários de aplicação de recuperação:

• Busca Central e Recomendação: Esta é a área mais diversa, abrangendo cinco vertentes de pesquisa:

  • Busca Semântica: Uso de LLMs para extrair conceitos multigranulares (ex: SemRank) ou reponderar embeddings para penalizar redundância (ex: Zheng et al.).
  • Busca Agêntica (Agentic Search): Sistemas onde os LLMs planejam, roteiam e refinam a recuperação (ex: LitChat, LITERAS). Estes frequentemente empregam arquiteturas multiagentes para geração de consultas, busca, validação e refinamento.
  • Fundamentação de Conhecimento Estruturado: Recuperação fundamentada em grafos de conhecimento (ex: GPTscholar gerando consultas SPARQL; Liu et al. gerando consultas Cypher) para reduzir alucinações.
  • Auditoria de Citações: Estudos controlados examinando a capacidade de LLMs de reproduzir listas de referências a partir da memória sem fundamentação em bases de dados (ex: Chelli et al.).
  • Recomendação Baseada em Perfil: Uso de LLMs para refinar sinais de similaridade para recomendadores baseados em grafos (ex: MCAP).
  • Modelos e Avaliação: A maioria dos sistemas utiliza modelos comerciais (GPT-4, Claude, Gemini) via API sem ajuste fino. A avaliação frequentemente depende de métricas clássicas de IR (Recall, Precisão, nDCG) contra benchmarks existentes. No entanto, a avaliação focada do componente de recuperação é frequentemente ausente, pois a recuperação é frequentemente tratada como um passo de suporte para tarefas subsequentes.

• Recuperação Estilo RAG para Tarefas Subsequentes:

  • Estes sistemas integram a recuperação em pipelines para revisão por pares automatizada, suporte à decisão clínica ou geração de levantamentos (surveys).
  • A recuperação é usada para contextualizar a novidade, fundamentar limitações ou apoiar decisões baseadas em evidências.
  • Lacuna de Avaliação: Nestes estudos, a qualidade da recuperação raramente é avaliada contra uma verdade fundamental dedicada. A avaliação foca no output subsequente (ex: a qualidade de uma revisão ou plano de tratamento), usando sinais indiretos como proxies de citação ou estudos de ablação.

2. LLMs para Triagem de Literatura

As abordagens de triagem são divididas em dois padrões arquiteturais:

• Triagem de Passagem Única (Single-Pass Screening):

  • Trata a triagem como uma única chamada de modelo por artigo.
  • A variação técnica reside na engenharia de prompt: critérios estáticos, exemplos de poucos disparos (few-shot), Cadeia de Pensamento (Chain-of-Thought - CoT) e otimização iterativa de prompts (ex: Tao et al., Ruan et al.).
  • Avaliação: Altamente rigorosa, utilizando métricas padrão de acurácia diagnóstica (Precisão, Recall, Especificidade, F1, MCC) contra revisões sistemáticas existentes ou verdade fundamental construída pelos autores.
  • Modelos: Uma mistura de modelos comerciais (GPT, Claude, Gemini) e modelos de pesos abertos (Llama, Mistral, Gemma). Notavelmente, Delgado-Chaves et al. realizou a comparação mais ampla de 18 modelos. Não foi observado ajuste fino dos pesos do modelo; a adaptação limitou-se ao prompting.

• Pipelines de Múltiplos Componentes Projetados:

  • Projetados para mimetizar equipes de revisão humana através de pré-filtragem, arbitragem entre modelos ou triagem aumentada por recuperação.
  • Arbitragem: Múltiplos modelos realizam a triagem independentemente, com um terceiro modelo ou especialista humano resolvendo divergências (ex: Dai et al., Pan et al.).
  • Aumentada por Recuperação: Sistemas recuperam passagens de texto completo para responder a questões de elegibilidade (ex: Trad et al.).
  • Agêntica/Iterativa: Sistemas multiagentes que refinam prompts com base em feedback ou aplicam limiares de redução de carga de trabalho (ex: GREP-Agent).
  • Avaliação: Utiliza métricas diagnósticas padrão junto com estatísticas de concordância (Cohen's $\kappa$, PABAK) e métricas de eficiência (redução de carga de trabalho, custo). A verdade fundamental é tipicamente derivada de revisões sistemáticas existentes ou subconjuntos rotulados por especialistas.

Significância e Alegações

O artigo alega fornecer uma visão abrangente do panorama em rápida evolução da descoberta de conhecimento científico assistida por LLMs. Sua principal significância reside em:

1. Mapear o Panorama: Caracteriza a mudança de chamadas de modelo isoladas para sistemas compostos e frequentemente agênticos de múltiplos componentes tanto para recuperação quanto para triagem.
   2.Identificar Divergência Metodológica:
   • A Recuperação é tecnicamente diversa, mas metodologicamente fragmentada, com falta de uma avaliação padronizada para o próprio componente de recuperação.
   • A Triagem é metodologicamente mais padronizada, utilizando benchmarks de acurácia diagnóstica rigorosos e movendo-se em direção a ferramentas utilizáveis em produção via consenso multi-modelo.
2. Concentração de Domínio: O levantamento destaca que os avanços atuais estão fortemente concentrados em aplicações biomédicas e clínicas. Isso é atribuído à maturidade das metodologias de revisão sistemática na biomedicina, que fornecem uma verdade fundamental estabelecida e convenções de avaliação claras.
3. Tendências de Adoção: O campo observa um aumento de modelos de pesos abertos (frequentamente para controle de privacidade e custo) ao lado dos modelos dominantes de API fechados. No entanto, o ajuste fino específico de domínio permanece raro, com a adaptação ocorrendo principalmente no nível do prompt.

Os autores concluem que, embora a recuperação e a triagem assistidas por LLM estejam passando de demonstrações isoladas para práticas estabelecidas, o campo permanece vinculado ao domínio. A transferibilidade dessas abordas para domínios não biomédicos é atualmente incerta devido à falta de benchmarks comparáveis e convenções de revisão fora da biomedicina.