An Empirical Investigation of Pre-Trained Deep Learning Model Reuse in the Scientific Process

Título: Uma Investigação Empírica da Reutilização de Modelos de Deep Learning Pré-Treinados no Processo Científico

1. O Problema

A Deep Learning (DL) transformou as ciências naturais, permitindo a extração de insights e a modelagem de sistemas complexos (ex: previsão de estrutura de proteínas). No entanto, treinar modelos específicos do zero para cada projeto científico impõe custos técnicos proibitivos e complexidade computacional elevada.
Embora a comunidade de engenharia de software recomende a reutilização de Modelos Pré-Treinados (PTMs - Pre-Trained Models) para amortizar esses custos, existe uma lacuna de conhecimento sobre como os cientistas naturais estão efetivamente adotando essas práticas. Não havia estudos empíricos quantitativos que avaliassem:

• A prevalência de padrões de reutilização de PTMs (conceitual, adaptação, implantação) nas ciências naturais.
• O impacto dessa reutilização nas diferentes etapas do processo científico (observação, formulação de hipóteses, teste, etc.).

2. Metodologia

Os autores conduziram o primeiro estudo empírico de larga escala sobre o tema, utilizando um pipeline automatizado impulsionado por Grandes Modelos de Linguagem (LLMs).

• Coleta de Dados:

  • Analisaram 17.511 artigos revisados por pares e de acesso aberto, publicados entre 2000 e 10 de dezembro de 2025.
  • As fontes foram quatro "mega-journals" científicos: BMJ, F1000, FrontiersIn e PLOS.
  • Utilizaram o índice OpenAlex para normalizar metadados e filtrar artigos pertencentes a sete campos de ciências naturais (ex: Bioquímica, Neurociência, Química, Física, etc.).
  • O conjunto final de dados focado em ciências naturais consistiu em 4.384 artigos.

• Pipeline de Análise Automatizada:

  • Utilizaram o modelo GPT-OSS 120b (hospedado no Argonne National Laboratory) para analisar o texto dos artigos.
  • O pipeline operou em uma hierarquia de quatro níveis:
    1. Identificação de DL: Verificar se o artigo usa métodos de Deep Learning.
    2. Verificação de PTM: Confirmar se modelos pré-treinados foram reutilizados.
    3. Extração de Identificadores: Nomear os modelos específicos (ex: ResNet-50, AlphaFold).
    4. Classificação de Padrão e Impacto: Classificar o padrão de reutilização e a etapa do processo científico afetada.
  • Validação: Prompts foram refinados iterativamente até atingir 90% de concordância com anotações manuais de um conjunto de validação.

• Definições de Padrões de Reutilização (Baseadas na Tabela 1):

  • Conceitual: Replicar e reengenharia de algoritmos/arquiteturas a partir de fontes acadêmicas.
  • Adaptação: Adaptar modelos DNN existentes para tarefas diferentes (ex: fine-tuning, transfer learning).
  • Implantação (Deployment): Implantar PTMs em diferentes ambientes computacionais ou frameworks.

3. Principais Contribuições

1. Pipeline Reprodutível: Desenvolvimento de um pipeline automatizado, agnóstico ao LLM, para revisão de literatura científica em larga escala.
2. Primeiro Conjunto de Dados Quantitativo: Criação do primeiro dataset que mapeia a reutilização de PTMs nas ciências naturais, estabelecendo uma linha de base para futuras pesquisas.
3. Caracterização do Processo Científico: Identificação de como os PTMs estão alterando o fluxo de trabalho científico, transitando de métodos experimentais tradicionais para descoberta orientada por dados de alto rendimento.
4. Lançamento de Dados: Disponibilização de um dataset abrangente ligando literatura científica a padrões específicos de reutilização e seu impacto.

4. Resultados Chave

Dos 4.384 artigos de ciências naturais analisados:

• Uso de DL: 1.432 artigos (32,66%) utilizaram métodos de Deep Learning.
• Reutilização de PTM: Destes, 631 artigos (44,06%) reutilizaram modelos pré-treinados.
• Campos Dominantes: A área de "Bioquímica, Genética e Biologia Molecular" foi a mais frequente na adoção de PTMs, seguida por Neurociência e Ciências Ambientais.
• Padrão de Reutilização Predominante:
  • Adaptação: 70,29% (400 casos). É o padrão mais comum, onde cientistas ajustam modelos existentes para novas tarefas.
  • Implantação: 23,95% (142 casos).
  • Conceitual: 4,74% (27 casos).
• Modelos Mais Usados: AlexNet, AlphaFold 2, VGG 16, ResNet 50 e AlphaFold.
• Impacto no Processo Científico:
  • A etapa mais impactada pela integração de PTMs foi o "Teste" (Test), com 422 ocorrências.
  • Seguido por "Análise" (81) e "Fundo/Contexto" (13).
  • Pouquíssimos casos foram identificados nas etapas de "Observação" ou "Formulação de Hipótese".

5. Significado e Implicações

• Mudança de Paradigma: A predominância do padrão de "Adaptação" indica que os cientistas estão evitando o treinamento de modelos do zero, utilizando PTMs como infraestrutura científica reutilizável para reduzir barreiras computacionais e financeiras.
• Oportunidade Perdida: A concentração de uso na etapa de "Teste" sugere que os PTMs são usados principalmente como instrumentos de avaliação ou benchmarking. Há uma oportunidade subutilizada de integrar PTMs nas fases iniciais do processo científico (geração de hipóteses, design experimental), o que poderia acelerar a descoberta.
• Futuro da Pesquisa: O estudo aponta para a necessidade de expandir a utilidade dos PTMs para além da avaliação de dados e investigar o surgimento de fluxos de trabalho "agênticos" (automação completa de laboratórios e descoberta), embora este último tenha sido excluído deste estudo por ser uma prática emergente.
• Validade: O estudo reconhece limitações, como o viés de relato (cientistas não divulgarem o uso de PTMs) e a dependência de classificações de tópicos do OpenAlex, mas oferece uma base sólida para o desenvolvimento de ferramentas de engenharia de software para a ciência.

Em resumo, o trabalho demonstra que a reutilização de modelos pré-treinados está se tornando uma prática madura nas ciências naturais, focada na adaptação de modelos existentes, mas ainda com potencial significativo para transformar as etapas iniciais do método científico.