Resumo Técnico: Conjuntos de Dados de Condução Autônoma para Conhecimento Biomédico

Declaração do Problema

Os autores identificam três limitações críticas em repositórios biomédicos existentes, curados manualmente (por exemplo, TDC, ClinVar, B3DB), que impedem o desenvolvimento de modelos de IA de alta qualidade para o design terapêutico:

1. Falta de Nuance: Propriedades como biodisponibilidade oral ou toxicidade não são funções intrínsecas de uma molécula isolada, mas dependem fortemente do contexto experimental (por exemplo, estado alimentado versus em jejum, via de administração, estado da doença). Bancos de dados tabulares frequentemente descartam esse contexto, forçando os modelos a estimar distribuições marginais sobre condições.
2. Incompletude: Bancos de dados curados ficam anos atrás da literatura primária e capturam apenas uma fração dos dados medidos. Além disso, evidências para o mesmo fenômeno são frequentemente relatadas em formas incompatíveis que são difíceis de achatadas em um único esquema.
3. Problemas de Precisão: Auditorias revelam erros de rótulos não triviais em benchmarks amplamente utilizados (por exemplo, 16,5% de erro no TDC BBB, 7,3% no TDC Biodisponibilidade Oral). Modelos treinados nesses rótulos herdam um piso de ruído que limita o desempenho alcançável.

O principal obstáculo para resolver essas questões é a escala da literatura: extrair registros estruturados de dezenas de milhões de artigos requer capacidades de "recuperação cirúrgica" que nem a extração de informações clássica nem os atuais agentes de pesquisa profunda de propósito geral possuem. Agentes existentes sintetizam relatórios narrativos em vez de escanear exaustivamente corpora em busca de instâncias de dados estruturados.

Metodologia: O Sistema Starling

O artigo apresenta o Starling, um sistema de pesquisa profunda multiagente projetado para converter autonomamente a literatura primária (especificamente um corpus de 22,5 milhões de artigos do PubMed) em conjuntos de dados estruturados e matizados. O sistema opera em um corpus marcado e indexado através de três componentes acoplados:

1. Construção do Corpus e Marcação de Entidades

• Corpus: Um subconjunto de 22,5 milhões de artigos do PubMed (aproximadamente 2,5 trilhões de tokens) licenciado para uso em IA. Texto e tabelas são extraídos para markdown.
• Pipeline de Marcação de Entidades: Um pipeline de destilação professor-aluno marca o corpus com 19 tipos de entidades biomédicas de nível superior (por exemplo, SmallMolecule, Gene, Disease) fundamentados em nove ontologias de referência (UMLS, DrugBank, ChEBI, etc.).
  • Professor: gpt-oss-120b rotula janelas de 3 parágrafos, executando passagens separadas para cada tipo de entidade para melhorar a precisão.
  • Destilação: Entidades de alta frequência são validadas contra ontologias de referência usando GPT-5.
  • Aluno: gpt-oss-20b é ajustado finamente na supervisão combinada e executado no corpus completo.
• Infraestrutura de Recuperação: Uma camada de recuperação híbrida esparsa-densa suporta consultas semânticas filtradas por entidade. Embeddings (Qwen3-Embedding-4B) são usados para reclassificar resultados de pesquisa em vez de filtrar o corpus, permitindo filtragem cirúrgica baseada na coocorrência de entidades.

2. O Pipeline do Agente Starling

O Starling opera em duas fases para transformar descrições de tarefas em linguagem natural (por exemplo, "encontrar todas as moléculas com biodisponibilidade oral relatada") em conjuntos de dados estruturados:

• Fase 1: Construção de Consulta (Planejamento):

  • Um agente Propositor constrói um conjunto de "sondas", cada uma consistindo em um filtro de entidade (restrições CNF) e uma consulta semântica.
  • O sistema refina iterativamente as sondas para maximizar a precisão (através de um agente Validador que julga a relevância) e o recall (identificando lacunas onde texto relevante é excluído pelos filtros atuais, guiado por um agente Investigador).
  • Uma vez que as sondas são finalizadas, o Propositor induz um esquema de extração unificado (nomes de campos, tipos, restrições) amostrando artigos e executando um Extrator em modo de formulário livre, refinando então o esquema com base no feedback do Validador.

• Fase 2: Extração e Julgamento:

  • O Extrator (Gemma 4 31B) processa o subcorpus ordenado, emitindo registros estruturados vinculados a passagens de suporte.
  • Um Juiz (um modelo destilado Qwen3.5-9B) executa um filtro final, pontuando extrações em cinco eixos: relevância da tarefa, correção do rótulo primário, fidelidade do intervalo, precisão do campo secundário e atribuição de entidade. Apenas registros que passam em todos os eixos são retidos.

Contribuições Principais

1. Construção de Conjunto de Dados de Condução Autônoma: Um pipeline totalmente autônomo que não requer intervenção humana para design de esquema ou seleção de artigos, capaz de processar literatura em escala.
2. Dados Matizados e Ricos em Contexto: O sistema captura condições experimentais (por exemplo, estado alimentar, via de administração) como campos de primeira classe, preservando sinais que bancos de dados tabulares descartam.
3. Escala e Precisão: O sistema produz conjuntos de dados que são maiores e, segundo auditorias, mais precisos do que benchmarks existentes curados manualmente.
4. Lançamento Aberto: Os autores lançam o código do agente, modelos de marcação de entidades, receitas de recuperação e seis conjuntos de dados específicos, juntamente com uma API para acesso hospedado.

Resultados

O sistema foi avaliado em seis tarefas de descoberta terapêutica: Permeabilidade da Barreira Hematoencefálica (BBB), Biodisponibilidade Oral, Toxicidade Aguda (LD50), Associações Gene-Doença (GDA), Localização Subcelular de Proteínas (PSL) e Reações Químicas.

• Escala: O Starling produziu aproximadamente 6,3 milhões de registros filtrados pelo Juiz.
  • Biodisponibilidade Oral: 185 mil extrações (19 mil moléculas), cobrindo 96,1% das instâncias do TDC e excedendo o tamanho do TDC em 29 vezes.
  • Associações Gene-Doença: 3 milhões de extrações, 6 vezes o tamanho do ClinVar.
  • Localização de Proteínas: 1,9 milhão de extrações, 24 vezes o tamanho do UniProt (Homo sapiens).
  • Reações Químicas: 916 mil extrações, descobrindo ~400 mil produtos novos não presentes em cinco bancos de dados de referência principais.
• Precisão:
  • As taxas de rejeição de modelos de fronteira para extrações mantidas variaram de 0,6% a 7,7% entre as tarefas.
  • Auditorias humanas de discordâncias entre o Starling e benchmarks curados manualmente (por exemplo, BBB_Martins, Bioavailability_Ma) revelaram que bancos de dados curados tinham taxas de erro confirmadas de 7,3% a 19,7%, enquanto as taxas de erro confirmadas do Starling foram ≤1,8%.
• Utilidade a Jusante: O ajuste fino do preditor MiniMol com dados do Starling melhorou ou manteve o desempenho em conjuntos de teste em comparação com o treinamento apenas em dados do TDC, particularmente para moléculas onde modelos baseados apenas em estrutura falham (por exemplo, mecanismos de influxo ativo para BBB).
• Custo: O custo de extração é de aproximadamente $0,001 por registro, dominado pelos custos de inferência.

Significado e Alegações

O artigo argumenta que a literatura primária, quando processada autonomamente, pode produzir conjuntos de dados que são maiores, mais matizados e mais precisos do que os bancos de dados curados que substituem. Os autores afirmam que a "nuance" capturada — especificamente o contexto experimental que explica a variância dentro da molécula — permite uma melhor modelagem preditiva e uma caracterização mais precisa das falhas do modelo.

O trabalho estabelece uma fundação para modelos preditivos e generativos multimodais no design terapêutico impulsionado por IA, indo além das limitações de "distribuição marginal" dos dados tabulares atuais. Os autores enfatizam que seu sistema é totalmente autônomo, capaz de manter os conjuntos de dados sincronizados com a literatura em rápida expansão a uma fração do custo da curadoria manual.

Nota: O artigo declara explicitamente limitações, incluindo a incapacidade de extrair dados de figuras (apenas texto e tabelas), a dependência de corpora licenciados que não podem ser redistribuídos e a necessidade da etapa de "Juiz" para prevenir inundações de dados de baixa qualidade. O sistema não realiza ponderação de evidências ou adjudicação de proveniência além das alegações feitas no texto fonte.