Published benchmark AUROC does not predict generalisation: an independent evaluation of protein solubility predictors on native and heterologous E. coli proteins

Resumo Técnico: O AUROC de Benchmarks Publicados Não Prediz a Generalização

Definição do Problema
Preditores baseados em sequências para solubilidade de proteínas recombinantes são amplamente utilizados para triagem de alvos de expressão em Escherichia coli. Embora modelos de aprendizagem profunda frequentemente reportem fortes AUROCs de benchmark de destaque, permanece incerto se essas métricas reportadas predizem como um modelo irá classificar em uma distribuição de dados independente. Além disso, a variância entre dois modelos de estado da arte (SOTA) quando avaliados exatamente nas mesmas proteínas raramente é testada diretamente. O artigo aborda se o AUROC de benchmark publicado de um modelo serve como um guia confiável para seu desempenho em novas distribuições e quanto o desempenho varia entre modelos de alto nível dentro da mesma classe.

Metodologia
O estudo conduziu uma avaliação independente de preditores de solubilidade de proteínas através de duas distribuições distintas de E. coli:

1. Distribuição Nativa (eSOL): 3.131 ORFs nativas de E. coli K-12 medidas em um sistema de tradução reconstituído livre de chaperonas.
2. Distribuição Heteróloga (SoluProt): 3.100 construtos heterólogos balanceados, representando um cenário de triagem de expressão recombinante mais difícil e realista.

Preditores Avaliados:

• Modelos Profundos: RP3Net (baseado em ESM-2 650M), NetSolP (baseado em ESM1b) e PLM_Sol (baseado em ProtT5).
• Baselines: Dois escores de composição ingênuos de dados: o Índice Ponderado pela Solubilidade (SWI) publicado e um heurístico linear determinístico interno (usado apenas como um baseline corroborativo).
• Modelo Calibrado: ProteinSol (calibrado em eSOL nativo, avaliado apenas em dados heterólogos).

Controle de Vazamento (Leakage Control):
Um componente crítico da metodologia foi o rigoroso controle de vazamento de treino/teste por modelo usando MMseqs2.

• Triagem de duplicatas próximas: Sequências com ≥90% de identidade sobre ≥80% de cobertura de query foram removidas dos conjuntos de teste se aparecessem nos dados de treinamento públicos de um modelo.
• Triagem de homologia: Uma triagem secundária agrupou sequências em ≤30% de identidade para excluir artefatos residuais de homologia.
• Correções Específicas: Notavelmente, 35,7% do conjunto de teste SoluProt sobrepôs-se aos dados de treinamento do PLM_Sol (UESolDS), e 4,06% de eSOL sobrepôs-se aos dados de treinamento do NetSolP. Essas sobreposições foram removidas para garantir uma avaliação justa.

Resultados Principais
Descobriu-se que o desempenho dos preditores de solubilidade é altamente dependente tanto do modelo específico quanto da distribuição alvo, em vez da classe do modelo (ex: "deep learning").

1. Em Proteínas Nativas (eSOL):

   • Dois modelos profundos SOTA ocuparam extremos opostos. O NetSolP foi o melhor preditor (AUROC 0,792), enquanto o RP3Net foi o pior (AUROC 0,709).
   • A lacuna entre esses dois modelos profundos (0,083) foi maior do que a lacuna entre qualquer modelo e um simples baseline.
   • O RP3Net, apesar de um AUROC de benchmark reportado de 0,83 em seu próprio conjunto prospectivo, foi significativamente superado pelo simples escore SWI (0,745, p=0,006) e empatou com o heurístico ingênuo.
   • O NetSolP superou significativamente ambos os baselines.
   • Esta ordenação (NetSolP > SWI > RP3Net) persistiu mesmo após a deduplicação por nível de homologia.

2. Em Proteínas Heterólogas (SoluProt):

   • A tendência inverteu-se. Os dois modelos profundos líderes (NetSolP e RP3Net) agruparam-se no topo e foram estatisticamente indistinguíveis (NetSolP 0,633 vs. RP3Net 0,619, p=0,23).
   • Ambos os modelos profundos lideraram numericamente os baselines simples, embora todos os preditores estivessem dentro de uma faixa estreita e baixa de discriminação (0,58–0,63).
   • O PLM_Sol demonstrou um descasamento severo de distribuição: apesar de reproduzir seu próprio AUROC de benchmark de ~0,83, colapsou para 0,564 no conjunto livre de vazamento SoluProt, performando abaixo de todos os baselines e sendo indistinguível de um escore de composição ingênuo. Este colapso foi confirmado como um efeito genuíno de distribuição, não um artefato de sobreposição de dados de treinamento, pois o desempenho foi idêntico em proteínas com e sem sobreposição.
   • O ProteinSol, calibrado em eSOL nativo, colapsou para próximo do acaso (0,542) no conjunto heterólogo.

Contribuições Principais

• Demonstração da Dependência de Distribuição: O estudo fornece evidência empírica de que o AUROC de benchmark de destaque de um modelo não prediz sua classificação em uma distribuição independente. Um modelo pode ser SOTA em uma distribuição e performar pior que um heurístico simples em outra.
• Variância Entre Modelos SOTA: Os autores mostram que a lacuna de desempenho entre dois modelos de "estado da arte" igualmente profundos pode exceder a lacuna entre um modelo profundo e um baseline simples interpretável.
• Papel dos Baselines: O artigo estabelece que baselines de composição ingênuos de dados servem como um útil "piso de sanidade". Um modelo SOTA caindo abaixo de um simples baseline em um alvo de distribuição sinaliza um gap de generalização que os números de destaque ocultam.
• Rigoroso Controle de Vazamento: O estudo destaca a prevalência de sobreposições ocultas de treino/teste (ex: 35,7% para PLM_Sol) e demonstra que, mesmo após a remoção dessas, descasamentos de distribuição podem causar quedas significativas de desempenho.

Significância e Alegações
O artigo enquadra seus achados não como uma crítica a modelos específicos (que podem ser bem adequados aos seus domínios de design pretendidos), mas como um alerta quanto à seleção de preditores de solubilidade baseada apenas em números de benchmark reportados.

• Contexto de Avaliação: Preditores de solubidade devem ser avaliados na distribuição específica de interesse (ex: nativa vs. heteróloga) em vez de serem confiados por um único número de destaque.
• Descasamento de Domínio de Design: O baixo ranking do RP3Net em proteínas nativas é interpretado como um reflexo de descasamento de distribuição (avaliar um modelo focado em recombinantes em dados nativos) em vez de uma deficiência do modelo. Inversamente, a falha do ProteinSol em dados heterólogos reflete esse efeito na direção oposta.
• Recomendação Prática: Os autores recomendam que avaliações futuras de preditores de solubidade incluam explicitamente baselines ingênuos de dados para fornecer um piso de referência para o desempenho de generalização.

O estudo conclui que a "escolha do modelo, não a classe do modelo, domina" o desempenho em proteínas nativas, e que o termo simplificado "preditor de solubilidade" abrange alvos distintos (solubilidade termodinâmica intrínseca vs. resultados de expressão recombinante), o que impulsiona o descasamento de distribuição observado.