Critical Assessment of ML models for ADMET Prediction in TDC leaderboards

Este trabalho realiza uma avaliação crítica dos modelos de aprendizado de máquina nos leaderboards de ADMET do Therapeutics Data Commons (TDC), revelando que a maioria das principais soluções apresenta falhas de reprodutibilidade, vazamento de dados ou superajuste, e conclui pela necessidade urgente de benchmarks mais rigorosos com conjuntos de teste ocultos e ambientes de inferência padronizados.

O essencial

Imagine que o desenvolvimento de novos remédios é como tentar encontrar a chave perfeita para abrir uma porta trancada. Antes de gastar milhões testando essa chave em uma fechadura real (em laboratórios e em pessoas), os cientistas usam computadores para simular se ela vai funcionar. Esses programas de computador são chamados de modelos de Inteligência Artificial (IA) e eles tentam prever se uma molécula será um bom remédio ou se será tóxica.

Para saber quais desses programas são os melhores, existe um "campo de provas" famoso chamado TDC (Therapeutics Data Commons). É como uma corrida de F1 onde os cientistas colocam seus modelos para correr e quem cruzar a linha de chegada primeiro ganha o primeiro lugar no ranking.

O que os autores deste estudo fizeram?
Eles decidiram agir como "inspetores de qualidade" ou "detetives". Eles pegaram os 10 modelos que estavam no topo desse ranking (os "campeões") e disseram: "Vamos ver se vocês realmente são tão bons quanto dizem, ou se estão trapaceando."

Aqui está o que eles descobriram, usando analogias simples:

1. O Problema do "Manual de Instruções Quebrado"

Muitos dos modelos que estavam em primeiro lugar eram como carros de corrida que ninguém conseguia ligar.

• A Analogia: Imagine que você comprou um carro de luxo que promete ser o mais rápido do mundo, mas quando você tenta ligar o motor, ele não funciona porque o manual de instruções está errado, as peças não encaixam ou o código-fonte (o "motor") sumiu.
• A Realidade: A maioria dos modelos de topo não tinha código disponível ou não funcionava no computador dos autores. Eles eram "fantasmas": pareciam rápidos no papel, mas não podiam ser usados na prática. Apenas 3 modelos (CaliciBoost, MapLight e MapLight+GNN) conseguiram passar no teste de funcionar de verdade.

2. O Truque do "Espelho" (Vazamento de Dados)

Alguns modelos estavam "vazando" informações.

• A Analogia: Imagine uma prova de matemática onde a folha de respostas está escondida dentro do caderno de exercícios. Se o aluno (o modelo de IA) consegue ver a resposta antes de fazer a prova, ele vai tirar nota 10, mas não significa que ele aprendeu matemática.
• A Realidade: Os autores descobriram que alguns modelos, como o MiniMol, tinham sido treinados com dados que já continham as respostas da prova (o conjunto de testes). Eles não estavam aprendendo a prever o futuro; estavam apenas "decorando" o passado. Isso é chamado de vazamento de dados.

3. O Perigo de "Estudar Só para a Prova" (Overfitting)

Este foi o ponto mais importante do estudo. Os autores criaram seus próprios modelos e fizeram um experimento malandro: eles deixaram o computador "estudar" a prova antes de fazê-la.

• A Analogia: Se você tem uma prova de história e o professor deixa o livro de respostas aberto na mesa, você pode decorar todas as respostas. Na hora da prova, você tira 100%. Mas, se o professor mudar uma pergunta amanhã, você vai zerar, porque não aprendeu a história, apenas memorizou as respostas específicas.
• A Realidade: Quando os autores deixaram seus modelos "trapacearem" e se ajustarem especificamente para o conjunto de testes público, os modelos subiram drasticamente no ranking, chegando ao topo em muitos casos. Isso prova que o ranking atual é muito frágil: é fácil para um modelo parecer ótimo apenas porque ele se adaptou demais aos dados públicos, e não porque ele é inteligente de verdade.

4. A Falta de "Regras de Jogo" Claras

O estudo aponta que o sistema atual do TDC tem falhas graves:

• Sem Versão: O banco de dados muda com o tempo, mas ninguém avisa qual versão foi usada para criar o ranking. É como se a prova de hoje tivesse perguntas diferentes da prova de ontem, mas o ranking não atualizasse.
• A Prova Aberta: Como a "prova" (o conjunto de testes) é pública para todos verem por anos, os cientistas acabam ajustando seus modelos para essa prova específica, em vez de criar modelos que funcionem para qualquer situação nova.

A Conclusão (O Veredito)

Os autores dizem que, embora o ranking do TDC seja útil como um ponto de partida, não devemos confiar cegamente nele.

• Muitos "campeões" atuais são como atletas que usaram doping ou correram em uma pista que eles mesmos desenharam.
• Apenas 3 modelos sobreviveram a uma inspeção rigorosa e mostraram ser realmente confiáveis.
• Para o futuro, precisamos de uma "prova secreta" (dados que ninguém vê antes da avaliação final) e de regras mais rígidas para garantir que os modelos realmente aprendam a química e a biologia, e não apenas a decorar números.

Em resumo: O estudo é um alerta para a comunidade científica: "Cuidado! O ranking atual pode estar cheio de ilusões. Precisamos de testes mais honestos para encontrar os verdadeiros gênios da previsão de remédios."

Resumo técnico

Título: Avaliação Crítica de Modelos de ML para Predição ADMET nos Leaderboards do TDC

Autores: Ihor Koleiev et al. (Receptor.AI Inc. e instituições parceiras na Ucrânia, Itália e República Tcheca).

---

1. Problema e Contexto

O desenvolvimento de novos fármacos é caro e arriscado, com grande parte das falhas ocorrendo devido a propriedades farmacocinéticas e toxicológicas desfavoráveis (ADMET: Absorção, Distribuição, Metabolismo, Excreção e Toxicidade). Modelos de Aprendizado de Máquina (ML) tornaram-se essenciais para prever essas propriedades. O Therapeutics Data Commons (TDC) é amplamente considerado o "padrão ouro" para benchmarking de modelos ADMET, oferecendo datasets públicos e um leaderboard para classificação.

No entanto, o artigo identifica um problema crítico: a natureza aberta dos conjuntos de teste no TDC cria riscos significativos de:

• Vazamento de dados (Data Leakage): O modelo pode inadvertidamente "ver" os dados de teste durante o treinamento ou ajuste.
• Sobreajuste (Overfitting): Pesquisadores podem otimizar hiperparâmetros ou arquiteturas especificamente para o conjunto de teste público, inflando artificialmente as métricas sem que o modelo generalize bem para novos dados químicos.
• Falta de Reprodutibilidade: Muitos modelos de topo não possuem código acessível, ambientes de execução configuráveis ou documentação adequada, impedindo a validação independente.

O objetivo do estudo foi realizar uma avaliação crítica rigorosa dos 22 endpoints ADMET do TDC, focando na reprodutibilidade, robustez contra vazamento de dados e sinais de sobreajuste nos modelos de topo.

---

2. Metodologia

Os autores desenvolveram um protocolo unificado de avaliação em múltiplos estágios para os 3 melhores modelos de cada um dos 22 endpoints do TDC (totalizando 10 arquiteturas distintas após remoção de duplicatas, como MiniMol, MapLight, XGBoost, GradientBoost, etc.).

O protocolo consistiu em:

1. Verificação de Reprodutibilidade: Tentativa de executar o código dos modelos em um ambiente local, verificando a disponibilidade do código-fonte e a compatibilidade de dependências (versões de Python, bibliotecas, etc.).
2. Avaliação de Vazamento de Dados: Cálculo das similaridades de Tanimoto (usando fingerprints Morgan) entre os conjuntos de treinamento e teste. Para modelos pré-treinados (como MiniMol), verificou-se se moléculas do conjunto de teste estavam presentes no corpus de pré-treinamento.
3. Verificação de Otimização: Análise de publicações e repositórios para garantir que a seleção de hiperparâmetros não utilizou dados do conjunto de teste (evitando data leakage durante o tuning).
4. Reavaliação de Desempenho: Os modelos que passaram nas etapas anteriores foram reavaliados seguindo as instruções oficiais do TDC para comparar as métricas originais com as reproduzidas.
5. Modelos de Controle (In-house): Os autores desenvolveram seus próprios modelos baseados em LightGBM e embeddings Mol2Vec. Eles criaram duas versões:
   • "Honestos": Otimizados apenas com validação cruzada no conjunto de treino.
   • "Deliberadamente Sobreajustados": Otimizados usando o conjunto de teste público como validação, para simular o efeito de cheating e medir o impacto nas posições no leaderboard.

---

3. Resultados Principais

A. Reprodutibilidade e Disponibilidade

• A maioria dos modelos de topo falhou na reprodutibilidade devido a:
  • Código-fonte inacessível ou links quebrados (ex: CFA).
  • Ambientes de execução impossíveis de configurar devido a conflitos de dependências (ex: ADMETrix, SimGCN, ZairaChem).
• Apenas 3 modelos passaram em todas as etapas de verificação e mostraram desempenho reprodutível: CaliciBoost, MapLight e MapLight + GNN.

B. Vazamento de Dados e Falhas Metodológicas

• MiniMol: Embora os autores afirmem ter removido moléculas do conjunto de teste do seu pré-treinamento, a filtragem baseada apenas em SMILES canônicos falhou em lidar com estereoisômeros e tautômeros. Moléculas idênticas ou altamente similares (ex: danazol) permaneceram no conjunto de treino, causando vazamento de dados indireto.
• GradientBoost e XGBoost: Foi identificado um erro crítico na função de divisão de dados durante a otimização de hiperparâmetros. O conjunto de validação usado para o tuning continha moléculas do conjunto de teste público, levando a métricas infladas. Após correção, o ranking desses modelos caiu drasticamente (1º para 3º e 2º para 8º, respectivamente).

C. Impacto do Sobreajuste (Experimento In-house)

• Os modelos "honestos" da equipe alcançaram o top 3 em apenas 2 de 22 endpoints.
• Os modelos "deliberadamente sobreajustados" (que usaram o teste para otimização) alcançaram o top 3 em 10 de 22 endpoints (≈45%).
• Isso demonstra que o leaderboard público é extremamente sensível ao sobreajuste, permitindo que modelos medianos subam para o topo apenas por "aprender" o conjunto de teste específico.

D. Desempenho dos Modelos Validados

• MapLight e MapLight + GNN mantiveram suas posições de topo na maioria dos endpoints (13/22 e 11/22, respectivamente), com métricas reproduzidas muito próximas das originais (diferenças < 0.01).
• Observou-se uma discrepância significativa e não reproduzível no endpoint bioavailability_ma, sugerindo que o dataset do TDC pode ter sido atualizado sem versionamento, invalidando comparações antigas.

---

4. Contribuições e Significância

Contribuições Técnicas:

1. Exposição de Falhas Sistêmicas: O estudo prova que o atual formato de leaderboard do TDC permite a classificação de modelos que não são reprodutíveis ou que sofreram vazamento de dados.
2. Método de Detecção de Overfitting: A demonstração de que a otimização deliberada no conjunto de teste pode elevar um modelo do meio da tabela para o topo em quase metade dos casos serve como um alerta sobre a validade das métricas atuais.
3. Validação de Modelos Robustos: Identificação de apenas três modelos (CaliciBoost, MapLight, MapLight+GNN) que realmente representam o estado da arte (SOTA) reprodutível.

Significância para a Comunidade Científica:

• Crítica ao "Padrão Ouro": O artigo desafia a crença de que o TDC é um benchmark infalível, alertando que posições de topo não garantem qualidade preditiva real em novos dados químicos.
• Recomendações para o Futuro: Os autores propõem mudanças estruturais urgentes para benchmarks de ADMET:
  1. Conjuntos de Teste Ocultos: O conjunto de teste não deve ser publicamente acessível para evitar adaptação de modelos.
  2. Versionamento Rigoroso: Cada versão do dataset deve ter um checksum único e ser documentada para garantir reprodutibilidade exata.
  3. Submissão de Modelos (não apenas resultados): Os pesquisadores devem submeter o código e o ambiente de inferência padronizado (ex: contêineres) para validação automática, em vez de apenas submeter métricas.

Conclusão

O estudo conclui que, embora o TDC seja uma ferramenta valiosa, seus resultados atuais são frequentemente comprometidos por falta de reprodutibilidade técnica e vulnerabilidade a sobreajuste. A comunidade deve transitar de uma cultura de "ranking em leaderboards abertos" para metodologias de avaliação robustas que priorizem a validação em dados verdadeiramente novos e ocultos.