Empty scaffold allocation bias in molecular distribution shift evaluation

Resumo Técnico: Viés de Alocação de Scaffold Vazio na Avaliação de Deslocamento de Distribuição Molecular

Definição do Problema
A avaliação baseada em scaffolds é uma metodologia padrão para estimar a generalização de modelos de aprendizado de máquina molecular para séries químicas não vistas. Esta abordagem baseia-se na premissa de que cada unidade de divisão (um grupo de moléculas que compartilham um scaffold) corresponde a um núcleo quimicamente significativo e compartilhado. No entanto, o procedimento de extração de scaffold de Bemis–Murcko frequentemente retorna uma representação de scaffold "vazia" para moléculas que carecem de uma estrutura de anel–conector retida. Nos protocolos padrão de divisão por scaffold, essas moléculas de "sem-scaffold" são colapsadas em um único "balde de scaffold vazio" indivisível e tratadas como uma única unidade de divisão.

O artigo identifica um modo de falha crítico: este agrupamento trata a ausência de uma população residual definida como se fosse uma classe de scaffold quimicamente coerente. Como as moléculas sem scaffold são estruturalmente heterogêneas e carecem de um núcleo comum, alocá-las como uma única unidade pode levar a um severo viés de alocação. Especificamente, as estratégias de divisão padrão frequentemente esgotam essas moléculas do conjunto de treinamento, concentrando-as nos conjuntos de validação ou teste. Isso cria um cenário de avaliação onde o desempenho do modelo é confundido pela sub-representação de uma subpopulação estruturalmente difusa e fracamente suportada, em vez de testar a genuína generalização ao nível de scaffold.

Metodologia
O estudo conduziu uma análise sistemática em 16 conjuntos de dados MoleculeNet e 73 tarefas Deep-PK/ADMET. A metodologia envolveu:

1. Caracterização de Moléculas Sem Scaffold: Os autores quantificaram a prevalência de scaffolds vazios e analisaram sua coesão estrutural (usando similaridade de Tanimoto e Coesão Gini) e suporte no espaço químico (similaridade de vizinho mais próximo para moléculas com scaffold). Eles também avaliaram o deslocamento de distribuição dependente da tarefa nos espaços de rótulo e alvo.
2. Avaliação de Estratégias de Divisão: Quatro estratégias de divisão foram comparadas: Divisão por Scaffold Bemis–Murcko padrão, agrupamento baseado em UMAP, DataSAIL e LoHi. A análise focou em "dobras representativas de treinamento esgotadas" (a dobra com a menor proporção de moléculas sem scaffold no treinamento) para avaliar a cobertura do pior caso no lado do treinamento e o enriquecimento resultante nos ramos de avaliação.
3. Avaliação de Desempenho:
   • Classificação: Os modelos foram avaliados usando Precisão-Recall normalizada (normPR) para medir o desempenho de ranking relativo à linha de base da taxa positiva. O estudo comparou o desempenho nos subconjuntos de teste sem scaffold contra referências de dobras ordinárias.
   • Regressão: Os modelos foram avaliados usando Erro Médio Absoluto relativo (relMAE) para quantificar erros ajustados de escala. O estudo analisou a "inflação de relMAE" (a razão do erro em subconjuntos sem scaffold versus dobras ordinárias).
4. Diagnósticos Mecanísticos: Os autores investigaram correlações entre a degradação do desempenho e potenciais causas, incluindo perda de suporte de treinamento, deslocamento de prior, deriva de calibração e compressão de escala de predição.
5. Reparo Proposto (ESA): Uma estratégia de reparo "Consciente de Scaffold Vazio" (Empty-Scaffold-Aware - ESA) foi desenvolvida. Este procedimento pós-divisão mantém as atribuições de moléculas com scaffold fixas (preservando a espinha dorsal consciente de vazamento/leakage) e reatribui moléculas sem scaffold em micro-clusters estruturais locais. Esses micro-clusters são então redistribuídos entre os ramos de treinamento, validação e teste para restaurar a representação no lado do treinamento enquanto controla a exposição de similaridade voltada ao treinamento.

Principais Resultados

• Prevalência e Propriedades: Moléculas sem scaffold são comuns, aparecendo em 8 de 16 conjuntos de dados MoleculeNet e 40 de 73 tarefas Deep-PK/ADMET, com alguns endpoints físico-químicos aproximando-se de 50%. Estas moléculas são estruturalmente difusas (similaridade de Tanimoto dentro do grupo mediana de 0,110, próxima aos níveis de fundo) e fracamente suportadas pelo espaço químico de moléculas com scaffold (similaridade de vizinho mais próximo mediana de 0,300).
• Viés de Alocação: A Divisão por Scaffold padrão consistentemente aloca todo o balde de scaffold vazio para os ramos de avaliação, deixando o conjunto de treinamento com zero moléculas sem scaffold nas piores dobras. Estratégias alternativas (UMAP, DataSAIL, LoHi) também falham em garantir a representação proporcional no lado do treinamento, resultando frequentemente em conjuntos de treinamento com cobertura de moléculas sem scaffold significativamente menor do que o conjunto de dados completo.
• Impacto na Classificação: Quando as moléculas sem scaffold são enriquecidas nos conjuntos de teste mas esgotadas no treinamento, o desempenho da classificação degrada significativamente. A mediana da normPR cai em direção à linha de base do prior (por exemplo, de 0,259 para 0,035 no MoleculeNet). Isso indica uma perda de ordenação discriminativa, com o desempenho comprimindo em direção ao acaso, em vez de refletir apenas o desequilíbrio de classes.
• Impacto na Regressão: Tarefas de regressão exibem inflação significativa de erro. O relMAE mediana aumenta 1,35 vezes no total, com 44,8% dos pontos de avaliação mostrando pelo menos 2 vezes de inflação. Esta inflação é impulsionada pelo aumento do erro absoluto de predição e, em algumas tarefas de ADMET, pela contração da escala do alvo.
• Drivers Mecanísticos: A degradação do desempenho está fortemente associada à compressão de escala de predição na classificação e à perda de suporte de treinamento na regressão. O deslocamento de prior e a deriva de calibração mostraram associações fracas com a perda de desempenho.
• Eficácia do ESA: A estratégia de reparo ESA restaurou com sucesso a representação no lado do treinamento (aumentando a recuperação de suporte de 0,64 para 1,11) e reduziu a concentração de moléculas sem scaffold nos ramos de avaliação (reduzindo a razão de sumidouro de 5,28 para 0,43) sem introduzir novo vazamento de similaridade significativo.

Significância e Alegações
O artigo alega que a alocação de scaffold vazio é um modo de falha anteriormente negligenciado que confunde a generalização ao nível de scaffold com a sub-representação de uma subpopulação residual fracamente suportada. Os autores argumentam que o design de benchmarks moleculares confiáveis deve diagnosticar não apenas o vazamento de análogos e a similaridade global treino-teste, mas também a sub-representação induzida pela representação de tais subpopulações.

O estudo não afirma que as divisões por scaffold são inválidas, mas sim que sua interpretação é comprometida quando as moléculas sem scaffold são tratadas como uma única unidade quimicamente incoerente. A contribuição central é a identificação deste viés e a demonstração de que as estratégias de divisão atuais não garantem suporte adequado de treinamento para essas moléculas. O reparo ESA proposto ilustra um princípio mais amplo: a dificuldade de avaliação e a representação no lado do treinamento devem ser relatadas como propriedades distintas de uma divisão de benchmark. Os autores concluem que os relatórios de benchmarks devem separar explicitamente a frequência de moléculas sem scaffold, o suporte que elas recebem no lado do treinamento e seu enriquecimento nos ramos de avaliação para distinguir a generalização ao nível de scaffold da falha de extrapolação impulsionada pelo suporte.