When Molecular Similarity Works: Property Cliffs Reveal Hidden Errors

Resumo Técnico: Quando a Similaridade Molecular Funciona: Penhascos de Propriedade Revelam Erros Ocultos

1. Declaração do Problema

A previsão precisa de propriedades moleculares é fundamental para a descoberta de fármacos e o design de materiais. No entanto, os modelos mais avançados frequentemente dependem de métricas agregadas (por exemplo, MAE ou RMSE geral) que mascaram modos de falha localizados. Uma questão crítica é o penhasco de propriedade: um fenômeno onde moléculas estruturalmente similares exibem diferenças agudas e descontínuas nas propriedades-alvo, violando o "princípio da propriedade similar" (estruturas próximas devem gerar valores próximos).

Os protocolos de avaliação atuais falham em expor essas falhas:

• Divisões Aleatórias: Frequentemente colocam vizinhos estruturalmente similares em ambos os lados da fronteira treino/teste. Isso permite que os modelos aprendam ajustes localmente suaves que parecem corretos em moléculas individuais, ocultando a descontinuidade.
• Divisões por Esqueleto (Scaffold): Separam moléculas pelo esqueleto químico, mas não visam especificamente a inconsistência local de propriedades. Moléculas dentro do mesmo esqueleto frequentemente compartilham valores de propriedade similares, o que significa que pares reais de penhasco podem cair inteiramente em um lado da divisão, falhando em testar a capacidade do modelo de lidar com descontinuidades de propriedade sob suporte estrutural.

Consequentemente, os modelos podem alcançar uma precisão geral competitiva enquanto falham sistematicamente em vizinhanças locais de alto risco, onde a confiança deveria ser a mais alta.

2. Metodologia

O artigo introduz um framework de benchmark e mitigação consistindo em CliffSplit (avaliação) e CliffLoss (treinamento).

A. CliffSplit: Um Protocolo de Avaliação Consciente de Penhascos
O CliffSplit constrói partições treino/teste especificamente projetadas para expor penhascos de propriedade, mantendo o suporte estrutural local.

• Construção do Grafo de Penhasco: Identifica pares de alto risco $(i, j)$ usando uma pontuação conjunta livre de escala $C_{ij} = s_{ij}^\alpha \cdot r_{ij}^\beta$, onde $s_{ij}$ é a similaridade estrutural (Tanimoto) e $r_{ij}$ é o percentil de classificação da diferença de propriedade $\Delta y_{ij}$.
• Divisão com Restrição Rigorosa: O conjunto de dados é particionado de modo que nenhuma borda de penhasco tenha ambas as extremidades no conjunto de teste. Em vez disso, maximiza a "exposição de penhasco entre divisões", garantindo que, para cada molécula de teste em um par de penhasco, seu vizinho esteja no conjunto de treinamento.
• Indução de Severidade: Moléculas de teste são atribuídas a grupos de severidade (Q1–Q4) com base na severidade máxima de seus vizinhos do lado de treinamento. Isso cria um eixo de avaliação condicionado à severidade, onde o erro é analisado não apenas globalmente, mas relativamente à contradição local entre estrutura e propriedade.

B. CliffLoss: Um Mecanismo de Mitigação Agnóstico ao Modelo
O CliffLoss é um plugin exclusivo de treinamento que repondera erros de regressão com base na severidade de penhasco pré-calculada offline.

• Pontuações de Severidade Offline: Antes do treinamento, cada molécula $i$ recebe uma pontuação de severidade $s_i$ derivada de seus vizinhos de treinamento: $s_i = \frac{1}{M} \sum s_{ij} \cdot \Delta y_{ij} / q_{0.95}$. Essa pontuação reflete o quão "pesada em penhascos" é a vizinhança local.
• Função de Perda Adaptativa: O objetivo total combina a perda base ($L_{base}$) com um termo ponderado por severidade ($L_{cliff}$):
  $$L = L_{base} + \lambda_t \cdot L_{cliff}$$
  onde $L_{cliff} = \frac{1}{N} \sum s_i | \hat{y}_i - y_i |$.
• Controlador Adaptativo: O peso $\lambda_t$ é atualizado dinamicamente durante o treinamento com base na lacuna de erro de validação entre os grupos de severidade mais fáceis (Q1) e mais difíceis (Q4). Se a lacuna persistir, $\lambda_t$ aumenta para fortalecer a correção; se a lacuna fechar ou se inverter, $\lambda_t$ diminui para prevenir supercorreção. Isso não requer alterações arquitetônicas na base e não adiciona sobrecarga de inferência.

3. Contribuições Principais

1. Protocolo CliffSplit: Um protocolo de avaliação dedicado que constrói partições treino/teste expostas a penhascos, revelando um eixo de confiabilidade (erro condicionado à severidade) invisível para métricas agregadas.
2. Plugin CliffLoss: Um mecanismo de treinamento agnóstico ao modelo que repondera erros pela severidade de penhasco offline com controle adaptativo, reduzindo a degradação em regiões de penhasco sem modificar a arquitetura do modelo.
3. Validação Empírica: Experimentos abrangentes em cinco modelos base (GotenNet, MoleculeFormer, EMPP, ViSNet, Uni-Mol) em três alvos QM9 (GAP, HOMO, LUMO) e três tarefas MoleculeNet (ESOL, FreeSolv, Lipophilicidade).

4. Resultados

• Expondo Erros Ocultos: O CliffSplit revela que os modelos incorrem em erros significativamente maiores em regiões pesadas em penhascos comparado a regiões suaves. No QM9, regiões pesadas em penhascos mostram pelo menos 15% de erro a mais do que regiões suaves em todas as bases.
• Gradiente de Severidade: O erro aumenta monotonicamente do quartil de severidade Q1 ao Q4. Para alvos orbitais como HOMO e LUMO, a razão de erro Q4/Q1 excede 1,75, atingindo até 2,60, indicando degradação severa em zonas de alta similaridade e alta divergência.
• Desempenho de Mitigação:
  • O CliffLoss reduz a lacuna de erro entre penhasco e suave em até 30% na tarefa de Lipophilicidade.
  • Melhora o Erro Absoluto Médio (MAE) geral em 9,7% na Lipophilicidade.
  • No HOMO do QM9, o CliffLoss reduz significativamente a razão de severidade (Q4/Q1) (por exemplo, de 2,59 para 2,27 para o GotenNet) enquanto melhora o MAE geral em ~16,7%.
• Ablação: O termo de perda ponderado por severidade ($L_{cliff}$) é o principal motor de melhoria, com o controlador adaptativo fornecendo refinamento incremental para prevenir supercorreção.

5. Significado e Alegações

O artigo afirma transformar a falha de similaridade molecular de uma "anomalía descritiva" em um "problema de avaliação com benchmark".

• Confiabilidade sobre Precisão Média: O trabalho argumenta que tarefas sensíveis à confiabilidade (como otimização de líderes) exigem que os modelos sejam confiáveis localmente, não apenas em média. Penhascos de propriedade representam um modo de falha específico onde a avaliação padrão é mais enganosa.
• Capacidade Diagnóstica: O framework demonstra que a concentração de erro em vizinhanças de alta similaridade é uma propriedade estrutural dos penhascos de propriedade, e não meramente um artefato da escala de dados ou escolha do modelo.
• Mitigação Prática: Os autores mostram que a correção direcionada no nível da perda pode fechar parcialmente a lacuna de confiabilidade sem o custo computacional de alterações arquitetônicas ou complexidade no tempo de inferência.
• Limitações: Os autores observam que o framework atual depende de rótulos offline, construção de penhasco de propriedade única e cobertura suficiente de penhasco no lado de validação. Sugere-se trabalho futuro para estender isso para similaridade aprendida para detecção eficiente em rótulos e modelagem de confiabilidade consciente de incerteza.

O código está disponível em https://anonymous.4open.science/r/Cliff_Loss.