A Diagnostic Framework for Auditing Validation-Driven Adaptive Reward Weighting in Molecular Generation

Resumo Técnico: Um Framework de Diagnóstico para Auditoria de Pesagem Adaptativa de Recompensas Baseada em Validação na Geração Molecular

Declaração do Problema
Na geração molecular multi-objetivo, a pesagem adaptativa de recompensas é frequentemente proposta para superar as limitações da escalonamento escalar fixo, que pode tornar-se mal calibrado à medida que a distribuição molecular gerada se desloca. No entanto, o artigo argumenta que o sucesso aparente de controladores adaptativos é frequentemente ambíguo. Um controlador pode parecer eficaz não porque utiliza informações específicas de validação para melhorar a utilidade molecular, mas porque reage ao ruído temporal, otimiza um oráculo de feedback que observa repetidamente (perseguição de proxy/proxy chasing), ou beneficia-se de uma computação de validação não correspondente que perturba o fluxo de números aleatórios do treinamento. Os controles existentes, como o simples embaralhamento de histórico ou baselines de pesos iguais, frequentemente falham em isolar esses fatores de confusão, levando a falsos positivos quanto à eficácia da pesagem adaptativa.

Metodologia
Os autores propõem um framework de diagnóstico projetado para auditar a pesagem adaptativa de recompensas como uma comparação causal, em vez de um simples benchmark de controlador. O estudo utiliza o framework REINVENT4 para geração molecular, focando na otimização da atividade DRD2, QED (semelhança com fármacos) e peso molecular. A metodologia é construída sobre três fluxos de informação distintos e um conjunto rigoroso de controles:

1. Separação de Três Fluxos:

   • Recompensa do Gerador: Utiliza um modelo de Floresta Aleatória (RF) treinado em atividade, combinado com pontuações de QED e peso molecular.
   • Feedback do Controlador: Um controlador determinístico lê um Support Vector Machine (SVM) treinado independente em lotes de validação. Este SVM é distinto do modelo de recompensa RF do gerador.
   • Avaliação Final: Uma Rede Neural de Passagem de Mensagens (MPN) "intocada", treinada em dados do BindingDB, avalia as moléculas finais geradas. Crucialmente, esta MPN nunca é consultada durante o treinamento ou a adaptação do controlador.

2. Controles Diagnósticos:

   • Placebos Preservadores de Temporalidade: Para abordar a falha do embaralhamento de histórico independente (que interrompe a autocorrelação de lag-1 e eventos de declínio), o estudo emprega replays de deslocamento circular (circular-shift replays). Estes preservam a dinâmica temporal da trajetória de validação enquanto quebram o alinhamento com a fase de treinamento atual.
   • Robustez de Mecanismo Distinto: O cross-seed replay utiliza o histórico de validação de uma semente diferente (correspondência cíclica) para garantir que o controlador não esteja explorando artefatos específicos da semente.
   • Correspondência de Computação e RNG: Comparadores estáticos (equal weighting congelado e pesagem ajustada selecionada durante o desenvolvimento) são executados com cadência de validação, amostragem de lote e estados de gerador de números aleatórios (RNG) idênticos para garantir que a amostragem de validação não altere o processo de treinamento.
   • Controle Positivo de Ponta a Ponta: Um controle semissintético é utilizado onde um declínio conhecido de QED é injetado. O sistema deve recuperar com sucesso um ganho de QED para provar que o pipeline é capaz de detectar e agir sobre um sinal real.

3. Design Experimental:

   • Um experimento confirmatório travado envolvendo 10 sementes pareadas e 70 execuções totais.
   • A inferência estatística é realizada no nível da semente (diferenças pareadas), não no nível da molécula, usando 100.000 reamostragens de bootstrap.
   • Uma margem prática pré-especificada de +0,015 é definida para o endpoint primário (diferença de atividade do SVM).
   • A análise de Domínio de Aplicabilidade (AD) é aplicada à MPN final para distinguir entre extrapolação fora do domínio e utilidade subsequente suportada.

Resultos Principais

• Validação de Placebo: Os placebos de deslocamento circular preservaram os recursos temporais (autocorrelação, contagens de declínio) significativamente melhor do que o embaralhamento independente, corrigindo uma incompatibilidade no processo de gatilho do controlador.
• Desempenho do Controlador: Contra o placebo de deslocamento circular primário, o controlador real mostrou um aumento médio de atividade do SVM de +0,00236 (95% CI: -0,00327 a +0,00946). Isto está bem abaixo da margem prática pré-especificada de +0,015.
• Utilidade Subsequente: A MPN intocada mostrou um pequeno ganho positivo para todas as moléculas válidas (+0,00788), mas uma mudança negligível (-0,00032) dentro do domínio de aplicabilidade do modelo (que cobria apenas ~4,4% das moléculas geradas). Isso indica que os ganhos observados não persistiram em regiões quimicamente suportadas.
• Comparadores Estáticos: O controlador adaptativo não superou a pesagem estática de pesos iguais. Quando comparado contra um comparador estático ajustado, o controlador mostrou um trade-off (maior atividade, mas menor QED) em vez de superioridade uniforme.
• Controle Positivo: O controle semissintético de ponta a end-to-end recuperou com sucesso um ganho médio de QED de +0,126 em todas as sementes, demonstrando que o pipeline de auditoria é sensível o suficiente para detectar uma resposta molecular real e praticamente significativa.

Significância e Alegações
O artigo enquadra explicitamente sua contribuição como um template de auditoria reutilizável para avaliar controladores de geração molecular adaptativa, em vez de uma afirmação de que a pesagem adaptativa é geralmente ineficaz.

• Auditoria de Utilização de Sinal: O estudo conclui que o controlador testado não demonstrou utilização praticamente significativa de sinais de validação ou utilidade subsequente suportada pelo domínio de aplicabilidade.
• Controles Necessários: Os autores identificam que a avaliação válida de pesagem adaptativa requer um conjunto específico de controles conjuntamente necessários: placebos preservadores de temporalidade, separação de oráculos (treinamento vs. feedback vs. avaliação final), correspondência de computação/RNG, escalonamento estático competitivo e detectabilidade de ponta a ponta.
• Mudança de Interpretação: O framework demonstra como esses controles podem alterar a interpretação de um resultado de desenvolvimento aparentemente promissor, revelando que as melhorias observadas podem ser artefatos de design experimental, em vez de uma otimização molecular genuína.
• Modéstia: Os autores alertam que o resultado negativo é específico para o controlador, oráculos e o regime DRD2/QED/peso molecular travados. Eles não afirmam que o pipeline de análise é globalmente insensível, mas sim que ele detectou com sucesso a falta de efeito nesta configuração específica, provando sua própria sensibilidade através do controle positivo.