Resumo Técnico: Aprendizado por Reforço Ciente de Incerteza para Modelos de Linguagem Química

Declaração do Problema

O Aprendizado por Reforço (RL) emergiu como um paradigma poderoso para o design molecular de novo, permitindo que Modelos de Linguagem Química (CLMs) explorem o espaço químico e otimizem propriedades específicas. No entanto, os frameworks de RL existentes tipicamente tratam as funções de pontuação como oráculos determinísticos, ignorando a incerteza inerente nas previsões de propriedades moleculares. Essas funções de pontuação dependem de modelos preditivos treinados em conjuntos de dados limitados e potencialmente enviesados, introduzindo tanto incerteza aleatória (ruído nos dados) quanto epistêmica (parâmetros do modelo/cobertura).

Quando agentes de RL otimizam apenas com base em estimativas pontuais, eles podem explorar regiões do espaço químico distantes da distribuição de treinamento onde as previsões são altamente incertas. Isso leva à geração de moléculas com pontuações elevadas que são mal suportadas pelos dados de treinamento, o que pode desestabilizar o processo de otimização e resultar em previsões muito distantes de seus valores reais. Embora a quantificação de incerteza seja amplamente estudada no contexto de modelagem de Relação Estrutura-Atividade Quantitativa (QSAR), ela tem recebido atenção limitada no contexto da geração molecular baseada em RL.

Metodologia

Os autores propõem e avaliam duas estratégias complementares para incorporar a incerteza preditiva no loop de RL dentro do framework REINVEΝT4. O framework utiliza uma Rede Neural Recorrente (RNN) como prior para amostrar moléculas, que são então avaliadas por uma função de pontuação de Otimização Multiparâmetro (MPO).

1. Funções de Pontuação Probabilísticas

Antes de introduzir as estratégias de incerteza, os autores abordam uma inconsistência matemática em implementações padrão do REINVENT. Quando as funções de pontuação fornecem uma distribuição preditiva completa (por exemplo, via Estimativa de Média-Variância), aplicar transformações não lineares apenas ao valor esperado ($f(E[X])$) é matematicamente inconsistente com transformar a distribuição primeiro ($E[f(X)]$). Os autores implementam uma abordagem de pontuação probabilística onde o MPO é tratado como uma variável aleatória, aproximada via amostragem de Monte Carlo para propagar a variância corretamente.

2. Estratégias de Integração de Incerteza

O artigo introduz dois métodos distintos para utilizar a incerteza:

• Modulação de Pontuação (SM - Score Modulation): A incerteza é tratada como um objetivo de otimização adicional explícito. A incerteza preditiva é incorporada diretamente na função de pontuação MPO junto com a atividade e propriedades físico-químicas. Isso incentiva a política a realizar um trade-off entre exploração (pontuação alta) e confiabilidade (baixa incerteza).
• Modulação de Perda (LM - Loss Modulation): A incerteza não é adicionada à pontuação, mas é usada para modular a magnitude das atualizações da política. A contribuição de cada molécula para a atualização do gradiente é ponderada inversamente à sua incertidão. Moléculas com alta incerteza têm sua influência na política reduzida, efetivamente diminuindo o peso de sinais de aprendizado não confiáveis.

3. Configurações Experimentais

As estratégias foram avaliadas em três cenários:

1. Sistema de Modelo Controlado (MS): Um ambiente sintético onde o erro de previsão é modelado como ruído Gaussiano com variância proporcional à distância dos dados de treinamento (simulando um Domínio de Aplicabilidade). O ground truth é conhecido, permitindo uma medição precisa do erro.
2. Modelos ChemProp: Cenários de dados reais usando modelos ChemProp treinados com Estimativa de Média-Variância (MVE). Um modelo "Preditor" (treinado em um subconjço pequeno) serve como a função de pontuação, enquanto um modelo "Oráculo" (treinado no conjunto de dados completo) serve como um proxy de verdade fundamental (ground-truth).
3. Predição Conformal (CP): Uma configuração usando um classificador Random Forest envolto por um Preditor Conformal Indutivo de Mondrian, onde a incerteza é quantificada via conjuntos de predição e p-valores, sem um oráculo externo de verdade fundamental.

Principais Resultados

Resultados do Sistema de Modelo

No cenário controlado, a linha de base "Noisy Component" exibiu uma forma de autorregulação implícita, deslocando-se para regiões de menor incerteza devido à instabilidade da pontuação, embora isso fosse lento e dependente das condições iniciais.

• Desempenho SM e LM: Ambas as estratégias explícitas aceleraram o deslocamento para regiões de baixa incerteza em comparação com a linha de base.
• Qualidade de Hits: A estratégia LM apresentou o melhor desempenho, aumentando significativamente a razão de hits verdadeiros em relação ao total de hits comparado à linha de base.
• Abordagem Combinada (SM&LM): Embora esta abordagem tenha se deslocado para regiões de baixa incerteza mais rapidamente, resultou em uma redução significativa no número total de scaffolds de hits acumulados, sugerindo uma correção excessiva que comprometeu a diversidade e a exploração no cenário controlado.

Resultados de Dados Reais (ChemProp)

No cenário ChemProp, a linha de base (apenas Preditor) mostrou um forte aumento na atividade prevista, mas uma divergência substancial do escore do Oráculo, indicando que o modelo estava explorando regiões de alta incerteza onde o Preditor superestimava a atividade.

• Confiabilidade: Estratégias guiadas por incerteza (particularmente LM) mantiveram uma lacuna menor e mais estável entre os escores do Preditor e do Oráculo.
• Hits Verdadeiros: A estratégia LM produziu o maior número de hits verdadeiros e o maior aumento na razão de hits verdadeiros/totais (aumentando de 0,5 para 0,75), quase dobrando o número total de hits verdadeiros em comparação com a linha de base.
• Incerteza: Todas as estratégias guiadas reduziram com sucesso a incerteza preditiva das moléculas geradas.

Resultados de Dados Reais (Predição Conformal)

Sem um oráculo de verdade fundamental, os "true hits" foram definidos como compostos atribuídos a um rótulo de classe único (ativo) pelo Preditor Conformal.

• Redução de Ambiguidade: A otimização da linha de base gerou uma grande proporção de predições ambíguas (atribuídas tanto à classe ativa quanto à inativa). As estratégias guiadas pela incerteza reduziram significativamente essa ambiguidade.
• Confiança de Hits: Embora o número total de hits tenha sido semelhante entre as estratégias, as abordagens guiadas pela incerteza produziram uma fração maior de predições de classe única e confiáveis.

Significância e Alegações

O artigo afirma que a incorporação da incerteza preditiva na geração molecular impulsionada por RL produz melhorias consistentes e significativas em diversos cenários experimentais. A principal significância reside em demonstrar que a incerteza não é meramente uma ferramenta diagnóstica, mas pode servir como um componente ativo do processo de otimização.

• Estabilidade e Confiabilidade: Estratégias cientes da incerteza estabilizam a exploração ao favorecer regiões onde as funções de pontuação são confiáveis, reduzindo o risco de explorar predições espúrias.
• Superioridade da Modulação de Perda: Os autores identificam a Modulação de Perda (LM) como a abordagem mais robusta. Ao contrário da Modulação de Pontuação, que altera o panorama de recompensa ao misturar pontuações com estimativas de incalidade, a LM preserva a integridade do objetivo de pontuação original enquanto atenua a influência de amostras não confiáveis no aprendizado da política.
• Impacto Prático: A abordagem aumenta a confiabilidade da descoberta de hits sem comprometer as pontuações moleculares, tornando-a amplamente aplicável a qualquer framework generativo onde o RL guie a otimização molecular e a incerteza preditiva possa ser estimada.

Os autores concluem que suas descobertas enfatizam a necessidade de considerar a incerteza para melhorar a qualidade e a confiabilidade do design molecular de novo, particularmente ao explorar regiões do espaço químico distantes dos dados de treinamento.