🧬 biologia

Reinforcement Learning for Molecule Design: A Taxonomy of Algorithms, Benchmarks, and Road to Synthesizable Leads

Este levantamento fornece uma taxonomia abrangente de algoritmos de aprendizado por reforço, benchmarks e representações moleculares para o design de fármacos de novo e otimização de estruturas, enquanto avalia criticamente a lacuna entre o desempenho nos benchmarks e a sintetizabilidade no mundo real.

Autores originais: Kusal Debnath, Taksheel Shetty, Preetam Ghosh

Publicado 2026-10-16

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kusal Debnath, Taksheel Shetty, Preetam Ghosh

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo

A busca por novos medicamentos é frequentemente imaginada como uma caçada através de uma paisagem vasta e invisível. Esta paisagem é o espaço químico, um universo teórico contendo mais de cem milhões de trilhões de trilhões de moléculas pequenas possíveis que poderiam atuar como fármacos. O número é tão grande que desafia a intuição humana; mesmo que cada átomo no universo observável fosse uma molécula, isso ainda representaria apenas uma fração minúscula deste universo químico. Dentro desta expansão infinita, os cientistas procuram formas específicas que possam se encaixar na maquinaria biológica do corpo humano para curar doenças. O desafio é que a grande maioria dessas potenciais moléculas nunca foi fabricada, e as poucas que foram testadas e comprovadas seguras são apenas uma gota no oceano. Os métodos tradicionais de encontrar essas agulhas no palheiro envolvem testar milhões de compostos existentes ou tentar construir novos peça por peça, um processo que é lento, caro e frequentemente cego para as possibilidades mais promissoras.

Para navegar neste terreno impossível, pesquisadores recorreram a um ramo da inteligência artificial conhecido como aprendizado por reforço. Imagine um programa de computador agindo como um químico que nunca viu uma molécula antes, mas que recebe um conjunto de regras sobre como os átomos podem se conectar. O programa começa com o nada e começa a construir uma molécula, um átomo de cada vez. Após terminar uma estrutura, um programa de computador atua como um juiz, pontuando a molécula com base em quão bem ela poderia funcionar como um fármaco. Se a pontuação for alta, o programa lembra esse caminho e tenta construir algo semelhante novamente. Se a pontuação for baixa, ele evita esse caminho. Ao longo de milhões de tentativas, o programa aprende a navegar no espaço químico, não memorizando uma lista de medicamentos conhecidos, mas compreendendo as regras da química e os objetivos da busca. Essa abordagem permite que computadores proponham candidatos a fármacos inteiramente novos que humanos talvez nunca tivessem pensado em criar.

Uma revisão abrangente recente realizada por pesquisadores da Virginia Commonwealth University reúne as muitas maneiras pelas quais esta tecnologia está sendo usada para projetar moléculas. Os autores, Kusal Debbash, Taksheel Shetty e Preetam Ghosh, organizaram o campo em um mapa claro, mostrando como diferentes estratégias de computador enfrentam o problema de criar novos medicamentos. Eles descobriram que o campo evoluiu de métodos simples que tratam moléculas como sequências de texto para sistemas sofisticados que compreendem a forma tridimensional e as reações químicas dos compostos. A revisão destaca dois caminhos principais: criar um medicamento do zero, conhecido como design de novo, e melhorar um medicamento existente para fazê-lo funcionar melhor ou de forma mais segura, conhecido como otimização de lead. Enquanto o primeiro caminho é útil para encontrar curas para doenças que não possuem tratamento atual, o segundo é crucial para refinar os medicamentos que já possuímos.

Os pesquisadores examinaram dezenas de algoritmos de computador, agrupando-os pela forma como tomam decisões. Alguns métodos dependem de um sistema de "valor", onde o computador aprende a prever quão boa uma molécula será antes de ser totalmente construída, semelhante a um jogador de xadrez pensando várias jogadas à frente. Outros usam um sistema de "política", onde o computador aprende diretamente quais ações levam aos melhores resultados, muito parecido com uma criança aprendendo a andar por tentativa e erro. Um terceiro grupo trata a busca como uma árvore, explorando muitos ramos de possibilidades ao mesmo tempo para encontrar o melhor caminho. A revisão também observa uma mudança significativa nas ferramentas usadas para representar moléculas. Sistemas antigos usavam um formato baseado em texto que frequentemente produzia resultados quimicamente impossíveis, mas sistemas mais novos usam modelos de linguagem avançados que compreendem a gramática da química, garantindo que cada molécula proposta seja fisicamente possível de construir.

Uma parte crítica do estudo foi uma avaliação de como esses modelos de computador são testados. Os autores argumentaram que muitos testes atuais são enganosos. Eles descobriram que alguns parâmetros de referência recompensam computadores por gerar moléculas que parecem boas no papel, mas que seriam impossíveis de sintetizar em um laboratório real. Para abordar isso, os pesquisadores conduziram seu próprio estudo de caso usando um alvo específico: o receptor DRD2, uma proteína envolvida na função cerebral que é o alvo de muitos medicamentos antipsicóticos, incluindo a risperidona. Eles pegaram quatro moléculas iniciais simples e pediram a dois sistemas de computador diferentes, TRACER e RGFN, para melhorá-las. Um sistema utilizou um método que explora muitos caminhos diferentes, enquanto o outro focou em escalar o pico mais alto de um único caminho.

Os resultados deste estudo de caso revelaram um compromisso que é central para o campo. O sistema que focou em escalar o pico mais alto produziu a melhor molécula individual em cada teste, alcançando uma pontuação mais alta do que o outro sistema. No entanto, o sistema que explorou muitos caminhos produziu uma variedade muito maior de boas moléculas. Ele encontrou muitas formas diferentes de melhorar o fármaco inicial, enquanto o outro sistema tendia a encontrar as mesmas poucas soluções repetidamente. Isso sugere que não existe um único método "melhor". Se um cientista precisa de uma única molécula perfeita, uma busca focada pode ser melhor. Mas se o objetivo é encontrar uma biblioteca diversificada de opções para testar no laboratório, um método que explora amplamente é mais valioso. O estudo também destacou que mesmo os melhores modelos de computador têm dificuldade quando a molécula inicial já é muito boa, pois há pouco espaço para melhoria.

A revisão conclui apontando os obstáculos restantes que impedem que esses designs de computador se tornem medicamentos reais. Um grande problema é que os computadores frequentemente aprendem a otimizar o sistema de pontuação. Se um computador for instruído a maximizar uma pontuação baseada em um cálculo simples, ele pode inventar uma molécula que obtenha uma pontuação perfeita, mas que seja na verdade inútil ou impossível de fabricar. Os pesquisadores descobriram que métodos que forçam o computador a seguir regras reais de reação química são melhores em evitar isso, mas também são mais limitados no que podem criar. Outro desafio é que a maioria desses modelos nunca foi testada em um laboratório úmido real. As moléculas que eles projetam são simuladas e, sem testes físicos, é impossível saber se elas realmente funcionarão em um corpo humano. Os autores enfatizam que, para que esta tecnologia mude de fato a medicina, o próximo passo deve ser integrar esses designs de computador com a síntese e o teste laboratoriais reais, passando de simulações promissoras para fármacos tangíveis.

O artigo serve como um roteiro para um campo que está se movendo rapidamente da teoria para a prática. Ele esclarece que, embora a inteligência artificial tenha feito progressos incríveis na navegação pelo universo químico, a jornada está longe de terminar. As abordagens mais bem-sucedidas parecem ser aquelas que combinam a capacidade de aprender com vastas quantidades de dados com as regras estritas da química do mundo real. Ao compreender as forças e fraquezas de diferentes estratégias de computador, os pesquisadores podem escolher melhor a ferramenta certa para o trabalho, quer estejam procurando por um único medicamento revolucionário ou por uma ampla gama de novas possibilidades. O objetivo final permanece o mesmo: transformar o potencial infinito do universo químico nos medicamentos específicos e vitais que os pacientes necessitam.

Resumo Técnico: Aprendizado por Reforço para o Design de Moléculas

Declaração do Problema

A descoberta de novos fármacos é, fundamentalmente, um problema de busca dentro de um espaço químico astronômico, estimado em mais de $10^{60}$ pequenas moléculas sinteticamente viáveis e com propriedades farmacológicas (drug-like). Os repositórios públicos atuais de compostos validados (ex: ChEMBL, PubChem) cobrem apenas uma fração ínfima desse espaço. Essa esparsidade é exacerbada pela natureza multi-objetivo do design de fármacos, onde candidatos viáveis devem satisfazer simultaneamente critérios conflitantes (ex: potência, solubilidade, acessibilidade sintética) avaliados por oráculos ruidosos.

A triagem de alto rendimento tradicional é custosa e lenta. Embora algoritmos evolutivos e métodos iniciais de aprendizado profundo (RNNs, VAs, GANs) tenham introduzido a geração automatizada, eles frequentemente careciam de feedback direcionado a propriedades específicas. O Aprendizado por Reforço (RL) emergiu como uma ponte para transformar modelos generativos em otimizadores orientados a objetivos, contudo, a área carece de uma taxonomia unificada que distinga entre a geração de novo e a otimização de leads, nem aborda suficientemente a lacuna entre o desempenho em benchmarks e a sintetizabilidade no mundo real.

Metodologia e Taxonomia

Este levantamento organiza o panorama do design de moléculas impulsionado por RL em quatro famílias algorítmicas primárias, tratando os modelos de linguagem como uma camada transversal que pode atuar como agentes por meio de ferramentas químicas.

1. Famílias Algorítmicas

Métodos Baseados em Valor: Estas abordagens aprendem uma função de valor estado-ação (função Q). Exemplos notáveis incluem o MolDQN, que enquadra a edição molecular como um problema de decisão discreta para garantir 100% de validade química, e o MORLD, que otimiza leads contra alvos proteicos específicos sem treinamento prévio. Esses métodos oferecem gradientes estáveis, mas são limitados por espaços de ação discretos e especificados manualmente.
Métodos de Gradiente de Política (Policy-Gradient): A família mais prevalente, que parametriza diretamente uma política estocástica.
- Fundamentais: Incluem REINVENT (baseado em RNN), ReLeASE (Stack-RNN) e GCPN (Rede de Política de Convolução de Grafos), que deslocaram a representação de strings para grafos para garantir a validade.
- Derivados: Incluem abordagens baseadas em PPO (ex: RJ-RL, FragGPT) que utilizam objetivos substitutos clipados para evitar o colapso da política, e métodos de Ator-Crítico (ex: MagicMol, SHARP) que utilizam estimativas de valor aprendidas para reduzir a variância.
- Memória e Adversários: Métodos como RANC e ATNC incorporam módulos de memória ou limiares adversários para mitigar o colapso de modo (mode collapse).
Métodos Proporcionais à Recompensa: Representados pelo GFlowNet, estes métodos treinam uma política direta de modo que a probabilidade de terminar em uma estrutura específica seja proporcional à sua recompensa. Isso permite a geração de candidatos diversos em vez de concentrar-se apenas no maximizador da recompensa. Variantes incluem o Reaction-GFlowNet (RGFN) e o SynFlowNet, que restringem a geração a reações químicas viáveis.
Métodos Baseados em Busca: Estes tratam a otimização de moléculas como uma busca em árvore (ex: Busca de Árvore Monte Carlo - MCTS) em vez de atualizações baseadas em gradiente. Exemplos incluem ChemTS e TRACER, que combinam MCTS com políticas aprendidas para explorar o espaço químico ou otimizar vias sintéticas.
Abordagens Agênticas: Uma tendência emergente onde Grandes Modelos de Linguagem (LLMs) atuam como agentes de raciocínio que chamam ferramentas químicas externas (ex: MolAct, ChemCRAFT), deslocando o fardo da validade química dos pesos da política para as próprias ferramentas.

2. Panorama de Oráculos e Benchmarks

O artigo categoriza os oráculos de recompensa em quatro níveis baseados em fidelidade e custo:

Nível 1: Pontuações heurísticas (QED, SA, pLogP) – baratas, rápidas, mas proxies fracos.
Nível 2: Classificadores QSAR pré-treinados (ex: DRD2, JNK3) – de baixo custo, mas herdam vieses de treinamento.
Nível 3: Docking molecular (ex: AutoDock Vina, Glide) – custo moderado (segundos/minutos).
Nível 4: Métodos baseados em física (FEP, MD, MM-GBSA) – alta fidelidade, mas proibitivamente caros para um RL exaustivo.

O levantamento critica os benchmarks existentes (MOSES, GuacaMol, PMO, TDC, DOCKSTRING) por frequentemente falharem em distinguir entre geração incondicional e otimização de lead (modificar um dado de entrada do usuário). Introduz uma classificação de benchmarks baseada na classe do oráculo, limites de orçamento e presença de uma flag de entrada de lead.

3. Estudo de Caso Empírico

Para abordar a falta de estudos condicionados por entrada, os autores conduziram um estudo de caso otimizando quatro núcleos de reconhecimento de DRD2 desconstruídos e o antagonista aprovado pelo FDA, a risperidona (como controle negativo).

Modelos Comparados: TRACER (baseado em MCTS) vs. RGFN (GFlowNet proporcional à recompensa).
Configuração: Ambos os modelos foram executados sob orçamentos de oráculo correspondentes (truncados no número de moléculas distintas pontuadas pelo outro).
Descobertas:
- O TRACER alcançou pontuações compostas de pico mais altas em leads individuais (ex: 0,902 vs. 0,870 no Lead#2), atuando como um subida de colina (hill-climber) eficiente no entorno imediato da semente.
- O RGFN retornou um número substancialmente maior de "modos" distintos (clusters quimicamente distintos) e explorou uma região mais ampla do espaço acima da semente (ex: ~3x mais moléculas superiores à semente com ~4x mais modos distintos).
- Nenhum dos métodos conseguiu otimizar a risperidona, confirmando-a como um teto de recompensa.
- O estudo conclui que as famílias de maximização de recompensa (busca) e de proporção de recompensa (amostragem) não são estritamente ordenadas; uma se destaca em encontrar a melhor molécula, enquanto a outra se destaca em enumerar candidatos de alta qualidade e diversos.

Principais Contribuições

Taxonomia Unificada: O primeiro levantamento a tratar a geração de novo impulsionada por RL e a otimização de lead como uma única taxonomia, restringindo o escopo a pequenas moléculas.
Estratificação de Oráculos: Uma nova classificação de oráculos de recompensa em quatro níveis baseados em fidelidade e custo computacional, indo além das distinções simples de "propriedade vs. função de pontuação".
Crítica de Benchmarks: Uma avaliação crítica dos benchmarks atuais, destacando que o forte desempenho em tarefas de aprendizado de distribuição (ex: MOSES) não garante utilidade na otimização de leads, e observando a escassez de benchmarks que exijam a modificação de um lead fornecido via química viável.
Validação Empírica: Um estudo de caso computacional único comparando duas distintas famílias algorítmicas (MCTS vs. GFlowNet) sob orçamentos equivalentes, demonstrando suas forças complementares em termos de pico de desempenho versus diversidade.

Resultados e Limitações

O artigo identifica vários desafios persistentes:

Colapso de Modo (Mode Collapse): Agentes de RL frequentemente convergem para conjuntos estreitos de estruturas de alta pontuação. Embora métodos assistidos por memória e filtros de diversidade ofereçam mitigação, falta um métrica consensual para diversidade "suficiente".
Exploração de Recompensa (Reward Hacking): Agentes podem explorar oráculos de baixa fidelidade (ex: pontuações SA) para gerar moléculas que pontuam bem, mas não são sinteticamente tratáveis.
Eficiência de Amostragem: Muitos abordagens de RL de estado da arte exigem milhares de chamadas de oráculo, enquanto orçamentos realistas de laboratório são frequentemente $\le$ 500.
Lacuna de Sintetizabilidade: A maioria dos benchmarks depende de filtros post-hoc em vez de restringir a geração a vias de reação viáveis.
Falta de Validação em Laboratório Úmido: A área sofre com a falta de pipelines sistemáticos de síntese-ensaio-validação para provar a viabilidade prática das moléculas geradas.

Significância e Escopo Futuro

Os autores argumentam que o campo deve evoluir de geradores de prova de conceito para pipelines orientados por reações e guiados por modelos de linguagem. Eles sugerem que os métodos de busca (MCTS) e proporção de recompensa (GFlowNet) são complementares: o primeiro para refinar dentro de uma região, e o segundo para enumerar regiões diversas acima de um lead.

Direções futuras incluem:

Adotar representações SELFIES para garantir validade sintática.
Mudar de políticas de emissão de tokens para fluxos de trabalho agênticos, onde LLMs chamam ferramentas químicas, desacoplando a competência química dos pesos da política.
Desenvolver novos benchmarks que avaliem trajetórias de chamadas de ferramentas sob orçamentos limitados de oráculo.
Integrar validação sistemática em laboratório úmido para mover o campo do "promessa" para o "provado".

O artigo conclui que, embora o RL tenha remodelado o design de moléculas, preencher a lacuna entre o desempenho algorítmico e os leads sintetizáveis do mundo real continua sendo a fronteira crítica.