Resumo Técnico: Imitação de Autoaperfeiçoamento com Busca Guiada Biologicamente para Projeto de Proteínas sob Orçamentos de Oráculo

Formulação do Problema

A engenharia de proteínas é enquadrada como um problema de otimização de tomada de decisão sequencial visando maximizar uma função de "aptidão" (por exemplo, termostabilidade, afinidade de ligação) sob um orçamento de avaliação estrito. O desafio central reside no vasto tamanho combinatório do espaço de sequências ($20^L$) e na prevalência de epistasia, que cria paisagens de aptidão acidentadas, esparsas e não convexas. Abordagens existentes enfrentam três limitações persistentes:

1. Instabilidade na Otimização Baseada em Valor: Métodos de aprendizado por reforço (RL) que dependem de funções de valor são sensíveis a hiperparâmetros e propensos à propagação de erros quando treinados com recompensas substitutas ruidosas.
2. Mutações A-Posicionais: Muitos métodos propõem mutações sem considerar a conservação de resíduos, arriscando a perturbação de sítios funcionalmente críticos.
3. Exploração Ineficiente: Sob orçamentos de oráculo apertados, os métodos frequentemente falham em priorizar regiões de alto valor ou evitar avaliações redundantes.

O objetivo é projetar sequências com maior aptidão do que uma sequência inicial dentro de um número limitado de consultas ao oráculo ($N$ rodadas, $K$ consultas por rodada), utilizando um modelo proxy para guiar a seleção enquanto reserva o oráculo caro para avaliação final.

Metodologia: SILO

Os autores introduzem o SILO (Imitação de Autoaperfeiçoamento com Busca Guiada Biologicamente), um framework de aprendizado ativo que integra amostragem estruturada, seleção informada biologicamente e aprendizado por imitação ao nível de trajetória. O processo opera em um loop iterativo:

1. Política de Edição Hierárquica e Formulação MDP

O SILO lança a geração de candidatos como um Processo de Decisão de Markov (MDP) sobre trajetórias de edição. Em vez de gerar sequências completas de uma só vez, uma política baseada em transformador $\pi_\theta$ decompõe cada mutação em dois estágios hierárquicos:

• Nível-0: Selecionar uma posição $i \in \{1, \dots, L\}$ para modificar.
• Nível-1: Selecionar um aminoácido substituto $a \in \mathcal{V}$ condicionado à posição escolhida.
  A política é treinada em embeddings congelados ESM Cambrian, que codificam priores evolutivos, usando um codificador transformador leve com duas cabeças de política.

2. Amostragem Estruturada (SBS Incremental)

Para gerar trajetórias de candidatos diversas, o SILO emprega a Busca em Feixe Estocástico Incremental (SBS). Diferente da busca em feixe padrão, a SBS amostra trajetórias sem reposição perturbando as log-probabilidades com ruído Gumbel. Após uma trajetória ser amostrada, sua massa de probabilidade é removida e a distribuição é renormalizada. Isso garante que um conjunto diversificado de trajetórias de ação seja explorado dentro do orçamento de mutação ($d_{max}$).

3. Seleção Informada Biologicamente

Antes da avaliação pelo oráculo, os candidatos são pontuados usando um ensemble proxy $f_\phi$ e uma função objetivo específica $S(x)$:
$$S(x) = \text{UCB}_{\text{proxy}}(x) + \text{UCB}_{\text{AFS}}(x)$$

• $\text{UCB}_{\text{proxy}}(x)$: Um Limite Superior de Confiança baseado na previsão média do proxy e na incerteza, equilibrando exploração e exploração.
• $\text{UCB}_{\text{AFS}}(x)$: Uma Pontuação de Aptidão de Varredura de Alanina. Este termo avalia uma variante do candidato com substituição de alanina (onde as posições mutadas são substituídas por alanina). Se a variante de alanina for prevista como tendo alta aptidão, isso sugere que as posições mutadas são funcionalmente relevantes e tolerantes a mudanças neutras. Isso atua como um sinal de classificação para reduzir o peso de candidatos propensos a perturbar a função da proteína.

4. Imitação de Autoaperfeiçoamento ao Nível de Trajetória (SIL)

Diferente de métodos de RL que otimizam funções de valor, o SILO usa Aprendizado por Imitação de Autoaperfeiçoamento.

• Coleta de Dados: Os $K$ melhores candidatos da amostragem SBS são avaliados pelo oráculo.
• Alvo de Imitação: As $P$ melhores sequências rotuladas pelo oráculo (BESTFOUND) e suas trajetórias de ação correspondentes são selecionadas.
• Treinamento: A política $\pi_\theta$ é atualizada via minimização de entropia cruzada em pares de histórico-próxima ação $(h(t), a(t))$ derivados das trajetórias BESTFOUND. Isso permite que a política aprenda diretamente das ações dos melhores desempenhos sem depender de estimativas de valor ruidosas.

Contribuições Principais

1. Amostragem Estruturada e Seleção Informada Biologicamente: A combinação de SBS Incremental para geração de trajetórias diversas e a Pontuação de Aptidão de Varredura de Alanina (AFS) para seleção impulsiona a maioria dos ganhos de desempenho. O termo AFS mitiga especificamente o risco de perturbar resíduos conservados.
2. Adaptação do SIL para Cenários com Orçamento de Oráculo: O artigo adapta o paradigma SIL (anteriormente usado em roteamento e design molecular com avaliações baratas) ao contexto de projeto de proteínas. Ao treinar em trajetórias rotuladas pelo oráculo em vez de valores substitutos, o SILO evita a instabilidade associada à estimativa de função de valor sob proxies ruidosos.
3. Robustez Empírica: O framework demonstra desempenho consistente em oito paisagens de aptidão de proteínas, mantendo competitividade mesmo em regimes de baixos dados e sob condições de proxy ruidoso onde outras linhas de base degradam.

Resultados Experimentais

Os autores avaliaram o SILO contra cinco linhas de base fortes (PEX, AdaLead, GFN-AL-$\delta$CS, MLDE, ProSpero) em oito conjuntos de dados de referência (AAV, AMIE, E4B, GFP, LGK, Pab1, TEM, UBE2I).

• Desempenho: O SILO alcançou a maior aptidão máxima e a aptidão média top-100 mais alta em todas as 8 paisagens. Frequentemente descobriu sequências de alta aptidão em rodadas anteriores de aprendizado ativo, indicando uso mais eficiente do orçamento do oráculo.
• Regime de Baixos Dados: Em testes de estresse com dados rotulados iniciais reduzidos (10%, 20%, 50% de $D_0$), o SILO permaneceu estável e competitivo, enquanto métodos como GFN-AL-$\delta$CS mostraram degradação perceptível.
• Proxy Ruidoso: Sob ruído gaussiano sintético adicionado ao modelo proxy (níveis de SNR de -25, -15, -5), o SILO manteve alto desempenho, enquanto linhas de base como ProSpero e PEX degradaram significativamente.
• Estudos de Ablação:
  • Remover a amostragem estruturada (substituindo SBS pela Busca em Feixe padrão) reduziu o desempenho.
  • Remover o termo AFS reduziu o desempenho, confirmando o valor da seleção guiada biologicamente.
  • Uma variante de "política congelada" (sem atualizações de imitação) permaneceu competitiva, sugerindo que a amostragem e a seleção respondem por uma parte substancial dos ganhos, mas a imitação iterativa forneceu melhorias adicionais, particularmente em AAV e Pab1.

Significado e Alegações

O artigo alega que o SILO representa uma direção eficaz para otimização de sequências de proteínas com orçamento de oráculo, integrando com sucesso aprendizado, amostragem e seleção guiada biologicamente.

• Estabilidade: Ao contornar a estimativa de função de valor e confiar na imitação por entropia cruzada de trajetórias rotuladas pelo oráculo, o SILO oferece uma alternativa mais estável ao RL em cenários com recompensas substitutas ruidosas.
• Eficiência: O método identifica candidatos de alta aptidão mais rápido do que as linhas de base, tornando-o adequado para cenários onde as avaliações experimentais são custosas.
• Relevância Biológica: A incorporação da Pontuação de Aptidão de Varredura de Alanina garante que a busca seja guiada por princípios biológicos, reduzindo a probabilidade de gerar variantes não funcionais.

Os autores concluem que, embora o SILO se destaque em benchmarks in silico, trabalhos futuros devem focar em avaliar o método sob orçamentos de mutação maiores e validar seu desempenho em configurações de laboratório úmido para abordar potenciais deslocamentos de domínio entre oráculos e a realidade biológica.