Resumen Técnico: Imitación de Auto-mejora con Búsqueda Guiada Biológicamente para el Diseño de Proteínas bajo Presupuestos de Oráculo

Formulación del Problema

La ingeniería de proteínas se enmarca como un problema de optimización de toma de decisiones secuenciales destinado a maximizar una función de "aptitud" (por ejemplo, termoestabilidad, afinidad de unión) bajo un presupuesto de evaluación estricto. El desafío central reside en la enorme magnitud combinatoria del espacio de secuencias ($20^L$) y la prevalencia de la epistasis, lo que genera paisajes de aptitud rugosos, dispersos y no convexos. Los enfoques existentes enfrentan tres limitaciones persistentes:

1. Inestabilidad en la Optimización Basada en Valores: Los métodos de aprendizaje por refuerzo (RL) que dependen de funciones de valor son sensibles a los hiperparámetros y propensos a la propagación de errores cuando se entrenan con recompensas sustitutas ruidosas.
2. Mutaciones Ajenas a la Posición: Muchos métodos proponen mutaciones sin tener en cuenta la conservación de residuos, arriesgando la alteración de sitios funcionalmente críticos.
3. Exploración Ineficiente: Bajo presupuestos de oráculo ajustados, los métodos a menudo no logran priorizar regiones de alto valor o evitar evaluaciones redundantes.

El objetivo es diseñar secuencias con mayor aptitud que una secuencia inicial dentro de un número limitado de consultas al oráculo ($N$ rondas, $K$ consultas por ronda), utilizando un modelo proxy para guiar la selección mientras se reserva el oráculo costoso para la evaluación final.

Metodología: SILO

Los autores presentan SILO (Imitación de Auto-mejora con Búsqueda Guiada Biológicamente), un marco de aprendizaje activo que integra muestreo estructurado, selección informada biológicamente e imitación a nivel de trayectoria. El proceso opera en un bucle iterativo:

1. Política de Edición Jerárquica y Formulación MDP

SILO plantea la generación de candidatos como un Proceso de Decisión de Markov (MDP) sobre trayectorias de edición. En lugar de generar secuencias completas de una vez, una política basada en transformadores $\pi_\theta$ descompone cada mutación en dos etapas jerárquicas:

• Nivel-0: Seleccionar una posición $i \in \{1, \dots, L\}$ para modificar.
• Nivel-1: Seleccionar un aminoácido de reemplazo $a \in \mathcal{V}$ condicionado a la posición elegida.
  La política se entrena sobre incrustaciones congeladas de ESM Cambrian, que codifican priores evolutivos, utilizando un codificador transformador ligero con dos cabezas de política.

2. Muestreo Estructurado (SBS Incremental)

Para generar trayectorias de candidatos diversas, SILO emplea Búsqueda Estocástica en Haz Incremental (SBS). A diferencia de la búsqueda en haz estándar, SBS muestrea trayectorias sin reemplazo perturbando las log-probabilidades con ruido Gumbel. Una vez muestreada una trayectoria, su masa de probabilidad se elimina y la distribución se renormaliza. Esto asegura que se explore un conjunto diverso de trayectorias de acción dentro del presupuesto mutacional ($d_{max}$).

3. Selección Informada Biológicamente

Antes de la evaluación por oráculo, los candidatos se puntúan utilizando un conjunto de proxies $f_\phi$ y una función objetivo específica $S(x)$:
$$S(x) = \text{UCB}_{\text{proxy}}(x) + \text{UCB}_{\text{AFS}}(x)$$

• $\text{UCB}_{\text{proxy}}(x)$: Un Límite Superior de Confianza basado en la predicción media del proxy y su incertidumbre, equilibrando exploración y explotación.
• $\text{UCB}_{\text{AFS}}(x)$: Una Puntuación de Aptitud de Escaneo de Alanina. Este término evalúa una variante del candidato con sustitución de alanina (donde las posiciones mutadas se reemplazan con alanina). Si se predice que la variante de alanina tiene alta aptitud, sugiere que las posiciones mutadas son funcionalmente relevantes y tolerantes a cambios neutros. Esto actúa como una señal de clasificación para reducir el peso de los candidatos que probablemente alteren la función de la proteína.

4. Imitación de Auto-mejora a Nivel de Trayectoria (SIL)

A diferencia de los métodos de RL que optimizan funciones de valor, SILO utiliza Aprendizaje por Imitación de Auto-mejora.

• Recopilación de Datos: Los $K$ mejores candidatos de la muestra SBS son evaluados por el oráculo.
• Objetivo de Imitación: Se seleccionan las $P$ mejores secuencias etiquetadas por el oráculo (MEJOR ENCONTRADO) y sus correspondientes trayectorias de acción.
• Entrenamiento: La política $\pi_\theta$ se actualiza mediante la minimización de la entropía cruzada en pares de historia-siguiente acción $(h(t), a(t))$ derivados de las trayectorias MEJOR ENCONTRADO. Esto permite que la política aprenda directamente de las acciones de los mejores desempeños sin depender de estimaciones de valor ruidosas.

Contribuciones Clave

1. Muestreo Estructurado y Selección Informada Biológicamente: La combinación de SBS Incremental para la generación diversa de trayectorias y la Puntuación de Aptitud de Escaneo de Alanina (AFS) para la selección impulsa la mayoría de las ganancias de rendimiento. El término AFS mitiga específicamente el riesgo de alterar residuos conservados.
2. Adaptación de SIL a Entornos con Presupuesto de Oráculo: El artículo adapta el paradigma SIL (anteriormente utilizado en enrutamiento y diseño molecular con evaluaciones baratas) al contexto de diseño de proteínas. Al entrenar sobre trayectorias etiquetadas por oráculo en lugar de valores sustitutos, SILO evita la inestabilidad asociada a la estimación de funciones de valor bajo proxies ruidosos.
3. Robustez Empírica: El marco demuestra un rendimiento consistente en ocho paisajes de aptitud de proteínas, manteniendo la competitividad incluso en regímenes de bajos datos y bajo condiciones de proxies ruidosos donde otras líneas base se degradan.

Resultados Experimentales

Los autores evaluaron SILO frente a cinco líneas base sólidas (PEX, AdaLead, GFN-AL-$\delta$CS, MLDE, ProSpero) en ocho conjuntos de datos de referencia (AAV, AMIE, E4B, GFP, LGK, Pab1, TEM, UBE2I).

• Rendimiento: SILO logró la máxima aptitud y la aptitud media top-100 más altas en los 8 paisajes. Frecuentemente descubrió secuencias de alta aptitud en rondas anteriores de aprendizaje activo, lo que indica un uso más eficiente del presupuesto de oráculo.
• Régimen de Bajos Datos: En pruebas de estrés con datos iniciales etiquetados reducidos (10%, 20%, 50% de $D_0$), SILO permaneció estable y competitivo, mientras que métodos como GFN-AL-$\delta$CS mostraron una degradación notable.
• Proxy Ruidoso: Bajo ruido gaussiano sintético añadido al modelo proxy (niveles de SNR de -25, -15, -5), SILO mantuvo un alto rendimiento, mientras que líneas base como ProSpero y PEX se degradaron significativamente.
• Estudios de Ablación:
  • Eliminar el muestreo estructurado (reemplazar SBS con Búsqueda en Haz estándar) redujo el rendimiento.
  • Eliminar el término AFS redujo el rendimiento, confirmando el valor de la selección guiada biológicamente.
  • Una variante de "política congelada" (sin actualizaciones de imitación) permaneció competitiva, lo que sugiere que el muestreo y la selección representan una parte sustancial de las ganancias, pero la imitación iterativa proporcionó mejoras adicionales, particularmente en AAV y Pab1.

Significado y Afirmaciones

El artículo afirma que SILO representa una dirección efectiva para la optimización de secuencias de proteínas con presupuesto de oráculo al integrar exitosamente aprendizaje, muestreo y selección guiada biológicamente.

• Estabilidad: Al evitar la estimación de funciones de valor y depender de la imitación por entropía cruzada de trayectorias etiquetadas por oráculo, SILO ofrece una alternativa más estable al RL en entornos con recompensas sustitutas ruidosas.
• Eficiencia: El método identifica candidatos de alta aptitud más rápido que las líneas base, lo que lo hace adecuado para escenarios donde las evaluaciones experimentales son costosas.
• Relevancia Biológica: La incorporación de la Puntuación de Aptitud de Escaneo de Alanina asegura que la búsqueda esté guiada por principios biológicos, reduciendo la probabilidad de generar variantes no funcionales.

Los autores concluyen que, aunque SILO destaca en benchmarks in silico, el trabajo futuro debería centrarse en evaluar el método bajo presupuestos de mutación más amplios y validar su rendimiento en entornos de laboratorio húmedo para abordar posibles desplazamientos de dominio entre oráculos y la realidad biológica.