EvoFlows: Evolutionary Edit-Based Flow-Matching for Protein Engineering

El artículo presenta EvoFlows, un enfoque de modelado de proteínas basado en flujos de edición evolutiva que, a diferencia de los modelos autoregresivos o de lenguaje enmascarado, aprende trayectorias mutacionales para predecir y realizar un número limitado y controlado de inserciones, eliminaciones y sustituciones en secuencias de proteínas, logrando generar mutantes naturales y no triviales con una calidad comparable a los modelos más avanzados.

Lo esencial

¡Claro que sí! Imagina que las proteínas son como recetas de cocina muy complejas. Cada receta tiene una lista de ingredientes (los aminoácidos) en un orden específico. Si cambias un ingrediente o lo quitas, el plato puede quedar delicioso, sabroso o, lamentablemente, inservible.

El problema es que los chefs actuales (los modelos de inteligencia artificial existentes) tienen dos enfoques muy rígidos:

1. El Chef "De Cero": Intenta inventar una receta totalmente nueva desde la nada. A veces sale genial, pero a menudo es un desastre.
2. El Chef "Enmascarado": Toma una receta existente, tapa algunas palabras con una pegatina y pregunta: "¿Qué palabra debería ir aquí?". El problema es que no puede cambiar la longitud de la receta (no puede añadir o quitar ingredientes, solo cambiarlos).

Aquí es donde entra EvoFlows, la nueva estrella presentada por el equipo de Cradle.

¿Qué es EvoFlows? (La analogía del "Editor de Texto Mágico")

Imagina que tienes un documento de texto con una receta de tu abuela. Quieres mejorarla un poco para que sea más rápida de cocinar, pero sin perder el sabor original.

Los modelos antiguos te obligaban a:

• O bien reescribir toda la receta desde cero.
• O bien solo cambiar palabras específicas donde tú les dijeras "tapa esta palabra".

EvoFlows es como un editor de texto inteligente que entiende la evolución. En lugar de solo cambiar palabras, este editor puede:

• Insertar una nueva especia en medio de la lista.
• Borrar un ingrediente que ya no se usa.
• Sustituir un ingrediente por otro similar (por ejemplo, cambiar mantequilla por aceite de oliva).

Y lo mejor de todo: EvoFlows decide por sí mismo dónde hacer estos cambios. No necesitas decirle "cambia la palabra 5". El modelo sabe: "Ah, aquí en la receta original hubo un cambio evolutivo natural, así que voy a hacer un cambio similar aquí".

¿Cómo funciona? (El viaje en el tiempo evolutivo)

El equipo de investigación miró cómo las proteínas han cambiado a lo largo de millones de años en la naturaleza. Vieron que las proteínas "primas" (familiares) son muy similares, pero tienen pequeños cambios: a veces les falta un aminoácido, a veces tienen uno extra.

EvoFlows aprende a simular este viaje evolutivo.

• Imagina que tienes una proteína "abuela" (la receta original).
• EvoFlows aprende a crear una "proteína hija" (una variante) aplicando una serie de pequeños "toques" (edits) que han ocurrido naturalmente en la historia de la vida.
• No es un cambio al azar; es un cambio que tiene sentido biológico, como si la naturaleza misma hubiera escrito la nueva versión.

¿Por qué es importante? (El impacto en el mundo real)

Piensa en la ingeniería de proteínas como la búsqueda de la píldora mágica para curar enfermedades o de enzimas que limpien el plástico del océano.

1. Optimización vs. Invención: A veces no necesitas inventar una nueva molécula desde cero (eso es muy difícil y arriesgado). A veces solo necesitas tomar una molécula que ya funciona y hacerla un poco mejor, más resistente o más barata de producir. EvoFlows es el experto en hacer esos ajustes finos.
2. Flexibilidad: Como las proteínas de nuestro sistema inmune (anticuerpos) tienen longitudes variables, los modelos antiguos se confundían. EvoFlows, al poder insertar y borrar, maneja estas variaciones perfectamente, como un sastre que sabe ajustar un traje sin importar si el cliente es alto o bajo.
3. Calidad Natural: En sus pruebas, EvoFlows creó variantes de proteínas que parecen "naturales". Es decir, si un biólogo las viera, diría: "Esto podría existir en la naturaleza", en lugar de "Esto parece un error de computadora".

En resumen

EvoFlows es como un arquitecto evolutivo digital. En lugar de demoler un edificio para construir uno nuevo, o de solo pintar las paredes, este arquitecto sabe exactamente dónde añadir una habitación, dónde quitar una pared o dónde cambiar una ventana para mejorar la casa, basándose en cómo las casas han evolucionado naturalmente a lo largo de la historia.

Es una herramienta poderosa para diseñar mejores medicamentos, enzimas industriales y materiales, aprendiendo directamente de los secretos que la naturaleza ha guardado durante millones de años.

Resumen técnico

Resumen Técnico: EvoFlows

1. El Problema

La optimización de proteínas busca mejorar las propiedades de una proteína existente mediante edits dirigidos (mutaciones, inserciones o deleciones) en su secuencia, manteniendo su estructura y función global. Aunque los Modelos de Lenguaje de Proteínas (PLMs) han tenido éxito en esta tarea, presentan limitaciones fundamentales para la ingeniería de proteínas basada en edición:

• Modelos Autoregresivos: Generan secuencias completas desde cero, lo cual es ineficiente para obtener solo unas pocas mutaciones locales y carece de control flexible sobre la longitud de la secuencia.
• Modelos de Lenguaje enmascarado (MLM): Aunque son parsimoniosos, requieren especificar manualmente las posiciones a enmascarar y asumen una longitud de secuencia fija, lo que dificulta la modelización de familias de proteínas con longitudes variables (como los anticuerpos).
• Falta de modelado nativo de ediciones: Ningún modelo existente predice nativamente qué edición realizar y dónde realizarla simultáneamente en un marco de flujo de secuencia a secuencia.

2. Metodología: EvoFlows

Los autores proponen EvoFlows, un enfoque de Flow Matching Discreto (DFM) basado en Flujos de Edición (Edit Flows). A diferencia de los modelos que aprenden distribuciones de probabilidad token a token, EvoFlows aprende reglas de transición secuencia a secuencia mediante operaciones de edición elementales.

• Mecanismo de Edición: El modelo opera aplicando sustituciones, inserciones y deleciones (indels) sobre una secuencia de plantilla. Predice tanto el tipo de edición como su posición, simulando trayectorias evolutivas entre proteínas homólogas.
• Espacio de Estado Extendido: Para manejar longitudes variables, el método utiliza un espacio de alineación extendido $\mathcal{Z} = \mathcal{A} \cup \{\varepsilon\}$, donde $\varepsilon$ es un token vacío. Esto permite alinear pares de secuencias $(x_0, x_1)$ de igual longitud mediante el algoritmo de Needleman-Wunsch, mapeando las inserciones y deleciones a operaciones sobre este espacio alineado.
• Distribución de Datos: Se entrena sobre pares de secuencias homólogas extraídas de bases de datos naturales (UNIREF30 y OAS). La distribución objetivo $\pi(x, x')$ captura la relación evolutiva, asumiendo que las secuencias homólogas comparten funciones bioquímicas similares.
• Arquitectura:
  • Utiliza el tronco codificador de un modelo ESM-2 pre-entrenado para obtener incrustaciones de secuencia.
  • Incorpora la condición de tiempo $t$ mediante Feature-wise Linear Modulation (FiLM), lo que permite actualizar la condición temporal con un coste computacional mínimo durante la inferencia.
  • Cabezas de predicción (MLPs) mapean las incrustaciones a tasas de edición ($u_t$) para cada tipo de operación (sustitución, inserción, deleción).
• Inferencia: Se utiliza un procedimiento de muestreo basado en una Cadena de Markov de Tiempo Continuo (CTMC). Se introduce un hiperparámetro de normalización de reloj ("clock normalization") que permite controlar el número total de ediciones realizadas independientemente de la longitud de la secuencia, ajustando el equilibrio entre precisión y recuperación (recall).

3. Contribuciones Clave

1. Modelado Nativo de Ediciones: EvoFlows es el primer modelo que integra nativamente la generación de secuencias de longitud variable y la predicción de posiciones de edición dentro de un marco de flujo discreto, eliminando la necesidad de enmascaramiento ad-hoc o generación completa de secuencias.
2. Validación Determinista: Los autores presentan un benchmark sintético con reglas de edición deterministas, demostrando que los flujos de edición pueden aprender distribuciones de transición locales con alta precisión (F1-score > 0.8 para inserciones y sustituciones).
3. Procedimiento de Inferencia sin Rejilla: Se propone un nuevo método de inferencia que evita la discretización en rejilla, siendo más eficiente para operaciones vectorizadas y permitiendo un control preciso sobre la magnitud de las mutaciones.
4. Aplicación a Biología Real: Se demuestra que el modelo aprende patrones evolutivos reales, generando variantes que son funcionalmente plausibles y conservan la distribución de aminoácidos de las familias de proteínas objetivo.

4. Resultados

El modelo fue evaluado en seis familias de proteínas diversas (enzimas, factores de crecimiento y fragmentos de anticuerpos) y comparado con líneas base como Evotuning de ESM-2, emparejamiento aleatorio y mutaciones aleatorias.

• Calidad de Generación: EvoFlows genera variantes que se mantienen cercanas a la distribución de holdout (datos de prueba naturales), superando a los modelos de mutación aleatoria y emparejamiento aleatorio en todas las métricas (divergencia KL, MMD, log-verosimilitud).
• Distancia de Edición: A diferencia de Evotuning (que a menudo introduce muy pocas ediciones, ~1.5 por secuencia) o modelos autoregresivos, EvoFlows explora distancias de edición significativamente mayores mientras mantiene la "naturalidad" de la secuencia.
• Control de Ediciones: El mecanismo de normalización de reloj permite ajustar la cantidad de mutaciones sin degradar la calidad de la secuencia, ofreciendo un control fino crucial para la ingeniería de proteínas.
• Métricas de Covarianza: Los modelos generados preservan los patrones de covarianza y mutua información (MIp) observados en alineamientos múltiples naturales, indicando que el modelo captura restricciones evolutivas y estructurales (contactos epistáticos).

5. Significado e Impacto

EvoFlows representa un avance significativo en la intersección entre la inteligencia artificial y la biología sintética:

• Puente entre Optimización y Generación: Cierra la brecha funcional entre los modelos de diseño de novo (generación completa) y la optimización local, proporcionando una herramienta específica para la ingeniería de proteínas que respeta las restricciones evolutivas.
• Eficiencia Computacional: Al evitar la generación de secuencias completas y el enmascaramiento iterativo, el enfoque es más eficiente para tareas de optimización local.
• Potencial para la Industria Farmacéutica: Dado el impacto de la optimización de proteínas en el desarrollo de fármacos preclínicos, EvoFlows ofrece una base sólida para la exploración guiada de variantes de proteínas, con potencial para ser condicionado por propiedades específicas (estabilidad, afinidad) en el futuro.

En conclusión, EvoFlows demuestra que los flujos de edición discretos son una arquitectura superior para la ingeniería de proteínas, logrando un equilibrio óptimo entre la capacidad de generar mutaciones no triviales y la fidelidad a las distribuciones naturales de secuencias.