Understanding protein function with a multimodal retrieval-augmented foundation model

El artículo presenta PoET-2, un modelo fundacional multimodal y aumentado por recuperación que integra restricciones evolutivas familiares y condicionamiento estructural para lograr un rendimiento de vanguardia en la predicción de efectos de variantes y en el aprendizaje de relaciones secuencia-función, especialmente con conjuntos de datos pequeños.

Lo esencial

Imagina que las proteínas son como recetas de cocina extremadamente complejas. Cada proteína está hecha de una cadena de aminoácidos (los ingredientes) que, al combinarse de cierta manera, se pliegan para formar una estructura 3D única (el plato final) y realizan una función vital en tu cuerpo, como digerir comida o luchar contra virus.

El problema es que hay billones de formas posibles de mezclar estos ingredientes. Los científicos quieren predecir qué pasará si cambiamos un ingrediente (una mutación): ¿El plato seguirá sabiendo bien? ¿Se desmoronará? ¿Será tóxico?

Aquí es donde entra PoET-2, el nuevo "chef maestro" creado por OpenProtein.AI.

¿Qué es PoET-2? (El Chef con Libros de Familia)

Antes de PoET-2, los modelos de inteligencia artificial para proteínas eran como chefs que habían leído millones de recetas, pero a veces se quedaban atascados si les pedías algo muy específico o si querías cambiar varios ingredientes a la vez.

PoET-2 es diferente porque tiene tres superpoderes:

1. Es un "Viajero del Tiempo" (Aprendizaje Multimodal):
   Imagina que quieres cocinar un guiso nuevo. En lugar de adivinar, PoET-2 busca en su biblioteca no solo la receta que tienes en la mano, sino también las recetas de tus abuelos, tíos y primos (las proteínas "familiares" o homólogas).

   • La analogía: Si quieres saber qué pasa si cambias el sal en un guiso, PoET-2 no solo mira tu receta, sino que consulta cómo lo hicieron los guisos similares en otras familias. Aprende las "reglas no escritas" de esa familia de recetas.

2. Es un "Detective de Estructura" (Condicionamiento Estructural):
   A veces, no solo importa la lista de ingredientes, sino cómo se dobla la masa. PoET-2 puede ver la forma 3D de la proteína (como si el chef pudiera ver el molde del pastel).

   • La analogía: Si le dices: "Quiero un pastel que tenga esta forma exacta", PoET-2 puede imaginar qué ingredientes usar para lograr esa forma, incluso si nunca ha visto ese pastel antes.

3. Es un "Mago de la Recuperación" (Aumento por Recuperación):
   En lugar de intentar memorizar todo el universo de proteínas en su cerebro (lo cual requiere una computadora gigante y costosa), PoET-2 es inteligente: busca la información relevante al momento.

   • La analogía: En lugar de tener una enciclopedia de 100 volúmenes pegada a la frente, PoET-2 tiene un asistente que le trae exactamente el libro que necesita en el segundo preciso. Esto lo hace mucho más rápido y eficiente.

¿Qué logra hacer PoET-2 que otros no pueden?

El papel destaca tres grandes victorias:

• El "Efecto Dominó" (Mutaciones Múltiples):
  Los modelos antiguos podían predecir qué pasaba si cambiabas un ingrediente. Pero en la vida real, a veces cambiamos tres o cuatro a la vez, y estos cambios interactúan entre sí (como si cambiar la sal afectara cómo el azúcar se disuelve).

  • La magia de PoET-2: Puede predecir el resultado de cambiar varios ingredientes a la vez con una precisión increíble, algo que otros modelos fallaban estrepitosamente.

• El "Agujero en la Receta" (Insertiones y Deleciones):
  A veces, no solo cambiamos un ingrediente, sino que agregamos una nueva sección o borramos una parte entera de la receta.

  • La magia de PoET-2: Es el primero en manejar estas "recetas de longitud variable" con gran éxito. Puede predecir qué pasa si le quitas una página entera a un libro de instrucciones.

• Aprendizaje con Pocos Datos (Eficiencia):
  En el mundo real, a menudo no tenemos miles de recetas probadas para un nuevo plato; tenemos solo unas pocas pruebas.

  • La magia de PoET-2: Es un genio para aprender con muy poca información. Mientras otros modelos necesitan miles de ejemplos para ser buenos, PoET-2 puede aprender con muy pocos y seguir funcionando mejor que sus competidores. Es como un chef que, tras probar solo 5 platos, ya sabe cómo cocinar cualquier variante de esa familia.

¿Por qué es importante esto?

Imagina que estás diseñando una nueva medicina o una enzima para limpiar el plástico. Necesitas saber exactamente qué cambios hacer en la "receta" de la proteína para que funcione mejor.

• Antes: Tenías que probar miles de combinaciones al azar en un laboratorio (lento y caro).
• Ahora: Con PoET-2, puedes simular millones de cambios en una computadora en segundos, sabiendo cuáles tienen más probabilidad de funcionar.

En resumen

PoET-2 es como un chef de élite que no solo conoce millones de recetas, sino que entiende la "familia" de cada plato, puede ver la forma 3D de la comida, y es capaz de predecir el resultado de cambios complejos (como añadir o quitar ingredientes) con una precisión que nadie había logrado antes. Todo esto, usando una computadora que cabe en un servidor estándar, sin necesitar superordenadores gigantes.

Es un paso gigante para curar enfermedades, crear nuevos materiales y entender la vida misma, porque finalmente tenemos una herramienta que "lee" y "escribe" el lenguaje de la vida con mucha más fluidez.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Understanding protein function with a multimodal retrieval-augmented foundation model" (Comprender la función de las proteínas con un modelo fundacional multimodal de recuperación aumentada), presentado por Timothy F. Truong Jr. y Tristan Bepler de OpenProtein.AI.

---

1. El Problema

Los modelos de lenguaje de proteínas (PLMs) han demostrado ser efectivos para predecir el efecto de mutaciones en la función de las proteínas mediante el aprendizaje de distribuciones de probabilidad sobre secuencias naturales. Sin embargo, el estado actual enfrenta tres desafíos críticos:

1. Limitaciones en mutaciones complejas: La mayoría de los PLMs se basan en modelos de lenguaje enmascarado (MLM) que están limitados a predecir sustituciones de un solo residuo. No pueden predecir eficazmente el efecto de inserciones y deleciones (indels) ni los efectos epistáticos en mutaciones de alto orden (múltiples cambios simultáneos).
2. Ineficiencia de datos en entornos supervisados: En la ingeniería de proteínas, los practicantes necesitan aprender de datos experimentales limitados (pocos ejemplos). Los PLMs actuales a menudo requieren grandes cantidades de datos o no generalizan bien a posiciones de secuencia no vistas durante el entrenamiento.
3. Costo vs. Rendimiento: El aumento de la capacidad de los modelos (escalado de parámetros) ha mejorado la predicción de estructuras, pero no necesariamente la modelización de la aptitud (fitness) o la predicción de funciones, lo que genera modelos costosos y propensos a la memorización en lugar de la generalización.

2. Metodología: PoET-2

Los autores proponen PoET-2, un modelo fundacional de proteínas multimodal, de recuperación aumentada (retrieval-augmented) y generativo. Su arquitectura se basa en tres pilares fundamentales:

A. Multimodalidad (Secuencia y Estructura)

PoET-2 razona simultáneamente sobre la secuencia de aminoácidos y la estructura tridimensional.

• Entradas: Procesa secuencias de proteínas y estructuras de esqueleto (átomos N, Cα, C) de manera invariante a la rototranslación.
• Condicionamiento: Permite generar secuencias condicionadas a estructuras parciales observadas (plegado inverso) o a estructuras completas de homólogos.

B. Recuperación Aumentada (Retrieval-Augmentation)

En lugar de depender únicamente de parámetros masivos para memorizar patrones, PoET-2 utiliza un mecanismo de aprendizaje en contexto (in-context learning).

• Prompting: El usuario proporciona un "prompt" que contiene un conjunto de proteínas homólogas (contexto) y opcionalmente una proteína de consulta (query) con restricciones específicas.
• Arquitectura Jerárquica: Utiliza un codificador (encoder) con atención jerárquica que es equivalente al orden de las proteínas en el contexto. Esto significa que el modelo puede aprender las restricciones evolutivas de una familia específica simplemente "leyendo" ejemplos de esa familia en el momento de la inferencia, sin necesidad de reentrenamiento.

C. Doble Objetivo de Entrenamiento y Arquitectura

PoET-2 emplea una arquitectura de codificador-descodificador con dos decodificadores distintos para aprovechar las fortalezas de ambos enfoques:

1. Decodificador Autoregresivo (CLM): Entrenado con objetivo de modelado de lenguaje causal. Genera secuencias token a token y calcula la verosimilitud exacta ($P(\text{secuencia}|\text{prompt})$). Esto permite predecir variantes con indels y mutaciones de alto orden.
2. Decodificador Bidireccional (MLM): Entrenado con objetivo de modelado de lenguaje enmascarado. Genera incrustaciones (embeddings) ricas y conscientes del contexto para tareas de representación y predicción supervisada.

Datos de Entrenamiento: Entrenado en 62 millones de conjuntos de secuencias homólogas (UniRef50) y estructuras predichas de AlphaFoldDB. El modelo tiene solo 182 millones de parámetros, lo que lo hace extremadamente eficiente en comparación con modelos de miles de millones.

3. Contribuciones Clave

• Predicción Zero-Shot de Indels y Mutaciones de Alto Orden: PoET-2 es el primer modelo que logra un rendimiento superior en la predicción de efectos de inserciones/deleciones y mutaciones múltiples (3+ cambios) sin entrenamiento específico para la proteína objetivo, superando a los métodos basados en alineamientos múltiples (MSA) y modelos de estructura discreta.
• Eficiencia de Datos en Aprendizaje Supervisado: En configuraciones de pocos ejemplos (few-shot), las incrustaciones de PoET-2 superan a los métodos anteriores (como Kermut) con significativamente menos datos, logrando un rendimiento comparable con solo una fracción de los datos de entrenamiento.
• Arquitectura Equivalente al Orden: La capacidad de procesar conjuntos de proteínas de manera equivalente al orden elimina la necesidad de modelos masivos para capturar contextos evolutivos, permitiendo una generalización superior.
• Rendimiento Computacional: Ofrece un estado del arte con un footprint de solo 182M parámetros, permitiendo inferencia rápida en GPUs estándar.

4. Resultados Experimentales

Los resultados se evaluaron principalmente en el benchmark ProteinGym, que incluye conjuntos de datos de escaneo de mutación profunda (DMS) y datos clínicos.

• Predicción Zero-Shot (Sin entrenamiento en el objetivo):

  • Indels: PoET-2 supera a todos los modelos existentes, mejorando el coeficiente de correlación de Spearman ($\rho$) en aproximadamente 0.05 sobre el anterior mejor modelo (PoET-1) y más de 0.10 sobre los modelos no-PoET.
  • Mutaciones de Alto Orden: Muestra ganancias significativas en variantes con 3 o más mutaciones ($\Delta\rho \approx 0.09 - 0.10$).
  • Variantes Clínicas: Establece un nuevo estado del arte en la predicción de patogenicidad de variantes humanas (AUROC de 0.952 para indels).
  • Nota: Aunque PoET-2 es líder en general, en sustituciones simples de DMS, un ensamble simple de PoET-2 + VenusREM supera ligeramente a PoET-2 solo, sugiriendo que capturan señales complementarias.

• Aprendizaje Supervisado (Few-Shot):

  • En tareas de predicción de aptitud con datos limitados, los modelos basados en PoET-2 (usando un kernel de Proceso Gaussiano) superan consistentemente a Kermut y otros PLMs (ESM-2, ESM-C) en todas las divisiones de validación (aleatoria, módulo y contigua).
  • Eficiencia: Un modelo PoET-2 entrenado con solo 100 puntos de datos iguala el rendimiento de modelos basados en ESM entrenados con ~2600 puntos.

• Impacto del Condicionamiento Estructural:

  • La estructura mejora significativamente la predicción zero-shot (especialmente para estabilidad), pero tiene poco o ningún beneficio en la predicción supervisada, lo que sugiere que las incrustaciones de PoET-2 ya codifican implícitamente la información estructural crítica.

5. Significado e Impacto

PoET-2 representa un cambio de paradigma en el modelado de proteínas al demostrar que la recuperación aumentada y el aprendizaje en contexto son más efectivos que el simple escalado de parámetros para la comprensión funcional de las proteínas.

• Accesibilidad: Su tamaño compacto (182M) y bajos requisitos de GPU democratizan el acceso a modelos de predicción de alto rendimiento para la ingeniería de proteínas y el descubrimiento de fármacos.
• Versatilidad: La capacidad de manejar indels y mutaciones complejas en modo zero-shot abre nuevas posibilidades para el diseño de enzimas y terapias donde las mutaciones no son simples sustituciones puntuales.
• Eficiencia: La capacidad de aprender de conjuntos de datos pequeños es crucial para aplicaciones prácticas donde los datos experimentales son costosos y escasos.

En resumen, PoET-2 combina la potencia generativa de los modelos autoregresivos con la riqueza representacional de los modelos bidireccionales y la flexibilidad de la recuperación de contexto, estableciendo un nuevo estándar en la predicción de efectos de variantes y el diseño de proteínas.