Multi-Modal Protein Representation Learning with CLASP

El artículo presenta CLASP, un marco unificado de aprendizaje multimodal que integra modelos de lenguaje de proteínas, aprendizaje profundo geométrico y modelos de lenguaje natural mediante aprendizaje contrastivo para generar representaciones de proteínas superiores que combinan secuencia, estructura y descripciones bioquímicas, logrando un rendimiento destacado en tareas de clasificación y recuperación sin supervisión.

Lo esencial

Imagina que las proteínas son como personajes complejos en una película. Para entender quién es realmente un personaje, no basta con leer solo una cosa sobre él. Necesitas tres perspectivas diferentes para tener el cuadro completo:

1. Su "historia" (Secuencia): La lista de letras que lo componen (como el guion de una obra).
2. Su "cuerpo" (Estructura): Cómo se dobla y se mueve en el espacio 3D (como la actuación física y los trajes).
3. Su "biografía" (Texto): Lo que dicen los críticos y los libros sobre lo que hace y por qué es importante (como las reseñas de cine).

Hasta ahora, la inteligencia artificial para estudiar proteínas solía mirar solo una o dos de estas cosas a la vez. Era como intentar entender a un actor solo leyendo su nombre, o solo viendo una foto de su traje, pero sin saber qué dice en el guion ni qué dicen los críticos.

Aquí es donde entra CLASP, el nuevo modelo presentado en este artículo.

¿Qué es CLASP? (El Traductor Universal)

Piensa en CLASP como un traductor universal y un detective genio que puede leer las tres perspectivas al mismo tiempo y ponerlas en un mismo "idioma" o espacio mental.

• El problema: Antes, si tenías la estructura 3D de una proteína, no podías buscarla fácilmente usando una descripción escrita en un libro de texto, ni tampoco podías predecir su función solo mirando la lista de letras.
• La solución de CLASP: CLASP toma la estructura 3D, la secuencia de letras y el texto descriptivo, y los convierte todos en puntos de luz en un mismo mapa. Si dos puntos de luz están muy cerca en este mapa, significa que pertenecen a la misma proteína, aunque uno venga de una foto 3D y el otro de un párrafo de texto.

¿Cómo funciona? (La analogía del "Gimnasio de Entrenamiento")

Imagina que CLASP es un entrenador personal que tiene tres alumnos:

1. El Arquitecto (Estructura): Un experto en geometría que ve las proteínas como construcciones de bloques en 3D. Usa una herramienta especial llamada EGNN que entiende que si giras un edificio, sigue siendo el mismo edificio (no le importa la orientación, solo la forma).
2. El Bibliotecario (Secuencia): Un experto en leer listas de letras (aminoácidos) usando un modelo muy inteligente llamado ProtT5.
3. El Periodista (Texto): Un experto en leer artículos científicos y descripciones funcionales usando otro modelo llamado BioGPT.

El entrenamiento:
El entrenador (CLASP) les da a los tres una proteína y les pide que la describan. Luego, les dice: "¡Oigan! Si el Arquitecto dice 'esto es un puente', el Bibliotecario y el Periodista también deben pensar en 'puente', aunque usen palabras o imágenes diferentes".

Usa un método llamado aprendizaje contrastivo (como un juego de "encuentra al intruso"). Si el Arquitecto muestra una proteína y el Periodista muestra una descripción de otra proteína diferente, el sistema les grita: "¡Eso no coincide! ¡Sepárense!". Pero si coinciden, les dice: "¡Eso es! ¡Acérquense!".

Con el tiempo, los tres aprenden a hablar el mismo idioma y a entenderse perfectamente, incluso si uno es muy técnico y el otro es muy descriptivo.

¿Qué logra hacer CLASP? (Sus superpoderes)

Gracias a este entrenamiento conjunto, CLASP puede hacer cosas increíbles que antes eran muy difíciles:

1. El "Buscador de Parejas" (Búsqueda Cruzada):

   • Puedes darle una foto 3D de una proteína y CLASP te dirá: "¡Esta es la secuencia de letras que le corresponde!".
   • Puedes darle un texto (ej: "esta proteína ayuda a curar heridas") y CLASP te encontrará la estructura 3D exacta, incluso si nunca antes había visto esa descripción exacta.
   • Es como si pudieras buscar en Google una película solo describiendo la escena de acción, y el sistema te mostrara el guion exacto y el póster 3D.

2. El "Organizador de Familias" (Agrupación):

   • CLASP es tan bueno que puede agrupar proteínas por "familia" (como si separara a los "superhéroes" de los "villanos" o a los "médicos" de los "ingenieros") solo mirando su forma o su texto. Lo hace mejor que los modelos anteriores porque entiende que la forma y la función están conectadas.

3. Resistencia a la confusión:

   • En las pruebas, CLASP funcionó muy bien incluso cuando los textos eran escritos por humanos de forma informal (como notas de laboratorio) o muy formales (artículos científicos). Esto significa que no necesita que el texto sea perfecto para entender la proteína.

¿Por qué es importante?

Antes, los científicos tenían que usar herramientas separadas para la estructura, la secuencia y el texto. Era como tener tres mapas diferentes de la misma ciudad y no saber cómo conectarlos.

CLASP une todo en un solo mapa. Esto permite:

• Encontrar nuevas proteínas para curar enfermedades más rápido.
• Entender mejor cómo funcionan las drogas.
• Hacer búsquedas en bibliotecas de proteínas usando lenguaje natural (hablando como humanos).

En resumen, CLASP es el puente que conecta la geometría, la biología y el lenguaje, permitiendo a las computadoras entender las proteínas de una manera mucho más completa y humana.

Resumen técnico

Resumen Técnico: CLASP - Aprendizaje de Representación de Proteínas Multi-Modal

1. El Problema

Los modelos actuales de lenguaje de proteínas (pLMs), como ESM o ProtT5, han demostrado ser excelentes para aprender representaciones ricas a partir de secuencias de aminoácidos no etiquetadas. Sin embargo, las proteínas no son meras cadenas lineales; su función biológica está intrínsecamente ligada a su estructura tridimensional (3D) y a su contexto bioquímico y funcional, descrito a menudo en lenguaje natural (artículos, bases de datos como UniProt).

Existe una brecha en la representación de proteínas porque:

• Los métodos basados puramente en secuencia ignoran la conservación estructural, que es crucial para la función.
• Los enfoques puramente geométricos (basados en estructura) a menudo pasan por alto las anotaciones funcionales de texto libre.
• Los modelos multimodales existentes suelen ser bimodales (secuencia-texto o secuencia-estructura), pero carecen de una integración unificada de las tres modalidades (secuencia, estructura y texto) simultáneamente. Esto limita la capacidad de los modelos para capturar relaciones complejas entre la determinación física de la función (estructura) y el contexto semántico (texto).

2. Metodología: CLASP

El authors proponen CLASP (Contrastive Language–Amino acid Sequence–Structure Pretraining), un marco unificado de aprendizaje tri-modal que integra:

1. Estructura (PDB): Representada como grafos atómicos.
2. Secuencia: Cadenas de aminoácidos.
3. Texto: Descripciones bioquímicas y funcionales en lenguaje natural.

Arquitectura del Modelo:

• Codificador de Estructura (Geometric Deep Learning):
  • Convierte archivos PDB en grafos de átomos utilizando la librería Graphein. Los nodos son átomos (con descriptores bioquímicos) y las aristas representan distancias euclidianas.
  • Utiliza una Red Neuronal de Grafos Invariante a E(3) (EGNN). Esta arquitectura es crucial porque garantiza que las representaciones aprendidas sean invariantes a rotaciones y traslaciones en el espacio 3D, capturando solo la geometría intrínseca de la proteína.
• Codificadores de Secuencia y Texto (LLMs congelados):
  • Secuencia: Utiliza embeddings precalculados de ProtT5 (1024 dimensiones), un modelo de lenguaje de proteínas basado en Transformers.
  • Texto: Utiliza BioGPT (1024 dimensiones), un LLM ajustado para biomedicina, para procesar descripciones de UniProt.
• Módulo de Alineación (Contrastive Learning 3D):
  • Inspirado en el paradigma CLIP y extendido por CG3D (CLIP Goes 3D).
  • Proyecta los embeddings de las tres modalidades (estructura, secuencia, texto) a un espacio de embeddings compartido mediante capas lineales entrenables.
  • Función de Pérdida: Utiliza un objetivo de aprendizaje contrastivo tri-modal simétrico. Maximiza la similitud (producto punto) entre los tripletes que pertenecen a la misma proteína (estructura-secuencia-texto) y minimiza la similitud entre tripletes no coincidentes. La pérdida total es el promedio de las pérdidas cruzadas entre todos los pares de modalidades (Estructura-Secuencia, Estructura-Texto, Secuencia-Texto) más una regularización L2.

3. Contribuciones Clave

• Marco Tri-Modal Unificado: Es uno de los primeros enfoques que integra explícitamente estructura 3D, secuencia y texto en un solo modelo de representación, superando las limitaciones de los modelos bimodales.
• Aprendizaje Cero-Shot (Zero-Shot): Demuestra capacidad para realizar tareas de clasificación y recuperación sin necesidad de entrenamiento específico para la tarea (fine-tuning), alineando modalidades que nunca se han visto juntas durante la inferencia.
• Invarianza Geométrica: La implementación de EGNN asegura que las representaciones estructurales sean robustas y biológicamente significativas, independientemente de la orientación de la proteína en el espacio.
• Validación de Sinergia: Pruebas de ablación confirman que las tres modalidades contribuyen de manera sinérgica; eliminar cualquiera de ellas degrada significativamente el rendimiento.

4. Resultados Principales

Los autores evaluaron CLASP en tareas de alineación cruzada y recuperación, comparándolo con modelos de vanguardia (Progres, COLLAPSE, ProstT5, ProteinCLIP, ProtST):

• Alineación Secuencia-Estructura: CLASP superó significativamente a todos los baselines. Logró un AUROC de 0.976 y un MCC de 0.841, superando a modelos como ProstT5 y Progres-CLIP en un margen de ~5-7% en AUROC.
• Alineación Texto-Estructura: En la tarea de recuperar estructuras a partir de descripciones textuales, CLASP obtuvo un AUROC de 0.858, demostrando una separación clara entre pares positivos y negativos.
• Recuperación de Secuencias: Dada una descripción textual (desde entradas curadas de UniProt hasta descripciones "manuscritas" de expertos), CLASP pudo recuperar la secuencia correcta de un conjunto de 35,911 candidatos con un percentil medio superior al 98%, incluso con variaciones lingüísticas complejas.
• Agrupamiento (Clustering) por Familia: Los embeddings de CLASP mostraron una agrupación superior de proteínas por familia (quinasas, GPCRs, etc.) en comparación con otros modelos, medido por métricas como el Silhouette score y el índice Calinski-Harabasz. Esto indica que el modelo aprende relaciones estructura-función biológicamente relevantes.
• Estudios de Ablación:
  • Reemplazar EGNN por un GNN estándar redujo el MCC en más de 15 puntos, destacando la importancia de la invarianza E(3).
  • El uso de un objetivo de pérdida bimodal (en lugar de tri-modal) resultó en un rendimiento inferior, confirmando el valor de la supervisión conjunta.

5. Significado e Impacto

El trabajo establece un nuevo estándar para la representación de proteínas al unificar la información molecular (secuencia/estructura) con el conocimiento semántico (texto).

• Interpretabilidad: Al alinear estas modalidades, CLASP crea un espacio de embeddings donde la similitud estructural, secuencial y funcional se correlacionan, facilitando la interpretación biológica.
• Aplicaciones Prácticas: El modelo habilita aplicaciones como motores de búsqueda semántica de proteínas, diseño de proteínas basado en literatura, y anotación automática de funciones basadas en similitud estructural.
• Generalización: La capacidad de manejar descripciones de texto no estructuradas y variadas sugiere que el modelo puede generalizar más allá de los datos de entrenamiento curados, acercándose a una comprensión más robusta de la biología de proteínas.

En conclusión, CLASP demuestra que integrar señales estructurales, secuenciales y textuales en un marco de aprendizaje contrastivo produce representaciones de proteínas superiores, más informativas y biológicamente fundamentadas que los enfoques unimodales o bimodales anteriores.