PG-LLM: Benchmarking General-Purpose Language Models for Protein Variant Ranking

Imagina que eres un maestro chef intentando inventar una nueva receta. Tienes un plato básico (una proteína) que funciona bien, pero quieres retocar los ingredientes (los aminoácidos) para que sepa aún mejor, dure más tiempo o funcione en una cocina diferente. En el mundo de la biología, esto se llama ingeniería de proteínas. Durante años, los científicos han utilizado programas informáticos especializados —como un equipo de críticos gastronómicos expertos que se han memorizado cada receta jamás escrita— para adivinar qué retoques funcionarán. Estos expertos observan la historia familiar del plato (datos evolutivos) y la forma física de la olla (estructura de la proteína) para hacer sus predicciones.

Recientemente, un nuevo tipo de "chef" ha entrado en la cocina: los Modelos de Lenguaje de Propósito General (LLM, por sus siglas en inglés). Estos son los mismos cerebros de IA que pueden escribir poemas, resolver problemas matemáticos y charlar sobre historia. Son increíblemente inteligentes para entender el lenguaje y los patrones. La gran pregunta que los científicos se han estado haciendo es: ¿Pueden estos chefs de IA de propósito general, que no han sido entrenados específicamente para ser críticos gastronómicos, mirar una receta y una lista de sustituciones de ingredientes y decirnos cuál de las nuevas versiones será la mejor? No tienen los libros de historia familiar ni los modelos 3D de las ollas; solo tienen el texto de la receta y su propio vasto conocimiento de cómo las palabras (en este caso, los aminoácidos) encajan entre sí.

Este artículo, titulado "PG-LLM", establece un masivo "test de sabor" para averiguarlo. Los investigadores crearon un benchmark llamado PG-LLM, que es como una gran competencia de cocina. Tomaron 217 "recetas" diferentes (proteínas) y pidieron a trece chefs de IA diferentes que clasificaran 50 versiones de cada receta de "mejor" a "peor" basándose en qué tan bien funcionarían en un experimento real. El truco es que los chefs de IA no tenían permitido usar herramientas especiales de proteínas, mapas evolutivos o estructuras 3D. Tenían que confiar únicamente en su inteligencia general.

Los resultados son una mezcla de "guau" y "aún no está ahí". El chef de IA superior, Claude Opus 5, logró obtener una puntuación de 0.406 (en una escala donde 1.0 es perfecto). ¡Esta es una puntuación bastante buena! Significa que la IA es en realidad bastante buena adivinando qué retoques en las proteínas funcionarán, superando a otros 49 programas informáticos especializados que han existido durante años. De hecho, lo hizo mejor que casi todos los expertos de "solo secuencia" (aquellos que solo miran la lista de ingredientes sin modelos 3D).

Sin embargo, los chefs de IA no ganaron la competencia entera. Los mejores expertos especializados en proteínas, como un programa llamado VenusREM, todavía puntuaron más alto con un 0.523. Es como si la IA general fuera un cocinero casero muy talentoso que puede adivinar el ganador de un concurso de repostería, pero el pastelero profesional con décadas de entrenamiento específico todavía conoce mejor los secretos.

El artículo también descubrió algunas peculiaridades interesantes sobre cómo piensan estos chefs de IA. Cuando los investigadores hicieron que la IA pensara más duro y por más tiempo (dándole más "cómputo en tiempo de prueba"), las puntuaciones mejoraron, pero eventualmente chocaron contra un muro. La IA también tuvo más dificultades cuando la lista de 50 recetas era demasiado larga para manejarla en su mente, mientras que a los expertos especializados no les importaba cuán larga fuera la lista. Curiosamente, el rendimiento de la IA no cambió mucho si la proteína tenía una historia familiar profunda o superficial, lo que sugiere que la IA está utilizando un tipo de lógica diferente al de los expertos evolutivos.

Finalmente, para asegurarse de que la IA no estaba simplemente recurriendo a respuestas memorizadas de Internet, los investigadores las probaron con recetas totalmente nuevas que fueron publicadas después de la fecha de corte de los datos de entrenamiento de la IA. Los resultados fueron similares: la IA aún podía razonar sobre las nuevas recetas, demostrando que en realidad está aprendiendo las reglas del juego, no solo recitando respuestas viejas.

En resumen, este artículo muestra que la IA de propósito general se está convirtiendo en un "razonador biológico" sorprendentemente capaz. Ya puede superar a muchas herramientas establecidas y se está acercando a los especialistas de élite. Pero por ahora, no ha logrado reemplazar la necesidad de los expertos especializados en proteínas. Es una herramienta poderosa en el laboratorio, pero los maestros chefs siguen en el juego.