Pseudoperplexity Probes Memorization in Protein Language Models

Imagina que los Modelos de Lenguaje de Proteínas (pLMs) como ProtT5 son estudiantes superinteligentes que han leído casi todos los libros de texto de biología que existen. Estos modelos son increíbles prediciendo qué es lo que sigue en una secuencia de proteínas, de forma muy similar a cómo un modelo de lenguaje predice la siguiente palabra en una oración.

Pero hay una gran preocupación: ¿Realmente aprendieron las reglas de la gramática (cómo se construyen las proteínas) o simplemente memorizaron las oraciones específicas que leyeron en sus libros de texto? Si solo memorizaron los libros, podrían fallar cuando se les pida escribir sobre un tema que nunca han visto antes.

El Experimento: La prueba de lo "Falso" vs. lo "Real"

Para descubrir si ProtT5 solo estaba recitando su tarea o si realmente comprendía el material, los investigadores establecieron una prueba utilizando un concepto llamado pseudoperplejidad. Piensa en esto como un "medidor de sorpresa".

• Si el modelo se sorprende por una secuencia, significa que no la ha visto antes (baja memorización).
• Si el modelo no se sorprende en absoluto, podría significar que ya ha visto esa secuencia exacta antes (alta memorización).

La Configuración
Los investigadores le dieron a ProtT5 dos tipos de secuencias de proteínas:

1. La Lista "Vista": Secuencias que formaban parte de los datos de entrenamiento originales del modelo (como la vieja tarea de un estudiante).
2. La Lista "No Vista": Secuencias genuinamente novedosas y nuevas que el modelo nunca había encontrado (como una pregunta de examen totalmente nueva).

Para asegurar que la prueba fuera justa, emparejaron estas listas perfectamente. Se aseguraron de que las proteínas "vistas" y las "no vistas" tuvieran la misma longitud, provinieran de familias de organismos similares y tuvieran niveles de complejidad similares. Fue como asegurar que el estudiante fuera evaluado con dos ensayos de la misma longitud y dificultad, pero escritos por personas diferentes.

La Verificación de la Línea Base
Antes de confiar en los resultados, los investigadores verificaron si la lista "No Vista" era realmente nueva. Utilizaron herramientas estadísticas simples y tradicionales (modelos n-grama) para analizar los patrones. Confirmaron que las secuencias "No Vistas" eran, de hecho, lo suficientemente diferentes de los datos de entrenamiento para ser consideradas nuevas, no solo versiones ligeramente retocadas de las antiguas.

Los Resultados
Cuando ejecutaron el "medidor de sorpresa" (pseudoperplejidad) en ProtT5:

• El modelo sí reaccionó de manera diferente a las secuencias "Vistas" en comparación con las "No Vistas". Se sorprendió menos por las que había estudiado antes.
• Esto demostró que ProtT5 sí tiene cierta memoria de sus datos de entrenamiento.

La Conclusión
Sin embargo, la diferencia no fue enorme. No fue como si el modelo estuviera recitando el libro de texto palabra por palabra. En cambio, la "señal de memorización" fue modesta.

En términos simples: ProtT5 no es solo un loro que repite sus datos de entrenamiento, pero tampoco es un genio perfecto que jamás haya visto una oración específica antes. Tiene una memoria detectable pero limitada de lo que estudió, mientras que sigue dependiendo principalmente de las reglas generales de la gramática de las proteínas para manejar la nueva información.