The Complex Geometry of Biological Knowledge in Artificial Intelligence: Manifolds, Spectra, and Concept Structure in Foundation-Model Representations

Imagina que estás tratando de entender cómo una biblioteca gigante organiza sus libros. En el mundo de la inteligencia artificial, existen los "modelos fundacionales": programas informáticos masivos entrenados con océanos de datos para aprender las reglas de un tema específico. Un tipo popular de estos modelos es el entrenado en datos biológicos, como el código genético de las células o las secuencias de proteínas. Los científicos han descubierto recientemente que algunos de estos modelos, específicamente aquellos entrenados en datos de células, parecen tener un mapa interno muy sofisticado. Parecen organizar la información a lo largo de caminos suaves y curvos (llamados "variedades" o manifolds) y tienen una estructura compleja y multicapa que parece una escultura hermosa e intrincada. Esto es emocionante porque si una computadora organiza el conocimiento como una escultura compleja, podría ser más fácil para nosotros entender cómo piensa e incluso usar esa estructura para descubrir nueva biología.

Pero aquí está la gran pregunta: ¿Todos los modelos de IA biológica organizan su conocimiento de esta manera? ¿Qué pasa con los modelos entrenados en proteínas? Las proteínas son las diminutas máquinas que realizan la mayor parte del trabajo dentro de nuestros cuerpos, y su "lenguaje" es una larga cadena de aminoácidos. Si estos modelos de proteínas también tienen esa geometría compleja, curva y sofisticada, sería una victoria enorme para los científicos que intentan decodificarlos. Si no es así, significa que estamos buscando un mapa del tesoro donde solo hay un campo abierto y plano. Este artículo se propone tomar una lupa para inspeccionar estos modelos de proteínas y ver si realmente poseen la misma arquitectura secreta y compleja de sus primos centrados en células, o si su mundo interno está construido sobre una lógica de un tipo completamente diferente.

---

La Gran Búsqueda del Mapa de Proteínas: Un Cuento de Curvas vs. Nubes

Conozcan a los Modelos de Lenguaje de Proteínas (pLMs). Piénsenlos como chefs superinteligentes que han probado cada receta del universo (cientos de millones de secuencias de proteínas) y han aprendido las reglas de la cocina sin haber visto jamás un plato terminado. Son tan buenos que pueden predecir cómo una proteína se plegará en una forma 3D o qué función tendrá en el cuerpo. Los científicos se han estado preguntando: "¿Cómo organiza este chef su conocimiento en su cerebro?"

Durante un tiempo, la respuesta parecía ser "en un laberinto complejo y curvo". Se descubrió que otros modelos de IA biológica (entrenados en células individuales) tenían el conocimiento almacenado en curvas suaves y de baja dimensión, como una cinta serpenteando a través de una habitación de alta dimensión. Tenían estructuras "espectrales" (como bandas de colores distintos en un arcoíris) y "jerarquías de conceptos" (como un árbol genealógico donde las ideas se ramifican ordenadamente). Esto llevó a una gran hipótesis: Tal vez toda la IA biológica organiza el conocimiento en estas formas geométricas elegantes y complejas.

Este artículo, liderado por el investigador Liu Chen, decidió poner a prueba esa hipótesis. Construyeron una "batería de tres lentes" para inspeccionar los cerebros de ocho modelos de proteínas diferentes, incluyendo la famosa familia ESM-2 (que va desde modelos diminutos de 8 millones de parámetros hasta gigantes de 3 mil millones de parámetros) y otros como ProtBERT y Ankh. No solo observaron; utilizaron un conjunto de herramientas rigurosas para medir tres cosas específicas:

1. La Forma (Variedad/Manifold): ¿Están los datos organizados en una superficie suave y curva?
2. El Espectro: ¿Tienen los datos bandas de información distintas y separadas como un arcoíris?
3. Los Conceptos: ¿Están las ideas dispuestas en una jerarquía o árbol genealógico ordenado?

También realizaron estas mismas pruebas en "controles sintéticos": datos falsos que ellos crearon y que sí tenían formas complejas (como una dona retorcida o una espiral). Si sus herramientas funcionaban, deberían encontrar las formas complejas en los datos falsos.

El Veredicto: Es una Nube Plana y Lineal, No un Laberinto Curvo

Los resultados fueron un tanto sorprendentes, pero muy claros. Los autores descubrieron que los modelos de lenguaje de proteínas no tienen la geometría compleja y curva que tienen los modelos de células. En cambio, su conocimiento interno es "real pero simple".

1. La Forma: Una Nube, No una Cinta
Cuando los investigadores intentaron encontrar una superficie suave y curva (una variedad) donde vivieran los datos de las proteínas, no encontraron nada.

• El Hallazgo: Aunque los datos parecen estar en una curva de baja dimensión (la "dimensión intrínseca no lineal" era pequeña, alrededor de 26 para los modelos grandes), la realidad es distinta. Los datos en realidad se dispersan a través de un espacio enorme y de alta dimensión (dimensión lineal de alrededor de 131).
• La Analogía: Imaginen intentar aplanar un papel arrugado. Si fuera una cinta suave, podrían aplanarlo fácilmente. Pero estos modelos de proteínas son más bien como una gigantesca y esponjosa nube de algodón de azúcar. Se ve pequeña desde la distancia, pero si intentas comprimirla en una forma plana, simplemente se expande.
• La Prueba: Cuando los investigadores intentaron usar matemáticas curvas sofisticadas para visualizar los datos (como UMAP, que es popular para crear imágenes 2D bonitas), los resultados fueron terribles. Los modelos perdieron su capacidad para predecir las propiedades de las proteínas. Sin embargo, la matemática simple de líneas rectas (sondas lineales) funcionó perfectamente. Los autores concluyen que la "geometría" del conocimiento de las proteínas no es una variedad suave y curva, sino una "nube de alta dimensión, casi lineal".

2. El Espectro: Un Deslizamiento Suave, No un Arcoíris
Luego, examinaron el "espectro" de los datos, que es como observar las frecuencias de sonido en una canción.

• El Hallazgo: Encontraron un único deslizamiento suave de datos siguiendo una ley de potencia (una curva matemática específica donde el exponente es cercano a 1). No había "bandas" o brechas distintas que separaran diferentes conceptos biológicos.
• La Analogía: Si los modelos de células fueran como un arcoíris con bandas distintas de rojo, naranja y azul, los modelos de proteínas son como un gradiente suave de color gris. No hay líneas nítidas que separen un tipo de proteína de otro en la estructura interna de los datos.
• El Matiz: Aunque no había una estructura compleja, la pendiente de ese deslizamiento suave (el exponente) era en realidad muy útil. Actuaba como una "puntuación de calidad". Cuanto más plano era el deslizamiento (cuanto más cerca estaba el exponente de 1), mejor era el rendimiento del modelo en tareas del mundo real. Por lo tanto, aunque la estructura no era compleja, era un indicador confiable de qué tan bueno era el modelo.

3. Los Conceptos: Planos, No Jerárquicos
Finalmente, verificaron cómo los modelos organizaban "conceptos" como "¿es esta una proteína de membrana?" o "¿cuál es su estructura secundaria?".

• El Hallazgo: Los modelos eran excelentes para responder estas preguntas usando líneas rectas simples. Si le preguntabas a una sonda lineal: "¿Es esta una proteína de membrana?", respondía "Sí" con alta precisión. Sin embargo, las relaciones entre estos conceptos eran planas.
• La Analogía: Imaginen una biblioteca. En una jerarquía compleja, los libros se organizan por continente, luego por país, luego por ciudad y luego por calle. En estos modelos de proteínas, los libros están simplemente esparcidos en una mesa gigante y plana. Puedes encontrar el libro correcto fácilmente (decodificabilidad lineal), pero no hay un árbol genealógico ordenado que los conecte. La prueba de "analogía" (verificar si el modelo entiende que "A es a B como C es a D") también falló; las relaciones eran débiles y no se alineaban en direcciones paralelas como ocurre en los modelos de lenguaje.
• El Confundido: Los autores también descubrieron que parte de la estructura aparente era en realidad solo el modelo reaccionando a características básicas, como la longitud de la proteína o cuántos aminoácidos de cierto tipo tenía, en lugar de un significado biológico profundo.

¿Por qué la Diferencia? La Naturaleza de los Datos

El artículo ofrece una razón fascinante de por qué los modelos de proteínas son diferentes de los modelos de células.

• Datos Celulares: Las células cambian continuamente. Una célula madre se convierte lentamente en una célula sanguínea. Esto crea un camino suave y sinuoso (una variedad) en los datos.
• Datos de Proteínas: Las proteínas son discretas. Están hechas de una cadena de 20 aminoácidos posibles. El espacio de todas las proteínas posibles es enorme y "fragmentado", organizado por la historia evolutiva (homología) en lugar de transiciones suaves.
• La Conclusión: Debido a que los datos mismos son discretos y están dispersos en grupos, el modelo de IA no necesita construir un mapa suave y curvo. Simplemente expande su conocimiento en una nube de alta dimensión y lineal. La "geometría compleja" reportada en los modelos de células no se transfiere a las proteínas porque la realidad subyacente de las proteínas es diferente.

La Conclusión Final

Los autores concluyen que el conocimiento biológico en los modelos de proteínas es real y accesible, pero geométricamente simple.

• Lo que funciona: Las herramientas simples y lineales (como las sondas de línea recta y el PCA) son la mejor manera de leer estos modelos.
• Lo que no funciona: Intentar forzar estos modelos en formas curvas y complejas o buscar árboles genealógicos profundos y jerárquicos en su estructura interna es un callejón sin salida.
• El Lado Positivo: El hecho de que el conocimiento sea lineal y simple es en realidad algo bueno. Significa que podemos confiar en que estos modelos nos den respuestas directas sin necesidad de decodificar un laberinto misterioso y curvo. La hipótesis de la "geometría compleja", aunque hermosa para los modelos de células, simplemente no encaja con el mundo de las proteínas. El artículo confirma que, para las proteínas, el mapa no es una cinta sinuosa, sino un campo vasto, abierto y sorprendentemente directo.