🧬 biology

Geometric Representations of Knowledge Inside Biological Large Language Models: an Empirical Analysis

Este estudio empírico revela que, si bien los modelos de lenguaje biológicos (SCFMs) codifican una estructura geométrica real, de baja dimensión y parcialmente linealizada para el conocimiento biológico, esta estructura es modesta, a menudo está entrelazada de forma no lineal y se superpone en gran medida con lo que los métodos clásicos basados en la expresión, como el PCA, ya pueden recuperar, quedando por debajo de la geometría nítida y regular observada en los modelos de lenguaje natural.

Autores originales: Olivia Denvis

Publicado 2026-07-22

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Olivia Denvis

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca gigante y mágica donde cada libro es una célula viva del cuerpo humano. Durante años, los científicos han intentado leer estos libros para entender cómo funciona nuestro cuerpo, pero el texto es desordenado y difícil de descifrar. Recientemente, se inventó un nuevo tipo de "superlector" llamado Modelo de Lenguaje Extenso Biológico (o LLM Biológico). Estos son programas informáticos entrenados con millones de "libros" de células para detectar patrones, de forma muy parecida a cómo el teclado de tu teléfono aprende a predecir la siguiente palabra que vas a escribir.

La gran pregunta que los científicos se han estado haciendo es: ¿organizan estos superlectores el conocimiento de una manera limpia y en línea recta? En los modelos de lenguaje habituales (los que escriben ensayos o charlan contigo), los investigadores descubrieron que ideas como "rey" y "reina" se sitúan en una línea recta, y los opuestos están a solo un paso de distancia. Es como un mapa perfectamente organizado donde cada concepto tiene su propia calle clara. Los científicos esperaban que estos superlectores biológicos tuvieran también ese mapa ordenado de líneas rectas para cosas como "sano vs. enfermo" o "creciendo vs. descansando". Si lo hicieran, significaría que podríamos ajustar fácilmente el pensamiento de la computadora para entender enfermedades o el desarrollo. Pero, como estamos a punto de ver, el mapa dentro de estos modelos biológicos es más parecido a un sendero boscoso, sinuoso y con colinas que a una calle de ciudad recta y perfecta.

El mapa dentro de la máquina: Un bosque, no una autopista

En este estudio, una investigadora llamada Olivia Denvis decidió profundizar en cuatro de estos superlectores biológicos (llamados scBERT, Geneformer, scGPT y UCE) para ver si realmente tienen esa organización limpia y lineal. Los trató como exploradores, enviándolos a un conjunto masivo de datos de 420,000 células con notas detalladas sobre qué son, dónde viven y qué están haciendo. Luego comparó los "mapas" internos de los modelos contra las herramientas tradicionales y fiables que los científicos han utilizado durante décadas, como trucos matemáticos simples llamados PCA.

Esto es lo que encontró: los modelos sí tienen un mapa, pero no es la autopista despejada y recta que todos esperaban.

1. El mapa es compacto, pero está abarrotado
Primero, los investigadores comprobaron cuánto espacio utilizan los modelos para almacenar información. Imagina un almacén enorme (el tamaño completo del modelo) que podría albergar 1,280 estanterías. El estudio encontró que los modelos en realidad solo usan unas 12 a 26 estanterías para almacenar su conocimiento. Ese es un espacio de baja dimensionalidad, lo cual es bueno porque significa que los modelos son eficientes. Sin embargo, el espacio es "anisótropo", que es una forma elegante de decir que tiene la forma de un cono largo y estrecho en lugar de una bola redonda. Los modelos más pequeños estaban aún más apretados en este cono estrecho, lo que sugiere que podrían estar un poco "atiborrados" en su forma de pensar.

2. Lo fácil es recto, lo difícil es curvo
Cuando la investigadora pidió a los modelos que identificaran cosas sencillas, como "¿Es esta célula de un hombre o de una mujer?" o "¿Pertenece al sistema inmunológico?", los modelos fueron increígens. Podían trazar una línea recta para separar estos grupos, tal como hacen los modelos de lenguaje. De hecho, para estas categorías fáciles, los modelos eran casi perfectos.

Pero aquí está el giro: cuando les preguntó sobre las cosas interesantes —como "¿Está esta célula enferma?", "¿Qué subtipo específico es?" o "¿Qué tan avanzada está en su desarrollo?"— las líneas rectas dejaron de funcionar. El conocimiento seguía ahí, pero estaba enredado en curvas.

La prueba: Cuando la investigadora intentó usar una línea recta simple para predecir el tiempo de desarrollo de una célula, solo acertó aproximadamente el 61% de la respuesta. Pero cuando dejó que la computadora siguiera el camino natural y curvo de los datos (como caminar por un sendero sinuoso en lugar de atravesar un campo), la precisión saltó al 80%.
La conclusión: Los modelos conocen las cosas complejas, pero almacenan la información de una forma curva y no lineal que las líneas rectas simples no pueden alcanzar fácilmente. Esto es diferente de los modelos de lenguaje, donde incluso las ideas complejas suelen situarse en líneas rectas.

3. El "volante" es un poco inestable
En los modelos de lenguaje, si quieres cambiar el significado de una palabra (como convertir "feliz" en "triste"), puedes simplemente añadir un vector específico (una dirección) y funciona perfectamente. La investigadora intentó esto con los modelos biológicos. Intentó "dirigir" la identidad de una célula añadiendo un vector de dirección.

El resultado: Funcionó, pero solo entre el 54% y el 66% de las veces. Fue mejor que un lanzamiento de moneda, pero lejos del control perfecto que se ve en los modelos de lenguaje. A veces, intentar cambiar una cosa cambiaba accidentalmente otra. Las direcciones para diferentes ideas eran algo paralelas, pero no perfectamente, y solo estaban débilmente alineadas.

4. Los modelos están de acuerdo entre sí, no con la "verdad"
La investigadora también comprobó si todos los cuatro modelos estaban pensando de la misma manera. Eran moderadamente similares entre sí (aproximadamente un 55% a 74% de similitud), lo cual es bueno. Pero cuando los comparó con el "Estándar de Oro" del conocimiento biológico (un mapa detallado de cómo se relacionan los tipos de células en la vida real), los modelos fueron solo un 36% a 45% similares.

La sorpresa: Los modelos en realidad se parecían más a las herramientas matemáticas tradicionales (PCA) que a la verdadera biología. Convergieron en una visión compartida y simplificada de los datos que era más cercana a la matemática básica que a la compleja realidad de la biología.

5. El conocimiento "profundo" está en el medio
Finalmente, observó dónde vivía este conocimiento en las capas del modelo (su "cerebro").

Identidad simple: Saber "qué tipo de célula" es, se vuelve más fuerte a medida que se profundiza en el modelo.
Estado de enfermedad: Saber si una célula está enferma alcanzó su punto máximo en las capas intermedias y luego se desvaneció a medida que el modelo se hacía más profundo.
Efectos de lote (Batch effects): Los modelos fueron buenos ignorando el ruido técnico (como qué máquina tomó la imagen), pero no lo olvidaron por completo en las capas iniciales.

La conclusión final

Entonces, ¿cuál es el veredicto? Los Modelos de Lenguaje Extensos Biológicos son reales, y poseen un mapa geométrico del conocimiento. Pero no es el mapa limpio, de línea recta y perfectamente organizado que vemos en los modelos de lenguaje. En su lugar, es un mapa "parcialmente linealizado y de baja dimensión".

Los modelos son excelentes para las cosas fáciles (como distinguir una célula masculina de una femenina), pero para las cosas difíciles y clínicamente importantes (como la enfermedad o el desarrollo), el conocimiento es curvo y enredado. La mayor parte del conocimiento de "línea recta" que tienen los modelos es en realidad lo que ya podíamos obtener mediante herramientas matemáticas simples y tradicionales. Lo nuevo que aprendieron los modelos está ahí, pero está oculto en las curvas, lo que lo hace más difícil de leer y utilizar.

El estudio concluye que, si bien estos modelos son útiles, no son el avance de "línea recta" mágico que algunos esperaban. El verdadero desafío para el futuro no es solo construir modelos más grandes, sino construir mejores herramientas para leer los caminos curvos y sinuosos donde se esconden realmente los secretos biológicos más importantes.

Resumen Técnico: Representaciones Geométricas del Conocimiento en los Modelos de Lenguaje de Gran Escala Biológicos

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala (LLMs) exhiben una "hipótesis de representación lineal", donde el conocimiento de alto nivel (conceptos, analogías, taxonomías) se codifica en estructuras geométricas notablemente regulares: los conceptos se alinean con direcciones lineales, las analogías con desplazamientos paralelos y las jerarquías con subespacios anidados y ortogonales. Los modelos fundacionales de célula única (SCFMs)—LLMs biológicos entrenados mediante secuencias de transcriptomas con enmascaramiento—han emergido como repositorios de conocimiento biológico. Sin embargo, no se ha probado si estos modelos biológicos heredan la geometría nítida y linealizable observada en los modelos de lenguaje, o si sus representaciones internas son meramente correlacionales y entrelazadas. Además, no está claro cuánto de cualquier estructura observada es genuinamente novedosa para el modelo fundacional frente a lo que ya es recuperable de las incrustaciones (embeddings) de expresión lineal clásica (por ejemplo, PCA).

Metodología
Los autores realizaron un análisis empírico sistemático comparando cuatro SCFMs de diversas escalas (8.9M a 650M de parámetros: scBERT, Geneformer, scGPT, UCE) contra potentes líneas base de expresión lineal (Genes Altamente Variables, PCA-50 y scVI). La evaluación utilizó un panel de atlas curado de 0.42M de células con metadatos ricos (tipo de célula, tejido, sexo, enfermedad, etc.) y un conjunto de datos de trayectoria de diferenciación hematopoyética con pseudotiempo de verdad fundamental (ground-truth).

El estudio empleó seis familias de análisis geométricos, donde cada medición se comparó explícitamente contra las líneas base de expresión para aislar la estructura añadida por el modelo:

Geometría Global: Estimación de la dimensión intrínseca (vía TwoNN y Levina–Bickel MLE) y anisotropía (similitud de coseno media de pares aleatorios).
Sondeo (Probing): Sondas lineales (regresión logística) y no lineales (MLP) para medir la decodificabilidad de nueve atributos, calculando la brecha entre el rendimiento lineal y el no lineal.
Direcciones de Conceptos: Análisis de paralelismo analógico (similitud de coseno de vectores de diferencia de medias a través de linajes), casi-ortogonalidad de conceptos no relacionados y tasas de éxito de dirección (steering), evaluadas tanto en espacios brutos como en espacios causalmente blanqueados.
Geometría Categórica y de Modelo Cruzado: Evaluación de la alineación jerárquica (correlación cofenética con la Ontología Celular) y similitud de modelo cruzado utilizando el Alineamiento de Kernel Centrado (CKA) contra otros modelos y un kernel de referencia de ontología.
Geometría de la Trayectoria-Manifold: Comparación de la recuperación del pseudotiempo mediante una única dirección lineal frente a una estimación geodésica (manifold) en el conjunto de datos hematopoyético.
Perfilado de Profundidad: Análisis por capas de dónde se concentra el conocimiento específico (tipo celular, enfermedad, lote/batch) dentro de la red.

Resultados Clave
El estudio encuentra que la geometría del conocimiento en los LLMs biológicos es real pero modesta, divergiendo significamente de la estructura "nítida" documentada en los modelos de lenguaje:

Baja Dimensionalidad y Anisotropía: Las representaciones de los SCFM son de baja dimensionalidad (dimensión intrínseca 12–26, o 4–6% del ancho del modelo) y fuertemente anisotrópicas (coseno medio 0.29–0.52), contrastando con la naturaleza casi isotrópica de las líneas base de PCA/scVI.
La Decodificabilidad Lineal es Limitada: El conocimiento categórico grueso (compartimento, sexo, tipo celular amplio) es linealmente decodificable pero ofrece una ganancia incremental insignificante sobre PCA (ganancia mediana de ~3.5 puntos de precisión balanceada). Los modelos aportan el mayor valor a las distinciones intermedias (subtipos), pero no ofrecen ventaja para etiquetas ya fáciles (sexo) o variables de lote (donde a veces rinden peor que PCA).
Entrelazamiento No Lineal: Atributos más finos (estado de enfermedad, subtipos finos, tiempo de desarrollo) están presentes en las representaciones pero están entrelazados no linealmente. La brecha entre sondas lineales y no lineales alcanza los 9 puntos para la enfermedad, y una única dirección lineal recupera solo $R^2 \approx 0.61$ del pseudotiempo, mientras que una geodésica curva alcanza $\rho \approx 0.80$ (coincidiendo con mapas de difusión clásicos).
Estructura Lineal Débil: Las direcciones de conceptos son solo débilmente paralelas (coseno medio 0.17–0.26, aumentando a 0.28–0.41 tras el blanqueamiento causal) y el direccionamiento (steering) tiene éxito solo el 54–66% de las veces. Sin embargo, los conceptos no relacionados son casi ortogonales, lo que evita el colapso total de conceptos distintos.
Alineación Taxonómica Parcial: La organización jerárquica está presente pero es gruesa (correlación cofenética ~0.58), lejos de los simplex anidados limpios vistos en los modelos de lenguaje.
Convergencia: La similitud entre modelos es moderada (CKA 0.55–0.74), pero los modelos convergen más fuertemente entre sí y hacia las líneas base de expresión que hacia la verdad biológica (kernel CKA de la Ontología Celular 0.36–0.45).

Significación y Reivindicaciones
El artículo concluye que los actuales LLMs biológicos codifican una geometría de baja dimensionalidad y parcialmente linealizada, que es útil pero está lejos de la estructura idealizada de los modelos de lenguaje. La principal significación de estos hallazgos es triple:

Explicación de los Márgenes de Rendimiento: Los "márgenes estrechos" observados frecuentemente en los benchmarks de SCFM sobre los procesos clásicos se explican por el hecho de que el conocimiento linealmente accesible en estos modelos se solapa en gran medida con lo que PCA ya captura. El conocimiento adicional y más complejo (enfermedad, desarrollo) está codificado de forma no lineal, lo que lo hace inaccesible para las cabezas descendentes (downstream heads) lineales estándar.
Corrección Metodológica: Los autores argumentan que aplicar herramientas de interpretabilidad de LLM a la biología sin una línea base es engañoso. En el análisis de célula única, donde las incrustaciones lineales ya son altamente informativas, la pregunta crítica no es si existe estructura, sino cuánto añade el modelo fundacional más allá de los métodos clásicos.
Dirección Futura: Los resultados sugieren que el conocimiento más relevante para la toma de decisiones en los actuales SCFM es o bien redundante con las incrustaciones clásicas, o bien está codificado en estructuras no lineales de orden superior. El progreso futuro en los modelos fundacionales biológicos y sus herramientas de interpretabilidad debe centrarse en desbloquear estos manifolds curvos y no lineales, en lugar de asumir la descomponibilidad lineal.

Los autores declaran explícitamente que no proponen nuevas arquitecturas ni afirman que los SCFM hayan resuelto el razonamiento biológico; más bien, proporcionan un relato calibrado y relativo a la línea base sobre las limitaciones y capacidades geométricas de los modelos actuales.

El mapa dentro de la máquina: Un bosque, no una autopista

La conclusión final

Más como este