Sparse autoencoders reveal organized biological knowledge but minimal regulatory logic in single-cell foundation models: a comparative atlas of Geneformer and scGPT

Este estudio demuestra que, aunque los modelos fundacionales de células individuales como Geneformer y scGPT han internalizado un conocimiento biológico organizado y jerárquico, sus representaciones internas capturan una lógica regulatoria causal mínima, lo que limita su capacidad para predecir respuestas específicas a perturbaciones genéticas.

Lo esencial

Imagina que Geneformer y scGPT son dos "genios" de la inteligencia artificial que han leído millones de libros sobre biología celular. Han aprendido a reconocer patrones, a entender qué genes suelen trabajar juntos y a predecir cómo se comportan las células. Pero hay una pregunta gigante que nadie había respondido: ¿Realmente entienden la "causa y efecto" de la biología (la lógica de control), o solo han memorizado quién se sienta al lado de quién en el autobús?

Para responder esto, el autor de este estudio, Ihor Kendiukhov, usó una herramienta especial llamada Autoencoders Esparsos (SAE). Aquí tienes la explicación sencilla de lo que descubrieron, usando analogías:

1. El problema: La "Superposición" (El caos en la biblioteca)

Imagina que la memoria de estos genios es una habitación pequeña con solo 1,000 estantes (dimensiones), pero tienen que guardar 80,000 ideas diferentes (genes, vías biológicas).

• La solución del modelo: En lugar de poner un libro en un estante, el modelo mezcla los libros. Pone mil ideas diferentes en el mismo estante, pero de una manera tan ordenada que, si miras con una lupa normal (como un análisis estadístico simple), solo ves un montón de polvo.
• El hallazgo: El estudio descubrió que el 99.8% de lo que saben estos modelos está "oculto" en esa mezcla. Es como si tuvieras un archivo de 100 GB de datos, pero al abrirlo con el programa estándar, solo ves 1 GB. El resto está comprimido de forma invisible.

2. La herramienta: Los "Lentes de Rayos X" (Los SAE)

El autor usó los SAE como si fueran lentes de rayos X para ver dentro de la mente del modelo.

• Lo que vieron: Al usar estos lentes, lograron separar la mezcla. Descubrieron más de 100,000 "conceptos" o "características" organizados.
• La organización: Estos conceptos no son un desorden. Están organizados como una biblioteca inteligente:
  • En las primeras páginas (capas bajas), hay conceptos muy básicos: "cómo se construye una célula", "cómo se mueve".
  • En el medio, hay conceptos más abstractos: "cómo se comunican las partes".
  • Al final, hay conceptos integrados: "cómo se diferencia una célula para convertirse en piel o en riñón".
• Conclusión: ¡Los modelos sí saben biología! Tienen un mapa increíblemente detallado de cómo funcionan las partes del cuerpo.

3. La gran decepción: Saben "quién está en la fiesta", pero no "quién manda"

Aquí viene el giro de la historia. El estudio probó si estos modelos entendían la lógica de control (causalidad).

• La analogía: Imagina que ves una foto de una multitud.
  • Lo que el modelo hace bien: Puede decirte: "¡Oh, mira! Cuando el Dr. Juan (un gen regulador) entra a la fiesta, siempre llegan María y Pedro (genes objetivo)". Sabe que van juntos.
  • Lo que el modelo NO hace: Si le preguntas: "¿Qué pasaría si el Dr. Juan no entra?", el modelo no sabe predecir con precisión quiénes se quedarían fuera. Solo sabe que suelen ir juntos, pero no entiende que el Dr. Juan es el que ordena que vayan.
• La prueba: El autor simuló "apagar" a ciertos reguladores (como si fueran interruptores de luz) y vio si el modelo reaccionaba como un biólogo real.
  • Resultado: Solo el 6.2% de las veces, el modelo reaccionó correctamente como si entendiera la orden. En el 93.8% de los casos, solo notó que algo cambió en la habitación, pero no supo qué orden específica se rompió.

4. ¿Es culpa de los lentes o del genio? (El control de múltiples tejidos)

El autor pensó: "¿Y si el problema es que solo leíste a un tipo de célula (K562) y por eso el modelo no entiende la diversidad?".

• El experimento: Entrenó los lentes con datos de muchos tipos de células diferentes (riñón, pulmón, sangre).
• El resultado: La mejora fue mínima (subió del 6.2% al 10.4%).
• Veredicto: El problema no son los lentes ni los datos de entrenamiento. El problema es el modelo en sí. Los modelos actuales aprenden a predecir patrones estadísticos (quién va con quién), pero no aprenden la lógica de causa y efecto (quién manda a quién).

En resumen: ¿Qué nos dice este papel?

1. Son genios de la memoria: Estos modelos de IA han internalizado un conocimiento biológico masivo y organizado. Saben qué genes pertenecen a qué familias y cómo interactúan.
2. Son ciegos a la causalidad: No entienden la "regla del juego". Saben que A y B suelen ir juntos, pero no saben que A causa que B actúe.
3. El futuro: Para que estas IAs sean verdaderos "científicos" y no solo "bibliotecarios", necesitamos entrenarlas de una manera diferente. No basta con mostrarles millones de fotos de células; hay que enseñarles a predecir qué pasa cuando rompemos algo (perturbaciones), para que aprendan la lógica de control y no solo la estadística.

La metáfora final:
Estos modelos son como un turista experto que ha visitado todas las ciudades del mundo. Puede decirte exactamente qué tiendas están abiertas a las 5 de la tarde y qué restaurantes suelen estar llenos los viernes (patrones de co-expresión). Pero si le preguntas: "¿Qué pasaría si cerramos la calle principal?", no sabe predecir el caos que se generaría, porque nunca ha visto el tráfico causado por el cierre, solo ha visto el tráfico normal.

El estudio nos da un mapa detallado de lo que estos modelos sí saben, y nos advierte con claridad sobre lo que aún no saben.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título:

Los autoencoders dispersos revelan conocimiento biológico organizado pero lógica regulatoria mínima en modelos fundacionales de células individuales: un atlas comparativo de Geneformer y scGPT.

1. Problema y Contexto

Los modelos fundacionales de células individuales (scFMs), como Geneformer y scGPT, han demostrado capacidades notables en la anotación de tipos celulares y la predicción de respuestas a perturbaciones. Sin embargo, existe una incógnita fundamental: ¿estas representaciones aprendidas codifican lógica regulatoria causal (relaciones dirigidas entre factores de transcripción y sus genes diana) o simplemente reflejan patrones de co-expresión estadística (correlaciones que no constituyen regulación)?

Estudios previos que analizaban los pesos de atención sugerían que estos modelos capturaban co-expresión en lugar de señales regulatorias únicas. No obstante, los pesos de atención son solo una vista de la computación interna. La hipótesis de superposición sugiere que los modelos codifican más conceptos de los que sus dimensiones permiten, utilizando direcciones casi ortogonales en el espacio de activación que son invisibles para métodos de descomposición lineal estándar como la SVD (Descomposición en Valores Singulares). Hasta ahora, no se había aplicado sistemáticamente el análisis de interpretabilidad mediante Autoencoders Dispersos (SAEs) a modelos biológicos para descomponer estas activaciones densas en características interpretables.

2. Metodología

El estudio aplica una tubería de análisis idéntica a dos modelos arquitectónicamente distintos:

• Modelos Analizados:
  • Geneformer V2-316M: 18 capas, 1,152 dimensiones ocultas, codificación basada en rangos (rank-value), entrenado con 30M de células.
  • scGPT Whole-Human: 12 capas, 512 dimensiones ocultas, codificación de valores continuos, entrenado con 33M de células.
• Técnica Principal: Entrenamiento de Autoencoders Dispersos TopK (SAEs) sobre las activaciones del residual stream (flujo residual) de todas las capas de ambos modelos.
  • Configuración: Diccionarios 4x sobredimensionados (4,608 características para Geneformer, 2,048 para scGPT) con una restricción de dispersión $k=32$.
  • Datos de Entrenamiento: Activaciones extraídas de miles de células (K562 para Geneformer, Tabula Sapiens para scGPT).
• Análisis Realizado:
  1. Caracterización de Superposición: Comparación de las características SAE frente a los ejes SVD.
  2. Anotación Biológica: Enriquecimiento contra bases de datos (GO, KEGG, Reactome, STRING, TRRUST).
  3. Estructura Modular: Construcción de grafos de co-activación (PMI) y detección de comunidades (Leiden).
  4. Pruebas Causales: "Patching" causal (ablación de características individuales) para medir la especificidad en la alteración de logits de salida.
  5. Validación de Perturbaciones: Mapeo de respuestas a datos de CRISPRi (Replogle) para verificar si las características responden a dianas regulatorias específicas.
  6. Control Multi-tejido: Entrenamiento de SAEs con datos mixtos (K562 + Tabula Sapiens) para determinar si la falta de especificidad regulatoria es un límite del modelo o de los datos de entrenamiento.

3. Contribuciones Clave

• Primer Atlas de Características SAE en scFMs: Se liberan dos plataformas web interactivas con un total de 107,052 características (82,525 de Geneformer y 24,527 de scGPT) a través de 30 capas.
• Evidencia de Superposición Masiva: Demostración cuantitativa de que el 99.8% de las características biológicas son invisibles para la SVD, confirmando que los modelos utilizan superposición para comprimir miles de conceptos biológicos en pocas dimensiones.
• Desenmascaramiento de la Lógica Interna: Diferenciación clara entre el conocimiento biológico organizado (vía de señalización, interacciones proteicas) y la lógica regulatoria causal.
• Herramientas de Interpretación: Desarrollo de un marco metodológico estandarizado (SAE + patching causal + mapeo de perturbaciones) aplicable a cualquier modelo transformador biológico.

4. Resultados Principales

A. Superposición y Organización Biológica

• Superposición: Solo el 0.2% de las características SAE se alinean con los ejes SVD. El 99.8% restante (características "nuevas") porta el 98.7% de las anotaciones ontológicas.
• Perfil en U: Las tasas de anotación biológica siguen un perfil en forma de U a través de las capas:
  • Capas Tempranas (0-4): Alta anotación de maquinaria molecular (ciclo celular, metabolismo).
  • Capas Medias (5-9): Disminución de anotaciones, sugiriendo representaciones computacionales abstractas.
  • Capas Tardías (10-17): Recuperación de anotaciones hacia programas celulares integrativos (diferenciación, señalización), seguidas de una disminución final enfocada en la predicción.
• Módulos de Co-activación: Las características se organizan en 141 módulos (Geneformer) y 76 módulos (scGPT) biológicamente coherentes, cubriendo >96% de las características vivas.

Especificidad Causal (Patching)

• La ablación de características individuales en Geneformer (capa 11) mostró una especificidad causal mediana de 2.36x, indicando que las características son necesarias para computaciones biológicas específicas. Esto contrasta con estudios previos donde la ablación de cabezas de atención no tuvo efecto.
• En scGPT, la señal causal fue más débil (posiblemente debido al uso de valores de expresión proxy), pero la conectividad funcional se confirmó.

La Paradoja de la Regulación (Hallazgo Crítico)

• A pesar de la rica organización biológica, el modelo no codifica lógica regulatoria causal.
• Al probar contra datos de perturbación CRISPRi de 48 Factores de Transcripción (TFs):
  • El modelo detecta perturbaciones (92% de los knockdowns causan cambios en características).
  • Sin embargo, solo el 6.2% (3 de 48) de los TFs mostraron respuestas de características específicas a sus dianas regulatorias conocidas.
• Control Multi-tejido: Entrenar SAEs con datos de múltiples tejidos mejoró marginalmente la especificidad al 10.4%, pero de manera no sistemática. Esto confirma que el cuello de botella es la representación interna del modelo, no la falta de diversidad en los datos de entrenamiento del SAE.

5. Significado e Implicaciones

• Límite del Conocimiento Actual: Los modelos fundacionales actuales internalizan conocimiento biológico organizado (membresía de vías, interacciones proteicas, módulos funcionales) pero fallan en codificar la lógica causal de regulación génica (quién regula a quién). Aprenden correlaciones, no causalidad.
• Superposición como Mecanismo Clave: La interpretación lineal (SVD) de las activaciones de estos modelos es insuficiente; la verdadera riqueza biológica reside en direcciones de alta dimensión accesibles solo mediante métodos no lineales como los SAEs.
• Futuro de la Entrenamiento: Para que los scFMs capturen lógica regulatoria, es probable que se necesiten objetivos de entrenamiento que distingan explícitamente causa de correlación, como objetivos de predicción de perturbaciones durante el pre-entrenamiento.
• Recurso Comunitario: Los atlas interactivos permiten a la comunidad explorar más de 100,000 características, facilitando nuevas hipótesis biológicas y validaciones experimentales.

En conclusión, el trabajo establece un nuevo estándar para la interpretabilidad en biología computacional, revelando que, aunque estos modelos son "sabios" en estructura biológica, carecen de la "causalidad" necesaria para entender la regulación génica dirigida.