Mechanistic Interpretability of Biological Foundation Models: An Empirical Analysis of scGPT Gene-Embedding Geometry

Resumen Técnico: Interpretabilidad Mecanística de los Modelos Fundacionales Biológicos

Planteamiento del Problema
Aunque se afirma ampliamente que los modelos fundacionales biológicos (como scGPT) aprenden conocimiento biológico estructurado, la investigación en interpretabilidad suele depender de ejemplos cualitativos o puntuaciones de rendimiento en tareas de descenso (downstream) en lugar de un análisis directo de las representaciones internas. Existe una brecha crítica en la comprensión de si estos modelos codifican estructuras biológicas específicas y conocidas —como las interacciones físicas proteína-proteína— dentro de sus parámetros internos estáticos antes de que ocurra cualquier contextualización específica de la célula. Este artículo aborda una pregunta empírica estrecha: ¿Codifica el espacio de incrustación (embedding) de los tokens de genes del modelo scGPT estructuras de interacción física conocidas entre los productos génicos humanos?

Metodología
El estudio realiza un análisis empírico del checkpoint humano público de scGPT, aislando específicamente la matriz estática de incrustaciones de los tokens de genes de entrada (60,694 genes, 512 dimensiones) antes de cualquier computación de la capa del transformador o valores de expresión específicos de la célula.

1. Fuentes de Datos:
   • Modelo: Checkpoint humano de scGPT (Cui et al., 2024a).
   • Verdad de Terreno de Interacción (Ground Truth): Se utilizaron dos bases de datos independientes:
     • STRING v12.0: Enlaces físicos humanos mapeados a símbolos de genes, lo que resultó en 726,387 pares únicos a través de 18,441 genes.
     • BioGRID 5.0.259: Interacciones físicas humanas, lo que resultó en 89,187 pares únicos a través de 11,250 genes.
2. Diseño Experimental:
   • Análisis de Similitud de Coseno: Los autores computaron las similitudes de coseno por pares entre los vectores de socios de interacción física conocidos frente a pares que no interactúan.
   • Muestreo Negativo: Para controlar el sesgo de "núcleo" (hub bias) —donde los genes altamente conectados podrían inflar artificialmente la similitud—, se muestrearon pares negativos del mismo universo de genes con un emparejamiento de frecuencia de extremos (endpoint-frequency matching) respecto al conjunto positivo.
   • Líneas Base (Baselines): Se establecieron líneas base de permutación de etiquetas de genes mediante el barajado aleatorio de las filas de las incrustaciones para asegurar que la señal no fuera un artefacto del procedimiento de muestreo o de la geometría global.
   • Estratificación: Las interacciones de STRING se analizaron a través de contenedores (bins) de puntuación de confianza (≥400, ≥700, ≥900) para probar una relación de dosis-respuesta.
   • Enriquecimiento de Vecinos Cercanos: El estudio calculó la Precisión@k (k=10, 50, 100) para los socios de interacción conocidos entre los vecinos más cercanos en el espacio de incrustación, comparando la precisión observada contra la expectativa aleatoria basada en el grado del gen.

Resultados Clave
El análisis revela una señal consistente, aunque moderada, que indica que las incrustaciones estáticas de scGPT contienen información de interacción física:

• Recuperación de Aristas (AUROC): Los socios de interacción física conocidos tuvieron una similitud de coseno significativamente mayor que los pares no-aristas emparejados.
  • STRING: El AUROC aumentó con la confianza, variando de 0.622 (puntuación ≥400) a 0.704 (puntuación ≥900).
  • BioGRID: El AUROC fue de 0.589.
  • Líneas Base: Las líneas base de permutación regresaron consistentemente a ~0.50, confirmando que la señal depende de la identidad del gen dentro del espacio aprendido.
• Monotonicidad: Se observó un aumento monotónico en la media del coseno de las incrustaciones a medida que aumentaban las puntuaciones de confianza de STRING (de 0.011 para no-aristas a 0.111 para aristas de 900–1000), lo que sugiere que la geometría rastrea la confianza de la interacción en lugar de solo el estado binario de la arista.
• Enriquecimiento de Vecinos Cercanos: La estructura de vecindad local está enriquecida para socios físicos.
  • Para STRING con puntuación ≥700, la Precisión@10 mostró un enriquecimiento de 52.9 veces sobre la expectativa aleatoria.
  • Para BioGRID, la Precisión@10 mostró un enriquecimiento de 17.3 veces.
  • A pesar de los altos ratios de enriquecimiento, la precisión absoluta sigue siendo baja (por ejemplo, <5% de los 10 vecinos más cercanos son socios físicos registrados para STRING ≥700).

Contribuciones Clave

• Evidencia Empírica Directa: El artículo proporciona evidencia cuantitativa de que la capa de incrustación estática de entrada de un modelo fundacional de célula única (scGPT) ya codifica una estructura de interacción física detectable, independientemente de las activaciones contextualizadas por la célula.
• Validación Convergente: La señal es validada a través de dos recursos de interacción independientes (STRING y BioGRID), sobrevive al riguroso emparejamiento de frecuencia de extremos y demuestra una relación de dosis-respuesta con la confianza de la interacción.
• Alcance de Interpretabilidad Refinado: El estudio delinea la frontera entre "organización biológica" y "mecanismo causal", mostrando que, si bien el modelo organiza los genes por interacción física, esto no equivale a aprender una lógica regulatoria causal.

Significancia y Reivindicaciones
Los autores enmarcan sus conclusiones con una modestia deliberada. El artículo respalda una reivindicación mecánica limitada: la geometría de los tokens de genes de entrada de scGPT está biológicamente organizada antes de que comience el procesamiento contextual. Esto sugiere que las capas posteriores del transformador no parten de identificadores de genes arbitrarios, sino de vectores ya débilmente estructurados por datos de interacción molecular.

Sin embargo, los autores declaran explícitamente lo que sus resultados no prueban:

• La señal es insuficiente para la predicción autónoma de interacciones físicas (los AUROC de 0.59–0.70 no son predictores fuertes).
• La presencia de señales de interacción física en las incrustaciones estáticas no implica que el modelo haya aprendido mecanismos regulatorios causales o direccionalidad.
• El estudio no afirma que scGPT utilice estas incrustaciones de forma causal para la predicción de perturbaciones.

La significancia radica en establecer una línea base para la interpretabilidad mecánica en los modelos fundacionales biológicos: la propia "tabla de búsqueda" (lookup table) contiene estructura biológica. El trabajo futuro, sugieren los autores, debería centrarse en intervenciones causales y en el análisis de circuitos a nivel de características en las activaciones más profundas para entender cómo se utiliza esta señal de entrada.