Where in the spectrum does biology live? A confound audit and a compaction law for gene embeddings of single-cell foundation models

Resumen Técnico: "¿En qué parte del espectro vive la biología? Una auditoría de confusión y una ley de compresión para los embeddings de genes de los modelos fundacionales de célula única"

Planteamiento del Problema
Los modelos fundacionales de célula única (scFM) generan embeddings vectoriales para genes que han demostrado utilidad en la recuperación de estructuras biológicas (p. ej., compartimentos subcelulares, complejos proteicos, vías) sin necesidad de ajuste fino (fine-tuning). La literatura reciente sugiere que los ejes espectrales principales de estos embeddings organizan los genes por propiedades biológicas específicas (p. ej., localización). Sin embargo, basándose en las lecciones del procesamiento de lenguaje natural (NLP), donde las direcciones principales de los embeddings suelen codificar la frecuencia de los tokens en lugar de la semántica, este artículo investiga si los ejes principales de los embeddings de genes de los scFM codifican de manera similar covariables técnicas —específicamente la abundancia de genes y la amplitud de detección— en lugar de significado biológico. Además, el artículo cuestiona si el "límite de bajo rango" (p. ej., rango 64) identificado en trabajos previos es una propiedad universal de la estructura biológica o un artefacto específico del modelo.

Metodología
El estudio analiza las matrices estáticas de embeddings de genes-tokens de ocho modelos lanzados públicamente: siete transformadores de célula única entrenados con datos de expresión (scGPT, variantes de Geneformer, AIDO.Cell, scFoundation, tGPT) y un modelo de lenguaje de proteínas congelado (ESM2-15B) utilizado por Universal Cell Embeddings como control negativo. Todos los análisis se restringen a un universo común de 17,846 genes.

La metodología consta de dos partes principales:

1. Auditoría de Confusión (Parte A):

   • Regresión Espectral: El autor realiza una regresión de cada eje espectral de las matrices de embeddings contra una base de B-splines cúbicos flexibles de dos covariables de abundancia: el nivel de expresión media y la amplitud de detección (fracción de tipos celulares donde se detecta el gen). Calculan el $R^2$ para cada eje para cuantificar cuánta varianza es explicada por la abundancia.
   • Borrado Lineal: El subespacio de abundancia se borra linealmente de la matriz de embeddings utilizando la proyección del nul espacio (residualizando contra la base de splines) y se vuelven a ejecutar los benchmarks de recuperación.
   • Negativos Emparejados por Abundancia: Los benchmarks de recuperación se reconstruyen de tal manera que los ejemplos negativos se emparejan con los ejemplos positivos en abundancia y amplitud de detección. Esto asegura que un modelo que dependa únicamente de puntuaciones de abundancia actúe al azar.
   • Benchmarks: Se evalúan cinco tipos de relaciones: localización subcelular, membresía de complejos, membresía de vías, enlaces de regulador a objetivo y un control de coexpresión deliberadamente confundido.

2. Ley de Compresión (Parte B):

   • Definición de Ancho de Banda ($k^*$): Para cada relación y modelo, el autor define $k^*$ como el número más pequeño de ejes espectrales principales requeridos para recuperar el 95% del rendimiento máximo de recuperación del modelo (techo).
   • Descomposición de Varianza: Se realiza un ANOVA de dos vías sobre $\log_2(k^*)$ con los factores "relación" y "modelo" para determinar si el ancho de banda requerido es una propiedad de la biología (consistente entre modelos) o de la arquitectura del modelo.
   • Análisis de Curvas: Se ajustan curvas de compresión a una función exponencial estirada para caracterizar cómo escala el rendimiento con el rango retenido.

Resultos Clave

• Dominancia de la Abundancia en los Ejes Principales: Para seis de los siete modelos entrenados con conteos, el eje espectral principal está dominado por la abundancia ($R^2 = 0.51–0.76$), superando significativamente un nulo de permutación. El modelo de lenguaje de proteínas (ESM2), que nunca vio conteos de expresión, muestra una carga de abundancia insignificante ($R^2 \approx 0.009$). La carga está altamente concentrada; más allá del eje 64, la explicación de la abundancia cae por debajo de 0.01.
• El Efecto "Todo menos lo Superior" (All-But-The-Top): Eliminar los 2 a 4 ejes espectrales principales mejora el rendimiento de la recuperación para las relaciones biológicas curadas (complejos, vías) bajo negativos emparejados por abundancia, mientras que el rendimiento para el control de coexpresión cae. Esto replica el fenómeno "todo menos lo superior" observado en los embeddings de palabras.
• Ubicación de la Señal Biológica: El pico de recuperación de ancho de banda limitado no ocurre en la parte superior del espectro, sino en la banda espectral $[32, 64)$. Los ejes principales sirven principalmente como "contabilidad" para la abundancia, mientras que la estructura biológica reside en la parte media del espectro.
• Extensión de la Confusión:
  • Coexpresión: Mayormente resoluble solo por abundancia; el rendimiento de la recuperación colapsa cuando se controla la abundancia.
  • Complejo/Vía: Aproximadamente un tercio del margen aparente de recuperación sobre el azar en los protocolos estándar es atribuible a la abundancia.
  • Localización: La recuperación por pares es débil y mayormente poco informativa. Sin embargo, una sonda supervisada confirma que la información de los compartimentos es real y no impulsada por la abundancia, pero está distribuida a través de muchos ejes (decenas), no transportada por un único eje dominante.
• Anchos de Banda Específicos del Modelo: Se rechaza la hipótesis de que $k^*$ es una propiedad universal de la biología. En la descomposición de la varianza de $\log_2(k^*)$, el factor "modelo" explica tanta o más varianza que el factor "relación" (p. ej., $\eta^2 = 0.62$ para el modelo frente a $0.17$ para la relación bajo condiciones de abundancia emparejada). Los presupuestos absolutos de compresión no se transfieren entre arquitecturas.
• Ordenamiento Reproducible: Aunque los valores absolutos de $k^*$ varían según el modelo, el ordenamiento de las relaciones por ancho de banda es reproducible entre arquitecturas (Kendall's $W = 0.64$). Relaciones como la coexpresión requieren menos ejes, mientras que la membresía de complejos y los enlaces regulador-objetivo requieren más.
• Suficiencia del Rango 64: Una truncación de rango 64 retiene el 85–95% del techo para la mayoría de las relaciones en promedio, pero esto no es sin pérdida de información. Para la membresía de complejos y la recuperación de TF-objetivo, puede costar entre un 13 y un 26% del techo en los peores casos.

Significancia y Reivindicaciones
El artículo afirma proporcionar una recalibración necesaria para la interpretación de los ejes espectrales en los modelos fundacionales de célula única. Argumenta que las afirmaciones de "sistemas de coordenadas biológicas" basadas en los ejes principales deben ir acompañadas de métricas de regresión de abundancia ($R^2$) y de rendimiento bajo negativos emparejados por abundancia para distinguir la señal biológica de las covariables técnicas.

Respecto a la compresión de bajo rango, el artículo refuta la idea de una ley de compresión biológica universal. Sostiene que, si bien la dificultad relativa de las diferentes relaciones biológicas es consistente entre modelos, el número absoluto de ejes necesarios para capturarlas depende del modelo. Por consiguiente, los profesionales no deben asumir que un rango fijo (p. ej., 64) es suficiente para todas las relaciones y todos los modelos; en su lugar, deben medir el ancho de banda para la relación de interés específica. El autor enfatiza que los controles de confusión (borrado y emparejamiento) aumentan consistentemente el ancho de banda requerido, sugiriendo que las estimaciones previas de suficiencia de bajo rango pueden haber sido optimistas.

El trabajo concluye que el "límite de bajo rango viable" es un compromiso que debe medirse por relación y por modelo, en lugar de ser una constante de los datos. Los métodos propuestos (regresión de abundancia y emparejamiento de negativos) se presentan como controles por defecto y económicos para futuras evaluaciones de los embeddings de genes.

El trabajo concluye que el "límite de bajo rango viable" es un compromiso que debe medirse por relación y por modelo, en lugar de ser una propiedad constante de los datos. Los métodos propuestos (regresión de abundancia y emparejamiento de negativos) se presentan como controles por defecto y económicos para futuras evaluaciones de los embeddings de genes.