🧬 biology

Pre-Transformer Models for Longevity Science and Deep Ageing Clocks: An Empirical Analysis

Este estudio empírico demuestra que para la predicción de la edad biológica a través de diversas cohortes de envejecimiento, los modelos pre-transformer (tales como la regresión penalizada y el aumento de gradiente) generalmente superan o igualan a los transformers basados en atención en precisión, eficiencia de datos, transferencia entre cohortes y estratificación del riesgo de mortalidad, estableciéndolos como el estándar racional para la ciencia de la longevidad mientras posicionan a los transformers como una herramienta especializada solo viable con conjuntos de datos excepcionalmente grandes.

Autores originales: John Feng

Publicado 2026-07-22

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: John Feng

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo

Imagina que estás intentando adivinar qué edad tiene realmente una persona, no mirando su licencia de conducir, sino leyendo las diminutas notas químicas escritas en sus células, sangre o incluso en sus escaneos cerebrales. Los científicos llaman a esto "edad biológica". Mientras que tu cumpleaños te dice cuánto tiempo has estado en la Tierra, tu edad biológica te dice qué tan rápido se está desgastando realmente tu cuerpo. Algunas personas tienen 50 años pero se sienten como si tuvieran 30; otras tienen 30 pero se sienten como si tuvieran 50. Para descubrir esto, los investigadores construyen "relojes de envejecimiento": programas informáticos que toman un montón de datos desordenados (como etiquetas de ADN o niveles de azúcar en sangre) y arrojan una estimación de la edad. La diferencia entre esta estimación y el cumpleaños real de la persona se llama "aceleración de la edad", y es un superpoder: puede predecir quién podría enfermarse o fallecer antes.

Durante años, la forma más popular de construir estos relojes fue utilizando herramientas matemáticas más antiguas y simples. Pero recientemente, un nuevo y supercomplejo tipo de IA llamado "Transformer" ha tomado el control del mundo tecnológico, convirtiéndose en la estrella de todo, desde escribir historias hasta reconocer imágenes. Naturalmente, los científicos se preguntaron: "¿Deberíamos cambiar nuestros viejos y confiables relojes por estos nuevos y llamativos Transformers?". Es como preguntar si deberíamos reemplazar una fiel y eficiente bicicleta por un enorme y tecnológico cohete espacial solo para ir a la tienda de la esquina. La gran pregunta es: ¿el cohete realmente nos lleva más rápido, o simplemente consume un montón de combustible y se estrella porque el camino es demasiado accidentado?

Este artículo es la prueba definitiva en la pista de carreras para encontrar la respuesta. El autor, John Feng, organizó un gigantesco y controlado torneo. Tomó seis grupos diferentes de personas y cinco tipos diferentes de datos (desde el ADN hasta imágenes cerebrales) y puso a competir ocho tipos diferentes de modelos informáticos entre sí. No solo vio cuál adivinaba el cumpleaños más cerca; también comprobó cuál era más barato de ejecutar, cuál era más fácil de entender y, lo más importante, cuál predecía realmente quién moriría antes.

Los resultados fueron un poco impactantes para la maquinaria de la propaganda tecnológica. Los modelos de la vieja escuela, más simples (como la "regresión penalizada" y el "potenciación de gradiente" o gradient boosting), ganaron la carrera en cinco de las seis categorías. Eran precisos, baratos y sus predicciones realmente coincidían con los riesgos de salud de la vida real. ¿Los Transformers? La mayoría de las veces tropezaron. En los conjuntos de datos pequeños y desordenados que los científicos suelen tener, los Transformers a menudo se confundían y daban peores estimaciones que los modelos simples. Solo lograron ganar en un caso específico: un enorme conjunto de datos con 34,000 personas, e incluso entonces, solo superaron a los modelos antiguos por un margen minúsculo, casi invisible, de 0.10 años.

Aquí está el giro que hace que la historia sea realmente interesante: el modelo que fue el mejor adivinando el cumpleaños (el Transformer preentrenado) fue en realidad el peor prediciendo quién corría riesgo de morir. Era como un estudiante que memorizó el libro de texto perfectamente pero reprobó el examen de la vida real. Los modelos más simples, aunque no siempre fueron los absolutamente más rápidos en adivinar el número, fueron mucho mejores para detectar las verdaderas señales de peligro biológico.

El artículo concluye que para el mundo de la investigación del envejecimiento, el kit de herramientas "pre-Transformer" (los modelos más antiguos y simples) sigue siendo la elección más inteligente. Es la bicicleta que te lleva allí de manera confiable. Los Transformers son poderosos, pero son como ese cohete espacial: solo tienen sentido si tienes una cantidad masiva de datos y combustible ilimitado, e incluso así, es posible que no te lleven al destino correcto. Los autores sugieren que no deberíamos desechar nuestras viejas herramientas solo porque las nuevas se vean más geniales; a veces, las matemáticas simples y aburridas son exactamente las que salvan el día.

Resumen Técnico: Modelos Pre-Transformer para la Ciencia de la Longevidad y Relojes de Envejecimiento Profundo

Declaración del Problema

El campo de la biogerontología computacional depende de los "relojes de envejecimiento": modelos que mapean datos moleculares o fisiológicos de alta dimensionalidad hacia una estimación de la edad biológica. La desviación de la edad cronológica (aceleración del envejecimiento) sirve como un predictor de morbilidad y mortalidad. Aunque el campo ha utilizado históricamente métodos pre-transformer (regresión penalizada, máquinas de kernel, ensambles de árboles y redes profundas anteriores a 2017), el dominio de los transformers basados en atención en la inteligencia artificial general plantea una pregunta crítica: ¿superan los transformers a estos métodos establecidos en las condiciones de datos específicas de la investigación del envejecimiento?

La literatura actual suele argumentar a priori que las cohortes de envejecimiento (tamaños de muestra pequeños, alta dimensionalidad, etiquetas ruidosas y requisitos regulatorios) favorecen a los modelos parsimoniosos, pero esto carece de validación empírica mediante comparaciones directas. Este artículo aborda esta brecha realizando un benchmark controlado para determinar si la migración a los transformers está justificada o si las herramientas pre-transformer siguen siendo el estándar racional.

Metodología

El estudio establece un benchmark unificado a través de seis cohortes públicas que abarcan cinco modalidades de datos:

Metilación del ADN: GSE40279 (sangre, array 450K, $n=656$ , $p \approx 20,000$ ).
Bioquímica de la Sangre: NHANES (marcadores clínicos, $n \approx 34,000$ , 34 características).
Transcriptoma: GTEx v8 (sangre total, $n \approx 755$ , 5,000 genes).
Microbiota Intestinal: American Gut (perfiles 16S, $n \approx 9,500$ , $\sim 1,500$ taxones).
Acelerometría: NHANES (series de nivel de minuto de 7 días, $n \approx 7,000$ ).
RM Cerebral: Cam-CAN (escaneos estructurales T1, $n \approx 650$ ).

Clases de Modelos: Se evaluaron ocho clases distintas de modelos:

Clásicos Pre-Transformers: Elastic Net, Kernel SVR, Random Forest, Gradient Boosted Decision Trees (GBDT).
Redes Profundas Pre-Transformer: Multilayer Perceptron (MLP) y redes profundas nativas de la modalidad (Autoencoder para datos tabulares, ConvLSTM para acelerometría, 3D-CNN para RM).
Transformers: Variantes desde cero (Tr-scr) y preentrenadas y luego ajustadas (Tr-pre) (FT-Transformer/TabTransformer para datos tabulares, Sequence Transformer para acelerometría, Vision Transformer para RM).

Protocolo:

Evaluación: Un único protocolo de validación cruzada anidada (bucle externo de 5 pliegues repetido 10 veces) con divisiones de datos, características y semillas aleatorias idénticas para todos los modelos.
Optimización de Hiperparámetros: Optuna (100 ensayos) utilizado dentro del bucle interno.
Métricas:
- Precisión: Error Absoluto Medio (MAE) y correlación de Pearson contra la edad cronológica.
- Eficiencia: Costo de cómputo de entrenamiento relativo a Elastic Net.
- Interpretabilidad: Fracción de las características con mayor atribución que son marcadores de envejecimiento validados por la literatura.
- Validez Biológica: Hazard Ratio (HR) del residuo de la aceleración de la edad frente a la mortalidad por todas las causas (probado en NHANES).
- Transferibilidad: Degradación del rendimiento ( $\Delta$ MAE) al entrenar en GSE40279 y probar en una cohorte independiente (GSE87571).

Resultados Clave

1. Precisión a través de las Modalidades

Omics Tabulares: En los datos de metilación, transcriptoma y microbiota, la regresión penalizada (Elastic Net) y el gradient boosting fueron los mejores desempeños o empataron en el primer lugar.
- Metilación: Elastic Net logró el MAE más bajo (3.42 años); el transformer entrenado desde cero fue el peor (5.22 años) debido al sobreajuste.
- Transcriptoma: GBDT lideró (8.07 años); el transformer desde cero quedó rezagado (9.90 años).
Datos Estructurados: En acelerometría y RM, las redes profundas pre-transformer nativas de la modalidad (ConvLSTM y 3D-CNN) superaron a todas las demás clases.
- Acelerometría: ConvLSTM (12.66 años) vs. Transformers (>13 años).
- RM: 3D-CNN (4.74 años) vs. Vision Transformer (7.48 años).
Cohorte de Gran $n$ : La única cohorte donde un transformer ganó fue la bioquímica sanguínea de NHANES ( $n \approx 34,000$ ). El transformer preentrenado logró un MAE marginalmente inferior (6.40 años) que el GBDT (6.50 años), una diferencia de solo 0.10 años.
Agregado: Aunque el transformer preentrenado tuvo la menor brecha media respecto al mejor desempeño en todas las cohortes (0.18 años), esta ventaja agregada es impulsada enteramente por la única cohorte de gran $n$ .

2. Eficiencia de Datos y Cómputo

Punto de Equilibrio: En la cohorte NHANES, el transformer preentrenado solo comenzó a superar al gradient boosting con un tamaño de muestra de entrenamiento de $n \approx 23,000$ . Por debajo de este umbral, los modelos pre-transformer fueron estrictamente superiores.
Costo de Cómputo: El transformer preentrenado requirió aproximadamente 21,000× el cómputo de un Elastic Net y 23× el cómputo de una red profunda nativa para lograr una mejora marginal de 0.05 años en la brecha media respecto al mejor desempeño. Los transformers desde cero fueron los menos eficientes.

3. Interpretabilidad y Recuperación de Marcadores

Los modelos lineales dispersos (Elastic Net) y los ensambles de árboles (GBDT) recuperaron los marcadores de envejecimiento validados por la literatura a tasas significativamente más altas (0.74 y 0.73, respectivamente) en comparación con los modelos profundos y de transformer (0.29–0.46).
Las atribuciones de los modelos profundos y de transformer fueron difusas a través de muchos inputs débilmente ponderados, mientras que los modelos dispersos identificaron biomarcadores específicos y conocidos (por ejemplo, albúmina sérica, proteína C reactiva).

4. Validez Biológica (Predicción de Mortalidad)

La Paradoja: El modelo con el menor error de edad cronológica (el transformer preentrenado) portaba la señal de mortalidad más débil (Hazard Ratio $\approx 1.13$ por DE).
Estratificación de Riesgo: Ambas variantes de transformer quedaron en la parte inferior de la clasificación de riesgo. Por el contrario, el GBDT, que tenía una precisión de edad casi idéntica a la del transformer (6.50 vs. 6.40 años), demostró una señal de mortalidad mucho más fuerte (HR $\approx 1.27$ ).
Conclusión: Minimizar el error de la edad cronológica no maximiza la señal biológica; los modelos de alta capacidad parecen aprender residuales que son menos informativos para el riesgo de mortalidad.

5. Transferencia entre Cohortes

Al transferir un reloj de metilación de GSE40279 a GSE87571, el Elastic Net mostró la menor degradación ( $\Delta$ MAE +1.2 años).
El transformer desde cero fue el que más se degradó (+4.0 años), seguido por las redes profundas nativas (+2.8 años). El transformer preentrenado mostró una robustez intermedia (+1.9 años), lo que sugiere que el preentrenamiento autosupervisado ayuda a la transferencia, pero no al nivel de los modelos lineales dispersos.

Significado y Reivindicaciones

El artículo concluye que, para las condiciones de datos que caracterizan la investigación del envejecimiento humano (pequeña $n$ , alta $p$ , datos ómicos tabulares y datos estructurados de imagen), el kit de herramientas pre-transformer es el estándar racional.

Superioridad Estructural: Los modelos pre-transformer (regresión penalizada, GBDT, ConvLSTM, 3D-CNN) no son meramente herramientas "legado", sino que son estructuralmente mejores para el régimen $p \gg n$ y los sesgos inductivos específicos requeridos para datos estructurados.
Limitaciones de los Transformers: Los transformers no ganan en precisión en los escenarios típicos de envejecimiento. Su única ventaja parece aparecer en la conjunción específica de tamaños de muestra grandes ( $n > 23,000$ ) o corpus no etiquetados extensos para el preentrenamiento, e incluso entonces, la ganancia de precisión es insignificante y viene acompañada de un costo de cómputo prohibitivo.
Validez Biológica: La búsqueda del error mínimo de la edad cronológica mediante modelos de alta capacidad puede ser contraproducente, ya que estos modelos producen residuales de aceleración de la edad con asociaciones más débiles a la mortalidad.
Recomendación: Los mecanismos de atención deben verse como una adición dirigida en lugar de un reemplazo. Solo están justificados cuando cohortes específicas proporcionan una estructura de secuencia genuina y una escala de datos no etiquetados que se alineen con los sesgos inductivos del transformer. Para la gran mayoría de la investigación del envejecimiento, el kit de herramientas pre-transformer ofrece el mejor equilibrio entre precisión, interpretabilidad, transferibilidad y validez biológica.