🧬 biology

Entropy, Disagreement, and the Limits of Foundation Models in Genomics

Este estudio demuestra que la alta entropía de las secuencias genómicas provoca distribuciones de salida uniformes, desacuerdos entre modelos y embeddings inestables, lo que sugiere que el entrenamiento auto-supervisado basado únicamente en secuencias podría no ser adecuado para desarrollar modelos fundacionales en genómica.

Autores originales: Maxime Rochkoulets, Lovro Vrček, Mile Šikić

Publicado 2026-04-07

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Maxime Rochkoulets, Lovro Vrček, Mile Šikić

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo

¡Hola! Imagina que los Modelos Fundacionales de Genómica (GFMs) son como estudiantes universitarios muy inteligentes a los que les han dado dos libros de texto gigantes para aprender: uno es un libro de historias humanas (texto) y el otro es un libro de instrucciones de ADN (genoma).

La idea era que, al leer millones de páginas de estos libros, los estudiantes aprenderían el "idioma" de la vida y podrían responder cualquier pregunta sobre biología. Pero algo extraño está pasando: mientras que los estudiantes que leen historias humanas se vuelven expertos y muy seguros de sí mismos, los que leen ADN parecen confundidos, inseguros y no se ponen de acuerdo entre ellos.

Este paper (artículo) investiga por qué sucede esto. Aquí te explico sus hallazgos principales con analogías sencillas:

1. El problema del "Ruido" (Entropía)

Imagina que tienes que adivinar la siguiente palabra en una frase.

En un libro de historias: Si lees "El gato saltó sobre la...", es muy probable que la siguiente palabra sea "mesa" o "silla". Hay un patrón claro. El modelo puede adivinar con mucha confianza.
En el ADN: El ADN es como una lista de instrucciones donde casi cualquier cosa podría seguir a cualquier otra cosa. Es como si te dijeran: "El gen A va seguido de..." y la respuesta podría ser casi cualquier cosa con la misma probabilidad.

Los autores llaman a esto alta entropía. Básicamente, el ADN tiene mucho "ruido" o incertidumbre. Cuando el modelo intenta predecir la siguiente pieza, en lugar de tener una respuesta clara, se le ocurren mil posibilidades diferentes. Es como intentar adivinar qué número saldrá en un dado cargado donde todas las caras tienen el mismo peso.

2. La reunión de los estudiantes (Discrepancia del Ensamble)

Para probar esto, los investigadores crearon 5 copias idénticas de un estudiante (modelo) y les dieron el mismo libro de ADN para estudiar.

Con libros de historias: Si le preguntas a los 5 estudiantes qué sigue en la frase, todos te darán casi la misma respuesta. Están de acuerdo.
Con libros de ADN: Si le preguntas a los 5 estudiantes lo mismo, ¡cada uno te dará una respuesta diferente! Uno dice "A", otro dice "T", otro "G".

La analogía: Imagina un grupo de amigos intentando recordar una película. Si la película es clara (texto), todos recuerdan la misma escena. Si la película es un sueño confuso y caótico (ADN), cada amigo recordará una escena distinta. Esto significa que el modelo no está aprendiendo una "verdad" sólida, sino que está adivinando al azar.

3. El mapa mental (Embebidos Estáticos)

Los modelos crean un "mapa mental" donde colocan las palabras o letras cerca de otras que se parecen.

En texto: El modelo aprende que "rey" y "reina" están cerca, o "perro" y "gato". Este mapa es estable; si creas el mapa hoy y mañana, será casi igual.
En ADN: Como hay tanta incertidumbre, el mapa mental de cada estudiante es diferente. Uno pone la letra "A" al lado de la "T", y otro la pone al lado de la "C". No hay un consenso. Esto hace que sea muy difícil confiar en lo que el modelo "piensa" sobre el ADN.

4. ¿Dónde está la inteligencia? (Información de Fisher)

Esta es la parte más interesante. Los investigadores miraron "dónde" se guardaba el conocimiento dentro del cerebro del modelo.

En los modelos de texto: El conocimiento se guardaba en las capas profundas (las capas de "transformadores"), donde el modelo analiza cómo las palabras se relacionan entre sí (gramática, contexto). Es como si el estudiante estuviera pensando: "¿Cómo encaja esta palabra con la anterior?".
En los modelos de ADN: ¡Sorpresivamente! El conocimiento se guardaba casi todo en la primera capa (la entrada). El modelo parecía estar memorizando las letras sueltas, pero no estaba prestando atención a cómo se relacionan entre sí.

La analogía: Es como si un estudiante de historia leyera un libro y en lugar de entender la trama y los personajes (relaciones), solo memorizara la ortografía de cada palabra individualmente sin entender la historia. El modelo de ADN está "mirando" las letras, pero no está "escuchando" la conversación entre ellas.

Conclusión: ¿Qué nos dice todo esto?

El paper concluye que intentar enseñar a una IA a entender la biología solo haciéndole leer secuencias de ADN (como hacemos con el lenguaje humano) podría no funcionar.

El ADN es fundamentalmente diferente al lenguaje humano. Tiene demasiada incertidumbre y patrones menos claros. Por eso, los modelos se vuelven inseguros, no se ponen de acuerdo y no logran entender las relaciones complejas que hacen que la biología funcione.

El mensaje final: No basta con tener un modelo gigante y más datos. Si la "gramática" del ADN es tan caótica, necesitamos nuevas formas de enseñar a las máquinas, no solo copiar lo que funciona con el lenguaje humano.

Título: Entropía, Desacuerdo y los Límites de los Modelos Fundacionales en Genómica

1. El Problema

Los Modelos Fundacionales Genómicos (GFMs), que aplican técnicas de aprendizaje auto-supervisado (como el modelado de lenguaje enmascarado) a secuencias de ADN, han mostrado un éxito mixto en comparación con sus contrapartes en el Procesamiento del Lenguaje Natural (NLP). A pesar de los informes de buenos resultados en tareas específicas, la utilidad general de estos modelos entrenados únicamente con secuencias ha sido cuestionada recientemente.

La brecha de conocimiento: No existe una explicación teórica sólida sobre por qué estos modelos fallan o tienen un rendimiento inferior.
La hipótesis central: Los autores proponen que la entropía es el factor fundamental. Desde una perspectiva de la teoría de la información, las secuencias de ADN tienen un contenido de información mucho más bajo (en términos de predicción de tokens no vistos) que el texto humano, lo que impide que los modelos aprendan distribuciones confiables e interpretables.

2. Metodología

Para aislar el efecto de los datos y descartar variables de diseño, los autores diseñaron un experimento controlado riguroso:

Arquitectura: Se entrenaron 3 ensembles (conjuntos) de modelos, cada uno con $N=5$ modelos BERT (codificadores transformadores).
Configuración idéntica: Todos los modelos comparten exactamente la misma arquitectura (90M parámetros), tamaño de vocabulario (4096 tokens, equivalente a 6-mers), número de tokens de entrenamiento (5 mil millones) y orden determinista de iteración sobre los datos.
Condiciones de entrenamiento:
1. Ensemble de Texto: Entrenado en texto en inglés.
2. Ensemble de ADN (BPE): Entrenado en secuencias de ADN usando tokenización Byte-Pair Encoding (BPE).
3. Ensemble de ADN (k-mer): Entrenado en ADN usando tokenización no superpuesta de k-mers (esquema común en genómica).
Análisis: Se compararon las predicciones, las incrustaciones estáticas (embedding) y el flujo de información de Fisher empírico entre los modelos.

3. Contribuciones Clave

El trabajo aporta tres hallazgos principales que desafían las suposiciones actuales sobre el entrenamiento de GFMs:

La entropía como limitante: Demuestran que la alta entropía de las secuencias genómicas (vista desde la predicción de tokens) conduce a distribuciones de salida casi uniformes, impidiendo que el modelo desarrolle una "gramática" biológica confiable.
Desacuerdo de Ensemble: Evidencian que, incluso con arquitectura y datos idénticos, los modelos entrenados en ADN muestran un alto desacuerdo entre sí (inestabilidad), a diferencia de los modelos de texto que convergen consistentemente.
Fallo en la captura de relaciones: Mediante el análisis de la Información de Fisher, revelan que los modelos de ADN no aprenden a utilizar las relaciones inter-token (atención), concentrando toda la información en las capas de incrustación estáticas, lo que sugiere un comportamiento de memorización en lugar de aprendizaje de patrones.

4. Resultados Detallados

Distribuciones de Salida y Entropía:
- La divergencia KL respecto a la distribución uniforme es muy alta para modelos de texto (>10 bits), indicando alta confianza.
- Para modelos de ADN, la divergencia es baja (~3 bits para BPE y <1 bit para k-mer), lo que indica que los modelos asignan probabilidades casi uniformes a los tokens, reflejando una gran incertidumbre.
- Desacuerdo: Al aplicar muestreo de núcleo (nucleus sampling), la distancia Jensen-Shannon entre modelos de ADN aumenta drásticamente a medida que se reduce la masa de probabilidad, mientras que los modelos de texto permanecen estables. Esto confirma que los modelos de ADN no están "de acuerdo" en qué token es el correcto, sino que simplemente asignan probabilidades similares a todos.
Incrustaciones Estáticas (Embeddings):
- Se midió el acuerdo en el espacio de embeddings estáticos (primera capa) usando solapamiento Jaccard, correlación de Spearman y alineación Procrustes.
- Tabla 1: Los modelos de texto muestran un alto acuerdo (ej. Correlación Spearman 0.68). Los modelos de ADN muestran un acuerdo significativamente menor (ej. 0.47-0.48), a pesar de haber sido entrenados en los mismos datos.
- Implicación: La alta entropía combinada con la inicialización aleatoria de pesos hace que los modelos de ADN no converjan al mismo estado de embeddings estáticos, reduciendo la reproducibilidad y la fiabilidad de los análisis basados en embeddings.
Información de Fisher Empírica:
- Se analizó dónde se concentra la información aprendida en la red (Capas de Embedding vs. Capas Transformer vs. Cabeza de predicción).
- Texto: La información se concentra en las capas Transformer, lo que indica que el modelo está aprendiendo relaciones complejas entre tokens mediante el mecanismo de atención.
- ADN: La información se concentra abrumadoramente en las capas de Embedding estático. Esto sugiere que los modelos de ADN están "memorizando" la identidad de los tokens en lugar de aprender sus relaciones contextuales, fallando en aprovechar la arquitectura de atención.

5. Significado e Impacto

Cuestionamiento de la metodología actual: Los resultados sugieren que el entrenamiento auto-supervisado basado únicamente en la predicción de tokens no vistos en secuencias genómicas podría ser insuficiente para desarrollar capacidades fundamentales en biología.
Naturaleza de los datos: Las diferencias observadas no son un fallo de la arquitectura (ya que se usó la misma para texto y ADN), sino una propiedad intrínseca de los datos genómicos (alta entropía/aleatoriedad aparente).
Futuro de la investigación: El trabajo invita a replantear cómo se entrenan los GFMs. Podría ser necesario incorporar más datos estructurados, etiquetas biológicas o cambiar los objetivos de entrenamiento, ya que los enfoques actuales de "texto puro" aplicados al ADN pueden estar llegando a un límite teórico debido a la entropía inherente de las secuencias.

En conclusión, el paper demuestra que la alta entropía de las secuencias de ADN impide que los modelos fundacionales desarrollen representaciones robustas y consistentes, limitando su utilidad en comparación con los modelos de lenguaje natural.