How Post-Training Shapes Biological Reasoning Models

Resumen Técnico: Cómo el Post-entrenamiento Moldea los Modelos de Razonamiento Biológico

Planteamiento del Problema
Los modelos de razonamiento científico para la biología combinan cada vez más modelos de lenguaje extensos (LLMs) con modelos fundacionales entrenados en datos biológicos multimodales (ADN, ARN, proteínas). Si bien estos sistemas se construyen a través de una secuencia de etapas de post-entrenamiento —Pre-entrenamiento Continuo (CPT), Ajuste Fino Supervisado (SFT) y Aprendizaje por Refuerzo (RL)—, el impacto específico de cada etapa en el razonamiento y la generalización sigue siendo insuficientemente comprendido. A diferencia de las matemáticas o el código, donde los problemas fuera de dominio (OOD) suelen retener la misma estructura subyacente que los datos de entrenamiento, el razonamiento biológico involucra vías, enfermedades y especies no vistas que pueden operar mediante mecanismos diferentes. En consecuencia, un alto rendimiento en pruebas de referencia dentro del dominio (ID) no garantiza una generalización biológica robusta. La pregunta central es si el post-entrenamiento adicional mejora uniformemente el razonamiento o si etapas específicas inducen una especialización excesiva, y cómo estas etapas interactúan bajo presupuestos computacionales fijos.

Metodología
Los autores llevaron a cabo un estudio controlado entrenando y evaluando más de 100 modelos de razonamiento biológico a través de tres modalidades: genómica (ADN), transcriptómica (ARN) y proteínas.

• Arquitectura del Modelo: El estudio utilizó backbones de LLM de propósito general (Qwen3-1.7B, Qwen3-4B y Gemma 4 E2B) acoplados con modelos fundacionales biológicos congelados (Evo2-1B para ADN, TranscriptFormer para ARN, ESM-3 para proteínas) mediante capas de proyección entrenables.
• Tareas y Evaluación: Se definieron tres tareas de razonamiento con divisiones ID y OOD biológicamente significativas:
  1. Predicción de Vías: Inferir fenotipos de enfermedades a partir de variantes genéticas mediante vías moleculares (división OOD por red de vías).
  2. Identificación de Dianas Terapéuticas: Seleccionar dianas terapéuticas para enfermedades/tipos celulares específicos (división OOD por enfermedad).
  3. Predicción de Función Proteica: Inferir la función a partir de evidencia multimodal (división OOD por especie).
• Diseño Experimental: Los autores aislaron los efectos de la elección del backbone, CPT, SFT y RL variando un factor a la vez. Examinaron las leyes de escala manipulando:
  • Épocas de SFT y tamaño del conjunto de datos.
  • Épocas de RL y puntos de control de inicialización.
  • Rango de LoRA (capacidad de adaptación) para SFT y RL.
  • La asignación de un presupuesto fijo de post-entrenamiento entre SFT y RL.

Contribuciones Clave y Hallazgos
El artículo establece que el razonamiento biológico no mejora de forma monótona con la supervisión o el cómputo adicionales; más bien, el rendimiento depende de la composición de las etapas de entrenamiento.

1. El SFT Induce Especialización Excesiva: El Ajuste Fino Supervisado aumenta rápidamente el rendimiento ID, pero causa que el rendimiento OOD alcance un máximo temprano y posteriormente decline. A medida que aumenta el cómputo de SFT (épocas), los modelos se ajustan más estrechamente a la distribución de entrenamiento, reduciendo la robustez ante cambios en la distribución biológica. Aumentar el tamaño de los datos es más robusto que aumentar las épocas sobre un conjunto de datos fijo, aunque ambos muestran rendimientos decrecientes para OOD.
2. El RL Recupera la Generalización: Cuando se aplica a puntos de control de SFT fuertes con recompensas alineadas, el Aprendizaje por Refuerzo desplaza al modelo hacia una frontera ID-OOD más fuerte. El RL mejora consistentemente tanto el rendimiento ID como el OOD, ocurriendo las ganancias más significativas fuera del dominio. Esto sugiere que el RL puede recuperar parcialmente la generalización perdida durante el SFT.
3. El CPT como Cimiento: El Pre-entrenamiento Continuo en texto biológico general mejora la efectividad del SFT y RL posteriores. Las ganancias son más pronunciadas después del RL y en entornos OOD, actuando como un puente entre los backbones de propósito general y las demandas del razonamiento biológico.
4. Independencia del Backbone: Aunque los backbones más fuertes (ej., Qwen3-4B, Gemma 4 E2B) elevan el techo de rendimiento absoluto y hacen que las ganancias de RL sean más fiables, no alteran la dinámica fundamental del entrenamiento. El intercambio ID-OOD inducido por el SFT persiste a través de las familias de modelos.
5. Capacidad de Adaptación Asimétrica: El rendimiento óptimo requiere una asignación asimétrica de la capacidad de adaptación (rango LoRA). Los rangos más altos benefician al SFT (para absorber formatos de tareas y estructura de dominio), mientras que rangos más bajos son suficientes y a menudo preferibles para el RL.
6. Asignación Óptima de Presupuesto: Bajo un presupuesto de post-entrenamiento fijo, se logra el intercambio ID-OOD más fuerte mediante un periodo breve de SFT (para establecer la competencia en la tarea) seguido de una asignación mayor al RL. Las estrategias de SFT puro o RL puro rinden menos que este enfoque mixto.

Significancia y Reivindicaciones
El artículo argumenta que el progreso en el razonamiento científico no depende meramente de escalar el tamaño del modelo o el cómputo, sino de comprender cómo las distintas etapas de entrenamiento moldean la generalización. Los autores afirman que los modelos de razonamiento biológico no deben tratarse como si tuvieran etapas de entrenamiento intercambiables. En su lugar, se propone una receta específica: usar CPT para alinear los modelos con el lenguaje biológico, aplicar suficiente SFT para establecer la competencia en la tarea, y asignar el post-entrenamiento subsiguiente al RL para asegurar la robustez a través de los sistemas biológicos.

El estudio destaca que la biología sirve como un banco de pruebas riguroso para la generalización porque los sistemas biológicos no vistos a menudo involucran mecanismos diferentes a los de los datos de entrenamiento. Por lo tanto, la optimización que mejora el rendimiento en una distribución fija puede degradar simultáneamente la capacidad de transferencia a través de los sistemas biológicos. Los autores concluyen que controlar estas dinámicas de entrenamiento es tan crítico como escalar el tamaño del modelo mismo para desarrollar modelos de razonamiento científico robustos.

Limitaciones
Los autores reconocen que sus conclusiones se basan en un conjunto limitado de tareas y familias de modelos. Señalan que el estudio no normaliza completamente el cómputo (FLOPs) entre las etapas de SFT y RL, y su evaluación se centra en la corrección de la respuesta final en lugar de la validez de los pasos de razonamiento intermedios, dejando abierta la posibilidad de estrategias de atajos. Se requiere trabajo futuro para probar estos intercambios en benchmarks más amplios y para caracterizar las dependencias en el diseño de recompensas.