How Post-Training Shapes Biological Reasoning Models

Résumé Technique : Comment le post-entraînement façonne les modèles de raisonnement biologique

Énoncé du Problème
Les modèles de raisonnement scientifique pour la biologie combinent de plus en plus de grands modèles de langage (LLM) avec des modèles de fondation entraînés sur des données biologiques multimodales (ADN, ARN, protéines). Bien que ces systèmes soient construits via une séquence d'étapes de post-entraînement — Pré-entraînement Continu (CPT), Fine-Tuning Supervisé (SFT) et Apprentissage par Renforcement (RL) — l'impact spécifique de chaque étape sur le raisonnement et la généralisation reste mal compris. Contrairement aux mathématiques ou au code, où les problèmes hors domaine (OOD) conservent souvent la même structure sous-jacente que les données d'entraînement, le raisonnement biologique implique des voies, des maladies et des espèces inédites qui peuvent fonctionner via des mécanismes différents. Par conséquent, une haute performance sur les benchmarks en domaine (ID) ne garantit pas une généralisation biologique robuste. La question centrale est de savoir si un post-entraînement supplémentaire améliore uniformément le raisonnement ou si des étapes spécifiques induisent une sur-spécialisation, et comment ces étapes interagissent sous des budgets de calcul fixes.

Méthodologie
Les auteurs ont mené une étude contrôlée en entraînant et en évaluant plus de 100 modèles de raisonnement biologique à travers trois modalités : la génomique (ADN), la transcriptomique (ARN) et les protéines.

• Architecture du Modèle : L'étude a utilisé des noyaux (backbones) de LLM à usage général (Qwen3-1.7B, Qwen3-4B et Gemma 4 E2B) couplés à des modèles de fondation biologiques gelés (Evo2-1B pour l'ADN, TranscriptFormer pour l'ARN, ESM-3 pour les protéines) via des couches de projection entraînables.
• Tâches et Évaluation : Trois tâches de raisonnement ont été définies avec des séparations ID et OOD biologiquement significatives :
  1. Prédiction de Voies Métaboliques : Inférer des phénotypes de maladies à partir de variants génétiques via des réseaux de voies moléculaires (séparation OOD par réseau de voies).
  2. Identification de Cibles Thérapeutiques : Sélectionner des cibles thérapeutiques pour des maladies ou types cellulaires spécifiques (séparation OOD par maladie).
  3. Prédiction de la Fonction Protéique : Inférer une fonction à partir de preuves multimodales (séparation OOD par espèce).
• Design Expérimental : Les auteurs ont isolé les effets du choix du noyau, du CPT, du SFT et du RL en faisant varier un facteur à la fois. Ils ont examiné les lois d'échelle en manipulant :
  • Les époques de SFT et la taille du jeu de données.
  • Les époques de RL et les points de contrôle d'initialisation.
  • Le rang LoRA (capacité d'adaptation) pour le SFT et le RL.
  • L'allocation d'un budget de post-entraînement fixe entre le SFT et le RL.

Contributions Clés et Résultats
L'article établit que le raisonnement biologique ne s'améliore pas de manière monotone avec une supervision ou un calcul supplémentaires ; au contraire, la performance dépend de la composition des étapes d'entraînement.

1. Le SFT induit une Sur-Spécialisation : Le Fine-Tuning Supervisé augmente rapidement la performance ID mais provoque un pic précoce de la performance OOD, suivi d'un déclin. À mesure que le calcul du SFT (époques) augmente, les modèles s'ajustent plus étroitement à la distribution d'entraînement, réduisant la robustesse face aux changements de distribution biologique. Augmenter la taille des données est plus robuste que l'augmentation des époques sur un jeu de données fixe, bien que les deux présentent des rendements décroissants pour l'OOD.
2. Le RL restaure la Généralisation : Appliqué à des points de contrôle SFT forts avec des récompenses alignées, l'Apprentissage par Renforcement déplace le modèle vers une frontière ID-OOD plus forte. Le RL améliore systématiquement les performances ID et OOD, les gains les plus importants se produisant hors domaine. Cela suggère que le RL peut partiellement restaurer la généralisation perdue lors du SFT.
3. Le CPT comme Fondement : Le Pré-entraînement Continu sur du texte biologique général améliore l'efficacité du SFT et du RL en aval. Les gains sont plus prononcés après le RL et dans les contextes OOD, agissant comme un pont entre les noyaux à usage général et les exigences du raisonnement biologique.
4. Indépendance du Noyau (Backbone) : Bien que des noyaux plus puissants (ex. Qwen3-4B, Gemma 4 E2B) augmentent le plafond absolu de performance et rendent les gains du RL plus fiables, ils ne modifient pas les dynamiques fondamentales d'entraînement. Le compromis ID-OOD induit par le SFT persiste à travers les familles de modèles.
5. Capacité d'Adaptation Asymétrique : La performance optimale nécessite une allocation asymétrique de la capacité d'adaptation (rang LoRA). Des rangs plus élevés bénéficient au SFT (pour absorber les formats de tâches et la structure du domaine), tandis que des rangs plus faibles sont suffisants et souvent préférables pour le RL.
6. Allocation Optimale du Budget : Sous un budget de post-entraînement fixe, le meilleur compromis ID-OOD est obtenu par une courte période de SFT (pour établir la compétence de la tâche) suivie d'une allocation plus importante au RL. Les stratégies de SFT pur ou de RL pur sont moins performantes que cette approche mixte.

Signification et Revendications
L'article soutient que le progrès du raisonnement scientifique ne dépend pas simplement de l'augmentation de la taille du modèle ou du calcul, mais de la compréhension de la manière dont les distinctes étapes d'entraînement façonnent la généralisation. Les auteurs affirment que les modèles de raisonnement biologique ne doivent pas être traités comme ayant des étapes d'entraînement interchangeables. Au lieu de cela, une recette spécifique est proposée : utiliser le CPT pour aligner les modèles avec le langage biologique, appliquer un SFT suffisant pour établir la compétence de la tâche, et allouer le post-entraînement ultérieur au RL pour assurer la robustesse à travers les systèmes biologiques.

L'étude souligne que la biologie sert de banc d'essai rigoureux pour la généralisation car les systèmes biologiques inédits impliquent souvent des mécanismes différents des données d'entraînement. Par conséquent, l'optimisation qui améliore la performance sur une distribution fixe peut simultanément dégrader la capacité de transfert à travers les systèmes biologiques. Les auteurs concluent que le contrôle de ces dynamiques d'entraînement est aussi critique que l'échelle de la taille des modèles pour développer des modèles de raisonnement scientifique robustes.

Limites
Les auteurs reconnaissent que leurs conclusions sont basées sur un ensemble limité de tâches et de familles de modèles. Ils notent que l'étude ne normalise pas pleinement le calcul (FLOPs) entre les étapes SFT et RL, et que leur évaluation se concentre sur la correction de la réponse finale plutôt que sur la validité des étapes de raisonnement intermédiaires, laissant ouverte la possibilité de stratégies de raccourci. Des travaux futurs sont nécessaires pour tester ces compromis sur des benchmarks plus larges et pour caractériser les dépendances de la conception des récompenses.