How Post-Training Shapes Biological Reasoning Models

Resumo Técnico: Como o Pós-Treinamento Molda Modelos de Raciocínio Biológico

Definição do Problema
Modelos de raciocínio científico para a biologia combinam cada vez mais grandes modelos de linguagem (LLMs) com modelos de fundação treinados em dados biológicos multimodais (DNA, RNA, proteínas). Embora esses sistemas sejam construídos através de uma sequência de estágios de pós-treinamento — Pré-Treinamento Contínuo (CPT), Ajuste Fino Supervisionado (SFT) e Aprendizado por Reforço (RL) — o impacto específico de cada estágio no raciocínio e na generalização permanece mal compreendido. Ao contrário da matemática ou do código, onde problemas fora do domínio (OOD) frequentemente retêm a mesma estrutura subjacente dos dados de treinamento, o raciocínio biológico envolve vias, doenças e espécies não vistas que podem operar através de mecanismos diferentes. Consequentemente, um alto desempenho em benchmarks dentro do domínio (ID) não garante uma generalização biológica robusta. A questão central é se o pós-treinamento adicional melhora uniformemente o raciocínio ou se estágios específicos induzem a uma especialização excessiva, e como esses estágios interagem sob orçamentos computacionais fixos.

Metodologia
Os autores conduziram um estudo controlado treinando e avaliando mais de 100 modelos de raciocínio biológico em três modalidades: genômica (DNA), transcriptômica (RNA) e proteínas.

• Arquitetura do Modelo: O estudo utilizou backbones de LLM de propósito geral (Qwen3-1.7B, Qwen3-4B e Gemma 4 E2B) acoplados a modelos de fundação biológica congelados (Evo2-1B para DNA, TranscriptFormer para RNA, ESM-3 para proteínas) via camadas de projeção treináveis.
• Tarefas e Avaliação: Três tarefas de raciocínio foram definidas com divisões ID e OOD biologicamente significativas:
  1. Predição de Vias: Inferir fenótipos de doenças a partir de variantes genéticas via vias moleculares (divisão OOD por rede de vias).
  2. Identificação de Alvo Terapêutico: Selecionar alvos terapêuticos para doenças/tipos celulares específicos (divisão OOD por doença).
  3. Predição de Função Proteica: Inferir função a partir de evidências multimodais (divisão OOD por espécie).
• Design Experimental: Os autores isolaram os efeitos da escolha do backbone, CPT, SFT e RL variando um fator por vez. Eles examinaram as leis de escala manipulando:
  • Épocas de SFT e tamanho do conjunto de dados.
  • Épocas de RL e checkpoints de inicialização.
  • Rank de LoRA (capacidade de adaptação) para SFT e RL.
  • A alocação de um orçamento de pós-treinamento fixo entre SFT e RL.

Principais Contribuições e Descobertas
O artigo estabelece que o raciocínio biológico não melhora monotonicamente com adição de supervisão ou computação; em vez disso, o desempenho depende da composição dos estágios de treinamento.

1. SFT Induz Especialização Excessiva: O Ajuste Fino Supervisionado aumenta rapidamente o desempenho ID, mas faz com que o desempenho OOD atinja o pico precocemente e, subsequentemente, decline. À medida que o computacional de SFT (épocas) aumenta, os modelos se ajustam mais estritamente à distribuição de treinamento, reduzindo a robustez à mudanças de distribuição biológica. Aumentar o tamanho dos dados é mais robusto do que aumentar as épocas em um conjunto de dados fixo, embora ambos apresentem retornos decrescentes para OOD.
2. RL Recupera a Generalização: Quando aplicado a checkpoints de SFT fortes com recompensas alinhadas, o Aprendizado por Reforço desloca o modelo em direção a uma fronteira ID-OOD mais forte. O RL melhora consistentemente o desempenho tanto ID quanto OOD, com os ganhos mais significativos ocorrendo fora do domínio. Isso sugere que o RL pode recuperar parcialmente a generalização perdida durante o SFT.
3. CPT como Fundação: O Pré-Treinamento Contínuo em textos biológicos gerais melhora a eficácia do SFT e RL subsequentes. Os ganhos são mais pronunciados após o RL e em configurações OOD, atuando como uma ponte entre os backbones de propósito geral e as demandas do raciocínio biológico.
4. Independência de Backbone: Embora backbones mais fortes (ex: Qwen3-4B, Gemma 4 E2B) elevem o teto de desempenho absoluto e tornem os ganhos de RL mais confiáveis, eles não alteram a dinâmica fundamental de treinamento. O trade-off ID-OOD induzido pelo SFT persiste entre as famílias de modelos.
5. Capacidade de Adaptação Assimétrica: O desempenho ideal requer a alocação assimétrica de capacidade de adaptação (rank de LoRA). Ranks mais altos beneficiam o SFT (para absorver formatos de tarefas e estrutura de domínio), enquanto ranks mais baixos são suficientes e muitas vezes preferíveis para o RL.
6. Alocação de Orçamento Ótima: Sob um orçamento de pós-treinamento fixo, o melhor trade-off ID-OOD é alcançado por um período breve de SFT (para estabelecer competência na tarefa) seguido por uma alocação maior para o RL. Estratégias de SFT puro ou RL puro apresentam desempenho inferior em comparação com esta abordagem mista.

Significância e Alegações
O artigo argumenta que o progresso no raciocínio científico depende não apenas de escalar o tamanho do modelo ou a computação, mas de entender como os distintos estágios de treinamento moldam a generalização. Os autores alegam que modelos de raciocínio biológico não devem ser tratados como tendo estágios de treinamento intercambiáveis. Em vez disso, uma receita específica é proposta: usar CPT para alinhar os modelos com a linguagem biológica, aplicar SFT suficiente para estabelecer competência na tarefa e alocar o pós-treinamento subsequente ao RL para garantir a robustez através de sistemas biológicos.

O estudo destaca que a biologia serve como um teste rigoroso para generalização porque sistemas biológicos não vistos frequentemente envolvem mecanismos diferentes dos dados de treinamento. Portanto, a otimização que melhora o desempenho em uma distribuição fixa pode simultaneamente degradar a capacidade de transferência através de sistemas biológicos. Os autores concluem que controlar essas dinâmicas de treinamento é tão crítico quanto escalar o tamanho do modelo para o desenvolvimento de modelos de raciocínio científico robustos.

Limitações
Os autores reconhecem que suas conclusões baseiam-se em um conjunto limitado de tarefas e famílias de modelos. Eles observam que o estudo não normaliza totalmente o computacional (FLOPs) entre os estágios de SFT e RL, e sua avaliação foca na correção da resposta final em vez da validade dos passos intermediários de raciocínio, deixando aberta a possibilidade de estratégias de atalho. Trabalhos futuros são necessários para testar esses trade-offs em benchmarks mais amplos e para caracterizar dependências de design de recompensa.