💬 NLP

Improving Data and Reward Design for Scientific Reasoning in Large Language Models

Este artigo apresenta o **Dr. SCI**, um pipeline de pós-treinamento que utiliza um novo conjunto de dados de larga escala e um método de aprendizado por reforço guiado por rubricas para melhorar significativamente o raciocínio científico de modelos de linguagem, especialmente em questões abertas.

Autores originais: Zijie Chen, Zhenghao Lin, Xiao Liu, Zhenzhong Lan, Yeyun Gong, Peng Cheng

Publicado 2026-02-11

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Zijie Chen, Zhenghao Lin, Xiao Liu, Zhenzhong Lan, Yeyun Gong, Peng Cheng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um aluno superdotado, mas que tem um problema: ele é excelente em fazer contas de matemática (onde tudo é exato), mas quando você pede para ele explicar por que as estrelas brilham ou como funciona uma célula, ele começa a "enrolar", dar respostas vagas ou até inventar coisas que parecem verdade, mas são apenas palavras bonitas.

Este artigo científico apresenta uma solução para esse problema em Inteligência Artificial (IA), chamada Dr. SCI.

Aqui está a explicação do que eles fizeram, usando algumas analogias:

1. O Problema: O "Aluno que decora, mas não entende"

Atualmente, as IAs são ótimas em questões de "múltipla escolha" (se a resposta é A, B ou C, é fácil conferir). Mas a ciência real é aberta. Se você pergunta "Como a evolução funciona?", não existe uma única resposta de uma palavra só.

O problema é que, quando tentamos treinar a IA para responder essas perguntas abertas, o "professor" (o sistema de recompensa) fica confuso. Se a IA der uma resposta longa e cheia de termos difíceis, o sistema pode achar que ela é genial, mesmo que ela não tenha dito nada de útil. É o que chamamos de "ganhar pontos sem resolver o problema".

2. A Solução: O "Kit de Professor Particular" (Dr. SCI)

Os pesquisadores criaram três ferramentas principais para transformar a IA em um verdadeiro cientista:

A) O Cardápio de Estilos (Exploration-Expanding SFT)

Imagine que, antes de ir para a prova final, você dá ao aluno uma biblioteca gigante com milhares de formas diferentes de explicar o mesmo assunto: um explicando com desenhos, outro com fórmulas, outro com histórias.
O que eles fizeram: Eles selecionaram dados para que a IA não aprendesse apenas um "jeito de falar", mas sim uma enorme variedade de padrões de raciocínio. Isso evita que a IA fique "viciada" em um único estilo de resposta.

B) A Escada de Dificuldade (Dynamic Difficulty Curriculum)

Não faz sentido ensinar Cálculo Diferencial para uma criança que ainda não sabe somar. Se o exercício for fácil demais, a IA fica entediada e não aprende; se for difícil demais, ela desiste e começa a chutar.
O que eles fizeram: Eles criaram uma "escada inteligente". Conforme a IA vai ficando boa em assuntos básicos, o sistema automaticamente puxa degraus mais altos e difíceis. É um treino que acompanha o crescimento do "cérebro" da máquina.

C) A Planilha de Correção Detalhada (SciRubric-Guided RL)

Esta é a parte mais genial. Em vez de o professor apenas dizer "Nota 7" ou "Nota 10", eles criaram uma rubrica detalhada (como aquelas tabelas de correção de redação do ENEM).
A analogia: Imagine que a IA está explicando a fotossíntese. Em vez de o professor olhar o texto todo e dar uma nota, ele tem uma lista de verificação:

Mencionou a luz solar? (Sim/Não)
Explicou o papel da clorofila? (Sim/Não)
Citou a produção de oxigênio? (Sim/Não)
A resposta final está correta? (Obrigatório!)

Isso impede que a IA "enrole". Ela não pode apenas escrever um texto gigante e bonito para ganhar nota; ela precisa acertar os pontos cruciais da ciência para ser recompensada.

3. O Resultado: Um Pequeno Gigante

O mais impressionante é que eles fizeram isso usando um modelo de IA relativamente "pequeno" (chamado de 4B, que é como um estudante de graduação). Mesmo sendo menor que os gigantes como o GPT-4, esse modelo treinado com o método Dr. SCI conseguiu superar modelos muito maiores e mais caros em testes de raciocínio científico complexo.

Em resumo: Eles não apenas deram mais livros para a IA ler; eles ensinaram a IA a pensar com método, corrigindo-a com precisão cirúrgica em cada passo do raciocínio.

Resumo Técnico: Melhoria do Design de Dados e Recompensas para o Raciocínio Científico em LLMs

1. O Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham avançado significativamente em domínios estruturados (como matemática e código), eles ainda apresentam dificuldades em questões científicas de resposta aberta (open-ended). O problema central reside na natureza da supervisão e da avaliação:

Inconsistência de Dados: Os conjuntos de dados científicos existentes são frequentemente heterogêneos, com supervisão mal projetada ou falta de distinção entre questões verificáveis (objetivas) e abertas (dissertativas).
Dificuldade de Avaliação: Para respostas abertas, o emparelhamento simples de strings ou regras falha. A verificação automática é difícil porque as referências são textos livres, o que torna o aprendizado por reforço (RL) instável devido a sinais de recompensa pouco informativos ou propensos a "reward hacking" (quando o modelo aprende a manipular a métrica sem resolver o problema).
Falta de Currículo: A ausência de anotações de dificuldade impede um treinamento progressivo e eficiente.

2. Metodologia Proposta

Os autores propõem uma solução holística dividida em duas frentes: a criação de um novo dataset e um novo pipeline de pós-treinamento.

A. O Dataset Dr. SCI:
Um pipeline sistemático que transforma dados de código aberto em um dataset de 1 milhão de questões em oito disciplinas STEM. Suas características incluem:

Divisão Explícita: Separação entre questões verificáveis por regras (461k) e questões abertas (545k).
Anotação de Dificuldade: Uso de um modelo (Qwen3-32B) para estimar a dificuldade baseada na taxa de sucesso de múltiplos rollouts.
Rubricas Detalhadas: Para cada questão aberta, o modelo gera de 7 a 20 critérios de avaliação (rubricas) decompostos em categorias: Essential (essencial), Important (importante), Optional (opcional) e Pitfall (armadilhas/erros comuns).

B. O Pipeline de Pós-Treinamento Dr. SCI:
O fluxo de trabalho padrão (SFT $\rightarrow$ RL) é redesenhado em três componentes:

Exploration-Expanding SFT (EESFT): Em vez de uma amostragem aleatória, utiliza uma métrica de novidade de n-gramas (4-grams) para selecionar dados de supervisão que maximizem a diversidade de padrões de raciocínio, ampliando o "teto de exploração" para a fase de RL.
Dynamic Difficulty Curriculum (DDC): Um currículo adaptativo que ajusta a distribuição de dados de treinamento conforme a capacidade do modelo evolui. O modelo começa com questões fáceis e, à medida que "domina" um tópico (atinge um limiar de precisão), o sistema introduz questões progressivamente mais difíceis.
SciRubric-Guided RL: Um novo mecanismo de recompensa para questões abertas. A recompensa é uma combinação ponderada da correção da resposta final (verificada de forma rigorosa) e do cumprimento das rubricas (verificado por um modelo leve). Isso evita que o modelo apenas "encha linguiça" para ganhar pontos de rubrica sem acertar o conceito central.

3. Principais Contribuições

Dataset Dr. SCI: O primeiro dataset de larga escala estruturado especificamente para suportar o treinamento de raciocínio científico via RL, com suporte a rubricas e níveis de dificuldade.
Novo Paradigma de Recompensa: A integração de rubricas granulares com a verificação estrita da resposta final, mitigando o reward hacking em tarefas dissertativas.
Pipeline de Treinamento Eficiente: A demonstração de que um modelo compacto (4B parâmetros) pode superar modelos muito maiores e proprietários através de um design de dados e treinamento superior.

4. Resultados

Os experimentos utilizando o modelo Qwen3-4B-Base como base mostraram resultados impressionantes:

Superação de Baselines: O modelo treinado com o pipeline Dr. SCI superou modelos de ponta como o1-mini (OpenAI) no benchmark GPQA-diamond e superou o GPT-4o em diversos benchmarks científicos (GPQA-general, HLE, etc.).
Desempenho em Respostas Abertas: O ganho foi particularmente notável em cenários de resposta livre, onde o modelo demonstrou uma capacidade de raciocínio científico muito mais robusta e precisa.
Eficiência de Dados: O componente de currículo dinâmico permitiu que o modelo atingisse alta performance usando menos computação por época, ao focar em dados que estavam na "fronteira de capacidade" do modelo.

5. Significância

Este trabalho é significativo pois resolve um dos maiores gargalos atuais da IA: a transição do raciocínio estruturado (matemática/código) para o raciocínio científico aberto. Ele fornece uma "receita" prática para pesquisadores que desejam treinar modelos capazes de explicar fenômenos complexos de forma correta, estruturada e verificável, aproximando a IA da capacidade de raciocínio de especialistas humanos em diversas áreas do conhecimento STEM.