💻 computer science

Aryabhata 2: Scaling Reinforcement Learning for Advanced STEM Reasoning

O artigo apresenta o Aryabhata 2, um modelo de linguagem treinado por aprendizado por reforço baseado no GPT-OSS-20B que alcança desempenho superior e maior eficiência de tokens em exames competitivos de STEM, como JEE e NEET, ao aproveitar um currículo de alta qualidade e uma exploração de implementação progressiva.

Autores originais: Ritvik Rastogi, Vishal Singh, Tejas Chaudhari, Sandeep Varma

Publicado 2026-05-29

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Ritvik Rastogi, Vishal Singh, Tejas Chaudhari, Sandeep Varma

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um aluno brilhante, mas um pouco disperso, chamado GPT-OSS-20B. Este aluno leu uma biblioteca massiva de livros e conhece muitos fatos, mas quando você pede para ele resolver um problema complicado de matemática ou ciências, com múltiplos passos (como os encontrados nos exames de admissão mais difíceis do ensino superior na Índia), ele às vezes divaga, fica confuso ou leva uma eternidade para escrever a resposta. Ele pode chegar à resposta correta, mas usa muita "tinta" (tokens de computador) para fazê-lo, o que é caro e lento.

Os autores deste artigo quiseram transformar este aluno em um campeão na resolução de problemas sem comprar um cérebro maior (um modelo maior). Eles criaram um novo aluno chamado Aryabhata 2.

Veja como eles fizeram isso, explicado através de analogias simples:

1. O Campo de Treinamento: Um Treinador Rigoroso

Em vez de simplesmente deixar o aluno ler mais livros (o que o treinamento padrão faz), os pesquisadores agiram como um treinador rigoroso usando Aprendizado por Reforço.

O Sistema de Recompensa: Imagine um videogame onde você só ganha pontos se resolver um quebra-cabeça corretamente E explicar claramente. Se o aluno errar a resposta, ele ganha zero pontos. Se ele acertar a resposta, mas escrever um ensaio de 10 páginas quando uma explicação de um parágrafo bastaria, ele recebe uma pontuação menor.
O "Juiz": O treinador não confiava apenas na palavra do aluno. Eles usaram um "Juiz" superinteligente (outra IA) para verificar cada passo. Se a matemática não fechasse ou a lógica fosse falha, a resposta era rejeitada imediatamente.

2. O Currículo: Do Fácil ao Impossível

Os pesquisadores não jogaram o aluno na parte profunda imediatamente. Eles construíram um campo de treinamento de três níveis:

Nível 1 (Formatação): Primeiro, ensinaram ao aluno como segurar a caneta corretamente. Eles focaram em garantir que a resposta parecesse organizada e seguisse uma estrutura específica.
Nível 2 (A Rotina): Em seguida, deram ao aluno milhares de problemas de prática. À medida que o aluno melhorava, o treinador tornava os problemas mais difíceis. Se o aluno continuasse acertando 70%, o treinador trocava as questões por outras ainda mais complicadas.
Nível 3 (O Cartão Selvagem): Finalmente, deixaram o aluno tentar muitas maneiras diferentes de resolver o mesmo problema difícil ao mesmo tempo. Imagine pedir ao aluno para tentar 128 caminhos diferentes para resolver um labirinto simultaneamente. Isso ajudou-os a descobrir atalhos inteligentes que não haviam visto antes.

3. O Segredo: "Exploração Ampliada"

Geralmente, ao treinar uma IA, você pode pedir que ela resolva um problema uma única vez. O Aryabhata 2 foi treinado para gerar muitas tentativas diferentes para cada pergunta.

A Analogia: Pense nisso como um detetive resolvendo um crime. Em vez de seguir uma única pista, o detetive envia 128 equipes diferentes para procurar evidências. Se até uma equipe encontrar a pista certa, o caso está resolvido. Este método ajudou o modelo a encontrar o "caminho de ouro" para a resposta muito mais rápido e com mais confiabilidade.

4. Os Resultados: Mais Rápido, Mais Inteligente e Mais Leve

Quando testaram o Aryabhata 2 em exames reais (como JEE e NEET) e até em competições de matemática superdifíceis (como a AIME), os resultados foram impressionantes:

Maior Precisão: Ele resolveu mais problemas corretamente do que seu modelo "pai" (GPT-OSS-20B) e até superou alguns modelos muito maiores e mais caros.
Economia de "Tokens": Esta é a maior vitória. O modelo original frequentemente escrevia explicações longas e tortuosas. O Aryabhata 2 aprendeu a ser conciso. Ele usou até 64% menos palavras (tokens) para obter o mesmo (ou melhor) resultado.
- Analogia: Se o modelo antigo era como um turista tirando 100 fotos para encontrar o clique perfeito, o Aryabhata 2 é como um fotógrafo profissional que captura o clique perfeito em um único clique.

A Conclusão

O artigo afirma que, ao usar um conjunto muito específico e de alta qualidade de questões de prática e um método de treinamento inteligente e multiestágio, eles transformaram uma IA padrão de 20 bilhões de parâmetros em um especialista especializado em raciocínio em STEM. Ela não precisava ser um modelo gigante para ser inteligente; precisava apenas do tipo certo de prática e de um treinador que sabia exatamente como recompensar o bom comportamento.

O que eles não afirmaram:
O artigo não afirma que esta IA pode substituir professores humanos, diagnosticar condições médicas ou ser usada para conversas gerais. Ela foi construída especificamente para resolver problemas de ciências, matemática e engenharia encontrados em exames competitivos, atuando como um tutor altamente eficiente para essas matérias específicas.

Resumo Técnico: Aryabhata 2 – Escalonamento do Aprendizado por Reforço para Raciocínio Avançado em STEM

1. Declaração do Problema

Exames competitivos de STEM, especificamente o Joint Entrance Examination (JEE) e o National Eligibility cum Entrance Test (NEET) na Índia, apresentam um desafio único para Modelos de Linguagem de Grande Porte (LLMs). Esses exames exigem raciocínio simbólico multi-etapa, cálculo numérico preciso e compreensão conceitual profunda em física, química e matemática. Diferentemente de benchmarks padrão, esses problemas são cuidadosamente construídos para testar a profundidade conceitual sob restrições rigorosas.

Embora LLMs recentes demonstrem forte desempenho em benchmarks de raciocínio geral, eles enfrentam obstáculos significativos na implantação educacional no mundo real:

Escalabilidade: Implantar modelos de fronteira em escala para lidar com milhões de dúvidas de estudantes é proibitivo em termos de custo devido aos altos custos de inferência e precificação por token.
Eficiência: Modelos de código aberto frequentemente exigem grandes contagens de parâmetros e geram cadeias de pensamento excessivamente longas, levando a alta latência e consumo de tokens.
Especificidade de Domínio: Modelos gerais frequentemente carecem da cobertura específica do currículo e do alinhamento passo a passo necessários para estratégias de exames competitivos.

Os autores identificam uma lacuna entre modelos de alto desempenho, mas caros, e soluções eficientes e específicas de domínio capazes de fornecer explicações precisas, concisas e estruturadas para dúvidas de estudantes.

2. Metodologia

O artigo apresenta o Aryabhata 2, um modelo de linguagem focado em raciocínio treinado via pós-treinamento de aprendizado por reforço (RL). A metodologia é construída sobre um pipeline unificado, apenas de RL, projetado para maximizar as capacidades de raciocínio sob recursos computacionais limitados.

2.1 Modelo Base e Arquitetura

Modelo Base: O sistema é construído sobre o GPT-OSS-20B, um modelo de código aberto de Mistura de Especialistas (MoE) com 20 bilhões de parâmetros e 3,6 bilhões de parâmetros ativos.
Ajuste Fino Eficiente em Parâmetros (PEFT): Para gerenciar restrições de memória (utilizando duas GPUs NVIDIA H100 NVL), os autores empregam Adaptação de Baixo Rank (LoRA). Adaptadores são inseridos nas camadas de projeção de atenção ( $q, k, v, o$ ) e na camada de incorporação de tokens. Isso resulta em apenas ~0,15% dos parâmetros sendo treináveis (31,8M de 20,9B), reduzindo significativamente a pegada de memória enquanto preserva a capacidade de adaptação.

2.2 Curadoria e Verificação de Dados

O corpus de treinamento é derivado dos bancos de questões internos da PhysicsWallah, contendo inicialmente 1,78 milhão de questões.

Pipeline de Limpeza: Um pipeline determinístico remove artefatos HTML (especificamente tags <img>), valida a sintaxe LaTeX usando pdflatex, filtra questões incompletas via um classificador LLM e remove conteúdo não-STEM. Isso reduz o conjunto de dados para 1,25 milhão de questões de alta qualidade.
Verificação de Resposta: Para garantir sinais de recompensa confiáveis, um pipeline de verificação automatizado usando um Modelo de Política (GPT-OSS-120B) e um Modelo Juiz (Qwen/Qwen3-30B-A3B-Thinking) é empregado.
- Amostragem Multi-Passagem: As questões são verificadas em etapas (1, 4 ou 16 amostras). Uma questão é aceita se qualquer solução gerada for julgada correta, garantindo que o currículo contenha trajetórias de raciocínio válidas.
Construção do Currículo: As questões são categorizadas por dificuldade (Trivial, Aprendível, Desafiadora) com base na taxa de sucesso de geração do modelo base. Questões de química são superamostradas para abordar desequilíbrios de desempenho inicial.

2.3 Framework de Aprendizado por Reforço

O treinamento utiliza Otimização de Política Relativa em Grupo (GRPO) com modificações específicas para atender às restrições de hardware e tarefa:

Treinamento Livre de KL: Modelos de referência são omitidos para economizar memória de GPU; a regularização KL é removida.
Objetivo: Um objetivo truncado estilo DAPO com um limite superior assimétrico é utilizado.
Função de Recompensa: Uma recompensa multiplicativa $R = R_{accuracy} \times R_{format}$ $R = R_{a cc u r a cy} \times R_{f or ma t}$ é empregada:
- Recompensa de Precisão ( $R_{accuracy}$ ): Computada via uma cascata de correspondência de strings, correspondência de tolerância numérica e equivalência simbólica (usando math-verify). Crédito parcial (0,5) é concedido para texto de opção correto em MCQs de resposta única, mesmo que o rótulo esteja errado.
- Recompensa de Formato ( $R_{format}$ ): Incentiva respostas finais suficientemente detalhadas ( $S_{len}$ ) e uma razão equilibrada entre o comprimento do raciocínio e da solução ( $S_{ratio}$ ), prevenindo saídas excessivamente breves ou excessivamente longas.

2.4 Fases de Treinamento

O treinamento prossegue em três fases sequenciais para equilibrar estabilidade e exploração:

Fase 1 (Alinhamento de Formato): 300 passos com um tamanho de grupo de 8. Foca em alinhar o modelo com a estrutura de saída desejada usando uma mistura de questões triviais e aprendíveis.
Fase 2 (RL Prolongado): ~5.000 passos. O tamanho do grupo aumenta de 8 para 16. O currículo muda adaptativamente para questões mais difíceis conforme a precisão melhora. A fusão de checkpoints baseada em EMA é usada para estabilizar o treinamento quando as recompensas estagnam.
Fase 3 (RL Ampliado): ~700 passos. O tamanho do grupo expande significativamente (64 para 128) para ampliar a exploração de trajetórias de raciocínio e descobrir estratégias de solução alternativas.

3. Principais Contribuições

Modelo Aryabhata 2: Um modelo de 20 bilhões de parâmetros especificamente otimizado para raciocínio STEM competitivo, demonstrando que RL direcionado em currículos específicos de domínio pode superar modelos base significativamente maiores.
Pipeline Unificado de RL: Uma estratégia de treinamento inovadora combinando verificação rigorosa de dados, construção de currículo consciente da dificuldade e RL em fases (otimização prolongada + exploração ampliada) que opera efetivamente em hardware limitado (2x H100).
Ganhos de Eficiência: O modelo alcança desempenho de última geração entre modelos de código aberto enquanto gera substancialmente menos tokens (até 64% menos que o modelo base), abordando a barreira de custo para implantação educacional em larga escala.
Avaliação Abrangente: Validação em exames competitivos de distribuição interna (JEE Main/Advanced, NEET) e benchmarks de raciocínio de distribuição externa (AIME, HMMT, MMLU-Pro, GPQA).

4. Resultados

4.1 Desempenho em Distribuição Interna

Em benchmarks de exames competitivos (JEE Main 2025/2026, JEE Advanced 2025, NEET 2025), o Aryabhata 2 alcança uma média de Pass@1 de 88,95%, superando o GPT-OSS-20B base (83,00%) e rivalizando com modelos muito maiores como GPT-OSS-120B (88,28%) e Qwen3-30B-A3B (88,55%).

Eficiência de Tokens: O Aryabhata 2 reduz os tokens de saída em 52–64% em comparação com o GPT-OSS-20B.
Precisão por Token: Alcança 42,31 Acc./1K tokens, significativamente mais alto que o GPT-OSS-20B (15,68) e o GPT-OSS-120B (26,66).

4.2 Desempenho em Distribuição Externa

Em benchmarks de raciocínio geral (AIME, HMMT, GPQA, MMLU-Pro, MMLU-Redux 2.0), o Aryabhata 2 alcança uma média de Pass@1 de 87,64%.

Melhora sobre o GPT-OSS-20B (84,95%) e o Nemotron 3 Nano (83,48%).
Mostra ganhos significativos no HMMT (+1,54 sobre o base) e no GPQA (+4,35 sobre o base).
Embora permaneça abaixo de modelos proprietários de fronteira (ex: GPT-5 Mini, Gemini 2.5 Flash), demonstra forte generalização para um modelo de 20 bilhões de parâmetros.

4.3 Comparação de Eficiência

Em todos os benchmarks de Distribuição Externa (OOD), o Aryabhata 2 reduz os tokens de saída em 24–71% em comparação com o GPT-OSS-20B, alcançando uma precisão OOD de 39,58 Acc./1K tokens.

5. Significado e Alegações

O artigo alega que aprendizado por reforço direcionado em currículos específicos de domínio é uma estratégia eficaz para escalar sistemas práticos de raciocínio em STEM. O significado do trabalho reside em demonstrar que:

Especialização sobre Escala: Um modelo menor, treinado eficientemente, pode superar modelos base maiores em tarefas específicas de raciocínio de alto risco.
Viabilidade de Implantação: Ao combinar curadoria rigorosa de dados com RL em fases, é possível treinar modelos de raciocínio de alta qualidade em hardware limitado (2x H100), tornando o tutoramento avançado por IA viável para sistemas educacionais em larga escala com milhões de usuários.
Eficiência de Tokens: A abordagem não apenas melhora a precisão, mas reduz drasticamente os custos de inferência gerando cadeias de raciocínio mais concisas e estruturadas, abordando diretamente as barreiras econômicas para implantar LLMs na educação.

Os autores concluem que seu pipeline permite treinamento estável sob restrições computacionais enquanto preserva forte qualidade de raciocínio, oferecendo um caminho viável para cargas de trabalho educacionais do mundo real.