🤖 machine learning

Knowledge Distillation from Large Reasoning Models to Compact Student Models: A Case Study on the John O Bryan Mathematics Competition

Este artigo demonstra que o ajuste fino de um modelo estudante compacto Qwen2.5-7B com dados de Cadeia de Pensamento (Chain-of-Thought) destilados do professor DeepSeek-R1 usando um framework de agente duplo e interrupção precoce melhora significativamente sua precisão nos benchmarks John O'Bryan Mathematics Competition e MATH-500, ao mesmo tempo em que revela que comprimentos de resposta mais curtos correlacionam-se com uma qualidade de raciocínio reduzida.

Autores originais: Gaurab Baral, Aaditya Khanal, Yangyang Tao, Junxiu Zhou

Publicado 2026-07-01

📖 5 min de leitura🧠 Leitura aprofundada

CC0 1.0

Autores originais: Gaurab Baral, Aaditya Khanal, Yangyang Tao, Junxiu Zhou

Artigo original dedicado ao domínio público sob CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um tutor de matemática brilhante e de classe mundial (vamos chamá-lo de Professor DeepSeek). Ele é incrível, mas também é enorme, lento e exige um supercomputador massivo para rodar. Você quer ensinar uma estudante menor, mais rápida e barata (vamos chamá-la de Estudante Qwen) a pensar como o professor para que ela possa fazer o mesmo trabalho em um laptop comum.

Este artigo é a história de como os pesquisadores tentaram ensinar a estudante usando um conjunto específico de problemas matemáticos da Competição de Matemática John O'Bryan (uma competição real realizada na Northern Kentucky University de 2011 a 2025).

Aqui está a história do experimento deles, dividida de forma simples:

1. O Método de Treinamento: "Mostre seu Trabalho"

Os pesquisadores não deram apenas as respostas finais para a estudante. Eles usaram uma técnica especial chamada Destilação de Cadeia de Pensamento (CoT - Chain-of-Thought).

O Professor: Primeiro, o "Professor DeepSeek" resolveu 671 problemas de competições passadas. Mas, em vez de escrever apenas a resposta, ele escreveu cada passo de seu raciocínio, como um aluno mostrando o desenvolvimento de um problema em uma prova.
O Verificador: Uma segunda IA verificou o trabalho do Professor para garantir que os passos estavam realmente corretos. Apenas as soluções perfeitas foram mantidas.
A Estudante: A "Estudante Qwen" (um modelo menor) foi então treinada para imitar essas soluções passo a passo.

2. A Armadilha do "Treino Excessivo"

Os pesquisadores enfrentaram um problema clássico: o Overfitting (Sobreajuste).
Imagine um aluno que memoriza as respostas exatas de um teste de prática em vez de aprender os conceitos matemáticos. Se você der a ele uma questão ligeiramente diferente, ele falha.

Os pesquisadores inicialmente deixaram a estudante treinar por 1.000 "rodadas" (iterações).
O Resultado: A estudante começou a memorizar as palavras específicas dos problemas de treinamento em vez de aprender a lógica. O desempenho dela na verdade piorou em novos problemas.
A Solução: Eles perceberam que a estudante atingiu o pico em 200 rodadas. Depois disso, ela estava apenas copiando. Então, eles interromperam o treinamento precocemente (em 200 rodadas) para mantê-la "fresca" e capaz de generalizar.

3. Os Resultados: Uma Melhoria Sólida

Ao interromper o treinamento cedo, a estudante melhorou significamente:

Antes do Treinamento: A estudante acertava cerca de 65% dos problemas da competição.
Após o Treinamento: Ela saltou para cerca de 69,4%.
O Bônus: Ela não ficou apenas melhor nesses problemas específicos; ela também melhorou em um outro benchmark matemático famoso chamado MATH-500, provando que ela realmente aprendeu a habilidade de raciocinar, não apenas as respostas.

4. O Experimento da "Contagem de Palavras"

Os pesquisadores queriam saber: Quanto "espaço de pensamento" a estudante precisa?
Eles forçaram a estudante a resolver problemas com limites estritos de quantas palavras ela poderia escrever (como um limite rigoroso de palavras em uma prova).

Sem Limite (R1): Ela escreveu cerca de 220 palavras e acertou 69%.
Limite Moderado (R2): Ela escreveu cerca de 120 palavras e caiu para 62%.
Limite Estrito (R6): Ela foi forçada a escrever apenas cerca de 31 palavras. Sua precisão despencou para 42%.

A Analogia: É como pedir a alguém para resolver um quebra-cabeça complexo. Se você der a ela um bloco de notas pequeno (poucas palavras), ela terá que pular etapas e adivinhar. Se ela tiver um caderno completo (muitas palavras), ela poderá escrever a lógica e acertar. O estudo descobriu que, para esses problemas difíceis, você precisa de aproximadamente 50 a 100 palavras de "espaço de pensamento" para obter uma boa resposta.

5. Onde Ela Teve Dificuldades

Velocidade vs. Lógica: A estudante foi mais fraca na seção "Two-Person Speed" da competição. Esses problemas exigiam cálculos rápidos de múltiplas etapas. Quando a contagem de palavras era apertada, ela não conseguia encaixar as etapas de cálculo necessárias, e sua precisão desabou mais do que em outras seções.
Erros de Formatação: Curiosamente, os pesquisadores descobriram que cerca de 40% dos erros da estudante não eram porque ela era ruim em matemática. Ela na verdade acertava o número, mas o escrevia de uma forma desorganizada (como deixar uma fração sem simplificar ou esquecer de colocar a resposta dentro de um quadro). Se um humano ou um script simples limpasse a escrita dela, sua pontuação teria sido ainda maior.

A Conclusão

Este artigo prova que você pode pegar uma IA gigante e poderosa e ensinar uma IA menor e mais barata a raciocinar através de problemas matemáticos de forma eficaz, mas apenas se você interromper o treinamento antes que ela comece a memorizar.

No entanto, há uma ressalva: Pensar exige espaço. Se você forçar a IA a ser muito concisa (poucas palavras), ela perde a capacidade de resolver problemas difíceis. O "ponto ideal" para esses tipos de competições matemáticas parece ser permitir que a IA tenha espaço suficiente para escrever cerca de 50 a 100 palavras de raciocínio.

Resumo Técnico: Destilação de Conhecimento de Grandes Modelos de Raciocínio para Modelos Estudantes Compactos

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) com capacidades avançadas de raciocínio matemático, como o DeepSeek-R1, frequentemente exigem recursos computacionais significativos, tornando a implantação local impraticável. Embora a Destilação de Conhecimento (KD) ofereça um caminho para transferir capacidades de raciocínio para modelos "estudantes" menores e mais eficientes, as pesquisas existentes baseiam-se predominantemente em benchmarks genéricos (ex: MATH-500, GSM8K) que podem sofrer de contaminação de dados de pré-treinamento. Há uma falta de compreensão sobre como a destilação performa em conjuntos de problemas especializados e curados por especialistas, com menores riscos de contaminação, e como restrições específicas, como orçamentos de tokens, afetam a qualidade do raciocínio destilado.

Metodologia

Os autores propõem um pipeline para destilar capacidades de raciocínio de um modelo professor grande para um modelo estudante compacto usando a Competição de Matemática John O'Bryan (2011–2025) como um corpus especializado.

1. Construção do Conjunto de Dados

Corpus: 671 problemas abrangendo 15 anos, categorizados em Freshman/Sophomore, Junior/Senior e Two-Person Speed.
Divisão (Split): Uma divisão cronológica foi empregada para evitar vazamento de dados (data leakage): 2011–2021 (Treinamento), 2022–2023 (Validação) e 2024–2025 (Teste).
Framework de Agente Duplo: Um processo de duas etapas usando a API do DeepSeek-R1:
- Agente 1 (Solver): Gera traços de raciocínio de Cadeia de Pensamento (CoT) passo a passo.
- Agente 2 (Verifier): Valida a saída do solver contra a resposta de referência (ground-truth), retornando um veredito CORRECT/INCORRECT.
- Apenas os traços verificados como corretos (594 de 651 tentativas) foram retidos para treinamento.

2. Arquitetura do Modelo e Treinamento

Professor (Teacher): DeepSeek-R1 (acessado via API).
Estudante (Student): Qwen2.5-7B-Instruct (quantizado em 4 bits).
Ajuste Fino (Fine-Tuning): A Adaptação de Baixo Rank (LoRA) foi aplicada usando o framework MLX em hardware Apple Silicon.
- Configuração: Rank $r=8$ , $\alpha=16$ , dropout $0.05$, visando módulos de projeção de query, key, value e output.
- Parâmetros: 11.534M de parâmetros treináveis (0,151% do total).
Protocolo de Treinamento:
- Execução Diagnóstica: Uma execução de 1.000 iterações identificou um overfitting severo, com a perda de validação minimizando na iteração 200 antes de subir.
- Execuções Finais: Cinco execuções de treinamento independentes foram executadas, cada uma limitada a 200 iterações com diferentes sementes aleatórias (42, 123, 256, 512, 999) para garantir estabilidade.
- Interrupção Antecipada (Early Stopping): Os modelos foram fundidos e avaliados com base no checkpoint de 200 iterações.

3. Estratégia de Avaliação

Métricas: Precisão da resposta (julgada pelo DeepSeek-R1 para lidar com formas matemáticas equivalentes) e perplexidade.
Generalização: Avaliação fora do domínio no benchmark MATH-500.
Experimento de Orçamento de Tokens: O modelo ajustado finamente foi avaliado sob seis níveis de raciocínio (R1–R6) com limites de tokens progressivamente restritos (de ilimitados até 100 tokens) para avaliar o impacto do comprimento da resposta na qualidade do raciocínio.

Principais Resultados

Ganhos de Desempenho

Modelo Base: O Qwen2.5-7B alcançou 64,67% de precisão no conjunto de teste da competição.
Modelo Destilado: O modelo ajustado via LoRA de 200 iterações alcançou uma precisão média de 69,43% ± 0,17%, um ganho de 4,76 pontos percentuais.
Estabilidade: O desvio padrão estreito (0,17 pp) entre as cinco sementes confirma que o ganho é robusto e não um artefato de inicialização.
Overfitting: Continuar o treinamento até 1.000 iterações resultou em menor precisão (67,59%) e maior perplexidade, confirmando que a interrupção antecipada é crítica para a destilação de corpora pequenos.

Generalização

No benchmark MATH-500, o modelo destilado melhorou de uma base de 70,1% para 73,1% ± 0,18%.
Os ganhos de desempenho foram desiguais entre as disciplinas: melhorias significativas foram vistas em Álgebra (93,5%) e Teoria dos Números (82,3%), que são bem representadas no corpus de treinamento, enquanto Álgebra Intermediária, Geometria e Pré-Cálculo mostraram desempenho mais fraco.

Impacto do Orçamento de Tokens

Comprimento vs. Precisão: Há um declínio consistente na precisão conforme os orçamentos de tokens diminuem.
- R1 (Ilimitado, ~220 palavras): 69,43%
- R6 (100 tokens, ~31,2 palavras): 41,9%
Limiar Crítico: A queda mais significativa ocorreu entre R3 (~~96 palavras) e R4 (~~55 palavras), sugerindo um limite inferior prático de 50–100 palavras para problemas de competição de múltiplos passos.
Sensibilidade de Seção: A seção "Two-Person Speed" foi a mais sensível à redução de tokens, caindo 34,5 pontos percentuais de R2 para R6, enquanto as seções conceituais (Freshman/Sophomore, Junior/Senior) foram mais robustas.

Análise de Erros

Uma análise qualitativa de 197 respostas incorretas revelou que 40% das falhas foram devidas a problemas de formatação ou extração (ex: LaTeX não renderizado, frações não reduzidas) em vez de erros de raciocínio matemático. Isso sugere que o pós-processamento poderia recuperar uma parte significativa desses erros sem necessidade de novo treinamento.

Significância e Alegações

O artigo afirma ser o primeiro estudo a aplicar a destilação de CoT ao corpus da Competição de Matemática John O'Bryan, oferecendo um ambiente controlado com baixo risco de contaminação. Suas principais contribuições são:

Demonstrar Viabilidade: Provar que a destilação de CoT via LoRA com interrupção antecipada pode transferir efetivamente capacidades de raciocínio de um modelo grande (DeepSeek-R1) para um modelo compacto (Qwen2.5-7B) em dados de domínio específico.
Quantificar Restrições: Estabelecer que o comprimento da resposta é um fator crítico para a qualidade do raciocínio matemático, identificando um piso prático de orçamento de tokens para problemas de múltiplos passos.
Rigor Metodológico: Destacar a necessidade de interrupção antecipada no ajuste fino de corpora pequenos e o valor da validação com múltiplas sementes para estabilidade.

Os autores mantêm um tom modesto, observando que o modelo ainda não está pronto para uso educacional totalmente autônomo devido à taxa de erro de ~30% e potenciais vieses do corpus de instituição única. Eles posicionam o modelo como uma ferramenta de rascunho para fluxos de trabalho humano-no-circuito (human-in-the-loop) e sugerem que trabalhos futuros foquem em corpora diversos e treinamento em traços de CoT comprimidos para melhorar o desempenho sob restrições rigorosas de tokens.