🤖 machine learning

Capacity-Dependent Effects of Data Selection for Reasoning

Este artigo demonstra que a eficácia da seleção de dados baseada em verossimilhança para o ajuste fino de raciocínio é dependente da capacidade, onde dados de alta verossimilhança beneficiam modelos menores com ganhos iniciais mais rápidos, enquanto dados de baixa verossimilhança proporcionam um desempenho superior a longo prazo para modelos maiores.

Autores originais: Cuong Dang, Hoang Anh Just, Ruoxi Jia

Publicado 2026-08-17

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Cuong Dang, Hoang Anh Just, Ruoxi Jia

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um robô a resolver um problema matemático difícil. Você tem um professor superinteligente que consegue resolvê-lo perfeitamente, mas também tem um aluno que está apenas começando. No mundo da inteligência artificial, isso é chamado de "destilação". O objetivo é pegar o conhecimento de um modelo gigante e poderoso (o professor) e encolhê-lo em um modelo menor e mais rápido (o aluno) para que ele possa rodar em dispositivos comuns. Mas aqui está o detalhe: o professor pode gerar muitas maneiras diferentes de resolver o mesmo problema. Algumas respostas são simples e se parecem muito com o que o aluno teria adivinhado por conta própria. Outras são complexas, selvagens e muito diferentes do pensamento atual do aluno.

Por muito tempo, os pesquisadores acreditaram que a melhor maneira de ensinar o aluno era mostrar as respostas que fossem mais fáceis para ele entender — aquelas que pareciam familiares. Parecia lógico: se você tentar ensinar cálculo avançado para um iniciante usando física avançada, eles podem ficar confusos e desistir. Mas um novo estudo sugere que essa regra do "fácil é melhor" pode ser uma armadilha. O verdadeiro segredo não é tornar as coisas fáceis; é sobre combinar a dificuldade da lição com o tamanho do cérebro do aluno. Se o aluno for minúsculo, lições fáceis funcionam bem. Mas se o aluno for enorme e poderoso, eles realmente precisam das lições difíceis e confusas para atingirem seu pleno potencial. Este artigo explora exatamente como escolher as lições certas para o robô certo, garantindo que não desperdiçamos tempo ou poder de computação.

Os pesquisadores por trás deste estudo, Cuong Dang, Hoang Anh Just e Ruoxi Jia, propuseram-se a testar uma ideia popular chamada "seleção baseada em verossimilhança". Em termos simples, "verossimilhança" é apenas uma pontuação que nos diz quão provável é um modelo dizer uma frase específica. Se um modelo pensa: "Eu definitivamente diria isso", essa é uma resposta de alta verossimilhança. Se ele pensa: "Eu nunca diria isso", essa é uma resposta de baixa verossimilhança. O artigo investiga uma questão específica: Devemos sempre treinar nossos alunos de IA usando as respostas de alta verossimilhança (aquelas que parecem familiares), ou devemos às vezes forçá-los a aprender com as respostas de baixa verossimilhança (aquelas que parecem estranhas e difíceis)?

Para encontrar a resposta, a equipe realizou uma série de experimentos usando problemas matemáticos como seu campo de recreação. Eles pegaram um enorme conjunto de questões matemáticas e fizeram com que modelos "professores" poderosos gerassem várias soluções diferentes para cada uma delas. Em seguida, treinaram modelos "alunos" de vários tamanhos — variando de muito pequenos (1,5 bilhão de parâmetros) até bastante grandes (8 bilhões de parâmetros) — usando duas estratégias diferentes. Um grupo de alunos viu apenas as respostas "fáceis" (alta verossimilhança), enquanto o outro grupo viu apenas as respostas "difíceis" (baixa verossimilhança). Eles observaram como esses alunos performavam ao longo do tempo, verificando suas pontuações em vários benchmarks de matemática como AIME, AMC e MATH.

O que eles descobriram foi um padrão fascinante que depende inteiramente do tamanho do cérebro do aluno. Para os modelos menores, a estratégia "fácil" foi uma vencedora clara. Esses alunos pequenos aprenderam de forma rápida e constante quando recebiam respostas próximas ao que já sabiam. Quando eram forçados a olhar para as respostas "difíceis", eles se perdiam. Eles começavam a repetir a pergunta repetidamente, ou apenas copiavam a resposta sem entender os passos, falhando em melhorar. Era como se estivessem tentando escalar uma montanha, mas não tivessem pernas para dar o primeiro passo; eles apenas escorregavam de volta.

No entanto, a história mudou completamente para os modelos maiores e mais poderosos. Esses alunos grandes começaram indo melhor com as respostas "fáceis", assim como os pequenos. Mas, conforme o treinamento continuava, algo mágico acontecia. Os alunos treinados nas respostas "difíceis" começaram a alcançar e, eventualmente, ultrapassar os outros. Enquanto o grupo "fácil" atingiu um teto e parou de melhorar, o grupo "difícil" continuou subindo. Eles foram capazes de absorver o raciocínio complexo e unfamiliar e usá-lo para resolver problemas que antes não conseguiam tocar. Os pesquisadores chamam isso de padrão "Fast-Fit / Slow-Gain" (Ajuste Rápido / Ganho Lento). Os modelos pequenos fazem o "fast-fit" nos dados fáceis e param ali, enquanto os modelos grandes experimentam um "slow-gain", onde os dados difíceis eventualmente levam a habilidades de raciocínio muito mais fortes.

O artigo sugere que não existe uma única maneira "melhor" de escolher os dados de treinamento. Tudo depende do orçamento de computação e do tamanho do modelo. Se você tem um modelo pequeno ou tempo limitado, atenha-se aos dados de alta verossimilhança, fáceis de aprender. É eficiente e traz resultados rápidos. Mas se você tem um modelo grande e paciência para treiná-lo por um longo tempo, você deve abraçar os dados de baixa verossimilhança, difíceis. É como um maratonista: um iniciante precisa de um caminho plano e fácil para construir confiança, mas um atleta de elite precisa das trilhas íngremes e rochosas para quebrar seu recorde pessoal.

Os autores sustentam isso tanto com experimentos do mundo real quanto com um framework teórico. Eles mostraram que os modelos pequenos simplesmente carecem de "capacidade" para entender o abismo entre seu conhecimento atual e as respostas complexas do professor. Os dados difíceis estão longe demais, e o modelo pequeno não consegue construir a ponte para atravessar esse espaço. Mas os modelos grandes têm "espaço" suficiente em seus cérebros para se esticarem e aprenderem com essa distância. O artigo conclui que a seleção de dados para o raciocínio não deve ser uma regra de tamanho único. Em vez disso, deve ser um equilíbrio cuidadoso: combine a dificuldade da lição com a capacidade do aprendiz, e você obterá os melhores resultados.

Resumo Técnico: Efeitos da Seleção de Dados Dependentes de Capacidade para Raciocínio

Declaração do Problema

No ajuste fino supervisionado (SFT) de Grandes Modelos de Linguagem (LLMs) para tarefas de raciocínio, surge um desafio crítico devido à heterogeneidade das respostas candidatas para uma única instrução. Mesmo quando geradas por modelos professores fortes, as respostas variam significativamente em quão bem se alinham com a distribuição atual do modelo aluno. Trabalhos recentes, como o GRAPE (Zhang et al., 2025), propuseram selecionar respostas de alta probabilidade (aquelas mais próximas da política atual do aluno) para garantir uma otimização estável. Por outro lado, a literatura tradicional de aprendizado ativo e seleção de dados frequentemente defende exemplos de baixa probabilidade (difíceis) para impulsionar os modelos além de suas capacidades atuais.

Este artigo investiga um conflito fundamental: Será que dados de alta probabilidade produzem universalmente o melhor desempenho de raciocínio, ou sua eficácia depende da capacidade do modelo aluno e da duração do treinamento? Os autores desafiam a suposição de que dados "fáceis" (alta probabilidade) são sempre preferíveis, postulando que o valor da seleção baseada em probabilidade é contingente ao fato de o aluno possuir capacidade representacional suficiente para absorver a supervisão desafiadora.

Metodologia

Os autores conduzem experimentos controlados através de um espectro de escalas de modelos e durações de treinamento para isolar os efeitos da probabilidade dos dados e da capacidade do modelo.

Datasets e Modelos: Os experimentos utilizam o dataset MATH12K. Modelos professores (Qwen2.5-72B e Gemma-3-27B-it) geram múltiplas respostas candidatas para cada instrução. Os modelos alunos variam de 1.5B a 8B de parâmetros, incluindo várias famílias Qwen e Llama.
Estratégias de Seleção: Dois datasets distintos são construídos para cada instrução:
- $D_{high}$ : Respostas com a maior log-probabilidade sob o modelo aluno base.
- $D_{low}$ : Respostas com a menor log-probabilidade sob o modelo aluno base.
Protocolo de Treinamento: Os modelos passam por SFT de parâmetro total por 5 épocas. O desempenho é avaliado usando pass@1 em 10 benchmarks diversificados de raciocínio matemático (ex: AIME, AMC, GPQA, MATH).
Análise: O estudo analisa a dinâmica de aprendizado através de duas lentes:
1. Visão do Professor: Medindo a log-probabilidade das saídas do aluno sob o modelo professor para avaliar o alinhamento com a distribuição do professor.
2. Visão do Modelo Original: Medindo a log-probabilidade das saídas do aluno sob o próprio modelo base do aluno para avaliar o deslocamento de distribuição.
Estrutura Teórica: Os autores fornecem uma análise teórica de destilação com restrição de capacidade usando classificadores lineares. Eles modelam o espaço de parâmetros viável do aluno como um subespaço e analisam como o fluxo de gradiente transfere conhecimento do professor para o aluno com base na projeção do span dos dados sobre este subespaço.

Resultados Principais

1. O Padrão "Fast-Fit / Slow-Gain" (Ajuste Rápido / Ganho Lento)

Os experimentos revelam uma dicotomia clara de dependência de capacidade na dinâmica de aprendizado:

Modelos Pequenos (ex: 1.5B, 3B): Dados de alta probabilidade proporcionam uma vantagem inicial distinta ("Fast-Fit"). Estes modelos alcançam melhorias rápidas e estáveis e frequentemente atingem seu pico de desempenho precocemente. Dados de baixa probabilidade falham em fornecer ganhos significativos; os modelos lutam para absorver a supervisão, resultando frequentemente em saídas repetitivas ou superficiais que não melhoram as capacidades de raciocínio.
Modelos Grandes (ex: 7B, 8B): Embora os dados de alta probabilidade ainda ofereçam fortes ganhos iniciais, os dados de baixa probabilidade demonstram uma trajetória de "Slow-Gain" (Ganho Lento). Inicialmente atrasados, estes modelos eventualmente superam o desempenho daqueles treinados com dados de alta probabilidade dada uma duração de treinamento suficiente (ex: após 2–5 épocas). Os dados de baixa probabilidade empurram os modelos grandes em direção à distribuição do professor, desbloqueando capacidades de raciocínio mais fortes que os dados de alta probabilidade não conseguem acessar.

2. Dinâmica de Aprendizado e Deslocamento de Distribuição

Alinhamento com o Professor: Modelos pequenos treinados em dados de baixa probabilidade falham em se aproximar da distribuição do professor, às vezes desviando-se ainda mais. Em contraste, modelos maiores reduzem com sucesso a perda do professor quando treinados em dados de baixa probabilidade, indicando uma transferência de conhecimento eficaz.
Estabilidade: Modelos pequenos exibem dinâmicas de treinamento instáveis e deslocamentos de distribuição quando expostos a dados de baixa probabilidade, muitas vezes revertendo à repetição mecânica. Modelos maiores adaptam-se de maneira mais estável e focada, atravessando com sucesso o landscape de otimização para atingir picos globais mais altos.

3. Insights Teóricos

A análise teórica formaliza estas observações. Ela postula que a transferência de conhecimento é limitada pela interseção do span dos dados (o que os dados revelam sobre o professor) e o espaço de parâmetros viável do aluno (o que o aluno pode representar).

Para alunos de alta capacidade, o espaço viável é grande o suficiente para capturar a lacuna de conhecimento exposta pelos dados difíceis (baixa probabilidade).
Para alunos de baixa capacidade, o espaço viável é um subespaço estrito. Se o conhecimento exposto pelos dados de baixa probabilidade estiver fora deste subespaço, o aluno não consegue aprendê-lo, tornando a supervisão ineficaz. Dados de alta probabilidade, sendo mais próximos da representação atual do aluno, residem dentro deste espaço viável, permitindo uma melhoria incremental, porém limitada.

Contribuições Principais

Seleção de Dados Dependente de Capacidade: O artigo demonstra que dados de alta probabilidade não são universalmente ótimos. A eficácia da seleção baseada em probabilidade é governada por uma interação entre a distribuição dos dados, a capacidade do modelo e o orçamento computacional.
Análise de Dinâmica de Aprendizado: Os autores caracterizam o fenômeno "Fast-Fit / Slow-Gain", mostrando que modelos pequenos se beneficiam de dados fáceis para convergência rápida, enquanto modelos grandes requerem dados difíceis para expansão de capacidade a longo prazo.
Estrutura Teórica: Desenvolve-se uma visão de destilação com restrição de capacidade, mostrando que a transferência bem-sucedida requer que o conhecimento do professor exposto resida dentro do subespaço representável do aluno. Isso explica por que os dados de baixa probabilidade falham para modelos pequenos, mas têm sucesso para modelos grandes.

Significância e Alegações

O artigo conclui que as estratégias de seleção de dados para raciocínio não devem ser tratadas como uma regra única para todos. Em vez disso, os praticantes devem considerar as restrições específicas de sua configuração:

Para modelos pequenos ou orçamentos computacionais limitados: Dados de alta probabilidade são preferíveis para alcançar melhorias iniciais rápidas, estáveis e eficientes.
Para modelos grandes com orçamentos de treinamento suficientes: Dados de baixa probabilidade tornam-se cada vez mais valiosos, oferecendo o potencial para um desempenho final significativamente superior ao empurrar o modelo em direção à distribuição do professor.

Os autores enfatizam que a "melhor" estratégia de seleção de dados é dependente de contexto, determinada conjuntamente pela capacidade do aluno e pela duração de treinamento disponível. Este trabalho refina a compreensão da destilação e da engenharia de dados, indo além de heurísticas simples para uma abordagem mais matizada e consciente da capacidade.