Resumo Técnico: O Paradoxo Qualidade-Utilidade no Raciocínio Matemático de Modelos Pequenos

Declaração do Problema

O paradigma predominante para o treinamento de Pequenos Modelos de Linguagem (SLMs) em raciocínio matemático baseia-se na destilação de conhecimento de modelos "Oráculo" mais fortes. A suposição padrão é que traços de raciocínio com pontuações de modelo de recompensa mais altas — indicando maior qualidade, rigor ou correção percebida — fornecem uma supervisão superior para o SLM alvo. No entanto, este artigo identifica um fenômeno contraintuitivo denominado Paradoxo Qualidade-Utilidade: dados de treinamento refinados ou sintetizados por um Oráculo poderoso, apesar de alcançarem pontuações de recompensa significativamente mais altas, apresentam consistentemente um desempenho inferior em comparação com os traços gerados pelo próprio SLM e selecionados via amostragem de rejeição (RFT).

O problema central não é que o refinamento pelo Oráculo seja intrinsecamente prejudicial, mas que os critérios atuais de seleção de dados confundem dois efeitos distintos:

1. Reparo Lógico: A melhoria dos passos de raciocínio e da correção.
2. Deriva Distribucional: O deslocamento do traço de raciocínio para longe da distribuição nativa do SLM, frequentemente manifestando-se como "Compactação Sintática" (por exemplo, substituindo espaçamentos naturais e delimitadores verbais por operadores simbólicos densos).

Essa deriva aumenta o custo de adaptação do modelo alvo, o que pode superar os benefícios de uma apresentação lógica aprimorada.

Metodologia

Os autores estabelecem um framework experimental controlado para isolar o impacto da representação de dados da dificuldade do problema.

• Construção de Dados: Utilizando um conjunto de problemas fixo derivado do dataset NuminaMath, quatro fluxos de dados paralelos são construídos:
  1. SLM-RFT: Soluções válidas geradas pelo próprio SLM (ex: Qwen2.5-Math-1.5B) e filtradas via um processo conservador para remover artefatos enquanto preserva o estilo nativo.
  2. Oracle-Refined (Refinado pelo Oráculo): Soluções do SLM-RFT reescritas por um Oráculo poderoso (GPT-5.2) para reparar a lógica e a formatação.
  3. Oracle-Synthesized (Sintetizado pelo Oráculo): Soluções geradas do zero pelo Oráculo.
  4. Subconjunto NuminaMath: Soluções de verdade fundamental (ground-truth) recuperadas via correspondência reversa.
• Paradigmas de Treinamento: Os experimentos utilizam tanto o Ajuste Fino Supervisionado (SFT) padrão quanto o Ajuste Fino Dinâmico (DFT) para garantir que as descobertas não sejam artefatos de um objetivo de otimização específico.
• Avaliação: Os modelos são avaliados em um espectro de benchmarks matemáticos (MATH500, AIME24, AMC23, Minerva, OlympiadBench) usando a precisão Avg@16. A qualidade percebida é medida através de múltiplos modelos de recompensa (Qwen2.5-Math-RM, Skywork-Reward, Nemotron-Reward).
• Análise de Mecanismo:
  • Deslocamento da Distribuição de Tokens: A análise das frequências de unigramas revela que o refinamento pelo Oráculo suprime tokens de "andaime nativo" (ex: barras invertidas com espaço, delimitadores naturais como "the" ou "of") em favor de operadores densos e sem espaços.
  • Perplexidade (PPL): Usada como um proxy para o custo de adaptação. Uma PPL mais baixa indica maior compatibilidade entre a distribuição de dados de treinamento e a distribuição nativa do modelo alvo.
  • Preservação Semântica: Um protocolo de LLM-como-Juiz avalia o quão estritamente as soluções candidatas preservam os átomos informacionais da trajetória original do SLM, independentemente da formatação.
• Intervenção: Os autores introduzem o Refinamento Alinhado ao Estilo (Style-Aligned Refinement), uma intervenção baseada em prompts onde o Oráculo é instruído a corrigir erros lógicos enquanto emula estritamente o estilo linguístico e o espaçamento nativos do SLM.

Principais Contribuições

1. Identificação do Paradoxo Qualidade-Utilidade: O artigo demonstra que, na destilação de raciocínio matemático, dados com pontuações de modelo de recompensa mais altas podem resultar em desempenho downstream inferior em comparação com dados gerados pelo próprio aprendiz.
2. Mecanismo de Deriva Distribucional: Os autores mostram que o refinamento pelo Oráculo introduz um problema de compatibilidade onde o reparo lógico é acoplado a uma mudança na forma de representação (compactação sintática). Isso aumenta o custo de adaptação do SLM alvo, como evidenciado pela maior perplexidade e menor utilidade downstream.
3. Refinamento Alinhado ao Estilo: O artigo propõe e valida uma intervenção que desacopla a retificação lógica da deriva estilística. Ao preservar a trajetória nativa do SLM enquanto mantém os reparos lógicos, este método reduz o custo de adaptação e restaura a utilidade downstream.

Resultados

• Descompasso de Desempenho: Sob SFT e DFT, os dados SLM-RFT (menores pontuações de recompensa, ex: 1.47) superaram consistentemente os dados Oracle-Refined (pontuações mais altas, ex: 1.70) e Oracle-Synthesized (pontuações mais altas, ex: 1.88). Por exemplo, no modelo Qwen2.5-Math-1.5B com DFT, o SLM-RFT alcançou 37.06% de precisão Avg@16, enquanto o Oracle-Refined alcançou 34.06% e o Oracle-Synthesized 30.02%.
• Robustez: O paradoxo se mantém através de diferentes escalas de modelos (1.5B, 3B, 7B), famílias de modelos (Qwen, LLaMA, DeepSeek) e hiperparâmetros de treinamento.
• Custo de Adaptação: Os dados Oracle-Refined exibiram uma Perplexidade Global significativamente maior (1.85) comparada ao SLM-RFT (1.52), indicando um fardo maior para o modelo se adaptar à nova distribuição. A fase Q1 (iniciação) mostrou a perda de atribuição mais significativa para marcadores sintáticos (ex: \( ) nos dados do Oráculo versus iniciadores de linguagem natural (ex: "To", "the") nos dados do SLM.
• Sucesso da Intervenção: O refinamento Style-Aligned (Qwen) alcançou a menor perplexidade (1.46, até mesmo menor que o SLM-RFT nativo) e a maior precisão downstream (39.12%), superando todos os baselines. Notavelmente, estes dados de alto desempenho receberam as menores pontuações de recompensa (1.37), reforçando o descompasso entre a percepção do modelo de recompensa e a capacidade de aprendizado.
• Validação Cruzada de Modelos: O paradoxo foi confirmado através de três modelos de recompensa diferentes, indicando que a subvalorização de traços de distribuição nativa é um problema sistêmico na modelagem de recompensa atual, não específico de um único avaliador.

Significância e Alegações

O artigo alega que a destilação eficaz de raciocínio matemático para SLMs deve otimizar conjuntamente a qualidade percebida da solução e a compatibilidade entre o aprendiz e os dados. Confiar apenas em pontuações de modelos de recompensa para selecionar dados de treinamento é insuficiente e potencialmente prejudicial.

Os autores argumentam que o "Paradoxo Qualidade-Utilidade" surge porque modelos mais fortes frequentemente expressam o raciocínio reparado através de representações que são eficientes para eles mesmos ou preferidas por modelos de recompensa (sintaxe densa e compacta), mas que são custosas para modelos menores alvos imitarem e internalizarem. O estudo sugere que a compatibilidade distribucional — especificamente a preservação da trajetória de raciocínio nativa do aprendiz — é um fator crítico e frequentemente negligenciado na destilação.

As descobertas implicam que futuras estratégias de destilação devem priorizar intervenções que alinhem as propriedades estilísticas e sintáticas da saída do professor com a distribuição nativa do aluno, em vez de maximizar apenas a qualidade lógica bruta ou as pontuações de recompensa de forma isolada. O trabalho é modesto em escopo, focando no raciocínio matemático dentro do regime de SLM, e reconhece que a generalização para modelos maiores ou domínios não matemáticos permanece uma questão em aberto.