Resumo Técnico: Seleção Unificada de Dados para Raciocínio em LLM

Declaração do Problema

O avanço dos Modelos de Linguagem de Grande Escala (LLMs) em raciocínio complexo de Cadeia de Pensamento (CoT) longo e prolongado está atualmente limitado pela necessidade de volumes massivos de dados de treinamento de alta qualidade. Estratégias existentes de seleção de dados enfrentam dois desafios principais:

1. Custo Computacional: Métodos que dependem do treinamento de modelos auxiliares específicos para tarefas ou do uso de LLMs poderosos para filtrar dados incorrem em sobrecarga computacional substancial.
2. Limitações de Métricas: Métricas tradicionais, como comprimento da sequência, perplexidade ou entropia média de tokens, falham em distinguir amostras de raciocínio de alta qualidade em cenários de CoT longo. Essas métricas globais atribuem peso igual a todos os tokens, mascarando assim a estrutura multifacetada e multietapa do raciocínio complexo (planejamento, exploração, reflexão) e falhando em capturar os pontos críticos de decisão onde o modelo enfrenta incerteza.

O problema central é a falta de uma métrica robusta, eficiente e livre de treinamento capaz de distinguir rapidamente caminhos de raciocínio de alta qualidade daqueles de baixa qualidade em diferentes paradigmas de treinamento.

Metodologia

Os autores propõem a Soma de Alta Entropia (HES), uma métrica livre de treinamento projetada para quantificar a qualidade do raciocínio ao focar em informações críticas e de granularidade fina embutidas nas respostas de raciocínio.

A Métrica HES

A metodologia fundamenta-se na observação de que tokens de alta entropia — aqueles onde o modelo exibe alta incerteza — frequentemente correspondem a "pontos de bifurcação" críticos em um caminho de raciocínio onde decisões não triviais são tomadas.

• Definição: A HES é calculada somando-se os valores de entropia dos top $k\%$ (por exemplo, 0,5%) de tokens com maior entropia em uma resposta.
• Formulações:
  • HES$_{relativa}$: Utiliza um limiar baseado em percentil (por exemplo, os top 0,5% de tokens) para se adaptar a comprimentos de sequência variados e distribuições de modelos. Esta é a formulação principal utilizada.
  • HES$_{absoluta}$: Utiliza um limiar fixo de entropia (por exemplo, $\tau = 1,6$) para a soma.
• Racional: Diferentemente da entropia média, que dilui sinais críticos ao fazer a média sobre sequências longas, a HES isola a intensidade cumulativa de momentos pivotais de alta incerteza. A análise empírica (Figura 1) demonstra que, enquanto métricas de entropia média não conseguem distinguir entre amostras corretas e incorretas, a soma dos tokens de alta entropia fornece uma separação robusta.

Framework Unificado de Seleção de Dados

O artigo propõe uma estratégia unificada de seleção de dados aplicável a três paradigmas de treinamento dominantes:

1. Ajuste Fino Supervisionado (SFT): O conjunto de dados completo é classificado por pontuações HES. O modelo é treinado com o percentil superior-$\rho$ (por exemplo, top 20%) ou o conjunto de dados é podado removendo-se o inferior-$\rho$ (por exemplo, inferior 20%).
2. Ajuste Fino por Rejeição (RFT): Para cada consulta, múltiplas respostas candidatas são geradas. A HES é utilizada para selecionar as soluções corretas de maior qualidade, seja por consulta (selecionando os top-$k$ entre candidatos locais) ou globalmente (selecionando os top-$N$ de um pool global de trajetórias corretas).
3. Aprendizado por Reforço (RL): Os autores introduzem uma estratégia de amostragem assimétrica para a Otimização de Política Relativa em Grupo (GRPO). Eles priorizam a seleção das trajetórias positivas de maior HES (para incentivar o domínio de padrões complexos), mantendo ao mesmo tempo trajetórias negativas aleatórias (para garantir exposição a modos de erro diversos). Isso contrasta com a amostragem uniforme padrão ou atualizações de lote completo.

Contribuições Principais

1. Introdução da HES: Uma métrica novel e livre de treinamento que quantifica a qualidade do raciocínio analisando apenas os tokens de alta entropia nos caminhos de resposta, capturando efetivamente a complexidade cumulativa dos pontos críticos de decisão.
2. Framework Unificado de Seleção: Um método eficiente de seleção de dados compatível com os paradigmas SFT, RFT e RL, eliminando a necessidade de mecanismos de seleção separados e caros para cada um.
3. Transferibilidade de Pequeno para Grande: Demonstração de que um modelo proxy leve (por exemplo, 0,6B) pode filtrar dados efetivamente para modelos base maiores (por exemplo, 8B), reduzindo significativamente o custo de inferência da curadoria de dados offline sem comprometer a qualidade da seleção.

Resultados Experimentais

Extensos experimentos foram conduzidos nos domínios de Matemática, STEM e Código, utilizando benchmarks como AIME, HMMT, GPQA e LiveCodeBench.

• Desempenho SFT:
  • O treinamento com os top 20% dos dados classificados por HES alcançou desempenho comparável ao conjunto de dados completo em diversos domínios.
  • No cenário de "Desruído", a remoção dos bottom 20% dos dados classificados por HES melhorou o desempenho em relação ao conjunto de dados completo.
  • Por outro lado, o treinamento com os 20% de dados de menor HES resultou em degradação drástica do desempenho, validando a capacidade da métrica de identificar ruído prejudicial.
  • Eficiência: O uso de um modelo proxy de 0,6B para seleção produziu resultados (30,20% de média) comparáveis ao uso do próprio modelo de 8B (31,34% de média), reduzindo os custos de seleção em uma ordem de magnitude.
• Desempenho RFT:
  • A seleção baseada em HES superou significativamente a seleção aleatória e as bases heurísticas (comprimento, dificuldade) tanto em configurações por consulta quanto em pool global.
  • A seleção por consulta frequentemente produziu desempenho superior à seleção por pool global, sugerindo que manter a diversidade ao nível da consulta é crucial ao lado do filtro de qualidade.
• Desempenho RL:
  • A estratégia "Pos-Alta, Neg-Aleatória" (selecionando positivos de maior HES e negativos aleatórios) superou o treinamento padrão de lote completo e outras estratégias de amostragem.
  • Esta abordagem alcançou precisão superior (19,26% de média) utilizando apenas 50% dos dados por passo em comparação com a base de lote completo (18,34%), confirmando que priorizar sinais positivos de alta qualidade é mais eficaz do que aumentar o tamanho do lote com dados indiferenciados.
• Comparação de Métricas: A HES superou consistentemente métricas alternativas baseadas em entropia (Entropia Média, Alta Entropia Média, Soma Total de Entropia), confirmando que a magnitude cumulativa dos pontos críticos de bifurcação é o proxy mais eficaz para a qualidade do raciocínio.

Significado e Alegações

O artigo estabelece a HES como uma métrica robusta e livre de treinamento que permite um método unificado, eficaz e eficiente para desenvolver raciocínio avançado em LLMs. Os autores afirmam que:

• Eficiência: A HES permite seleção proxy escalável usando modelos pequenos em SFT offline e incorre em sobrecarga de armazenamento/computação negligenciável em configurações online de RFT e RL (já que a entropia pode ser calculada sincronamente durante a geração sem passagens forward extras).
• Eficácia: Ao focar nos "tokens minoritários de alta entropia", o método filtra com sucesso sinais redundantes e ruído de treinamento, permitindo que os modelos aprendam padrões de raciocínio fortes a partir de um subconjunto curado de dados.
• Generalizabilidade: O método é aplicável em diferentes arquiteturas de modelos (Qwen, Llama, DeepSeek) e domínios de raciocínio (Matemática, Código, STEM), sugerindo que a HES captura a complexidade intrínseca do raciocínio e não artefatos específicos do modelo.

O trabalho conclui que a HES fornece uma solução custo-efetiva para escalar as capacidades de raciocínio de LLMs, destacando o papel pivotal dos tokens críticos na seleção de dados e reduzindo o ônus computacional associado ao treinamento de modelos de raciocínio de alto desempenho.