Resumo Técnico: GRACE – Curadoria de Dados de Raciocínio Alinhada ao Gradiente para Pós-treinamento Eficiente

Declaração do Problema

Os pipelines existentes para curadoria de dados de raciocínio (Cadeia de Pensamento, CoT) geralmente operam no nível de amostra, atribuindo uma pontuação única a todo o traço de raciocínio com base em métricas como a correção da resposta final ou pontuações de modelos de recompensa. Essa abordagem trata cada etapa intermediária dentro de um traço como igualmente valiosa. No entanto, os traços de raciocínio são heterogêneos; algumas etapas apoiam diretamente a resposta final, enquanto outras reafirmam conteúdo, exploram tangentes irrelevantes ou introduzem ruído. O treinamento uniforme sobre tais traços desperdiça orçamento computacional em etapas de baixo valor e dilui a contribuição das úteis. Além disso, os métodos atuais carecem de um mecanismo para avaliar como etapas individuais de raciocínio contribuem para o processo de otimização, frequentemente ignorando os "papéis de otimização passo a passo" dentro de um traço.

Metodologia: GRACE

Os autores propõem o GRACE (Curadoria de Dados de Raciocínio Alinhada ao Gradiente para Pós-treinamento Eficiente), um método que desloca a granularidade da curadoria do nível de amostra para o nível de etapa. O GRACE vê um traço de raciocínio não como um alvo de supervisão estático, mas como uma sequência de eventos de otimização.

1. Utilidade de Otimização no Nível de Etapa

O GRACE define a utilidade de uma etapa de raciocínio com base em sua contribuição para otimizar um objetivo-alvo. Ele pontua cada etapa $k$ usando dois sinais complementares derivados da dinâmica de otimização interna do modelo:

• Alinhamento Orientado à Resposta ($A_{ans}^k$): Mede a similaridade de cosseno entre o gradiente induzido pela etapa atual ($g_k$) e o gradiente induzido pelo segmento da resposta final ($g_{ans}$). Isso determina se a etapa apoia construtivamente o objetivo final.
• Consistência da Trajetória ($A_{hist}^k$): Mede a similaridade de cosseno entre o gradiente da etapa atual e uma direção de referência histórica ($r_k$), que é uma média ponderada dos gradientes das etapas precedentes. Isso garante que a etapa mantenha coerência com a trajetória de raciocínio em evolução.

A pontuação final no nível de etapa é uma combinação ponderada:
$$\text{Score}_k = \alpha A_{ans}^k + (1-\alpha) A_{hist}^k$$
onde $\alpha$ equilibra os dois sinais. Essas pontuações de etapa são agregadas para calcular um valor no nível de amostra $V(z)$, que é usado para selecionar o subconjunto top-$\rho$ de dados.

2. Proxy de Gradiente no Nível de Representação

Um desafio primário é que o cálculo de gradientes verdadeiros no nível de etapa requer a decomposição de traços e a realização de passagens de retropropagação repetidas, o que é computacionalmente intratável em escala. Para abordar isso, o GRACE introduz um proxy de gradiente no nível de representação:

• Em vez de calcular gradientes no espaço de parâmetros ($\nabla_\theta L$), o método opera nos sinais a montante na interface de representação (os estados ocultos antes da projeção de saída).
• Para cada token $t$, um sinal a montante $u_t = W_{out}(p_t - y_t)$ é calculado, onde $p_t$ é a probabilidade prevista e $y_t$ é a verdade fundamental.
• Os gradientes no nível de etapa são aproximados pela média desses sinais no nível de token ($g_k = \frac{1}{|T_k|} \sum u_t$).
• Crucialmente, esse proxy permite a estimativa do alinhamento no nível de etapa usando apenas uma única passagem direta por amostra, evitando a retropropagação por etapa e a necessidade de modelos de recompensa externos ou anotações de etapa.

Contribuições Principais

1. Perspectiva Baseada em Otimização: O artigo reestrutura a curadoria de dados de raciocínio ao modelar traços como sequências de eventos de otimização, destacando que o alinhamento no nível de etapa com o objetivo-alvo e a trajetória é crítico para a aprendizagem eficaz.
2. Framework GRACE: Um método de curadoria inovador que agrega sinais de otimização no nível de etapa (alinhamento à resposta e consistência da trajetória) para seleção de subconjuntos de alta granularidade.
3. Proxy Escalável: O desenvolvimento de um proxy de gradiente no nível de representação que permite a valoração eficiente de dados no nível de etapa sem o custo computacional do cálculo de gradientes por etapa.

Resultados Experimentais

Os autores avaliaram o GRACE através do pós-treinamento do Qwen3-VL-2B-Instruct no conjunto de dados MMathCoT-1M (um corpus de raciocínio matemático multimodal em grande escala) e testes em diversos benchmarks, incluindo raciocínio matemático (MathVista, MathVision) e resposta visual a perguntas geral (HallusionBench, MMBench, MME).

• Desempenho vs. Volume de Dados:
  • Usando apenas 20% dos dados curados, o GRACE alcançou 108,8% do desempenho dos dados completos (média entre os benchmarks), superando significativamente o conjunto de dados completo e todas as linhas de base.
  • Usando apenas 5% dos dados, o GRACE manteve 100,2% do desempenho dos dados completos.
• Comparação com Linhas de Base: O GRACE superou consistentemente seletores heurísticos (Aleatório, Mais Longo, Stepmax) e métodos de seleção de dados baseados em gradiente de última geração (LESS, ICONS, CADC). Por exemplo, com 20% dos dados, o GRACE (108,8%) superou o CADC (102,6%) e o LESS (101,7%).
• Transferibilidade: Subconjuntos selecionados pelo GRACE usando um modelo de pontuação Qwen3-VL-2B transferiram-se efetivamente para outros backbones (Qwen2.5-VL-3B, LLaVA-1.5-7B, Qwen3-VL-8B), superando consistentemente suas respectivas linhas de base de dados completos. Isso sugere que o valor dos dados capturado é intrínseco à estrutura de raciocínio e não específico do modelo.
• Eficiência: O processo de extração do proxy é leve, exigindo apenas passagens diretas. Os autores relatam que a coleta de sinais para o pool de candidatos levou 6,5 horas em um único nó e 5,7 GB de armazenamento, evitando as passagens de retropropagação caras exigidas por métodos de projeção de gradiente.

Significado e Alegações

O artigo alega que o valor dos dados de raciocínio depende não apenas de indicadores externos de qualidade (correção, comprimento ou pontuações de preferência), mas de se as etapas intermediárias apoiam construtivamente a trajetória de otimização.

O GRACE demonstra que:

1. A granularidade no nível de etapa é essencial: Tratar traços de raciocínio como unidades indivisíveis ignora a utilidade variável das etapas intermediárias.
2. Sinais internos são suficientes: A curadoria de dados de alta qualidade pode ser alcançada usando apenas os sinais de otimização internos do modelo (gradientes/proxies) sem modelos de recompensa externos ou anotações humanas.
3. Eficiência e Desempenho: A curadoria consciente da otimização permite que os modelos igualem ou superem o desempenho de dados completos usando uma fração dos dados de treinamento, reduzindo substancialmente os custos de pós-treinamento (horas de GPU) enquanto mantém ou melhora as capacidades a jusante.

Os autores notam limitações, incluindo a dependência de uma configuração fixa de modelo de pontuação e o foco atual em dados de CoT multimodal, sugerindo que trabalhos futuros poderiam estender esses princípios para raciocínio puramente linguístico ou pós-treinamento baseado em aprendizado por reforço.