Resumo Técnico: Atribuição em Nível de Segmento para Aprendizado Seletivo de Traços de Raciocínio Longos

Declaração do Problema

Modelos de Raciocínio de Grande Escala (LRMs) alcançam alto desempenho gerando cadeias de pensamento (CoTs) estendidas. No entanto, esses traços frequentemente sofrem de redundância significativa, onde apenas uma pequena fração dos tokens contribui significativamente para a resposta final, enquanto a maioria consiste em conteúdo repetitivo, pensamentos truncados ou elaborações verbosas, mas não informativas. Essa redundância é problemática porque o Ajuste Fino Supervisionado (SFT) em tais traços verbosos faz com que os modelos imitem padrões ineficientes, desperdiçando capacidade de aprendizado em continuações triviais e potencialmente degradando o desempenho do raciocínio.

Métodos existentes para identificar partes importantes do raciocínio enfrentam limitações:

• A análise em nível de token frequentemente negligencia a integridade semântica e falha em interpretar a redundância em termos de unidades de raciocínio significativas.
• Métricas indiretas em nível de segmento (ex: perplexidade ou entropia) são propensas a falsos positivos (supervalorização de textos de suporte superficiais) e falsos negativos (filtragem de etapas de verificação independentes que possuem baixa entropia, mas são cruciais para a precisão).
• Abordagens baseadas em poda (pruning) que comprimem a supervisão da CoT muitas vezes comprometem a precisão do raciocínio.

Metodologia

O artigo propõe um framework de aprendizado seletivo em nível de segmento que utiliza a atribuição de Gradiente Integrado (IG) para quantificar a influência de segmentos de raciocínio na previsão da resposta final.

1. Métricas de Importância de Segmento

Os autores particionam CoTs longas em segmentos usando palavras-chave de transição (ex: "Espere", "Alternativamente"). Eles então agregam atribuições de IG em nível de token em duas métricas em nível de segmento:

• Força de Atribuição: Mede a magnitude geral da influência de um segmento na previsão do modelo. É calculada como a soma dos valores absolutos de IG dentro de um segmento, normalizada pela raiz quadrada do comprimento do segmento para evitar o viés em direção a segmentos mais longos.
• Consistência de Direção de Atribuição: Captura se as atribuições de um segmento são uniformemente positivas/negativas ou uma mistura de ambas. É definida como a razão entre a soma absoluta das atribuições de IG com sinal e a soma das atribuições de IG em valor absoluto.
  • Alta Consistência: Indica raciocínio raso ou enviesado (ex: esclarecimentos superficiais ou distorções severas).
  • Consistência Moderada: Indica raciocínio reflexivo onde o modelo explora possibilidades, refina a compreensão e elimina conteúdo incorreto.

2. Identificação de Segmentos Importantes

O framework identifica segmentos "importantes" com base em um critério duplo de limiar:

1. Alta Força: Os segmentos são classificados por força de atribuição normalizada. Os $k$ principais segmentos são selecionados de modo que sua força cumulativa exceda um limiar $\tau$ (ex: 80% da atribuição total).
2. Consistência Moderada: Entre os segmentos de classificação superior, aqueles com consistência de direção abaixo de um limiar $\beta$ (ex: 0,8) são retidos. Isso filtra segmentos que possuem alta força, mas exibem extrema uniformidade (indicando raciocínio raso).

3. SFT Seletivo

Em vez de comprimir a CoT (o que interrompe a coerência) ou treinar no traço completo (que inclui ruído), o framework aplica o SFT Seletivo.

• A função de perda é computada apenas nos tokens pertencentes aos segmentos importantes identificados.
• A perda para tokens em segmentos não importantes é mascarada.
• Isso atua como uma regularização implícita, impedindo que o modelo sofra overfitting em conteúdo não informativo, enquanto preserva a coerência de todo o trajeto durante a inferência.

Principais Resultados

Experimentos foram conduzidos em múltiplos modelos (R1-Distill-Qwen-1.5B, 7B, e Qwen2.5-7B-Instruct) e conjuntos de dados (MATH500, AMC23, AIME24, GPQA, Minerva, OlympiadBench).

• Melhorias de Precisão: O método proposto superou consistentemente o SFT de CoT Total padrão. Sob decodificação gulosa (greedy decoding), alcançou ganhos de precisão de até 4,7% (ex: no R1-Distill-Qwen-1.5B).
• Ganhos de Eficiência: A abordagem reduziu significativamente o comprimento da saída, com reduções de tokens de até 18,2% em comparação ao SFT de CoT total, mantendo ou melhorando o desempenho.
• Estudos de Ablação:
  • Segmento vs. Nível de Token: A seleção em nível de segmento superou a seleção em nível de token (baseada em IG ou amostragem aleatória), demonstrando que preservar unidades de raciocínio mantém a coerência melhor.
  • Comparação de Métricas: O critério de força-consistência baseado em IG superou medidas de importância alternativas, como "Primeira Solução Correta", "Ganho de Confiança", "Perplexidade de Segmento" e "Entropia de Segmento".
  • Poda vs. Aprendizado Seletivo: Quando aplicado à poda (removendo segmentos não importantes inteiramente), o método baseado em IG manteve melhor desempenho do que outras estratégias de poda, embora os autores notem que o SFT Seletivo (mascaramento de perda) é superior à poda para preservar a precisidade.

Significância e Alegações

O artigo afirma fornecer um método fundamentado para distinguir segmentos de raciocínio verdadeiramente importantes de várias formas de redundância (repetição, truncamento, esclarecimento superficial). Ao utilizar o Gradiente Integrado, o método captura influências diretas e indiretas das etapas de raciocínio, abordando as limitações de métricas indiretas como a perplexidade.

A principal contribuição é um framework de aprendizado seletivo em nível de segmento que permite que os modelos aprendam de forma mais eficaz a partir de traços de raciocínio longos. Os autores afirmam que esta abordagem:

1. Melhora simultaneamente a eficácia do raciocínio e a eficiência da saída.
2. Evita a degradação da precisão tipicamente associada à compressão ou poda de CoT.
3. Oferece um potencial de aplicação mais amplo em outros contextos, como enfatizar atualizações de política de gradiente em conteúdo direcionado no aprendizado por reforço.

O trabalho sugere que nem todas as etapas de raciocínio são igualmente valiosas; ao focar os sinais de aprendizado em segmentos com alta força de atribuição e consistência de direção moderada (indicativa de raciocínio reflexivo), os modelos podem alcançar melhor desempenho com menos tokens.