Resumo Técnico: Dinâmicas de Estado Oculto de Único Rollout para Seleção de Dados RLVR sem Treinamento

Formulação do Problema

O artigo aborda o gargalo crítico no Aprendizado por Reforço com Recompensas Verificáveis (RLVR): a seleção de instâncias de treinamento de alto impacto a partir de um grande pool não rotulado. Embora o RLVR seja conhecido por ser altamente eficiente em termos de dados — potencialmente gerando ganhos significativos de raciocínio a partir de muito poucos exemplos —, seu desempenho é extremamente sensível a quais exemplos são escolhidos.

Os pipelines de seleção de dados existentes normalmente dependem de:

1. Sinais de tempo de treinamento: Executar ajuste fino parcial ou RL sobre um pool de candidatos para observar dinâmicas de otimização (por exemplo, trajetórias de recompensa, variância de gradiente).
2. Dependências de verdade fundamental: Acesso a recompensas verificáveis ou respostas corretas para todo o pool de candidatos para classificar as instâncias.

Esses requisitos são frequentemente inviáveis em domínios especializados e de baixo recurso (por exemplo, QA médica), onde anotações são custosas e executar treinamento experimental em milhares de candidatos é computacionalmente desperdiçado. Os autores formalizam um regime pré-RL onde a seleção deve ser realizada em um grande pool não rotulado sem qualquer rótulo de verdade fundamental, recompensas verificáveis ou sinais de otimização de tempo de treinamento.

Metodologia: SHIFT

Os autores propõem o SHIFT, um seletor de um único tiro, sem treinamento e sem rótulos. O SHIFT aproveita as dinâmicas de estado oculto em tempo de inferência para estimar a utilidade de uma instância para RLVR a jusante sem realizar qualquer treinamento.

Mecanismo Central: Deslocamento de Representação Induzido por Raciocínio (RIRS)

A hipótese central é que as dinâmicas internas de um modelo durante uma trilha de raciocínio codificam seu potencial de aprendizado.

1. Único Rollout Determinístico: Para cada instância candidata $x$, o SHIFT executa uma única trilha de raciocínio determinística usando decodificação gulosa ($T=0$).
2. Extração de Âncora: Identifica os estados ocultos no início ($s(x)$) e no final ($e(x)$) da trilha de raciocínio (especificamente, o início e o fim do segmento de Cadeia de Pensamento).
3. Cálculo do RIRS: O Deslocamento de Representação Induzido por Raciocínio é calculado como a diferença entre esses estados:
   $$\Delta(x) = e(x) - s(x)$$
   A magnitude $\|\Delta(x)\|_2$ serve como um proxy leve para a utilidade (informatividade) da instância, hipotetizando que deslocamentos maiores indicam um engajamento mais forte da computação interna do modelo.

Algoritmo de Seleção: CoreSet de Mais Longe Primeiro Ponderado por Qualidade

Para garantir que o subconjunto selecionado seja tanto de alta qualidade quanto diversificado, o SHIFT emprega uma estratégia de seleção gulosa em um espaço de recursos aumentado:

1. Construção de Recursos: Cada instância é representada por um vetor concatenado $\phi(x) = [s(x); \Delta(x)]$, normalizado para a esfera unitária. Isso captura tanto o contexto inicial ($s(x)$) quanto a transformação de raciocínio ($\Delta(x)$).
2. Pontuação de Utilidade: Uma pontuação de utilidade $\tilde{q}(x)$ é derivada da magnitude do RIRS (transformada em log para estabilidade).
3. Seleção Gulosa:
   • Inicialize o conjunto $S$ com a instância que possui a maior utilidade.
   • Selecione iterativamente a próxima instância $x^*$ que maximiza o produto de sua utilidade e sua distância ao conjunto atual:
     $$x^* = \arg\max_{x \in U \setminus S} \tilde{q}(x) \cdot \min_{x' \in S} \|\phi(x) - \phi(x')\|_2$$
     Isso equilibra informatividade (alto RIRS) com cobertura (diversidade no espaço aumentado por RIRS).

Contribuições Principais

1. Formalização do Problema: Definição do problema de seleção de dados RLVR em um cenário estrito pré-RL onde nenhum rótulo, recompensa ou sinal de treinamento está disponível durante a seleção.
2. Framework SHIFT: Introdução de um seletor sem treinamento baseado em dinâmicas de estado oculto em tempo de inferência, especificamente a métrica RIRS.
3. Inovação Algorítmica: Desenvolvimento de um algoritmo CoreSet de único rollout, ponderado por qualidade e de mais longe primeiro, que escala para grandes pools não rotulados.
4. Validação Empírica: Demonstração de melhorias consistentes sobre baselines sem treinamento (amostragem de diversidade, heurísticas de dificuldade, métodos baseados em incerteza) em benchmarks de raciocínio matemático e QA médica sob orçamentos ultra-baixos (0,1%–4% dos dados).

Resultados Experimentais

Os autores avaliaram o SHIFT em modelos Qwen (1.5B e 1.7B) em dois domínios:

• Raciocínio Matemático (MATH-500 & AMC): Sob um orçamento de 2%, o SHIFT alcançou 62,67% de precisão no MATH-500 e 38,55% no AMC (OOD), superando significativamente a amostragem Aleatória (+8,94 / +12,77) e outras baselines. Notavelmente, superou a referência RLVR de dados completos no benchmark OOD AMC.
• QA Médica (MEDQA & Transferência): Sob um orçamento de 0,1%, o SHIFT alcançou 50,35% no MEDQA, superando a Amostragem Aleatória (45,28%) e outras heurísticas. Mostrou transferência particularmente forte para subconjuntos clinicamente desafiadores (MedXpertQA), quase igualando o desempenho de dados completos com apenas 0,1% dos dados.

Ablação e Análise

• Validade do RIRS: Análise de correlação confirmou que o RIRS não é meramente um proxy para o comprimento de entrada/saída (Spearman $\rho \approx 0$ com o comprimento da resposta).
• Correlação de Utilidade: Um estudo piloto mostrou uma forte correlação positiva (Spearman $\rho = 0,818$) entre a classificação pré-RL por RIRS e o ganho real de RLVR a jusante.
• Ablações: Remover a cobertura baseada em RIRS ($\phi_{s+\Delta}$) ou a ponderação por qualidade ($\tilde{q}(x)$) degradou o desempenho, confirmando que tanto os sinais de diversidade quanto os de utilidade são complementares.
• Eficiência Computacional: O SHIFT requer apenas um rollout determinístico por candidato, tornando-o significativamente mais barato no momento da seleção do que as baselines de auto-consistência (que requerem ~32 rollouts estocásticos).

Significado e Alegações

O artigo afirma que o SHIFT permite adaptação RLVR eficaz em cenários anteriormente considerados inviáveis devido a custos de anotação e restrições computacionais. Ao identificar exemplos "impactantes" através de dinâmicas de estado oculto induzidas por raciocínio em vez de sinais de treinamento, o SHIFT permite:

• Redução drástica na sobrecarga de anotação e treinamento: Alcançando desempenho forte com <1% dos dados.
• Acessibilidade: Tornando a adaptação RL viável para domínios especializados (por exemplo, medicina) onde rótulos de verdade fundamental são escassos.
• Generalização: Melhorando a transferência para configurações de avaliação mais difíceis e fora da distribuição em comparação com seleção baseada em diversidade ou dificuldade padrão.

Os autores mantêm uma postura modesta, reconhecendo que o RIRS é um substituto empírico motivado por dinâmicas teóricas em nível de bloco, em vez de uma derivação formal, e que a robustez em famílias de modelos mais amplas e a estratificação de erros sensíveis à segurança permanecem uma área aberta para trabalho futuro.