IRDS: Interpretable RLVR Data Selection via Verifier-Coupled Sparse Autoencoder Coverage

Resumo Técnico: IRDS – Seleção de Dados RLVR Interpretável via Cobertura de Autoencoder Esparsa Acoplada a Verificador

1. Declaração do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tornou-se o paradigma dominante para aprimorar o raciocínio de Modelos de Linguagem de Grande Escala (LLMs), particularmente em matemática. No entanto, o RLVR sofre de ineficiência significativa de dados. Os métodos existentes de seleção de dados falham em abordar simultaneamente três requisitos críticos:

1. Relevância de Falha: Selecionar instâncias nas quais o modelo falha atualmente.
2. Treinabilidade: Selecionar instâncias onde o modelo ainda pode aprender (ou seja, evitar as caudas de "todas as falhas" e "todas as resoluções" onde os gradientes relativos ao grupo desaparecem).
3. Não Redundância e Interpretabilidade: Selecionar um subconjunto diversificado que cubra fraquezas distintas sem redundância, garantindo ao mesmo tempo que o processo de seleção seja auditável por humanos.

As abordagens atuais geralmente abordam esses aspectos isoladamente: métodos escalares classificam por dificuldade, mas ignoram a redundância; métodos de diversidade usam embeddings, mas carecem de sinais de verificador; e métodos baseados em gradientes operam em espaços de parâmetros densos e não interpretáveis.

2. Metodologia: IRDS

Os autores propõem o IRDS (Seleção de Dados RLVR Interpretável), um método offline que seleciona um subconjunto não redundante de instâncias de treinamento com base em uma base de clusters de Autoencoder Esparsa (SAE) acoplada a sinais de verificador.

A. Coordenadas de Cluster SAE
Em vez de usar características de superfície (por exemplo, comprimento do token) ou estados ocultos densos, o IRDS representa instâncias usando um autoencoder esparsa treinado nas ativações da camada final do modelo.

• Treinamento SAE: Um SAE BatchTopK é treinado de forma não supervisionada em um grande corpus matemático (OpenMathInstruct-2) usando as ativações congeladas do modelo alvo. As direções do dicionário correspondem a conceitos reconhecíveis (por exemplo, geometria, contagem de divisores).
• Agrupamento (Clustering): Para criar uma coordenada em nível de corpus, latentes esparsos individuais são agrupados em $F=256$ clusters semânticos usando uma representação híbrida de grafo (concatenando direções de presença e resíduo). Cada instância é resumida por um vetor de massas de ativação através desses 256 clusters.

B. Objetivo de Cobertura Acoplado ao Verificador
O IRDS constrói uma métrica que equilibra dificuldade e treinabilidade no espaço de coordenadas SAE.

• Peso de Dificuldade ($d_i$): Derivado da contagem de sucesso do verificador ($s_i$) usando uma posterior Beta. É alto quando o modelo falha frequentemente ($s_i$ é baixo).
• Peso de Treinabilidade ($r_i$): Também derivado da contagem de sucesso, este peso atinge o pico em taxas de sucesso intermediárias ($s_i \approx G/2$), onde a variância da vantagem relativa ao grupo é maximizada. Ele reduz o peso tanto das caudas de "todas as falhas" quanto de "todas as resoluções".
• Construção da Métrica: O método computa uma covariância ponderada pela dificuldade ($\Sigma_d$) e uma covariância ponderada pela treinabilidade ($\Sigma_r$). Em seguida, forma uma métrica branqueada $M = (\Sigma_r + \rho I)^{-1/2} (\Sigma_d + \rho I) (\Sigma_r + \rho I)^{-1/2}$. As direções principais de $M$ identificam clusters SAE onde a dificuldade excede a massa de treinabilidade.
• Vetor de Design: Cada instância é mapeada para um vetor de design $\phi_i$ que combina o bloco SAE (ponderado pela treinabilidade e pela métrica $M$) e um bloco de gradiente opcional (residualizado contra as coordenadas SAE para capturar informações de direção de atualização).

C. Seleção de Subconjunto
O problema de seleção é formulado como um problema de design D-ótimo: encontrar um subconjunto $S$ de tamanho $K$ que maximize o log-determinante da matriz de Gram dos vetores de design.
$$S^* = \arg \max_{|S|=K} \log \det \left( \lambda I + \sum_{i \in S} \phi_i \phi_i^\top \right)$$
Este objetivo é resolvido via um algoritmo guloso com atualizações de posto único Sherman-Morrison, fornecendo uma garantia de aproximação de $(1 - 1/e)$. Isso garante que o subconjunto selecionado cubra direções diversas e de alto valor sem redundância.

3. Contribuições Principais

1. Primeira Seleção RLVR Baseada em SAE: O IRDS é o primeiro método de seleção de dados para RLVR construído sobre uma base de clusters de autoencoder esparsa, tornando o processo de seleção auditável em motivos de problemas reconhecíveis (por exemplo, "álgebra de raízes polinomiais").
2. Objetivo de Cobertura Acoplado ao Verificador: Os autores projetam um objetivo inovador que otimiza conjuntamente a relevância de falha e a treinabilidade, desconectando pesos de dificuldade e treinabilidade na base SAE, resolvido via maximização gulosa do log-determinante.
3. Superioridade Empírica e Eficiência: Experimentos demonstram que o IRDS alcança precisão state-of-the-art em múltiplos modelos e benchmarks, sendo uma ordem de magnitude mais barato do que baselines baseadas em trajetórias.

4. Resultados Experimentais

O método foi avaliado em três modelos ajustados por instrução (Qwen3-4B, Qwen3-1.7B, Llama-3.1-8B-Instruct) em seis benchmarks de raciocínio matemático (incluindo MATH500, AIME, AMC e OlympiadBench).

• Ganhos de Precisão: O IRDS alcançou a maior precisão geral em todos os três modelos, superando a baseline mais forte (LIMR) em +3,9 pp no Qwen3-4B, +4,0 pp no Qwen3-1.7B e +0,5 pp no Llama-3.1-8B.
• Benchmarks de Competição: Os ganhos foram particularmente pronunciados em subconjuntos de competição menores e mais difíceis (por exemplo, +11,4 pp no AIME24 para Qwen3-4B).
• Eficiência de Custo: O processo de seleção para o IRDS levou aproximadamente 7 horas em um nó de 8 GPUs (incluindo treinamento e pontuação do SAE), enquanto a baseline baseada em trajetórias (LIMR) exigiu 70 horas (uma ordem de magnitude a mais).
• Estudos de Ablação:
  • A remoção do peso de treinabilidade ($r_i$) causou um colapso no desempenho (até -19,1 pp), confirmando que selecionar apenas instâncias "difíceis" sem considerar a treinabilidade é prejudicial.
  • A base de clusters SAE foi encontrada como crítica, especialmente para modelos base mais fortes, superando projeções de gradiente densas.
  • O bloco de gradiente forneceu uma melhoria marginal, mas não redundante.
• Interpretabilidade: Auditorias confirmaram que os subconjuntos selecionados alinham-se com direções de conteúdo de alta dificuldade (por exemplo, motivos matemáticos específicos) em vez de artefatos de superfície (por exemplo, comprimento do token), e a seleção foi robusta à permutação de rótulos.

5. Significado e Alegações

O artigo afirma que o IRDS demonstra que a seleção de dados acoplada a verificador no RLVR pode ser tornada auditável sem sacrificar a precisão no domínio. Ao deslocar a base de seleção de embeddings densos opacos ou características de superfície para clusters SAE interpretáveis, os pesquisadores podem verificar exatamente quais "motivos de problemas" o modelo está sendo treinado.

Os autores posicionam o IRDS como uma solução para o gargalo de "ineficiência de dados" no RLVR, oferecendo um método que é:

• Auditável: Seleções podem ser rastreadas até tipos de problemas legíveis por humanos.
• Eficiente: Significativamente mais barato do que métodos online baseados em trajetórias.
• Eficaz: Melhora consistentemente o desempenho do modelo em diversas arquiteturas e orçamentos de dados.

O artigo reconhece limitações, observando que o método depende de um modelo congelado para estimativa de pesos (potencialmente desviando após atualizações), requer acesso às ativações do modelo para treinamento do SAE e foi validado atualmente principalmente em RLVR matemático sob a receita GRPO.