Resumo Técnico: LaRA – Análise de Representação por Camada para Detecção de Contaminação de Dados no Pós-Treinamento por RL

Declaração do Problema

O pós-treinamento por Aprendizado por Reforço (RL) demonstrou eficácia significativa no aprimoramento das capacidades de raciocínio de Modelos de Linguagem de Grande Escala (LLMs). No entanto, esse paradigma introduz uma vulnerabilidade crítica e pouco explorada: a contaminação de dados, onde amostras de avaliação ou de benchmarks são inadvertidamente incluídas nos dados de treinamento de RL. Tal contaminação pode induzir overfitting impulsionado por recompensas e memorização implícita, minando assim a generalização e a confiabilidade da avaliação do processo de treinamento.

Os métodos de detecção existentes dependem principalmente de sinais no nível de saída (por exemplo, probabilidades de tokens, entropia ou perplexidade) derivados de contextos de pré-treinamento ou Ajuste Fino Supervisionado (SFT). Esses métodos tornam-se cada vez menos confiáveis para modelos treinados com RL por duas razões:

1. Problemas de Calibração: As distribuições de saída dos LLMs são frequentemente mal calibradas, tornando os sinais baseados em probabilidades ruidosos.
2. Incompatibilidade de Objetivos: Diferentemente do pré-treinamento ou do SFT, que otimizam probabilidades token a token, o RL otimiza recompensas esperadas sobre trajetórias inteiras de raciocínio. Consequentemente, os sinais comportamentais em nível de token estão menos diretamente alinhados com o objetivo de treinamento subjacente.

Metodologia: Framework LaRA

Os autores propõem o LaRA (Análise de Representação por Camada), um framework que desloca o paradigma de detecção de estatísticas no nível de saída para a geometria no nível de representação. A hipótese central é que a memorização induzida por RL cria respostas geométricas anormais nos estados ocultos internos do modelo sob perturbações controladas.

1. Configuração Experimental

Os autores constroem benchmarks de contaminação controlada utilizando três modelos treinados com RL de código aberto (EURUS-2-7B-PRIME, LIMR e Olmo-3.1-7B-RL-Zero-Math).

• Membros: 30 problemas de matemática de nível olímpico do próprio conjunto de treinamento em RL do modelo.
• Não Membros: 30 problemas do AIME 2026 (dados não vistos).
• Treinamento: Os modelos passam por treinamento adicional em RL em um corpus contendo as amostras "membros" para simular e rastrear a evolução dos sinais de contaminação.

2. Estratégia de Perturbação

Para uma dada pergunta $q_0$, o framework gera:

• Vizinhos Semânticos: Um conjunto de perguntas estruturalmente semelhantes $Q = \{q_0, q_1, \dots, q_K\}$.
• Variantes Perturbadas: Informações-chave são removidas dessas perguntas usando um operador BLANKIMPORTANT para criar $q^-_i$.
• Variantes Parafraseadas: Para as perguntas perturbadas, paráfrases semanticamente equivalentes são geradas, preservando as posições em branco, para testar a invariância local.

3. Três Métricas Geométricas

Representações ocultas são extraídas através de todas as camadas do transformador ($\ell \in \{0, \dots, L-1\}$) para calcular três métricas complementares:

• Magnitude de Deslocamento de Representação (RSM): Mede a sensibilidade das representações à remoção de informações. Calcula a norma euclidiana do deslocamento ($\Delta_i = u_i - w_i$) entre as representações original e perturbada. Um RSM alto indica que uma amostra memorizada é excessivamente sensível à remoção de informações específicas em comparação com seus vizinhos semânticos.
• Colapso Direcional (DC): Caracteriza a organização das mudanças induzidas por perturbações. Mede o alinhamento de cosseno entre a direção de perturbação da amostra original e a direção de perturbação média de seus vizinhos semânticos. Um DC alto indica que a resposta do modelo às perturbações colapsa em uma direção compartilhada e de baixa dimensão, sugerindo diversidade representacional reduzida.
• Índice de Estabilidade de Representação (RSI): Quantifica a rigidez local sob perturbações parafrásticas. Mede a variância das representações para variantes parafraseadas da mesma pergunta perturbada. Um RSI baixo (alta estabilidade) sugere que o modelo formou representações locais rígidas e invariantes para conteúdo memorizado.

4. Protocolo de Detecção

O framework agrega essas métricas em uma única pontuação de detecção (SLaRA) através de um processo de três etapas:

1. Padronização Robusta: As métricas são comprimidas e padronizadas contra uma distribuição de referência "limpa" (não membros) usando o Desvio Absoluto Mediano (MAD) para lidar com distribuições de cauda pesada e prevenir inflação de outliers.
2. Alinhamento Específico por Métrica: As pontuações padronizadas são alinhadas com base na direção esperada da contaminação (por exemplo, invertendo o RSI se alta estabilidade indicar contaminação).
3. Agregação por Camada: Os desvios alinhados são médios através de todas as camadas e métricas para produzir a pontuação final de anomalia.

Resultados Chave

Experimentos em múltiplos modelos treinados com RL e checkpoints de treinamento demonstram que o LaRA supera as linhas de base existentes no nível de saída (Recall, CDD, Min-K%, Min-K%++, PPL, Self-Critique).

• Ganhos de Desempenho: O LaRA alcança até +9,6% de melhoria na AUC e 3,5× maior Taxa de Verdadeiros Positivos em 5% de Taxa de Falsos Positivos (TPR@FPR=5%) comparado ao método anterior mais forte no nível de saída.
• Robustez: A pontuação combinada (SLaRA) permanece estável e eficaz através de diferentes épocas de treinamento em RL, enquanto métricas no nível de saída como Perplexidade (PPL) mostram alta variância e menor confiabilidade em regimes estritos de baixo FPR.
• Insights Geométricos: Amostras contaminadas exibem consistentemente:
  • Sensibilidade amplificada à perturbação (alto RSM).
  • Concentração direcional anormal (alto DC).
  • Rigidez local aprimorada (baixo RSI/alta estabilidade).
  • Essas desvios tornam-se mais pronunciados à medida que o treinamento em RL avança, particularmente em faixas específicas de camadas (por exemplo, camadas 7–9 para Eurus).

Significado e Contribuições

O artigo afirma as seguintes contribuições:

1. Primeiro Framework no Nível de Representação para RL: É o primeiro trabalho a propor um framework de análise de representação por camada especificamente para detectar contaminação no pós-treinamento por RL, utilizando métricas de rigidez e rigidez.
2. Protocolo de Detecção Superior: O protocolo proposto supera consistentemente as linhas de base no nível de saída em diversos modelos de RL, oferecendo um sinal mais confiável para auditoria de modelos de raciocínio treinados com RL.
3. Insights Empíricos: O estudo fornece novas evidências de que o treinamento em RL afeta a geometria de representação de maneiras distintas, criando "assinaturas geométricas" detectáveis de memorização que persistem através das camadas e são robustas a mudanças na fase de treinamento.

Os autores concluem que, embora a auditoria no nível de representação introduza sobrecarga computacional, ela é necessária para superar as limitações dos sinais no nível de saída no domínio de RL, melhorando assim a transparência e a confiabilidade da avaliação de LLMs.