🤖 AI

Auditing Data Membership in Reinforcement Learning With Verifiable Rewards

Este artigo apresenta a Auditoria de Divergência no Comportamento (DIBA), um framework de caixa branca que detecta eficazmente a exposição não autorizada de dados no Aprendizado por Reforço com Recompensas Verificáveis (RLVR) analisando deslocamentos nas distribuições comportamentais e de recompensa entre os checkpoints do modelo antes e depois do RLVR, superando significativamente as bases de referência existentes para inferência de associação.

Autores originais: Yule Liu, Heyi Zhang, Jinyi Zheng, Zhen Sun, Zifan Peng, Jiaheng Wei, Tianshuo Cong, Yilong Yang, Xinlei He

Publicado 2026-05-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yule Liu, Heyi Zhang, Jinyi Zheng, Zhen Sun, Zifan Peng, Jiaheng Wei, Tianshuo Cong, Yilong Yang, Xinlei He

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: O Problema da "Receita Secreta"

Imagine um chef famoso (um Modelo de Linguagem de Grande Escala) que aprende a cozinhar provando milhares de receitas. Recentemente, um novo método de cozimento chamado RLVR (Aprendizado por Reforço com Recompensas Verificáveis) tornou-se popular. Em vez de apenas memorizar um cartão de receita específico, o chef tenta cozinhar um prato muitas vezes. Se o prato tem bom sabor (passa em um teste de paladar rigoroso), o chef recebe uma recompensa e lembra daquela tentativa. Se o sabor for ruim, ele tenta novamente.

O problema é que esses "testes de paladar" frequentemente usam receitas secretas e de alto valor (como problemas matemáticos proprietários ou código privado) que os proprietários do chef não queriam que o público conhecesse.

A Pergunta: Se você ver o cardápio final do chef, consegue dizer se ele praticou secretamente na sua receita secreta específica?

O Jeito Antigo vs. O Jeito Novo

O Jeito Antigo (O Ataque de "Alvo Fixo"):
No passado, auditores tentavam pegar o chef verificando se ele memorizara uma frase específica. Era como perguntar: "Você memorizou as palavras exatas desta página específica?" Se o chef pudesse recitar a página perfeitamente, ele era pego.

Por que falha aqui: No RLVR, o chef não está memorizando uma frase específica. Ele está gerando novas soluções na hora. Não há uma única "resposta correta" para comparar, então o método antigo não funciona.

O Jeito Novo (DIBA - A "Impressão Digital Comportamental"):
Os autores propõem um novo método chamado DIBA (Auditoria de Divergência no Comportamento). Em vez de procurar uma frase memorizada, eles procuram mudanças no estilo de cozimento do chef.

Eles comparam o cardápio atual do chef contra uma foto "antes" do chef (o modelo antes de começar o treinamento RLVR). Eles procuram duas pistas específicas:

A Pista da Recompensa (Eles ficaram melhores?):
- Analogia: O chef ficou repentinamente muito melhor em resolver um tipo específico de quebra-cabeça com o qual lutava antes?
- Se o chef era ruim em "Quebra-cabeças de Geometria" antes, mas após o treinamento os resolve perfeitamente, é uma forte indicação de que ele praticou nesses quebra-cabeças.
A Pista do Estilo (A personalidade deles mudou?):
- Analogia: Mesmo que o chef resolva o quebra-cabeça, ele mudou como fala enquanto o faz? Talvez ele tenha começado a usar frases mais curtas ou um tom de voz diferente ao resolver aquele quebra-cabeça específico.
- Isso é a "deriva comportamental". Mesmo que a resposta esteja correta, o caminho que ele percorreu para chegar lá pode parecer diferente do que era antes do treinamento.

Como o DIBA Funciona (O Kit de Ferramentas do Detetive)

O auditor age como um detetive com duas ferramentas:

O Placar: Eles verificam se a taxa de sucesso do modelo em uma pergunta específica aumentou após o treinamento.
O Gravador de Voz: Eles ouvem o "processo de pensamento" do modelo (a probabilidade de cada palavra que ele escolhe) para ver se soa diferente da versão "antes".

Ao combinar essas duas coisas, o DIBA cria uma "impressão digital" que diz: "Este modelo definitivamente praticou neste prompt específico."

O Que o Artigo Encontrou

Os pesquisadores testaram isso em problemas matemáticos (as "receitas secretas") e encontraram algumas regras interessantes:

Funciona melhor em Prompts de "Aprendizado": O DIBA é ótimo para pegar prompts onde o modelo realmente aprendeu algo novo. Se o modelo já era um mestre em um problema antes do treinamento, o DIBA não consegue dizer se ele praticou nele (porque não houve mudança de comportamento).
É uma Ferramenta de "Caixa Branca": Para usar isso, o auditor precisa ver os "logits" internos do modelo (os números brutos que o modelo usa para decidir sua próxima palavra). É como precisar ver o caderno privado do chef, e não apenas o prato final.
É mais difícil com Prompts "Fáceis": Se um prompt é tão fácil que o modelo já era perfeito nele, o modelo não muda muito seu comportamento durante o treinamento. Sem uma mudança, não há impressão digital para encontrar.
Funciona em diferentes tamanhos: O método funciona seja o chef um pequeno aprendiz (modelo de 3B) ou um chef mestre (modelo de 7B), desde que usem a mesma receita de treinamento.
Funciona em imagens também: Eles testaram em modelos Visão-Linguagem (modelos que veem imagens e resolvem matemática). Ainda funcionou, embora fosse um pouco mais difícil detectar porque o "ruído visual" tornou as impressões digitais ligeiramente mais borradas.

Você Pode Esconder Seus Rastros?

O artigo também perguntou: "O chef pode esconder isso?"

Treinar Mais Duro: Fazer o modelo treinar "mais cuidadosamente" (usando regularização) não escondeu realmente os rastros. As mudanças comportamentais ainda eram visíveis.
Reescrever a Resposta: Se o chef pegar sua resposta final e reescrevê-la com palavras diferentes (parafraseando) após gerá-la, isso realmente torna a detecção mais difícil. É como o chef escrever a receita com uma caligrafia diferente. No entanto, isso apenas esconde o texto; se alguém ainda puder ver os "pensamentos" internos do chef (logits), o segredo ainda está fora.

A Conclusão

Este artigo mostra que, mesmo quando modelos de IA não memorizam respostas, eles ainda deixam cicatrizes comportamentais nos dados em que foram treinados. Se você tem um prompt secreto (como um problema matemático privado), e um modelo de IA fica significativamente melhor nele ou muda como pensa sobre ele, um auditor inteligente provavelmente pode provar que o modelo treinou com seus dados secretos.

O DIBA é a nova ferramenta que encontra essas cicatrizes comparando o comportamento "antes" e "depois" do modelo, em vez de apenas verificar texto memorizado.

Resumo Técnico: Auditoria de Pertencimento a Dados em Aprendizado por Reforço com Recompensas Verificáveis

1. Definição do Problema e Motivação

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) emergiu como uma etapa crítica de treinamento para modelos de linguagem de grande escala (LLMs), particularmente para aprimorar capacidades de raciocínio em modelos como DeepSeek-R1 e Kimi-k2.5. Diferentemente do Ajuste Fino Supervisionado (SFT) tradicional ou do alinhamento baseado em preferências (RLHF), o RLVR gera respostas candidatas a partir do próprio modelo e reforça aquelas que satisfazem verificadores baseados em regras (por exemplo, respostas matemáticas corretas ou execução de código).

Este paradigma cria um desafio único para a auditoria de exposição de dados. Ataques de Inferência de Pertencimento (MIAs) existentes geralmente dependem da detecção do sobreajuste do modelo a uma string alvo fixa (por exemplo, uma resposta específica no SFT ou uma resposta preferida no RLHF). No entanto, o RLVR não otimiza em direção a uma resposta predeterminada; em vez disso, otimiza a política para maximizar a probabilidade de gerar qualquer resposta que passe em um verificador. Consequentemente, MIAs padrão baseadas em verossimilhança falham, pois não há uma string alvo fixa contra a qual pontuar.

O artigo aborda a necessidade de auditar se prompts específicos (frequentemente benchmarks proprietários ou pipelines privados) foram utilizados no pós-treinamento por RLVR, mesmo na ausência de respostas alvo fixas.

2. Metodologia: Auditoria de Divergência no Comportamento (DIBA)

Os autores propõem a DIBA (Auditoria de Divergência no Comportamento), um framework de auditoria em nível de consulta e caixa-branca. A DIBA opera comparando o modelo liberado ajustado por RLVR ( $\pi_{ft}$ ) contra seu checkpoint de referência pré-RLVR ( $\pi_{ref}$ ).

Insight Central

Os autores observam que, embora o RLVR não ajuste uma string fixa, ele deixa rastros comportamentais observáveis ao longo de duas dimensões:

Evidência do Lado da Recompensa: O RLVR altera a frequência com que o modelo alcança sucesso verificável em uma consulta.
Evidência do Lado da Política: O RLVR induz um desvio comportamental na distribuição de probabilidade das trajetórias geradas em relação à política de referência.

O Framework DIBA

A DIBA agrega sinais de múltiplas simulações estocásticas ( $N$ amostras) para uma dada consulta $q$ para produzir um sinal de auditoria estável. Ela constrói características ao longo de dois eixos:

Sinal do Lado da Recompensa (Vantagem):
- Calcula a recompensa esperada para o modelo ajustado ( $FT_{score}$ ) e para o modelo base ( $Base_{score}$ ) usando um verificador baseado em regras $R$ .
- $s_{Adv} = [ \frac{1}{N}\sum R(o^{ft}_i), \frac{1}{N}\sum R(o^{ref}_i) ]$ .
- Isso captura se o RLVR melhorou a capacidade do modelo de resolver a tarefa.
Sinal do Lado da Política (Divergência):
- Divergência K3: Mede a divergência ao nível de token entre $\pi_{ft}$ e $\pi_{ref}$ nas próprias simulações do modelo ajustado, usando um estimador de divergência KL não viesado.
- Mudança de Confiança: Calcula a razão de verossimilhança logarítmica ( $\log \pi_{ft} - \log \pi_{ref}$ ) e uma variante normalizada por Zlib para capturar mudanças na confiança e redundância do modelo.
- Crucialmente, o modelo de referência atua como uma linha de base ativa para comparação contrafactual, não apenas como um calibrador para um alvo fixo.

Predição

Essas características são concatenadas e alimentadas em um preditor de empilhamento (Random Forest + Regressão Logística) para produzir uma pontuação de pertencimento ao nível de prompt.

3. Contribuições Principais

Estudo Sistemático da Auditoria de RLVR: O artigo estabelece que o risco de exposição no RLVR está melhor associado a rastros comportamentais condicionados ao prompt do que ao ajuste a alvos fixos.
Proposta da DIBA: Um framework de auditoria comparativa que estima sinais de exposição analisando mudanças do lado da recompensa e divergência comportamental do lado da política em relação a um modelo de referência.
Avaliação Abrangente: Os autores caracterizam os limites da auditoria de RLVR, identificando quando ela tem sucesso (rastros de aprendizado ativo) e quando falha (prompts já dominados ou recompensas saturadas). Eles também estendem a análise para modelos de visão e linguagem (VLMs) e vários cenários de transferência.

4. Resultados Experimentais

Desempenho

Configuração Caixa-Branca: A DIBA supera consistentemente bases de transferência fortes (incluindo variantes calibradas e auto-geradas de LOSS, Zlib, Min-K%, etc.).
- AUC: Alcança aproximadamente 0,8 em vários modelos (Qwen-3B/7B) e algoritmos (GRPO, DAPO).
- Regime de Alta Precisão: Alcança um TPR@0,1%FPR que é uma ordem de magnitude maior que as bases (por exemplo, 0,154 para DAPO-3B versus ~0,01 para as bases).
Análise de Características:
- Pontuação FT (Recompensa) fornece uma classificação geral forte (alto AUC), mas falha em regimes de baixo FPR.
- Divergência é a característica mais eficaz para detecção de alta precisão (baixo FPR), destacando a importância do desvio da política.
- A combinação de sinais de recompensa e política produz melhorias sinérgicas.

Regimes e Limites de Auditoria

Prompts Aprendidos Ativamente: A DIBA é mais eficaz aqui, onde o RLVR induz mudanças comportamentais não triviais.
Prompts Já Dominados: A detecção é mais fraca. Se o modelo base já resolve o prompt perfeitamente, o RLVR induz atualizações adicionais mínimas, não deixando rastro detectável.
Prompts Nunca Aprendidos: A detecção também é fraca se o modelo falha em aprender a tarefa inteiramente.
Dinâmicas de Treinamento: A força do sinal de auditoria correlaciona-se com o alargamento da lacuna entre as recompensas de treinamento e teste; ela emerge progressivamente à medida que o treinamento avança.

Transferibilidade e Generalização

Tamanho do Modelo: A transferência entre tamanhos de modelo (3B vs. 7B) dentro do mesmo algoritmo de RLVR é robusta.
Incompatibilidade de Algoritmo: A transferência entre diferentes algoritmos de RLVR (por exemplo, de GRPO para DAPO) é menos estável, particularmente em regimes de alta precisão.
Configuração Caixa-Cinza: Com dados de sombra cuidadosamente escolhidos, a DIBA permanece útil (AUC > 0,7) mesmo sem correspondência exata de distribuição.
Multimodal (VLMs): A DIBA estende-se a Modelos de Visão e Linguagem (AUC ~0,7), embora a detecção de alta precisão (TPR@0,1%FPR) seja mais difícil devido ao ruído dos codificadores visuais.
Transferência de Tarefa: Os sinais persistem em conjuntos de dados de seguimento de instruções e uso de ferramentas.

Mitigações

Regularização: O aumento da regularização KL ( $\beta$ ) oferece proteção limitada; frequentemente leva ao subajuste em vez de preservação genuína de privacidade.
Obfuscação Post-Hoc: Parafrasear saídas pode reduzir a auditabilidade ao nível de texto (reduzindo AUC/TPR), mas não elimina a exposição se o auditor tiver acesso aos pesos ou logits do modelo.

5. Significado e Alegações

O artigo posiciona a DIBA como um auditor prático para configurações de conformidade de RLVR em caixa-branca. Seu significado principal reside em mudar o paradigma da inferência de pertencimento de "ajuste a um alvo fixo" para "detecção de divergência comportamental".

Os autores afirmam que:

A Exposição é Detectável: O treinamento por RLVR deixa rastros observáveis e específicos ao prompt que podem ser trazidos à tona por meio de auditoria direcionada, mesmo sem strings alvo fixas.
O Contexto Importa: A auditabilidade da exposição de dados não é uniforme; é mais forte quando o treinamento induz mudanças de recompensa observáveis e desvios comportamentais, e mais fraca quando o modelo base já possui a capacidade.
Limitações: O método é sensível à configuração (dependente do algoritmo de RL e da família de modelos) e não pode detectar o uso de prompts que já foram resolvidos perfeitamente pelo modelo base (a limitação do "conhecimento pré-existente").

O trabalho destaca um risco crítico de privacidade no paradigma emergente de RLVR, sugerindo que conjuntos de prompts proprietários usados para aprimoramento de raciocínio são vulneráveis à auditoria de exposição, tornando necessárias novas estratégias de preservação de privacidade para o treinamento por RLVR.