Resumo Técnico: Marca d'água em Conjuntos de Dados para LLMs Fechados com Detecção Provável

Formulação do Problema

Modelos de Linguagem de Grande Escala (LLMs) são frequentemente treinados em vastos conjuntos de dados, pouco curados, que podem inadvertidamente incluir dados proprietários ou benchmarks de avaliação. Esse fenômeno, muitas vezes exacerbado pelo "benchmaxxing" (otimização para desempenho em benchmarks durante o pós-treinamento), levanta preocupações sobre contaminação de dados e a confiabilidade das avaliações de modelos. Embora trabalhos recentes tenham explorado a marca d'água em conjuntos de dados — inserção de sinais detectáveis em conjuntos de dados antes do lançamento para auditar seu uso no treinamento de modelos —, os métodos existentes sofrem de duas limitações críticas:

1. Requisitos de Acesso: Abordagens anteriores (por exemplo, STAMP, Radioactive) dependem de acesso a modelos abertos, exigindo visibilidade sobre os internos do modelo, como log-probabilidades, distribuições de próximo token ou pontuações de perplexidade. Elas são ineficazes contra acesso a modelos fechados (API caixa-preta), que é o padrão para a maioria dos chatbots comerciais.
2. Falta de Garantias Teóricas: Métodos existentes frequentemente carecem de limites teóricos rigorosos e livres de distribuição sobre a taxa de falsos positivos (FPR) da detecção.

Este artigo aborda o problema de detectar se um conjunto de dados específico foi utilizado para treinar um LLM alvo, dado apenas acesso a API caixa-preta às saídas do modelo, ao mesmo tempo em que fornece garantias estatísticas prováveis sobre a confiabilidade da detecção.

Metodologia

O framework proposto opera em duas etapas: Inserção e Detecção. A intuição central aproveita a tendência conhecida de modelos de aprendizado profundo de memorizar características espúrias e correlações estatísticas presentes nos dados de treinamento.

1. Etapa de Inserção (Injeção de Marca d'água)

O proprietário dos dados reescreve o conjunto de dados para injetar um sinal estatístico detectável sem alterar a utilidade do conjunto de dados:

• Geração de Chave Secreta: Uma chave secreta ($sk$) é formada amostrando aleatoriamente um conjunto de pares de palavras do vocabulário do conjunto de dados.
• Construção de Variantes Léxicas: Para cada palavra na chave, um conjunto de variantes léxicas (sinônimos, termos co-ocorrentes) é gerado.
• Reescrita para Co-ocorrência: O conjunto de dados é reescrito usando um LLM (por exemplo, ChatGPT) para aumentar a frequência de co-ocorrência dos pares de palavras selecionados.
  • Amostras contendo variantes de ambas as palavras de um par são preservadas ou aprimoradas.
  • Amostras contendo uma palavra, mas não seu par, são modificadas para incluir o par.
  • Crucialmente, a co-ocorrência é definida ao nível da amostra; as palavras não precisam ser consecutivas, apenas presentes dentro da mesma amostra.
    Esse processo introduz correlações artificiais controladas que são improváveis de surgir naturalmente em dados sem marca d'água.

2. Etapa de Detecção (Teste Estatístico)

Dado um modelo alvo $M$ e a chave secreta $sk$, o auditor consulta o modelo para gerar texto e analisa as estatísticas de co-ocorrência dos pares de palavras.

• Medição de Correlação: O método calcula a correlação de Pearson entre variáveis indicadoras para a presença de pares de palavras no texto gerado.
• Cálculo de Desvio: Calcula-se o desvio ($A_{w_i, w_j}$) entre o comportamento de co-ocorrência na saída do modelo e um conjunto de dados de referência (sem marca d'água).
• Pontuação de Detecção: Uma pontuação é computada comparando a fração de pares da chave secreta que excedem um limiar de desvio $\tau$ contra a fração de pares não-chave que excedem o mesmo limiar.
• Regra de Decisão: Se a pontuação de detecção exceder um limiar $t$, a presença da marca d'água é declarada.

Garantias Teóricas

O artigo fornece um limite superior livre de distribuição e agnóstico ao modelo sobre a Taxa de Falsos Positivos (FPR).

• Teorema 4.1: Sob a hipótese nula (o modelo não foi treinado nos dados com marca d'água), a probabilidade de um falso positivo é limitada por $e^{-2t'^2d}$, onde $d$ é o tamanho da chave secreta e $t'$ é uma função do limiar de detecção.
• Essa garantia vale para qualquer arquitetura LLM fixa ou procedimento de treinamento, não exigindo suposições sobre a distribuição de dados subjacente ou os internos do modelo.

Contribuições Principais

1. Primeira Marca d'água em Conjuntos de Dados para Modelos Fechados: Os autores introduzem o primeiro método de marca d'água em conjuntos de dados capaz de detectar o uso de dados de treinamento usando apenas acesso a API caixa-preta, eliminando a necessidade de log-probabilidades ou estados internos do modelo.
2. Detecção Provável: O método oferece garantias teóricas sobre a taxa de falsos positivos que são independentes da arquitetura do modelo ou da distribuição de dados.
3. Robustez em Misturas de Dados: A abordagem permanece eficaz mesmo quando o conjunto de dados com marca d'água constitui uma pequena fração (aproximadamente 1%) dos tokens totais de ajuste fino.
4. Preservação de Utilidade: O processo de marca d'água mantém a integridade semântica e a utilidade dos conjuntos de dados de benchmark, garantindo que permaneçam válidos para avaliação de modelos.

Resultados Experimentais

O método foi avaliado em LLaMA-3-8B e Gemma-2-2B em três benchmarks: MMLU, ARC-easy e ARC-challenge.

• Configuração Vanilla: O método alcançou detecção estatisticamente significativa ($p < 0.01$) em todos os modelos e conjuntos de dados. Em contraste, a linha de base "Radioactive" falhou em produzir sinais significativos sob acesso a modelos fechados ($p \approx 0.2\text{--}0.3$).
• Contaminação Parcial (Mistura de Dados): O método detectou com sucesso marcas d'água quando os dados com marca d'água compunham apenas 1,1%–1,3% dos tokens totais de ajuste fino. Em uma proporção mais extrema de 0,5%, o LLaMA-3-8B manteve detecção significativa, enquanto o Gemma-2-2B mostrou sensibilidade reduzida, sugerindo que modelos maiores podem reter melhor os sinais estatísticos injetados.
• Robustez a Modificações: A marca d'água demonstrou robustez superior contra modificações leves de texto (exclusão aleatória, substituição de sinônimos, inserção de emojis) em comparação com as linhas de base. Enquanto linhas de base como Radioactive viram os valores-p subirem acima dos limiares de significância após 20% de modificação, o método proposto manteve valores-p baixos.
• Preservação de Utilidade:
  • Desempenho em Benchmark: Modelos avaliados em conjuntos de dados com marca d'água mostraram desempenho comparável àqueles em conjuntos de dados originais, preservando a classificação relativa dos modelos.
  • Semelhança Semântica: Os conjuntos de dados reescritos mantiveram alta semelhança semântica (pontuações SBERT) com os originais.
  • Sobreposição Léxica: O método proposto alcançou sobreposição de n-gramas significativamente maior (3-gram, 4-gram) em comparação com a marca d'água baseada em KGW, indicando reescrita menos agressiva.

Significado e Limitações

O artigo posiciona este trabalho como uma ferramenta para auditoria de uso de conjuntos de dados, permitindo que provedores de dados verifiquem se seus dados proprietários ou de benchmark foram incorporados ao treinamento de modelos por meio de consultas caixa-preta.

Limitações reconhecidas pelos autores:

• Requisito Proativo: O método exige a reescrita do conjunto de dados antes do lançamento; não pode ser aplicado retroativamente a conjuntos de dados já lançados e sem marca d'água.
• Robustez Adversária: O método não foi projetado para resistir a transformações totalmente adversariais destinadas a eliminar sinais estatísticos, pois garantias fortes de marca d'água são teoricamente impossíveis sob reescrita arbitrária.
• Escopo de Avaliação: Os experimentos foram limitados à etapa de pós-treinamento (ajuste fino). Avaliar a eficácia na escala de pré-treinamento permanece um problema aberto devido a restrições computacionais.

Em conclusão, este trabalho estabelece um novo paradigma para marca d'água em conjuntos de dados que é compatível com o ecossistema de modelos fechados, oferecendo capacidades de detecção prováveis enquanto preserva a utilidade dos benchmarks subjacentes.