Resumo Técnico: Gap-K% - Medindo o Gap de Predição Top-1 para Detecção de Dados de Pré-treinamento

Definição do Problema

A opacidade dos corpora de pré-treinamento massivos em Grandes Modelos de Linguagem (LLMs) cria riscos significativos de privacidade e direitos autorais, incluindo o potencial vazamento de Informações de Identificação Pessoal (PII) e conteúdo protegido por direitos autorais. Além disso, a inclusão inadvertida de conjuntos de dados de benchmark nos dados de pré-treinamento pode inflar o desempenho do modelo, levando a comparações injustas. O desafio central abordado é a detecção de dados de pré-treinamento, uma instância específica de Ataques de Inferência de Membros (MIA), que visa determinar se uma determinada sequência de texto fez parte do conjunto de dados de treinamento de um modelo.

Os métodos de estado da arte existentes (ex: Min-K%, Min-K%++) baseiam-se principalmente em verossimilhanças ao nível de token, tratando os tokens de forma independente. Essas abordagens frequentemente negligenciam dois aspectos críticos:

1. O gap entre a predição top-1 do modelo e o token alvo.
2. As correlações locais entre tokens adjacentes dentro de uma sequência.

Metodologia: Gap-K%

Os autores propõem o Gap-K%, um método de detecção fundamentado na dinâmica de otimização do pré-treinamento autorregressivo de LLMs.

Insight Teórico

O método é motivado pelo comportamento do objetivo de predição do próximo token. Durante o treinamento, a perda de entropia cruzada penaliza explicitamente casos onde a predição top-1 ($v_{max}$) não corresponde ao token alvo real ($y_t$).

• Dados de Treinamento: O modelo aprende a minimizar o gap entre a log-probabilidade do token alvo e a predição top-1. Consequentemente, para amostras de treinamento, o token alvo é frequentemente a predição top-1, resultando em um gap mínimo.
• Dados de Não-Treinamento: Para dados não vistos, o modelo depende de correlações sintáticas e semânticas aprendidas em vez de memorização. Isso frequentemente leva a "erros de predição confiantes", onde o modelo atribui alta probabilidade a um token incorreto que é distinto do alvo. Isso resulta em um gap de log-probabilidade maior entre o alvo e a predição top-1.

Componentes Algorítmicos

O Gap-K% quantifica este fenômeno através de três etapas:

1. Pontuação do Gap Top-1:
   Para cada token $x_t$, o método computa uma pontuação de gap normalizada $g_t$:
   $$g_t = \frac{\log p(x_t | x_{<t}) - \max_{v \in V} \log p(v | x_{<t})}{\sigma_t}$$
   Onde $\sigma_t$ é o desvio padrão das log-probabilidades. Diferente do Min-K%++, que normaliza em relação à média da distribuição, o Gap-K% normaliza em relação ao modo (predição top-1). Isso permite que a métrica distingua entre predições incertas (distribuição plana) e erros de predição confiantes (distribuição de pico em um token incorreto).

2. Suavização Sequencial:
   Para capturar correlações locais e mitigar flutuações ao nível de token, uma janela deslizante de tamanho $w$ é aplicada às pontuações de gap:
   $$\bar{g}^{(w)}_t = \frac{1}{w} \sum_{i=0}^{w-1} g_{t+i}$$
   Esta etapa agrega sinais sobre segmentos contíguos, refletindo a observação de que os sinais de membros costumam abranger frases, em vez de tokens isolados.

3. Métrica Gap-K%:
   A pontuação final de detecção é a média dos $k\%$ menores scores de gap suavizados na sequência. Uma pontuação próxima de 0 indica um gap pequeno (sugerindo membro), enquanto um valor negativo grande indica um gap significativo (sugerindo não-membro).

Principais Contribuições

1. Identificação de um Novo Sinal: Os autores identificam a discrepância entre as predições top-1 e os tokens alvos como um sinal de detecção eficaz, fundamentado na dinâmica de gradiente da predição do próximo token.
2. Método Inovador (Gap-K%): Eles propõem um método que aproveita esses gaps de predição top-1 e agrega sinais ao nível de token via suavização sequencial para capturar correlações locais, abordando as limitações da análise de tokens independentes.
3. Desempenho de Estado da Arte: O método alcança um desempenho superior em benchmarks padrão em vários tamanhos de modelos e comprimentos de entrada.

Resultados Experimentais

Os autores avaliaram o Gap-K% em dois benchmarks: WikiMIA (baseado em Wikipedia) e MIMIR (baseado em Pile, mais desafiador devido às mínimas diferenças distributivas).

• Desempenho WikiMIA:

  • Em cinco modelos (Mamba-1.4B, Pythia-6.9B/12B, LLaMA-13B/65B) e comprimentos de entrada (32, 64, 128), o Gap-K% superou consistentemente os baselines, incluindo Loss, Zlib, Neighbor, Min-K% e Min-K%++.
  • No cenário original, o Gap-K% alcançou melhorias absolutas de AUROC de 9,7% sobre a média dos baselines existentes e 2,4% sobre o baseline mais forte (Min-K%++).
  • No cenário de paráfrase, alcançou ganhos de 5,7% sobre a média dos baselines e 1,7% sobre o Min-K%++.
  • O método também demonstrou robustez em modelos recentes (LLaMA 3.1, Gemma2) e suas variantes ajustadas para instrução (instruction-tuned).

• Desempenho MIMIR:

  • No benchmark mais desafiador MIMIR, o Gap-K% obteve o maior desempenho médio entre os modelos Pythia de 1.4B a 12B parâmetros, superando o Min-K%++ em todos os tamanhos avaliados.

• Estudos de Ablação:

  • Localidade Sequencial: A suavização só melhorou o desempenho quando aplicada à ordem original dos tokens, confirmando que os sinais de membro exibem localidade sequencial.
  • Análise de Componentes: Substituir a normalização baseada na média apenas pelo gap Top-1 resultou em ganhos marginais, e a suavização sozinha melhorou o desempenho moderadamente. A combinação de ambos (o método completo Gap-K%) resultou no maior ganho de desempenho, indicando que o gap Top-1 fornece um sinal discriminativo que é estabilizado e potencializado pela suavização sequencial.
  • Robustez: O Gap-K% permaneceu eficaz sob paráfrase adversária forte (usando DIPPER, superando todos os baselines).

Significância e Limitações

Significância:
O artigo argumenta que compreender a dinâmica de otimização dos LLMs — especificamente como o treinamento força o alinhamento entre as predições top-1 e o ground truth — fornece um mecanismo robusto para detectar dados de pré-treinamento. Ao ir além das simples verossimilhanças de token para analisar a "confiança" dos erros de predição e seu contexto local, o Gap-K% oferece uma ferramenta de detecção mais sutil e eficaz. Esta perspectiva destaca a importância do comportamento da predição top-1 e das correlações sequenciais para entender a memorização e os riscos de privacidade.

Limitações:

• Suposição de Caixa Cinza (Gray-Box): O método requer acesso às saídas de probabilidade ao nível de token (logits), limitando sua aplicação a modelos ou APIs que expõem essa informação. Ele não funciona atualmente em um cenário totalmente de caixa preta (black-box).
• Escopo do Modelo: Embora testado em famílias recentes (LLaMA 3.1, Gemma2), a avaliação é limitada a modelos de até dezenas de bilhões de parâmetros; o comportamento na escala de centenas de bilhões de parâmetros não foi verificado.
• Robustez Adversária: Embora robusto à paráfrase padrão, o método não foi testado contra adversários adaptativos especificamente otimizados para evitar a detecção através da manipulação de estatísticas ao nível de token.

Os autores enfatizam que seu trabalho é destinado à pesquisa acadêmica não comercial para melhorar a transparência e a compreensão da privacidade em LLMs.