Learning the Signature of Memorization in Autoregressive Language Models

Resumo Técnico: Aprendendo a Assinatura da Memorização em Modelos de Linguagem Autoregressivos

1. O Problema

As Ataques de Inferência de Membros (MIAs - Membership Inference Attacks) visam determinar se um texto específico fez parte dos dados de treinamento de um modelo de linguagem. Até o momento, todas as abordagens para modelos de linguagem (LLMs) baseavam-se em heurísticas manuais (como thresholding de perda, Min-K%, normalização Zlib ou calibração baseada em referência).

• Limitações das abordagens atuais: O desempenho dessas heurísticas é limitado pela intuição do designer sobre quais sinais indicam a pertença.
• O gargalo dos "Shadow Models": Ataques aprendidos (baseados em aprendizado de máquina) que superam heurísticas em outros domínios exigem o treinamento de muitos "modelos sombra" com membros conhecidos. Em escala de LLM, isso é proibitivamente caro e computacionalmente inviável.
• Hipótese não testada: Acredita-se implicitamente que ataques aprendidos não podem escalar para LLMs devido à necessidade de modelos sombra e à falta de generalização entre arquiteturas diferentes.

2. Metodologia: LT-MIA (Learned Transfer MIA)

Os autores introduzem o LT-MIA, o primeiro ataque aprendido e transferível para modelos de linguagem ajustados (fine-tuned). A metodologia baseia-se em três pilares principais:

A. Quebra do Gargalo de Dados (Insight Central)
O papel identifica que o fine-tuning de qualquer modelo em qualquer corpus gera dados de treinamento rotulados infinitos por construção. Como a pertença ao conjunto de fine-tuning é conhecida (os dados usados vs. não usados), não é necessário treinar modelos sombra. O ataque aprende diretamente a partir de modelos existentes.

B. Extração de Características por Token
O ataque reframinga a inferência de membros como um problema de classificação de sequências sobre estatísticas distribucionais por token.

• Entrada: Acesso de caixa preta a um modelo alvo (ajustado) e a um modelo de referência (pré-treinado) com a mesma arquitetura.
• Features: Para cada posição do token, extraem-se 154 características que capturam a divergência entre as previsões do modelo alvo e do modelo de referência. Isso inclui:
  • Perdas por token (cross-entropy) de ambos os modelos e suas diferenças.
  • Estatísticas globais (média, desvio padrão) e taxas de log-verossimilhança.
  • Ranks e logits dos tokens verdadeiros, top-20 e bottom-20.
  • Ranks cruzados (como os tokens top do modelo A são classificados no modelo B).

C. Arquitetura do Classificador e Diversidade de Treinamento

• Modelo: Um classificador leve baseado em Transformer (2 camadas, <500k parâmetros) processa a sequência de vetores de características, aprendendo a ponderar adaptativamente as posições relevantes em vez de agregar em uma única estatística.
• Diversidade: O modelo é treinado em 30 combinações de modelos e conjuntos de dados (10 modelos x 3 corpora), com 600 amostras cada. A diversidade é crucial para filtrar artefatos específicos de uma arquitetura ou tokenizer, isolando apenas o "sinal de memorização" universal.

3. Contribuições Principais

1. Eliminação do Gargalo de Shadow Models: Demonstra-se que o fine-tuning fornece dados rotulados ilimitados, permitindo o uso de técnicas padrão de Deep Learning para MIAs em LLMs.
2. Descoberta de uma Assinatura Invariante à Arquitetura: A memorização produz uma assinatura na distribuição de saída que é detectável independentemente de como o modelo computa a probabilidade (atenção, espaço de estado, recorrência linear).
3. Transferência Zero-Shot: Um classificador treinado exclusivamente em modelos Transformer transfere-se com sucesso (zero-shot) para arquiteturas radicalmente diferentes que nunca viu durante o treinamento:
   • Mamba (espaços de estado seletivos, sem atenção).
   • RWKV-4 (atenção linear/recorrência).
   • RecurrentGemma (recorrência com portões e janelas de atenção local).
4. Mudança de Paradigma: Move a inferência de membros da era das heurísticas manuais para a era do Deep Learning, onde se "aprende o que importa" em vez de projetar estatísticas.

4. Resultados Experimentais

Os resultados mostram que o LT-MIA supera todas as heurísticas de base (baselines) em todas as famílias de arquiteturas testadas.

• Desempenho Geral (AUC - Área sob a Curva ROC):

  • Transformers (Hold-out): 0.908 (vs. 0.887 do melhor baseline, EZ-MIA).
  • Mamba-2.8B: 0.963 (vs. 0.931 do EZ-MIA).
  • RWKV-4-3B: 0.972 (vs. 0.971 do EZ-MIA).
  • RecurrentGemma-2B: 0.936 (vs. 0.915 do EZ-MIA).
  • Nota: O desempenho em arquiteturas não-Transformer foi surpreendentemente superior ao dos próprios Transformers de teste.

• Taxa de Verdadeiros Positivos (TPR) em Baixas Taxas de Falsos Positivos (FPR):

  • Em FPR de 0.1%, o LT-MIA alcança uma TPR 2.8x maior que o EZ-MIA em Transformers.
  • O método mantém robustez em domínios não vistos, transferindo-se para código (0.865 AUC) mesmo tendo sido treinado apenas em texto natural.

• Análise de Importância de Features:

  • As características de comparação (diferença entre alvo e referência) dominam consistentemente em todas as arquiteturas, confirmando que o sinal de pertença é relacional (mudança induzida pelo fine-tuning), não absoluto.

5. Significado e Implicações

• Intrínseco ao Treinamento por Cross-Entropy: A descoberta de que a assinatura de memorização é invariante à arquitetura sugere que o vazamento de privacidade é uma consequência intrínseca da otimização por gradiente em perda de cross-entropy, e não um defeito de arquiteturas específicas (como Transformers).
• Falha de Defesas Arquiteturais: A migração para novas arquiteturas (como Mamba ou RWKV) não protege contra ataques de inferência de membros, pois o sinal de memorização persiste independentemente do mecanismo de computação.
• Defesa e Auditoria:
  • Para Defensores: Oferece uma ferramenta poderosa para auditores de privacidade e detentores de direitos autorais verificarem se seus dados foram usados no fine-tuning de modelos, independentemente da arquitetura do modelo alvo.
  • Para Pesquisadores: Indica que a proteção real deve focar em modificações no objetivo de treinamento (ex: Privacidade Diferencial, que tem custos de utilidade altos) ou na modificação do sinal de saída, e não apenas na troca de arquitetura.
• Limitações: O método depende da existência de um modelo de referência pré-treinado com a mesma arquitetura (disponível para modelos de pesos abertos, mas não para APIs fechadas) e funciona melhor em cenários de fine-tuning do que em pré-treinamento massivo.

Em suma, o artigo estabelece que a memorização em LLMs deixa uma "pegada" universal detectável por aprendizado de máquina, superando as limitações das heurísticas anteriores e revelando uma vulnerabilidade fundamental no paradigma de treinamento atual.