A Prior-Aware Metric for Efficiently Distinguishing Memorization from Generalization in Large Language Models

Resumo Técnico: Uma Métrica Consciente de Priores para Distinguir Eficientemente Memorização de Generalização em Grandes Modelos de Linguagem

Definição do Problema
A proliferação de Grandes Modelos de Linguagem (LLMs) intensificou as preocupações relativas à vazão de dados de treinamento, especificamente no que diz respeito à privacidade, segurança e conformidade de direitos autorais. Um desafio crítico na avaliação desses riscos é distinguir entre memorização específica de prefixo (o modelo recordando um exemplo de treinamento específico) e generalização (o modelo gerando sequências estatisticamente comuns baseadas em padrões aprendidos).

Métricas existentes, como a "memorização extratável", frequentemente confundem esses fenômenos ao rotular qualquer saída de alta probabilidade como memorizada. No entanto, conforme observado em trabalhos anteriores (Carlini et al., 2022; Yu et al., 2023), uma alta probabilidade condicional $P(s|p)$ pode resultar da prevalência estatística de um sufixo $s$ (por exemplo, entidades nomeadas comuns como "John Doe") em vez da memorização específica do par prefixo-sufixo $p \parallel s$. Embora a Memorização Contrafactual (Zhang et al., 2023) ofereça uma solução fundamentada comparando o desempenho do modelo com e sem uma sequência de treinamento específica, ela é computacionalmente proibitiva em escala, exigindo o retreinamento de múltiplos modelos de linha de base para cada sequência sob avaliação.

Metodologia: Memorização Consciente de Priores (PA - Prior-Aware)
Para abordar a intratabilidade computacional das abordagens contrafactuais, este trabalho introduz a Memorização Consciente de Priores (PA), uma métrica leve, livre de treinamento e baseada apenas em inferência. A hipótese central é que uma sequência é verdadeiramente memorizada apenas se o sufixo estiver fortemente associado ao seu prefixo de treinamento específico, em vez de aparecer com alta probabilidade em muitos prefixos independentes devido à commonidade estatística.

A métrica baseia-se em uma definição de critério duplo para que uma sequência $p \parallel s$ seja considerada PA memorizada:

1. Extratabilidade: A probabilidade condicional $P(s | p; M)$ deve exceder um limiar $m$. Isso garante que o modelo possa gerar o sufixo verbatim dado o prefixo.
2. Razão de Crença Relativa: A razão $\frac{P(s | p; M)}{P(s; M)}$ deve exceder um limiar $n$. Este termo atua como um filtro para a commonidade estatística.
   • $P(s | p; M)$ é computada via passagens autoregressivas padrão.
   • $P(s; M)$, representando a probabilidade marginal do sufixo através da distribuição de dados, é estimada usando um estimador de Monte Carlo não enviesado. Isso envolve a amostragem de $c$ prefixos $q_i$ independentes e identicamente distribuídos (i.i.d.) da distribuição de dados de treinamento e o cálculo da verossimilhança média: $\hat{v}_s = \frac{1}{c} \sum P(s | q_i)$.

Os autores provam que este estimador é não enviesado e que sua variância diminui à medida que o número de amostras aumenta, permitindo uma aproximação escalável da probabilidade marginal sem a necessidade de retreinamento.

Principais Contribuições

• Estrutura Teórica: O artigo formaliza uma distinção entre memorização e generalização usando uma razão de verossimilhança motivada por Bayes, argumentando que um alto $P(s|p)$ sozinho não é evidência suficiente de memorização se $P(s)$ também for alto.
• Métrica Escalável: Propõe a Memorização PA como uma alternativa computacionalmente eficiente à Memorização Contrafactual, eliminando a necessidade de retreinamento "leave-one-out" ou acesso a trajetórias de treinamento.
• Validação Empírica: A métrica é validada contra a Memorização Contrafactual em conjuntos de dados de pequena escala, mostrando uma correlação positiva (Pearson $r = 0,71$), e é então aplicada em escala a modelos pré-treinados (famílias Llama e OPT).

Resultos
Os autores avaliaram a Memorização PA nos corpora de treinamento de modelos Llama e OPT em vários tamanhos (variando de 125M a 13B de parâmetros) e tipos de sequência (Entidades Nomeadas de 4 tokens e sequências de 50 tokens).

• Superestimação por Métricas Existentes: O estudo observa que entre 55% e 90% das sequências anteriormente rotuladas como "memorizadas" (baseadas em alta extratabilidade) falham no critério PA. Essas sequências são consistentes com a commonidade estatística em vez de memorização específica.
• Impacto do Tamanho do Modelo: À medida que o tamanho do modelo aumenta, a proporção de sequências classificadas como PA memorizadas (em relação às sequências extratavelmente memorizadas) geralmente diminui. Isso sugere que modelos maiores são cada vez mais capazes de reproduzir texto verbatim através da generalização de padrões comuns em vez de memorização explícita.
• Dataset do Desafio SATML: Mesmo no dataset de desafio de extração SATML, onde sequências são conhecidas por serem "1-eidética" (ocorrendo apenas uma vez nos dados de treinamento), aproximadamente 40% das sequências foram identificadas como estatisticamente comuns em vez de memorizadas.
• Comprimento do Prefixo: Prefixos mais longos aumentam a descoberta de sequências PA memorizadas, embora o efeito seja menos pronunciado para Entidades Nomeadas curtas e altamente populares.

Significância e Alegações
O artigo afirma que suas descobertas exigem uma reavaliação de como a memorização é definida e medida em LLMs. Os autores argumentam que rotular uma sequência como memorizada baseando-se apenas em sua alta probabilidade de geração é falho se a sequência for estatisticamente comum. Ao introduzir uma métrica consciente de priores, o trabalho fornece uma ferramenta de auditoria mais precisa e escalável para auditar a vazão de dados de treinamento.

Os autores declaram explicitamente que a Memorização PA é uma métrica de auditoria post-hoc projetada para pares prefixo-sufixo conhecidos e naturalmente ocorrentes. Não é um limite de extração adversária e não pretende resolver o problema de descobrir registros desconhecidos ou busca de prompts adaptativos. A principal contribuição é a demonstração de que uma parte significativa do que é atualmente sinalizado como um risco de privacidade ou direitos autorais pode ser, na verdade, um resultado das capacidades de generalização do modelo, daí a necessidade de uma abordagem mais matizada para a avaliação de riscos no deployment de LLMs.