Resumo Técnico: Uma Avaliação de Propensão à Memorização em LLMs

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) têm sido extensivamente documentados por reproduzir dados de treinamento, incluindo obras protegidas por direitos autorais e identificadores pessoais sensíveis. No entanto, as avaliações de memorização existentes focam predominantemente na capacidade: se os modelos podem ser forçados a reproduzir dados de treinamento através de ataques adversariais (ex: ataques de prefixo, inferência de associação ou prompts de referência de recursos). Existe uma lacuna significativa na compreensão da propensão: se os modelos reproduzem naturalmente dados de treinamento sob uso comum e não adversarial.

A literatura atual frequentemente confunde esses dois conceitos. Embora as avaliações de capacidade estabeleçam o limite superior da habilidade de um modelo de vazar dados, elas podem superestimar o risco prático em implantações no mundo real, onde os usuários não empregam técnicas de elicitação adversarial. Além disso, estudos não adversariais existentes (ex: Aerni et al., 2024) são frequentemente limitados a modelos fechados, dependem de fragmentos da web em vez de comparação direta com os dados de treinamento, ou falham em contrastar o uso comum com configurações adversariais, limitando a precisão e o escopo de sua análise.

Metodologia

Os autores propõem o PROPME, um framework para avaliação de memorização consciente da propensão, e o SIMPLETRACE, um pipeline de rastreamento leve.

1. Framework PROPME

O PROPME introduz uma abordagem de avaliação de múltiplos níveis contrastando dois cenários de prompting distintos:

• Configurações de Propensão: Prompts plausíveis do mundo real (Genéricos e Específicos) com baixa sobreposição lexical com os dados de treinamento. Estes visam medir a tendência natural do modelo de vazar dados.
• Configurações de Capacidade: Ataques de prefixo onde o modelo é condicionado pelos primeiros 50 tokens de sequências extraídas diretamente do conjunto de dados de treinamento. Estes visam medir a capacidade máxima do modelo de reproduzir conteúdo memorizado.

2. Transformação de Métrica de Propensão

Para quantificar a diferença entre capacidade e propensão, os autores introduzem uma nova transformação de métrica. Dado uma métrica base $f_b \in [0, 1]$ (ex: taxa de memorização), uma configuração de propensão $p$, e uma configuração de capacidade $c$, a métrica consciente da propensão $PM_{f_b}$ é calculada como:

$$PM_{f_b}(M, x) = \frac{1}{2} \left( 1 + \frac{f_b^p(M, x) - f_b^c(M, x)}{f_b^p(M, x) + f_b^c(M, x)} \right)$$

(Com $PM_{f_b} = 0$ se $f_b^p = 0$).

Esta transformação gera uma pontuação onde:

• Pontuações baixas indicam alta capacidade, mas baixa propensão (o modelo pode vazar se for forçado, mas raramente o faz naturalmente).
• Pontuações altas indicam baixa capacidade, mas alta propensão (o modelo vaza espontaneamente mesmo sem forte elicitação).
• Pontuações neutras (0.5) indicam comportamento consistente entre as configurações.

3. Pipeline SIMPLETRACE

Para permitir a atribuição determinística de gerações do modelo ao corpus de treinamento, os autores desenvolveram o SIMPLETRACE, construído sobre o motor infini-gram. Diferente dos métodos de detecção probabilísticos, o SIMPLETRACE realiza uma busca direta sobre o corpus de treinamento. O pipeline envolve:

1. Extração de Span Máximo: Iteração sobre sufixos de uma geração para encontrar o prefixo verbatim mais longo no corpus.
2. Filtragem de Raridade de Unigrama: Filtragem de correspondências de boilerplate, retendo apenas os spans mais raros.
3. Recuperação de Documentos: Recuperação de documentos de origem para os spans retidos, classificando as correspondências como full raw, full normalized ou partial.
4. Fusão de Spans: Colapso de spans sobrepostos em segmentos não redundantes.

O SIMPLETRACE computa métricas como Average Longest Span (ALS), Generations Full Matches Ratio (FMR) e Average Near-Verbatim Recall (NVR).

4. Configuração Experimental

A avaliação foi conduzida em dois modelos totalmente abertos e dois conjuntos de dados:

• Modelos:
  • Comma: Um modelo monolíngue em inglês pré-treinado no dataset Common Pile.
  • DFM Decoder: Um modelo continuamente pré-treinado a partir do Comma em uma mistura do Common Pile e do dataset dinamarquês Dynaword.
• Datasets: Common Pile (Inglês, ~460B tokens) e Dynaword (Dinamarquês, ~6.8B tokens).
• Prompts: Três conjuntos (Genérico, Específico, Prefixo) com 100 amostras cada, gerados para garantir baixa sobreposição para configurações de propensão e alta sobreposição para configurações de capacidade.

Resultados Principais

1. Lacuna entre Capacidade e Propensão

Existe uma lacuna consistente e substancial entre a capacidade de memorização e a propensão.

• Ataques de prefixo elicitaram sinais de memorização significativamente mais fortes do que prompts genéricos ou específicos em todos os modelos e datasets. Por exemplo, no DFM Decoder com Dynaword, o Near-Verbatim Recall (NVR) sob ataques de prefixo foi de 0.036, comparado a 0.001 para prompts genéricos (uma diferença de 36x).
• Pontuações de propensão permaneceram baixas no geral. Mesmo quando os modelos demonstraram a capacidade de reproduzir dados sob elicitação adversarial, eles raramente o fizeram sob condições de prompting comum.

2. Impacto do Pré-treinamento Contínuo

O estudo observou que o pré-treinamento contínuo pode reduzir a memorização de dados anteriores.

• DFM Decoder vs. Comma: O DFM Decoder, que foi continuamente treinado em uma mistura incluindo Dynaword, exibiu redução na memorização do corpus original Common Pile em comparação com seu modelo pai, Comma.
• Mudança de Métrica: Enquanto a propensão verbatim caiu significativamente (de 0.5 para 0.0 em FMR), a propensão near-verbatim teve um aumento menor, sugerindo uma mudança de uma memorização verbatim forte para padrões near-verbatim mais fracos.
• Estabilidade: Os perfis de memorização permaneceram estáveis através das três etapas de treinamento do DFM Decoder, indicando que a composição da mistura de dados (dois terços de Dynaword, um terço de Common Pile) atenuou progressivamente a acessibilidade do conteúdo do Common Pile sem aumentar a memorização do novo corpus.

3. Características do Dataset

• Common Pile (Inglês): A memorização manifestou-se como fragmentos verbatim localizados mais longos (maior ALS).
• Dynaword (Dinamarquês): A memorização produziu spans mais curtos, mas ocasionalmente resultou em reproduções completas ao nível da geração (maior FMR sob ataque de prefixo).

Significância e Alegações

O artigo argumenta que as auditorias de memorização devem reportar tanto a extratibilidade de pior caso (capacidade) quanto a propensão de vazamento comum (propensão) para fornecer uma visão abrangente do comportamento do modelo.

• Avaliação de Risco: Confiar apenas em avaliações de capacidade (ataques de prefixo) superestima o risco prático de vazamento de dados em cenários do mundo real. Inversamente, confiar apenas na propensão pode ignorar a capacidade latente de um modelo de vazar dados se um adversário o visar.
• Conformidade Legal e Ética: Os autores destacam que frameworks como o GDPR da UE e o AI Act da UE exigem testes regulares de medidas de segurança e gestão de riscos. Avaliar a propensão sob uso comum fornece evidências de riscos previsíveis de vazamento, apoiando esforços de conformidade.
• Dinâmica de Treinamento: Os resultados confirmam que a capacidade de memorização não é estática; ela pode diminuir quando o treinamento posterior enfatiza dados parcialmente diferentes, sugerindo que a composição da mistura de dados é um fator crítico para gerenciar riscos de memorização.

Os autores concluem que, embora os modelos possam revelar dados de treinamento quando diretamente elicitados, eles raramente o fazem em configurações comuns não adversariais, e que a avaliação consciente da propensão é essencial para uma compreensão matizada deste fenômeno.