Probe Choice Changes Canary-Memorization Verdicts: Three Post-Hoc Disagreement Case Studies in a Text-Dominant LoRA-Tuned Autoregressive Testbed

Resumo Técnico: A Escolha da Sonda Altera os Vereditos de Memorização de Canários

Definição do Problema
O artigo aborda um problema crítico de confiabilidade na avaliação de memorização em modelos generativos autorregressivos: a escolha da sonda de avaliação pode alterar materialmente o veredito sobre se um modelo memorizou dados de treinamento específicos (canários). Embora o campo dependa de sondas como a média da Log-Verossimilhança Negativa (NLL) da janela de prefixo truncada, NLL secreta de amplitude total ou recall exato comportamental, este trabalho demonstra que essas métricas nem sempre são consistentes. Especificamente, os autores investigam se uma sonda padrão, pré-especificada internamente ($\Delta$NLL$_{mean20}$, uma janela de prefixo fixa de $K=20$ tokens), concorda com a NLL secreta de amplitude total ou com o recall exato comportamental (hit@1) em um ambiente de teste controlado por ajuste fino LoRA. A preocupação central é que a dependência acrítica de uma única sonda de janela pode levar a falsos negativos (perda de detecção de memorização) ou falsos positivos (atribuição de memorização a spans não secretos), confundindo conclusões sobre generalização versus memorização.

Metodologia
Os autores constroem um ambiente de teste de memorização controlado usando o backbone Qwen2.5-VL-7B com uma torre de visão congelada e uma torre de linguagem treinável.

• Injeção de Canários: Eles injetam 20 canários de imagem e 20 canários de texto no modelo via um "Canary LoRA" ($r=32, \alpha=64$). Os canários de texto seguem um template específico (ex: TEXTCAN-{16hex}-END) pareado com uma imagem de placeholder fixa.
• Ajuste Fino Benigno (bSFT): Um segundo LoRA ($r=16, \alpha=32$) é empilhado sobre a base com o canary fundido. Este bSFT é treinado em uma de quatro fontes de dados (GUI, SYNTH, SAFETY, RANDOM) que excluem explicitamente as strings dos canários. Esta configuração cria um regime de "LoRA empilhado" para testar se o ajuste fino benigno reativa a memorização ou altera os sinais da sonda.
• Definições de Sonda: O estudo compara três sondas distintas:
  1. $\Delta$NLL$_{mean20}$: A mudança na NLL média nos primeiros 20 tokens (a sonda padrão, pré-especificada internamente).
  2. $\Delta$NLL$_{hex}$: A mudança na NLL sobre o span hexadecimal secreto completo de 13 tokens (avaliada com um forward pass de $K=30$ para capturar tokens da cauda).
  3. Hit@1 Comportamental: A fração de canários onde a saída de decodificação greedy corresponde exatamente à string secreta.
• Escopo Experimental: O estudo agrega 34 células de bSFT (102 execuções ao nível de semente) e inclui controles subtreinados e controles de ruído LoRA-NOISE de norma correspondente. A análise foca em estudos de caso post-hoc onde essas sondas divergem.

Principais Contribuições
O artigo não propõe uma nova métrica de memorização, mas fornece uma auditoria específica de template das métricas existentes. Suas principais contribuições são:

1. Identificação de Divergência de Sondas: Os autores documentam três estudos de caso post-hoc distintos onde a sonda padrão de NLL média $K=20$ produz um veredito que contradiz a NLL de amplitude total ou o recall comportamental.
2. Decomposição Mecanística: Eles atribuem essas divergências a mecanismos específicos de posição de token ou de regime de baseline:
   • Truncamento de Janela (Falso Negativo): Dano ocorrendo em tokens fora da janela $K=20$.
   • Deriva de Span Não-Secreto (Falso Positivo): Movimento da sonda impulsionado inteiramente por tokens de preâmbulo, em vez do span secreto.
   • Ambiguidade de Controle Subtreinado: Queda de NLL em baselines subtreinados que são indistinguíveis de aprendizado específico do segredo sem sondas de isca (decoy probes).
3. Recomendações de Protocolo de Avaliação: O artigo propõe um padrão de reporte de múltiplas métricas para evitar esses problemas.

Resultos: Três Estudos de Caso
A auditoria revela três modos de falha específicos no ambiente de teste Qwen2.5-VL-7B:

• Caso 1 (C3): O Truncamento de Janela Ignora a Fragilidade de Tokens Esparsos na Cauda.

  • Observação: $\Delta$NLL$_{mean20}$ é plano (+0.0001), mas o hit@1 cai de 1.00 para 0.88, e o $\Delta$NLL$_{hex}$ de amplitude total é positivo (+0.0133).
  • Mecanismo: O dano está concentrado no último token hexadecimal (posição 23), que cai fora da janela $K=20$. A sonda padrão é "cega" para essa falha esparsa e específica de decodificação greedy.
  • Evidência: 7/60 falhas de greedy ocorreram em 3/20 canários, todas devido a erros nos últimos 1–2 caracteres hexadecimais.

• Caso 2 (C4): Deriva de Span Não-Secreto (Falso Positivo).

  • Observação: $\Delta$NLL$_{mean20}$ mostra um deslocamento positivo significativo (+0.0150), sugerindo memorização, enquanto $\Delta$NLL$_{hex}$ é negligenciável (+0.0004) e o hit@1 permanece em 1.00.
  • Mecanismo: A decomposição por span revela que ~99% do movimento da sonda ocorre nos tokens de preâmbulo não-secretos. O span secreto em si permanece inalterado.
  • Evidência: O sinal colapsa quando o bSFT-LoRA é fundido aos pesos base, indicando que a deriva depende da pilha de avaliação e não é um efeito real do span secreto.

• Caso 3 (C5): Queda de NLL Ambígua em Janela de Token Subtreinado.

  • Observação: $\Delta$NLL$_{mean20}$ é negativo (-0.0070) em um baseline subtreinado, o que poderia sugerir "esquecimento" ou "reativação", dependendo da interpretação. No entanto, o $\Delta$NLL$_{hex}$ de amplitude total é positivo (+0.0076), e o hit@1 é 0.
  • Mecanismo: A queda de NLL dentro da janela é localizada em tokens hexadecimais dentro de $K=20$, mas o sinal de amplitude total é positivo. Sem sondas de isca (hex embaralhado ou segredos errados), é impossível distinguir entre aprendizado específico do segredo e suavização de prior de formato ou adaptação de template.
  • Evidência: O mean20 negativo é consistente tanto com recuperação de segredo quanto com suavização não-secreta; nenhum hit@1 verbatim > 0 foi observado em regimes subtreinados.

Significância e Alegações
O artigo alega modestamente que seus achados são específicos ao backbone testado (Qwen2.5-VL-7B) e sua configuração, em vez de uma reivindicação populacional universal. No entanto, argumenta que os modos de falha são nomeáveis e acionáveis.

• Confiabilidade da Avaliação: Os autores afirmam que confiar em uma única janela truncada (como $K=20$) é insuficiente para uma auditoria robusta de memorização. Uma escolha de sonda pode inverter um veredito de "memorizado" para "não memorizado" (ou vice-versa) sem qualquer mudança no comportamento subjacente do modelo.
• Recomendações de Protocolo: Para garantir robustez, o artigo recomenda que futuras auditorias reportem:
  1. NLL de segredo de amplitude total (para evitar erros de truncamento de janela).
  2. Decomposição localizada por span (para distinguir deriva de preâmbulo de dano no segredo).
  3. Recall exato comportamental em $k \ge 4$ (para detectar fragilidade de tokens esparsos na cauda que a decodificação greedy perde).
  4. Sondas de isca (decoy probes) (controles de hex embaralhado ou segredo errado) para descartar a suavização de prior de formato antes de alegar especificidade do segredo.

O trabalho serve como uma auditoria de cautela, demonstrando que as conclusões de "generalização vs. memorização" são sensíveis à janela de sonda específica e à estratégia de decomposição utilizada.