Resumo Técnico: Extração de Dados de Treinamento de Modelos de Linguagem de Difusão via Preenchimento

Declaração do Problema

Embora a memorização de dados de treinamento em modelos de linguagem autoregressivos (ARMs) tenha sido extensivamente estudada por meio de extração condicionada a prefixos (onde um adversário fornece um prefixo e o modelo gera o sufixo), essa abordagem falha em capturar o perfil de risco completo dos Modelos de Linguagem de Difusão (DLMs). Os DLMs operam por meio de remoção iterativa de ruído e possuem um viés indutivo bidirecional, permitindo-lhes reconstruir tokens em posições arbitrárias dado o contexto circundante. Confiar exclusivamente na sondagem condicionada a prefixos, um protocolo herdado da pesquisa com ARMs, subestima significativamente o risco de extração de dados de treinamento em DLMs, pois ignora a capacidade do modelo de "preencher" tokens mascarados usando tanto o contexto anterior quanto o posterior.

Metodologia

Os autores introduzem a Extração por Preenchimento, um protocolo de extração de dados generalizado parametrizado por uma máscara binária arbitrária $m$. Neste protocolo, uma sequência de treinamento é parcialmente mascarada, e o DLM é encarregado de reconstruir os tokens mascarados com base no contexto não mascarado. A sequência é considerada "extraída" se a reconstrução corresponder ao texto mascarado original.

Configuração Experimental

O estudo avalia este protocolo em dois DLMs de grande escala (LLaDA-8B e Dream-7B) e os compara contra uma linha de base ARM de escala correspondente (LLaMA-2-7B). Os experimentos abrangem:

1. Cinco Modos de Extração:
   • Condicionado a Prefixo: Os primeiros $k$ tokens revelados (linha de base padrão de ARM).
   • Condicionado a Sufixo: Os últimos $k$ tokens revelados.
   • Condicionado a Bordas: Os primeiros e últimos $k/2$ tokens revelados (contexto de parêntese).
   • Condicionado ao Meio: Um segmento contíguo no meio revelado.
   • Aleatório: Um subconjunto uniformemente aleatório de $k$ tokens revelados.
   • Direcionado: Apenas entidades sensíveis (PII) são mascaradas, com toda a sequência circundante revelada.
2. Três Pipelines de Treinamento: Ajuste Fino Completo (FT), Adaptação de Baixo Rango (LoRA) e Ajuste Fino Supervisionado (SFT) sob um modelo de chat.
3. Três Conjuntos de Dados:
   • MIMIR Pile: Para extração de sequências verbais.
   • Enron Email: Para extração de Informações Pessoais Identificáveis (PII) (endereços de e-mail e números de telefone).
   • Tulu3: Para vazamento de prompt/resposta em configurações ajustadas para instruções.
4. Parâmetros de Decodificação: O estudo analisa o impacto das etapas de remoção de ruído ($T$), tamanho do bloco semiautoregressivo ($b$), temperatura de amostragem ($\tau$) e estratégias de remascaramento.

Principais Contribuições

1. Formalização da Extração por Preenchimento: O artigo define um protocolo parametrizado por máscara que generaliza a extração condicionada a prefixos, levando explicitamente em conta a natureza bidirecional dos DLMs.
2. Avaliação Sistemática: Fornece o primeiro estudo sistemático da memorização em grandes DLMs através de diversos padrões de acesso, regimes de exposição e configurações de tempo de inferência.
3. Identificação de Novos Canais de Vazamento: O trabalho demonstra empiricamente que o acesso bidirecional abre canais de vazamento estruturalmente inacessíveis aos ARMs, como a recuperação de prompts de usuário a partir de respostas do modelo.

Principais Resultados

1. A Geometria da Máscara Governa a Extraibilidade

A colocação do contexto revelado impacta significativamente o sucesso da extração.

• Superioridade Condicionada a Bordas: Máscaras condicionadas a bordas (revelando início e fim) extraem até três vezes mais sequências verbais do que máscaras condicionadas a prefixos. Por exemplo, no LLaDA-8B-FT, o modo Edge alcançou 0,41% de ASR comparado a 0,18% para Prefixo.
• Viés Bidirecional: Isso confirma que os DLMs aproveitam o contexto de ambas as direções para reconstruir tokens mascarados, uma capacidade não utilizada na sondagem padrão de prefixos.

2. O Acesso Bidirecional Abre Novos Canais de Vazamento

• Recuperação de Prompt: Em modelos ajustados para instruções (SFT), adversários podem recuperar prompts de usuário a partir de respostas conhecidas do modelo (extração condicionada a resposta). Embora a extração condicionada a prompt (padrão) tenha mostrado 10% de ASR, a extração condicionada a resposta ainda alcançou ASR não trivial (1,78–3,36%), um canal impossível para ARMs.
• Token vs. Sequência: Embora a recuperação ao nível de token (TER) possa ser alta (ex: 56% para máscaras aleatórias), a extração exata e literal (ASR) permanece baixa, sugerindo que os tokens revelados fornecem um andaime que auxilia a recuperação parcial, mas não garante a reprodução completa da sequência.

3. Modelo de Ameaça Realista: Dados Redigidos e PII

O estudo simula um cenário realista onde um adversário obtém uma versão redigida dos dados de treinamento (por exemplo, via liberação regulatória ou vazamento parcial) e usa o modelo para recuperar a PII redigida.

• Preenchimento Direcionado: Quando apenas tokens de PII são mascarados e o contexto circundante é revelado, os DLMs mostram alta extraibilidade. No conjunto de dados Enron, o LLaDA-8B ajustado finamente alcançou 40,5% de recall para endereços de e-mail e 28,9% para números de telefone.
• Comparação com ARMs: Sob um ataque estritamente condicionado a prefixos, os DLMs pareciam mais seguros que os ARMs (LLaDA: 16,3% vs. LLaMA: 35,9% de recall para e-mails). No entanto, sob preenchimento direcionado, os DLMs igualaram ou superaram a linha de base ARM (LLaDA: 40,5% vs. LLaMA: 35,9%). Isso indica que avaliações apenas de prefixo subestimam severamente os riscos dos DLMs em cenários realistas envolvendo dados redigidos.

4. Influência dos Parâmetros de Decodificação

• Etapas de Remoção de Ruído ($T$): Maior $T$ (mais etapas de refinamento) aumenta o recall, enquanto configurações de baixo $T$ orientadas a throughput obscurecem o conteúdo memorizado.
• Tamanho do Bloco ($b$): Tamanhos de bloco maiores (remoção de ruído totalmente paralela) aumentam significativamente o sucesso da extração em comparação com blocos pequenos (comportamento tipo AR), identificando o paralelismo bidirecional como um motor primário de vazamento.
• Estratégia de Remascaramento: O remascaramento baseado em confiança (comprometendo previsões de alta confiança) amplifica a extração em comparação com o remascaramento aleatório.
• Temperatura ($\tau$): A decodificação gulosa ($\tau \to 0$) geralmente produz a extração mais forte.

5. Persistência Através do SFT

Uma etapa subsequente de Ajuste Fino Supervisionado (SFT) em dados de instruções redistribui, mas não elimina, a memorização. Embora o recall de e-mails tenha diminuído ligeiramente após o SFT, o recall de números de telefone permaneceu largely inalterado, sugerindo que strings numéricas curtas e idiossincráticas são ortogonais aos objetivos de seguimento de instruções e sobrevivem ao processo de alinhamento.

Significado e Alegações

O artigo argumenta que a avaliação de segurança atual dos DLMs é incompleta porque depende de protocolos condicionados a prefixos projetados para ARMs. Ao introduzir a extração por preenchimento, os autores demonstram que:

1. Os DLMs representam um risco maior de vazamento de dados de treinamento do que se pensava anteriormente, particularmente quando adversários podem aproveitar o contexto bidirecional ou acessar dados de treinamento redigidos.
2. A geometria da máscara é um fator crítico na memorização, com preenchimento direcionado e condicionado a bordas revelando vulnerabilidades invisíveis à sondagem apenas de prefixos.
3. Os parâmetros de decodificação atuam como alavancas tanto para amplificação quanto para mitigação; os praticantes podem ajustá-los para equilibrar desempenho e resistência ao vazamento.

Os autores concluem que, embora os DLMs possam parecer mais seguros sob métricas tradicionais baseadas em prefixos, sua natureza bidirecional cria canais únicos e potentes para extração de dados que devem ser abordados em futuras pesquisas de segurança e estratégias de implantação.