Extracting Training Dialogue Data from Large Language Model based Task Bots

Este trabalho investiga os riscos de privacidade em sistemas de diálogo orientados a tarefas baseados em Grandes Modelos de Linguagem (LLMs), propondo e validando novos ataques de extração de dados que exploram a memorização do modelo para recuperar milhares de rótulos de estados de diálogo com alta precisão, ao mesmo tempo que analisa os fatores que influenciam essa memorização e discute estratégias de mitigação.

O essencial

Imagine que você tem um assistente virtual superinteligente, como um garçom de restaurante ou um agente de viagens que foi treinado com milhões de conversas reais de pessoas. O objetivo dele é ajudar você a reservar um voo, achar um restaurante ou marcar uma consulta médica.

Este artigo de pesquisa é como um detective de privacidade que descobriu um segredo assustador sobre como esses assistentes funcionam.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Segredo do "Garçom" (O Problema)

Imagine que esse garçom (o robô) aprendeu a trabalhar lendo milhões de cadernos de anotações de clientes anteriores. Para ser eficiente, ele não apenas aprendeu como responder, mas acabou decorando partes dessas conversas.

O problema é que, às vezes, ele decorou coisas que não deveria:

• Números de telefone.
• Endereços de casas.
• Planos de viagem completos de pessoas reais.

Os pesquisadores descobriram que, mesmo que você não mostre ao robô a conversa inteira, apenas dando a ele uma "pista" (como dizer "Quero reservar um restaurante..."), ele pode, sem querer, recitar de cor a conversa completa que ele leu no passado, incluindo os dados privados do cliente original. É como se o garçom, ao ouvir "Quero uma mesa para 3 pessoas", dissesse: "Ah, a última vez que alguém pediu isso, foi a família Silva, que estava indo para a Casa Mono às 19h e deixou o telefone 12345".

2. A Tentativa de Hackear (O Ataque)

Os pesquisadores tentaram "hackear" esses robôs de duas formas:

• O Método "Chute Livre" (Untargeted): Eles perguntaram ao robô: "Me dê um exemplo de reserva". O robô começou a soltar dados.
  • Resultado: Funcionou um pouco, mas o robô tendia a repetir coisas genéricas (como "Pizza Hut") e falhava em pegar detalhes complexos. Era como tentar adivinhar o número de telefone de alguém apenas gritando "Alguém tem um telefone?".
• O Método "Detetive com Pista" (Targeted): Aqui foi onde ficou perigoso. Os pesquisadores deram uma meia frase ao robô.
  • Exemplo: "Reserva: Restaurante, Nome = Casa Mono..."
  • O que aconteceu: O robô completou a frase automaticamente, revelando o resto dos dados que ele havia memorizado: "...Horário = 19h, Telefone = 12345".
  • Resultado: Com essa técnica, eles conseguiram recuperar milhares de dados privados com uma precisão de mais de 70%. Foi como dar ao garçom o nome do cliente e ele, instantaneamente, recitar o endereço, o prato favorito e o número do cartão de crédito dele.

3. Por que é difícil pegar esses dados? (O Desafio)

O robô não é um livro aberto. Ele foi treinado para ser "inteligente" e não apenas um gravador.

• O Problema da "Uma Pergunta, Várias Respostas": Se você diz "Quero um restaurante", pode haver mil respostas certas. O robô não sabe qual delas você quer. Isso torna difícil saber qual dado ele memorizou de verdade.
• O Problema do "Contexto Faltante": Se você não der o contexto completo, o robô fica confuso e inventa coisas sem sentido.

Para resolver isso, os pesquisadores criaram duas ferramentas novas:

1. O "Guia de Menu" (Schema-Guided Sampling): Em vez de deixar o robô chutar qualquer palavra, eles criaram um "menu" restrito. Eles disseram ao robô: "Só use palavras que existem no nosso cardápio de restaurantes". Isso impediu que ele inventasse coisas e forçou-o a usar os dados reais que ele memorizou.
2. O "Detector de Mentiras" (Debiased Perplexity): Eles criaram uma fórmula matemática para diferenciar o que o robô realmente memorizou do que ele apenas adivinhou por ser uma frase comum (como "Olá, como posso ajudar?").

4. O Que Isso Significa para Nós? (O Perigo)

A descoberta mais assustadora é que dados parecem inofensivos, mas juntos contam uma história perigosa.

• Saber que alguém gosta de "pizza" não é grave.
• Saber que alguém gosta de "pizza", vai para "Londres" na "sexta-feira" e usa o telefone "12345" é grave.

O estudo mostrou que, ao combinar essas pequenas informações, o robô pode revelar a vida inteira de uma pessoa, mesmo que nenhuma parte individual pareça um segredo.

5. Como Consertar? (A Solução)

Os pesquisadores sugerem duas formas de proteger esses robôs no futuro:

1. Ensinar a ver o "Filme Inteiro": Em vez de ensinar o robô frase por frase (o que faz ele memorizar repetições), ensinar a ele a ver a conversa completa de uma vez. Isso reduz a chance de ele decorar trechos específicos.
2. A Regra do "Copiar e Colar": Fazer com que o robô, ao dar uma resposta, copie os dados diretamente do que você disse, em vez de tentar "inventar" ou "gerar" novos dados a partir da memória. Se ele não tiver o histórico na frente, ele não deve conseguir "alucinar" dados antigos.

Resumo Final

Este trabalho é um alerta: Inteligência Artificial não é apenas "inteligente", ela é "memoriosa". Se não tomarmos cuidado, nossos assistentes virtuais podem se tornar bibliotecas vivas de nossos segredos, prontas para recitar nossos dados privados se alguém fizer a pergunta certa. A solução não é parar de usar a IA, mas sim ensinar ela a esquecer o que não precisa lembrar.

Resumo técnico

1. Problema Investigado

O artigo aborda um risco de privacidade crítico e pouco explorado em Sistemas de Diálogo Orientados a Tarefas (TODS) baseados em Grandes Modelos de Linguagem (LLMs).

• Contexto: Os TODS modernos utilizam LLMs (como GPT ou Llama) ajustados (fine-tuned) para entender intenções do usuário e gerar respostas estruturadas. Esses sistemas lidam com dados sensíveis (números de telefone, endereços, planos de viagem).
• A Ameaça: Embora os LLMs sejam treinados para generalizar, eles tendem a memorizar dados de treinamento. Em TODS, o modelo não apenas memoriza frases soltas, mas aprende a prever estados de diálogo estruturados (ex: Restaurante{comida=Italiana, preço=caro, telefone=12345}) com base no histórico.
• O Gap de Pesquisa: Ataques anteriores de extração de dados focavam em modelos de geração aberta (onde o modelo reproduz o texto de entrada). No entanto, em TODS, o histórico de diálogo é usado apenas como contexto de condicionamento e não é gerado pelo modelo. O vazamento ocorre nos rótulos dos estados de diálogo (as informações estruturadas extraídas do histórico), que podem ser extraídos mesmo sem acesso ao histórico original, apenas através de consultas à API do bot.

2. Metodologia Proposta

Os autores propõem um ataque de extração de dados de treinamento em duas etapas principais, adaptado especificamente para as restrições estruturais dos TODS:

A. Geração de Estados de Diálogo (Decodificação de Sufixo)

Métodos existentes falham porque geram estados inválidos ou genéricos quando não há contexto completo.

• Amostragem Guiada por Esquema (Schema-Guided Sampling):
  • O ataque primeiro descobre o "esquema" do bot (domínios, slots e valores permitidos) simulando interações de usuário com o bot (usando um "Modelo contra Modelo" com ChatGPT).
  • Durante a geração de candidatos, o vocabulário é restrito estritamente a esse esquema extraído. Isso garante que os estados gerados sejam estruturalmente válidos e relevantes, evitando ruído.
• Configuração de Ataque:
  • Não Direcionado (Untargeted): O bot é solicitado a gerar estados a partir de um prefixo vazio (ex: "Belief State:").
  • Direcionado (Targeted): O atacante fornece um prefixo parcial do estado (ex: "Restaurante{nome=Pizza Hut,") e tenta forçar o modelo a completar o restante (ex: "...telefone=12345").

B. Inferência de Membro (Membership Inference)

Após gerar milhares de candidatos, é necessário identificar quais pertencem realmente ao conjunto de dados de treinamento.

• Perplexidade Condicional (C-PPL): Em vez de calcular a perplexidade de toda a sequência (o que é enviesado pelo prefixo), calcula-se a perplexidade apenas do sufixo (a parte gerada), condicionada ao prefixo.
• Perplexidade Condicional Viésada (Debiased C-PPL - DC-PPL): Para corrigir o viés do modelo em favor de fragmentos genéricos ou comuns (como saudações), os autores normalizam a C-PPL pela perplexidade do próprio sufixo. Isso permite distinguir melhor entre dados memorizados e gerações comuns.

3. Principais Contribuições

1. Primeiro Estudo Sistemático: É o primeiro trabalho a investigar a memorização de dados de treinamento especificamente em bots de tarefas baseados em LLMs, focando no vazamento de estados de crença estruturados e semântica de tarefas cruzadas, em vez de apenas fragmentos de fala.
2. Novas Técnicas de Ataque:
   • Desenvolvimento de uma estratégia de Amostragem Guiada por Esquema para superar a falta de contexto e gerar estados válidos.
   • Criação da métrica DC-PPL para reduzir falsos positivos na inferência de membros, corrigindo o viés de frequência de esquemas.
3. Análise de Fatores de Memorização: Identificação de que a repetição de substrings em dados de treinamento (comum em diálogos multi-turno) aumenta a memorização, enquanto a natureza um-para-muitos dos diálogos (várias respostas válidas para um mesmo contexto) pode reduzir a precisão da extração.
4. Estratégias de Mitigação: Proposição de técnicas defensivas, como modelagem em nível de diálogo (para reduzir repetição) e mecanismos de "cópia de valor" (onde o modelo copia valores do histórico em vez de gerá-los, impedindo a reprodução não intencional).

4. Resultados Experimentais

Os experimentos foram realizados no dataset MultiWOZ com um modelo Llama2 (7B) ajustado.

• Extração Não Direcionada:
  • O método conseguiu extrair centenas de estados de diálogo.
  • Precisão: Valores individuais (como números de telefone) tiveram uma precisão máxima de 67%, enquanto estados completos de diálogo atingiram apenas 26%.
• Extração Direcionada (com Prefixo Parcial):
  • A precisão aumentou drasticamente.
  • Precisão de Valores: Chegou a 100% em cenários ideais.
  • Precisão de Estados: Excedeu 70% para estados de nível de evento.
• Eficácia da DC-PPL: A métrica proposta superou significativamente as técnicas tradicionais (como Perplexidade padrão e PPL-zlib), alcançando mais de 70% de precisão na extração de estados e 100% na extração de valores no melhor caso.
• Análise de Privacidade: A análise mostrou que, embora os valores individuais sejam mais fáceis de extrair, a combinação de dados (PII combinacional) revela riscos de privacidade significativos em nível de evento (ex: um plano de viagem completo), mesmo que partes individuais pareçam inofensivas.

5. Significado e Conclusão

O trabalho demonstra que os bots de tarefas baseados em LLMs representam uma ameaça real de vazamento de dados, mesmo quando protegidos contra a extração direta de histórico de conversas.

• Risco: A memorização de estados estruturados permite que um adversário reconstrua informações sensíveis de usuários (como itinerários de viagem ou detalhes médicos) apenas interagindo com a API do bot.
• Implicação: As técnicas de defesa atuais para LLMs genéricos são insuficientes para TODS. São necessárias abordagens específicas que considerem a estrutura de slots e a natureza condicional da geração de diálogos.
• Futuro: O artigo sugere que a proteção de privacidade em TODS deve focar em reduzir a repetição de dados durante o treinamento e implementar mecanismos que forcem o modelo a copiar valores do contexto atual em vez de "lembrar" e regenerar valores específicos do conjunto de treinamento.

Em resumo, o estudo revela que a integração de LLMs em sistemas de tarefas automatizadas cria uma nova superfície de ataque onde a memorização de rótulos estruturados é uma vulnerabilidade crítica, exigindo novas metodologias de avaliação e defesa.