PANOPTICON: A PII-Based Assemblage of Naturalistic Output Tokens for Investigating Privacy Leakage Within LLM Context Window

Resumo Técnico: PANOPTICON

Declaração do Problema
Embora os Grandes Modelos de Linguagem (LLMs) tenham alcançado uma implantação generalizada, a pesquisa de privacidade historicamente focou na privacidade paramétrica (memorização de dados de treinamento). No entanto, riscos significativos de privacidade também existem em relação a dados não paramétricos, especificamente Informações de Identificação Pessoal (PII) fornecidas no momento da inferência dentro da janela de contexto do modelo. Existe uma lacuna crítica no campo: não há um conjunto de dados público e autêntico de PII devido a restrições éticas, o que dificulta a quantificação dos riscos de privacidade associados ao vazamento no momento da inferência. Benchmarks existentes como o PANORAMA abordam a memorização paramétrica, mas carecem da estrutura específica necessária para estudar Ataques de Inversão de Prompt (PIAs), onde adversários tentam reconstruir os prompts de entrada originais a partir das saídas do modelo ou de ativações internas.

Metodologia
Os autores introduzem o PANOPTICON (PII-based Assemblage of Naturalistic OutPut–Tokens for Investigating Privacy Leakage Within LLM CONtext Window), um conjunto de dados sintético projetado para facilitar estudos controlados sobre o manuseio de PII no momento da inferência. O pipeline de geração envolve quatro etapas:

1. Extração de Dados: Perfis de usuários e conteúdo online são extraídos do conjunto de dados PANORAMA.
2. Seleção de Cenários: Contextos são estabelecidos selecionando entre sete categorias de PII (Profissional, Finanças, Saúde, Relacionamento, Governo, Redes Sociais e uma categoria Benigna) e 38 cenários específicos (ex: Planejamento de Orçamento, Conselhos de Relacionamento).
3. Construção de Entrada: Dados de perfil, cenários selecionados e candidatos a PII são organizados em um prompt de sistema customizado.
4. Geração de Prompt Sintético: O prompt de sistema é alimentado ao modelo Llama-3.1-8B-Instruct da Meta para gerar prompts naturalísticos contendo spans de PII.

O conjunto de dados resultante compreende 67.718 prompts derivados de 9.674 perfis sintéticos únicos. O conjunto de dados inclui metadados estruturados (ID, Categoria, Cenário, Prompt, rótulos de PII e Conteúdo) e é avaliado quanto ao realismo usando diversidade lexical (Entropia de Token: 9,19 bits) e diversidade semântica (distância de cosseno média par via Sentence-BERT: 0,83). Os autores observam uma taxa de redundância de apenas 5,36%, indicando que o conjunto de dados não colapsa em templates estreitos.

Principais Contribuições

1. Geração de Benchmark de Conjunto de Dados: O PANOPTICON é apresentado como o primeiro benchmark de conjunto de dados especificamente para estudar PIAs sobre corpora privados. Ele contém 67.718 prompts abrangendo seis categorias de PII e uma categoria benigna, com rótulos de ground-truth para spans de PII gerados via etiquetagem baseada em expressões regulares.
2. Caracterização do Conjunto de Dados: O artigo fornece uma análise quantitativa da diversidade lexical e semântica, redundância e composição do conjunto de dados, validando-o como um benchmark robusto para estudos de privacidade no momento da inferência.
3. Estudo de Caso sobre a Utilidade do Benchmark: Os autores demonstram a utilidade do conjunto de dados através de um estudo de caso adaptando um modelo de ameaça de Ataque de Inversão de Prompt (PIA). Eles avaliam a recuperação de prompts a partir de estados ocultos de fronteira usando uma sonda de inversão leve, inspirada em PIA.

Resultos
No estudo de caso experimental, os autores compararam seus resultados de inversão contra resultados de PIA white-box de última geração de Qu et al. [23] (que usou um modelo de 65B parâmetros e dados benignos da Skytrax).

• Fidelidade de Reconstrução: A aproximação leve dos autores no modelo instruído de 8B resultou em uma precisão absoluta de tokens significativamente menor (0,0093 a 0,0211) comparada aos 0,8838 relatados em trabalhos anteriores.
• Interpretação: Os autores atribuem essa degradação ao tamanho menor do modelo, à mudança de domínios benignos para relevantes à privacidade e à omissão de otimização restrita total.
• Utilidade: Apesar da baixa fidelidade absoluta, o proxy produziu com sucesso medições de recuperação consistentes e conscientes de PII. Ele permitiu a medição sistemática de se os spans de PII exibem diferentes comportamentos de inversão em comparação ao contexto benigno, estabelecendo um limite inferior empírico para a recuperabilidade de PII sob configurações de recursos limitados.

Significância e Alegações
O artigo alega modestamente que o PANOPTICON serve como uma ferramenta fundamental para pesquisas futuras de privacidade em LLMs, em vez de uma solução definitiva para vazamento de privacidade. Sua principal significância reside em:

• Fornecer o primeiro benchmark padronizado para estudar Ataques de Inversão de Prompt especificamente sobre corpora privados.
• Permitir comparações controladas e conscientes de rótulos entre spans de PII e contexto benigno, operacionalizando uma sonda de vazamento consistente.
• Oferecer um protocolo repetível para avaliar o comportamento de privacidade no momento da inferência, que pode ser aplicado a diferentes modelos alvo e famílias de atacantes em trabalhos futuros.

Os autores reconhecem limitações, incluindo a precisão imperfeita da etiquetagem de PII baseada em regex (que pode capturar excessiva ou insuficientemente a PII), restrições computacionais que limitam o uso de modelos maiores e a inerente falta de dados de distribuição do mundo real para o uso de PII. No entanto, eles afirmam que o conjunto de dados fornece a infraestrutura necessária para avançar a compreensão empírica dos riscos de privacidade no momento da inferência.