Evaluating LLM-based Personal Information Extraction and Countermeasures

1. Problema Investigado

O artigo aborda a ameaça emergente de Extração de Informações Pessoais (PIE - Personal Information Extraction) em larga escala, utilizando Grandes Modelos de Linguagem (LLMs).

• Contexto: Ataques tradicionais de segurança, como spear phishing (phishing direcionado) e fraude de telecomunicações, dependem da coleta automática de dados pessoais (e-mail, telefone, endereço, histórico profissional, etc.) de perfis públicos na web.
• Limitação dos Métodos Atuais: As técnicas tradicionais de extração (expressões regulares, busca por palavras-chave e reconhecimento de entidades nomeadas - NER) têm sucesso limitado devido à incapacidade de compreender a semântica complexa e variada dos perfis pessoais.
• Ameaça: Com o advento de LLMs acessíveis (como GPT-4, Gemini, Llama), atacantes podem automatizar a extração precisa dessas informações, superando as defesas existentes e facilitando ataques em massa.

2. Metodologia

Os autores realizaram um estudo de medição sistemático para benchmarkar ataques e contra-medidas. A metodologia foi estruturada em cinco componentes principais:

A. Formulação de um Framework de Ataque

O framework de ataque consiste em dois componentes configuráveis pelo atacante:

1. Design do Prompt: Inclui o estilo do prompt (direto, persona, contextual, pseudocódigo), o uso de in-context learning (exemplos de demonstração) e instruções para contornar defesas.
2. Processamento do Perfil Pessoal: Pode ser o uso direto do perfil original ou a filtragem de informações redundantes (para lidar com limites de tokens ou ruído em formatos como HTML).

B. Coleta de Conjuntos de Dados (Datasets)

Devido à falta de benchmarks públicos com "ground truth" (dados reais verificados), os autores criaram quatro conjuntos de dados:

1. Synthetic: 100 perfis gerados sinteticamente pelo GPT-4 em formato HTML, com 8 categorias de informações.
2. Celebrity: Perfis de 127 pessoas famosas (atores, políticos, etc.) raspados da internet.
3. Physician: Perfis de médicos americanos do século 19 do Wikipedia.
4. Professor: 100 perfis de professores de EECS de universidades de elite (MIT, Stanford, etc.).
5. Court: Um conjunto de dados existente de casos judiciais (usado para anonimização de texto).

• Categorias Extraídas: E-mail, telefone, endereço, nome, experiência profissional, formação acadêmica, afiliação e ocupação.

C. Avaliação de Ataques

• Modelos Testados: 10 LLMs diferentes (incluindo GPT-4, GPT-3.5, PaLM 2, Gemini Pro, Vicuna, Llama-2, InternLM).
• Métricas: Precisão (Accuracy) para dados estruturados (e-mail, telefone) e pontuações Rouge-1 e BERT Score para dados textuais (experiência, formação).
• Baselines: Comparação com métodos tradicionais (Regex, Keyword Search, NER com spaCy/BERT, mlscraper).

D. Formulação de Contra-medidas

• Defesas Existentes: Substituição de símbolos (ex: "@" por "AT"), substituição de palavras-chave, hiperlinks e conversão de texto para imagem.
• Nova Proposta (Injeção de Prompt): Os autores propõem usar a Injeção de Prompt como defesa. A ideia é inserir um texto invisível ao usuário humano (ex: cor da fonte igual ao fundo, não selecionável) dentro do perfil que instrui o LLM a ignorar informações anteriores e extrair dados falsos.

E. Avaliação de Contra-medidas

Teste sistemático das defesas contra os 10 LLMs, incluindo a avaliação de ataques adaptativos (tentativas de contornar a injeção de prompt).

3. Principais Contribuições

1. Framework de Ataque Sistematizado: Definição formal de como atacar perfis pessoais usando LLMs, cobrindo design de prompt e processamento de dados.
2. Novos Datasets: Criação de um dataset sintético e coleta de três datasets do mundo real com anotações manuais de 8 categorias de dados sensíveis.
3. Descoberta de Vulnerabilidade: Demonstração de que LLMs superam significativamente os métodos tradicionais na extração de informações.
4. Defesa Inovadora: Proposta de usar a injeção de prompt (geralmente vista como um ataque) como uma técnica defensiva para proteger a privacidade.
5. Benchmark Completo: Avaliação de 10 LLMs contra 5 datasets e múltiplas defesas, incluindo ataques adaptativos.

4. Resultados Chave

Eficácia dos Ataques

• Alta Precisão: O GPT-4 alcançou 100% de precisão na extração de e-mails e 98% de telefones no dataset sintético.
• Superioridade sobre Métodos Tradicionais: Os LLMs superaram consistentemente Regex, busca por palavras-chave e NER. Por exemplo, enquanto o Regex teve 100% de precisão em e-mails (devido à estrutura fixa), falhou drasticamente em categorias sem estrutura fixa (como "afiliação" ou "ocupação"), onde os LLMs mantiveram alta performance.
• Tamanho do Modelo: Modelos maiores (como GPT-4) foram significativamente mais eficazes do que modelos menores (como Vicuna-7b).
• Robustez: A extração funcionou bem em diferentes formatos (HTML, PDF, Markdown) e complexidades de perfil.

Eficácia das Defesas

• Defesas Tradicionais Ineficazes: Substituição de símbolos (ex: "@" para "AT") e hiperlinks falharam em proteger contra LLMs modernos (GPT-4 manteve >98% de precisão mesmo com essas defesas).
• Injeção de Prompt (PI): A nova defesa foi altamente eficaz.
  • Reduziu a precisão de extração de e-mails para 0% em vários modelos (incluindo GPT-4).
  • Funcionou para todas as categorias de informação, não apenas e-mails.
  • Tornou-se invisível para usuários humanos normais, mas enganou os LLMs.
• Ataques Adaptativos: Os autores testaram técnicas adaptativas (como re-tokenização, isolamento de dados, prevenção de instruções) para tentar contornar a injeção de prompt. Os resultados mostraram que essas técnicas adaptativas tiveram eficácia limitada, muitas vezes sacrificando a utilidade do ataque ou falhando em contornar a defesa.

5. Significado e Implicações

• Risco de Privacidade: O estudo alerta que a era dos LLMs torna a proteção de dados pessoais em perfis públicos extremamente frágil. As defesas atuais (como ofuscação de texto) são obsoletas contra modelos de linguagem avançados.
• Mudança de Paradigma na Defesa: A descoberta de que a injeção de prompt pode ser usada defensivamente é um ponto crucial. Transforma uma técnica de ataque conhecida em uma ferramenta de proteção de privacidade, enganando o modelo para que ele "alucine" dados falsos em vez de extrair os reais.
• Custo e Viabilidade: A extração via LLM é mais barata e eficiente do que o crowdsourcing (trabalho humano) e muito mais precisa do que scripts tradicionais.
• Recomendações: Os autores sugerem que proprietários de sites pessoais e plataformas devem adotar técnicas de injeção de prompt invisíveis para proteger seus dados, pois as defesas baseadas em formatação de texto não são mais suficientes.

Em resumo, o paper demonstra que os LLMs representam uma ameaça crítica à privacidade de dados públicos, mas também oferece uma solução promissora baseada na manipulação do próprio mecanismo de inferência dos modelos (injeção de prompt) para neutralizar essa ameaça.