Assessing Deanonymization Risks with Stylometry-Assisted LLM Agent

1. Problema

O avanço rápido dos Grandes Modelos de Linguagem (LLMs) e a capacidade de agentes de IA de raciocinar e utilizar ferramentas levantaram preocupações críticas sobre a desanonimização não intencional de dados textuais.

• Contexto: Jornalistas, denunciantes e pesquisadores dependem do anonimato para segurança e imparcialidade.
• Ameaça: Agentes de LLM, equipados com ferramentas de busca externa e raciocínio autônomo, podem inferir a autoria de textos (atribuição de autoria) com alta precisão, superando métodos tradicionais. Eles podem identificar autores mesmo sem treinamento explícito, explorando padrões estilísticos sutis (estilometria) e semânticos.
• Objetivo: O trabalho visa avaliar a magnitude desse risco e desenvolver um framework para mitigá-lo, atuando simultaneamente como um adversário (atacante) e um defensor.

2. Metodologia

Os autores propõem um Agente de Avaliação de Risco de Desanonimização baseado em LLM, estruturado em um pipeline de quatro etapas e dois módulos auxiliares. A inovação central é o método SALA (Stylometry-Assisted LLM Analysis).

Pipeline do Agente:

1. Extração de Informações: O agente analisa o artigo alvo para extrair metadados (data, tópico, localização) para guiar a busca.
2. Busca de Candidatos: Utiliza ferramentas de busca na web (ou um banco de dados pré-carregado) para identificar autores potenciais e coletar suas amostras de escrita.
3. Correspondência de Candidatos (Método SALA):
   • Em vez de confiar apenas na análise qualitativa do LLM (que pode alucinar) ou em similaridade de embeddings (que perde nuances estilísticas), o SALA integra recursos estilométricos quantitativos com o raciocínio do LLM.
   • Recursos Extraídos: O agente calcula métricas léxicas (ex: contagem de palavras únicas, TTR), sintáticas (ex: comprimento de frase, contagem de stopwords), de legibilidade, semânticas (polaridade, subjetividade) e um resumo de estilo qualitativo.
   • Raciocínio: O LLM recebe essas métricas estruturadas e compara o artigo alvo com os perfis dos candidatos para determinar a probabilidade de autoria.
4. Reflexão de Resultados: O agente interpreta os resultados, identificando quais características estilísticas foram decisivas para a inferência, gerando uma trilha de raciocínio explicável.

Módulos Auxiliares:

• Módulo de Banco de Dados: Para superar a ineficiência da busca na web em tempo real, o sistema utiliza um banco de dados pré-processado com perfis de autores e suas amostras. Isso permite buscas mais rápidas por similaridade de embeddings e gera perfis de autores mais robustos (agregando múltiplas amostras).
• Módulo de Melhoria de Anonimização: Com base na "Reflexão de Resultados", o agente gera instruções de reescrita guiada. Em vez de apenas parafrasear, ele sugere modificações específicas para neutralizar os traços identificadores (ex: diversificar o vocabulário, normalizar a estrutura de frases) mantendo o significado do texto.

3. Principais Contribuições

1. Agente Multi-ferramenta de Inferência de Autoria: Um sistema capaz de identificar autores através de análise estilística e semântica, amplificada por recuperação de informações externas.
2. Framework de Avaliação de Privacidade: Uma estrutura que quantifica a força dos sinais de autoria e explica o processo de inferência de forma interpretável.
3. Método SALA: Uma estratégia de correspondência híbrida que combina métricas estilométricas determinísticas com o raciocínio do LLM, superando abordagens puramente baseadas em LLM ou apenas em embeddings.
4. Mecanismo de Defesa Guiada: Uma estratégia de reescrita que utiliza a lógica do agente atacante para gerar prompts de reescrita eficazes, reduzindo a identificabilidade sem perder a utilidade do conteúdo.

4. Resultados Experimentais

Os experimentos foram realizados em grandes conjuntos de dados de notícias (All the News 2.0 e CrossNews) sob dois cenários de ataque: Ataque Direcionado (verificar se um texto é de um autor específico) e Ataque de Mundo Aberto (identificar o autor entre uma lista desconhecida).

• Desempenho de Busca: O uso do módulo de banco de dados aumentou drasticamente a taxa de cobertura de candidatos corretos (de 1,2% na busca zero-shot para 78,1% com 20 candidatos no modo com banco de dados).
• Desempenho de Correspondência (Targeted Attack):
  • O método SALA superou consistentemente as baselines (Similaridade de Embeddings e Análise Direta de LLM).
  • Com o banco de dados e 500 amostras por autor, o SALA alcançou um F1-score de 0,827, demonstrando alto risco de desanonimização.
  • A análise de ablação mostrou que recursos léxicos, sintáticos e de estilo foram os mais influentes.
• Desempenho de Mundo Aberto: Embora mais difícil, o sistema com banco de dados e SALA conseguiu identificar autores corretos no Top-3 em 22,4% dos casos (quando filtrado para garantir que o autor estava na lista de candidatos).
• Eficácia da Mitigação:
  • A estratégia de Recomposição Guiada reduziu a taxa de sucesso do ataque direcionado de 0,827 para 0,561 e no mundo aberto para 0,012.
  • Em comparação, a paráfrase direta foi menos eficaz, pois muitas vezes preservou a estrutura da frase e padrões de alto nível que revelam a autoria.

5. Significado e Conclusão

O trabalho destaca uma dualidade crítica na era dos agentes de IA autônomos:

1. Ameaça: Agentes de LLM representam uma ameaça real e potente à privacidade textual, capazes de desanonimizar autores com alta precisão quando equipados com ferramentas de busca e bancos de dados.
2. Defesa Proativa: A mesma tecnologia pode ser usada para proteger a privacidade. O framework proposto demonstra que a análise interpretável dos sinais de autoria permite a criação de defesas direcionadas e eficazes.

Limitações: O estudo focou em dados de notícias em inglês. Trabalhos futuros devem explorar outros domínios (redes sociais, acadêmico) e idiomas. Além disso, a qualidade da reescrita automática pode ser aprimorada com refinamento humano ou prompting adaptativo.

Em suma, o artigo fornece um modelo unificado para entender, quantificar e mitigar os riscos de privacidade impostos pela capacidade de inferência de autoria dos agentes de LLM.