Authorship Impersonation via LLM Prompting does not Evade Authorship Verification Methods

Resumo Técnico: Autoria Impersonada via LLM e Verificação de Autoria

1. O Problema

A Verificação de Autoria (AV) é uma tarefa fundamental na linguística forense, destinada a determinar se um texto questionado foi escrito por um indivíduo específico. Com o avanço dos Modelos de Linguagem de Grande Porte (LLMs), surgiu uma nova ameaça: a capacidade de atores maliciosos utilizarem essas ferramentas para impersonar (imitar) o estilo de escrita de uma pessoa específica, criando "deepfakes de texto".

O objetivo deste estudo é investigar se a impersonação de autoria gerada por LLMs (através de prompting) é suficientemente convincente para enganar os sistemas forenses de verificação de autoria existentes, comprometendo assim a integridade das evidências linguísticas em investigações criminais.

2. Metodologia

A. Configuração Experimental

• Modelo Adversário: O estudo utilizou o GPT-4o como modelo gerador de textos de impersonação.
• Corpora (Conjuntos de Dados): Foram utilizados três corpora forenses distintos, representando diferentes gêneros de comunicação:
  1. Enron: E-mails corporativos (345 textos, 76 autores).
  2. BOLT: Mensagens de texto (SMS) e chats (3.716 textos, 46 autores).
  3. Twitter: Postagens em redes sociais (10.933 textos, 60 autores).
• Tarefa: O LLM recebeu exemplos de um autor-alvo e um texto-fonte escrito por um autor diferente. O modelo deveria reescrever o texto-fonte imitando o estilo do autor-alvo.

B. Técnicas de Prompting (Engenharia de Prompt)
Para simular diferentes níveis de sofisticação do atacante, foram testadas quatro condições de prompting:

1. Prompting Naive: Instrução simples de reescrever o texto para parecer com o autor-alvo.
2. Self-prompting: O modelo gera sua própria instrução detalhada (lista de verificação de características) antes de escrever o texto final.
3. Role-Playing Prompting: Atribuição de uma persona (ex: "assistente de escrita") com instruções explícitas sobre características linguísticas (pontuação, verbos frasais, erros, etc.).
4. Tree-of-Thoughts (ToT): Uma abordagem estruturada onde o modelo planeja, gera múltiplos candidatos, vota internamente e seleciona o melhor plano e o melhor texto final.

C. Métodos de Verificação de Autoria (AV)
Os textos gerados foram avaliados contra dois tipos de sistemas forenses, dentro de um quadro de Razão de Verossimilhança (Likelihood Ratio - LR):

• Métodos Não-Neurais: Baseados em estatística e modelos interpretáveis.
  • N-gram Tracing: Rastreamento de sequências de caracteres/palavras.
  • RBI (Ranking-Based Impostors Method): Comparação com impostores selecionados.
  • LambdaG: Modelos de gramática baseados em tokens funcionais (usando pré-processamento POSNoise para remover conteúdo semântico).
• Métodos Neurais: Baseados em redes profundas e embeddings.
  • AdHominem: Rede Siamesa hierárquica com atenção.
  • LUAR: Representações universais de autoria via aprendizado contrastivo.
  • STAR: Transformer focado em representações de estilo.

3. Principais Contribuições

1. Avaliação Forense Sistemática: Preenche uma lacuna na literatura ao testar a impersonação de LLMs especificamente contra sistemas de AV validados para uso forense, e não apenas em benchmarks de NLP.
2. Análise de Robustez: Demonstra empiricamente que os sistemas atuais de AV mantêm sua eficácia contra tentativas de impersonação de nível inicial (baseadas apenas em prompting).
3. Descoberta Contra-Intuitiva: Revela que alguns métodos de AV não apenas detectam a impersonação, mas o fazem com maior confiança do que ao rejeitar textos humanos genuinamente diferentes.
4. Explicação Técnica: Identifica que a alta diversidade lexical e entropia inerente aos textos gerados por LLMs é o fator chave que os torna detectáveis, pois difere do padrão de redundância e idioleto humano.

4. Resultados Chave

• Falha na Impersonação: O GPT-4o, mesmo com técnicas avançadas de prompting (como ToT e Role-Playing), falhou em replicar os marcadores idiolecionais finos necessários para enganar os sistemas de AV.
• Sinais de Razão de Verossimilhança (LLR): A vasta maioria dos textos gerados recebeu valores negativos de LLR, indicando que os sistemas os rejeitaram corretamente como não sendo do autor-alvo.
  • O corpus do Twitter foi o mais fácil de detectar (valores negativos mais fortes).
  • O corpus Enron apresentou os valores absolutos mais baixos, indicando menor confiança na rejeição, mas ainda assim majoritariamente corretos.
• Desempenho dos Métodos:
  • STAR e LUAR (Neurais): Foram os mais robustos. Curiosamente, eles apresentaram taxas de Verdadeiros Negativos (TNR) mais altas para textos de impersonação do que para textos humanos reais de autores diferentes. Isso sugere que eles detectam a "assinatura de máquina" (alta diversidade) além da falta de estilo do autor.
  • AdHominem (Neural): Foi o método mais vulnerável, produzindo scores próximos de zero (inconclusivos) com maior frequência.
  • Métodos Não-Neurais: LambdaG, N-gram e RBI mostraram resiliência geral, embora com variações menores dependendo do corpus.
• Análise de Diversidade Lexical: A análise de Entropia, Razão Tipo-Token (TTR) e tamanho comprimido mostrou que os textos do LLM são sistematicamente mais diversos e menos redundantes do que os textos humanos. Os humanos tendem a repetir padrões e usar um vocabulário mais restrito (idioleto), enquanto os LLMs tendem a uma "hiper-variabilidade" que os torna detectáveis.

5. Significado e Conclusão

O estudo conclui que, apesar da acessibilidade dos LLMs, os sistemas atuais de verificação de autoria permanecem robustos contra tentativas de impersonação baseadas em prompting de nível inicial.

• Implicações Forenses: A ameaça de "deepfakes de texto" via prompting simples não é suficiente para comprometer a evidência linguística em tribunais, desde que sejam utilizados métodos de AV validados.
• Limitações e Futuro: O estudo focou em atacantes de nível básico. Ataques mais sofisticados, como o uso de fine-tuning (ajuste fino) do modelo ou estratégias adaptativas iterativas, podem representar um risco maior no futuro. Além disso, embora os algoritmos detectem a falsificação, o estudo reconhece que o texto pode ainda parecer convincente para leitores humanos não especializados.

Em suma, a resiliência dos sistemas de AV deriva, em parte, da incapacidade dos LLMs atuais de imitar a redundância e as peculiaridades estatísticas profundas do estilo individual humano, resultando em textos que, paradoxalmente, são "demasiado variados" para serem confundidos com um autor específico.