When Writing Style Drifts: Benchmarking Authorship Verification under Distribution Shifts in Genre, Time and the AI-Era
Este artigo apresenta o AVShift, o primeiro benchmark alemão para avaliar sistematicamente a verificação de autoria sob mudanças de distribuição em gênero, tempo e na era da IA, revelando que os LLMs ajustados (fine-tuned) generalizam melhor entre gêneros, enquanto o desvio temporal degrada significativamente o desempenho, embora nenhuma mudança mensurável da era da IA tenha sido detectada.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Cada pessoa deixa um rastro único de hábitos na maneira como escreve. Assim como uma impressão digital é uma marca física que identifica um corpo, o "idioleto" de um escritor é uma coleção de hábitos linguísticos — como eles usam a pontuação, o comprimento de suas frases e quais palavras preferem — que identifica sua mente. Durante décadas, especialistas em literatura e direito confiaram nesses padrões para resolver mistérios, desde flagrar plagiadores até identificar o autor anônimo de uma carta ameaçadora. A ideia central é simples: embora possamos mudar nosso vocabulário dependendo se estamos escrevendo uma carta de amor ou um relatório comercial, o ritmo profundo e subjacente de nossa escrita permanece constante o suficiente para ser reconhecido.
No entanto, essa suposição enfrenta um desafio sério no mundo moderno. A escrita não acontece em um vácuo; ela muda dependendo do gênero, do período de tempo e das ferramentas que usamos. Uma pessoa pode escrever um post informal e curto em um fórum pela manhã e uma história longa e polida à noite. Ela pode escrever de forma diferente hoje do que escrevia há vinte anos. Além disso, a recente explosão de ferramentas de inteligência artificial que ajudam as pessoas a escrever levanta uma nova questão: o uso de um computador para ajudar a redigir uma frase altera a impressão digital única do escritor o suficiente para esconder sua identidade? Para responder a essas perguntas, os pesquisadores precisavam de uma maneira de testar se essas "impressões digitais" digitais se mantêm quando o contexto muda.
Uma equipe de pesquisadores da Universidade de Tecnologia de Nuremberg abordou esse problema criando um novo e massivo conjunto de testes chamado AVShift. Em vez de olhar para um único tipo de escrita, eles reuniram mais de 150.000 pares de textos de um site alemão dedicado a fanfics, críticas e discussões em fóruns. Esta coleção abrange vinte e um anos, de 2004 a 2025, capturando a escrita antes e depois do lançamento público de assistentes de escrita de IA modernos. Os pesquisadores usaram esses dados para ver se programas de computador ainda conseguiam identificar corretamente que dois textos diferentes foram escritos pela mesma pessoa, mesmo quando esses textos eram de gêneros diferentes, escritos com anos de diferença ou criados durante a era de assistência por IA.
A equipe testou três tipos diferentes de métodos computacionais para resolver este enigma. O primeiro tipo baseava-se em regras manuais, onde especialistas selecionavam manualmente características de escrita específicas para o computador contar. O segundo tipo utilizou modelos matemáticos que aprenderam a comprimir o texto em resumos digitais densos. O terceiro e mais recente tipo utilizou grandes modelos de linguagem, o mesmo tipo de sistemas de IA poderosos que podem escrever ensaios e códigos, que foram treinados especificamente para responder à pergunta: "A mesma pessoa escreveu ambos estes textos?"
Os resultados revelaram que o tipo de escrita importa imensamente. Quando o computador tentava combinar textos do mesmo gênero, como dois posts de fórum, ele tinha um desempenho muito bom. No entanto, quando a tarefa exigia combinar um post de fórum com uma história ou uma crítica, o desempenho da maioria dos métodos caía significativamente. A abordagem mais bem-sucedida foi o grande modelo de linguagem treinado em uma mistura dos três estilos de escrita. Ao expor o computador a uma ampla variedade de vozes de escrita durante seu treinamento, ele aprendeu a ignorar as diferenças superficiais entre os gêneros e a focar nos hábitos profundos e consistentes do autor. Este modelo alcançou uma alta taxa de sucesso mesmo ao comparar uma história com um post de fórum, provando que uma dieta de treinamento diversificada torna o sistema muito mais robusto.
O tempo, contudo, provou ser um obstáculo muito mais forte do que o gênero. Os pesquisadores descobriram que, à medida que o intervalo de tempo entre dois textos crescia, a capacidade de verificar a identidade do autor declinava constantemente. Quanto maior a espera entre o momento em que uma pessoa escreveu dois textos, mais difícil se tornava para o computador vinculá-los. Esse declínio era perceptível após apenas um ano, sugerindo que nosso estilo de escrita não é uma impressão digital estática, mas algo vivo que evolui continuamente. A queda na precisão foi significativa o suficiente para que, em situações de alto risco, como investigações legais, comparar documentos escritos há muitos anos sem ajustes especiais provavelmente levaria a erros.
Surpreendentemente, a chegada da inteligência artificial não causou a interrupção que muitos temiam. Os pesquisadores examinaram de perto textos escritos antes e depois da adoção generalizada de ferramentas de escrita de IA para ver se a "era da IA" criou uma nova e confusa distribuição de estilos de escrita. Eles não encontraram evidências de que o uso dessas ferramentas tenha criado uma mudança sistemática que tornasse a verificação impossível. Embora o desempenho variasse entre diferentes períodos de tempo, as mudanças não seguiam um padrão que pudesse ser atribuído à assistência de IA. A variação parecia derivar de outros fatores, como o tópico específico ou a extensão do texto, e não da mera presença de ferramentas de IA.
O estudo também examinou os hábitos específicos que compõem o estilo de um escritor. Eles descobriram que, embora algumas características, como o uso de palavras funcionais comuns, permanecessem estáveis através de diferentes gêneros, outras mudavam drasticamente dependendo do tipo de escrita. Não havia um conjunto único de características "mágicas" que funcionasse para todas as situações; em vez disso, os indicadores mais confiáveis dependiam de quais gêneros estavam sendo comparados. Isso sugere que, para construir um sistema verdadeiramente confiável, deve-se entender que o estilo é flexível e que as regras para identificar um autor mudam dependendo do contexto.
Em última análise, este trabalho mostra que, embora os estilos de escrita sejam fluidos e mudem com o tempo e o gênero, eles não são impossíveis de rastrear. A chave para o sucesso não reside em encontrar uma regra única e imutável, mas em treinar sistemas para reconhecer a voz do autor através de um amplo espectro de condições. Ao usar dados de treinamento diversos e reconhecer que o tempo corrói esses sinais, os pesquisadores podem construir ferramentas que sejam muito mais confiáveis para aplicações do mundo real. As descobertas oferecem um caminho claro: para verificar a autoria em um mundo complexo, devemos ensinar nossas ferramentas a esperar a mudança, em vez de assumir que o estilo do escritor permanecerá congelado no tempo.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.