💻 computer science

Benchmarking Stylometric Metrics for AI Authorship Verification: A Glass-Box Forensic Framework Across Language Models

Este artigo propõe uma estrutura forense transparente de "Caixa-Transparente" utilizando quarenta métricas estilométricas interpretáveis para demonstrar que, apesar da convergência lexical, persistem divergências distintas e crescentes na previsibilidade informacional, nas propriedades estruturais e na variabilidade natural entre textos gerados por humanos e por IA através de diversos conjuntos de dados, oferecendo uma base robusta para a verificação de autoria.

Autores originais: Abhay Srivastava, Lovish Bhatia, V.S. Pandey, Ajay K. Sharma

Publicado 2026-09-23✓ Author reviewed ⓘ

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Abhay Srivastava, Lovish Bhatia, V.S. Pandey, Ajay K. Sharma

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Nos cantos silenciosos da linguagem, cada escritor deixa uma impressão digital única. Esta é a ideia central da estilometria, um campo que há muito estuda como as pessoas escrevem não apenas pelo que dizem, mas por como o dizem. Os seres humanos têm hábitos inconscientes: a extensão de suas frases, o ritmo de sua pontuação, a variedade de palavras que escolhem e a maneira como estruturam seus pensamentos. Durante décadas, linguistas usaram esses padrões sutis para identificar autores de cartas anônimas ou textos históricos disputados. Hoje, um novo desafio surgiu. Sistemas poderosos de inteligência artificial agora podem gerar textos que soam notavelmente humanos, borrando a linha entre a voz de uma pessoa e a produção de uma máquina. Essa capacidade levanta questões urgentes para escolas, tribunais e redações: quando um texto aparece, como podemos saber se um humano o escreveu ou se um computador o gerou? Os riscos são altos, envolvendo integridade acadêmica, propriedade intelectual e a disseminação de desinformação.

Uma equipe de pesquisadores do Instituto Nacional de Tecnologia de Deli adotou uma abordagem nova para este problema. Em vez de depender de programas de computador complexos e opacos que simplesmente adivinham se um texto é real ou falso, eles construíram um framework transparente e passo a passo para medir as diferenças específicas entre a escrita humana e a de máquina. Eles chamaram isso de método "caixa de vidro" (glass-box), significando que cada etapa da análise é visível e compreensível, ao contrário dos sistemas "caixa preta" (black-box) que escondem seu raciocínio. Os pesquisadores examinaram duas coleções massivas de texto: uma contendo ensaios acadêmicos controlados e outra com escritos diversos e reais da internet, incluindo conteúdo dos modelos de raciocínio mais novos e avançados. Ao medir quarenta características diferentes da escrita, descobriram que, embora a inteligência artificial esteja melhorando em mimetizar o vocabulário humano, ela está, simultaneamente, tornando-se mais rígida e previsível em sua estrutura.

Os pesquisadores começaram testando suas quarenta ferramentas de medição apenas em textos humanos para garantir que as ferramentas fossem confiáveis. Eles dividiram os textos escritos por humanos em dois grupos e verificaram se as ferramentas conseguiam encontrar quaisquer diferenças entre eles. O resultado foi que as ferramentas encontraram quase nenhuma diferença, provando que a escrita humana mantém uma forma consistente e natural, independentemente do tópico ou do autor específico. Isso estabeleceu uma linha de base estável. Quando aplicaram essas mesmas ferramentas para comparar a escrita humana com o texto gerado por inteligência artificial, padrões claros emergiram. No ambiente acadêmico controlado, as maiores diferenças apareceram na distribuição geral das palavras e na previsibilidade do texto. O texto gerado pela máquina era estatisticamente mais previsível do que a escrita humana, e a variedade de palavras utilizadas era diferente.

No entanto, a história tornou-se mais complexa quando os pesquisadores observaram o conjunto de dados mais novo e diverso, contendo os modelos de raciocínio mais recentes. Estes são sistemas projetados para pensar através de problemas passo a passo antes de responder. Aqui, os pesquisadores encontraram um paradoxo. A inteligência artificial tornou-se muito melhor em mimetizar a imprevisibilidade estatística da linguagem humana, fechando a lacuna em como as palavras eram "surpreendentes". No entanto, em outras áreas, a lacuna na verdade aumentou. A escrita da máquina tornou-se estruturalmente mais uniforme e repetitiva. Enquanto os humanos naturalmente variam seus comprimentos e estruturas de frases para criar ritmo e ênfase, os novos modelos produziam um texto com uma consistência robótica. Isso foi especialmente verdadeiro para os modelos de raciocínio mais novos, que tendiam a escrever textos muito mais longos com uma estrutura de frase muito constante e imutável.

Uma das descobertas mais marcantes diz respeito à pontuação. No ambiente selvagem e não controlado da internet, os escritores humanos utilizam uma ampla gama de sinais de pontuação, incluindo pontos e vírgulas, pontos de exclamação e pontos de interrogação, para expressar pensamentos e emoções complexos. Os modelos de inteligência artificial, contudo, evitavam amplamente esses sinais. Eles se limitavam a pontos finais e vírgulas, criando um tom mais seguro e neutro. Os pesquisadores traçaram isso à forma como esses modelos são treinados para serem úteis e inofensivos, o que inadvertidamente remove a variedade emocional e estrutural encontrada na fala humana natural. As máquinas não estavam apenas escrevendo corretamente; elas estavam escrevendo "perfeitamente demais", carecendo do "ruído" natural e das imperfeições que caracterizam a expressão humana.

O estudo também destacou uma diferença crítica na forma como esses modelos lidam com a variância. A escrita humana flutua; um escritor pode usar uma frase muito longa e complexa seguida por uma curta e direta. Essa variação é um sinal de uma voz viva. A inteligência artificial, mesmo tentando ser criativa, tende a achatar essas flutuações. Ela produz textos onde os comprimentos das frases e as escolhas de palavras permanecem dentro de uma faixa estreita e consistente. Os pesquisadores descobriram que essa falta de variação natural era um indicador mais forte de autoria de máquina do que as palavras específicas escolhidas. De fato, à medida que os modelos se tornavam mais avançados, sua habilidade de mimetizar o vocabulário humano melhorava, mas sua incapacidade de mimetizar a variedade estrutural humana tornava-se ainda mais óbvia.

Os pesquisadores concluíram que as formas antigas de detectar textos falsos, que frequentemente focavam em contagens simples de palavras ou verificações básicas de vocabulário, não são mais suficientes. As máquinas aprenderam a usar as palavras certas. A nova fronteira para a detecção reside em observar a estrutura e o ritmo da escrita. Os sinais mais confiáveis de uma máquina não são o que ela diz, mas como ela diz: os padrões de frases repetitivos, a evasão de pontuações complexas e a falta de variação natural no fluxo de ideias. O estudo sugere que as ferramentas futuras para identificar o texto artificial devem focar nessas impressões digitais estruturais mais profundas. À medida que a inteligência artificial continua a evoluir, ela poderá eventualmente aprender a escrever com um vocabulário semelhante ao humano, mas provavelmente terá dificuldade em replicar o caos variado, rítmico e imperfeito de uma mente humana em trabalho. A chave para distingui-los reside em ouvir esse ruído natural e humano.

Resumo Técnico: Benchmarking de Métricas Estilométricas para Verificação de Autoria por IA

Declaração do Problema

O rápido avanço dos Grandes Modelos de Linguagem (LLMs) obscureceu a distinção entre texto escrito por humanos (HuAT) e texto gerado por IA (AIGT), criando desafios significativos para a investigação forense em domínios como integridade acadêmica, direitos de propriedade intelectual e desinformação. A literatura existente baseia-se fortemente em abordagens de detecção de "Caixa-Preta" (Black-Box), tipicamente utilizando classificadores de aprendizagem profunda (ex: arquiteturas baseadas em RoBERTa). Os autores identificam duas limitações forenses críticas nesses métodos:

Falta de Interpretabilidade: Esses modelos não conseguem explicar o porquê de um texto ser sinalizado, tornando-os insuficientes para processos jurídicos ou administrativos de alto nível onde o ônus da prova exige explicabilidade.
Suscetibilidade: Tais classificadores são frágeis e facilmente contornados através de ataques adversários, ofuscação e paráfrase.

O artigo postula que, embora os LLMs sejam proficientes em mimetizar a escrita humana, assinaturas estilísticas sutis de autoria de máquina podem persistir. O problema central é quantificar a divergência entre HuAT e AIGT usando um framework interpretável de "Caixa de Vidro" (Glass-Box) que vá além da detecção binária para analisar as características linguísticas específicas que diferenciam os dois.

Metodologia

O estudo introduz um Framework Forense de Caixa de Vidro composto por 40 métricas estilométricas interpretáveis, organizadas em três níveis computacionais e onze categorias linguísticas.

1. A Taxonomia de 40 Métricas

As métricas são estratificadas para capturar diferentes níveis de análise linguística:

Nível 1 (Métricas Fundamentais, M1–M15): Características de nível superficial, incluindo métricas lexicais (ex: comprimento de palavra, razão tipo-token), estrutura sintática, análise de pontuação e métricas de distância (Delta de Burrows, Similaridade de Cosseno, Divergência de Jensen-Shannon).
Nível 2 (Métricas Intermediárias, M16–M30): Características que analisam o fluxo e o padrão do texto, incluindo padrões de Part-of-Speech (POS), n-grams, medidas de teoria da informação (entropia, perplexidade), escores de legibilidade e marcadores de discurso.
Nível 3 (Métricas Avançadas, M31–M40): Indicadores forenses profundos focados em coerência semântica, vocabulário avançado e marcadores específicos de estilo de IA (ex: densidade de erro gramatical, variância de previsibilidade de tokens).

2. Datasets

O framework foi avaliado em dois datasets de benchmark distintos para avaliar o desempenho em cenários controlados e "em campo" (in-the-wild):

PAN24: Um dataset controlado e balanceado com tópicos predefinidos e 13 modelos de IA padrão. Serve como um "laboratório estilométrico" com baixa variação de comprimento.
PAN25: Um dataset diverso e desbalanceado que representa padrões de uso realistas, incluindo novos "Modelos de Raciocínio" (ex: DeepSeek-r1, o3-mini) e texto humano extraído da web. Apresenta alta variação de comprimento e heterogeneidade de modelos.

3. Análise Estatística

Em vez de depender da acurácia de classificação binária, o estudo emprega um framework baseado no tamanho do efeito (effect-size):

Cohen's d: Usado para quantificar a magnitude da divergência entre as distribuições humanas e de IA em unidades de desvio padrão agrupado.
Porcentagem de Similaridade (Sim%): Mede a similaridade de distribuição relativa.
Divergência de Variância ( $\Delta(\sigma/\mu)$ ): Analisa se os modelos de IA replicam a variabilidade natural (ruído) da escrita humana ou exibem uma "uniformidade robótica".
Consistência entre Datasets: Correlação de ranking de Spearman ( $\rho$ ) dos tamanhos de efeito entre PAN24 e PAN25 para determinar a estabilidade das métricas entre domínios.

Principais Resultados

1. Estabilidade da Linha de Base (Baseline)

Experimentos de validação dividindo o texto humano em dois grupos confirmaram que as 40 métricas são estáveis entre autores humanos, com tamanhos de efeito negligíveis ( $|d| < 0.1$ ). Isso estabelece que as divergências observadas nas comparações HuAT vs. AIGT são assinaturas estilísticas genuínas, e não ruído aleatório.

2. Evolução Assimétrica da Mimetização de IA

A comparação entre PAN24 e PAN25 revela uma evolução assimétrica nas capacidades da IA:

Convergência em Previsibilidade (Nível 2): No PAN24, métricas de teoria da informação como Perplexidade (M23) mostraram um grande tamanho de efeito ( $d = 0.968$ ), indicando que o texto de IA era altamente previsível. No PAN25, essa lacuna diminuiu significamente ( $d = 0.356$ ), sugerindo que os modelos modernos aprenderam a mimetizar o "surpresa" estatística humana.
Divergência em Estrutura e Variância (Nível 1 & 3): Por outro lado, métricas estruturais e de variância se ampliaram.
- Uniformidade de Sentença (M39): O tamanho do efeito para uniformidade de sentença aumentou de médio no PAN24 ( $d = -0.642$ ) para muito grande no PAN25 ( $d = -1.619$ ). Modelos de raciocínio, em sua busca por coerência lógica (Chain-of-Thought), exibem uma "hiper-estrutura" e padrões sintáticos repetitivos.
- Convergência Lexical vs. Divergência Distribucional: Contrariamente à expectativa de uma fusão perfeita, as métricas de riqueza lexical convergiram parcialmente, enquanto as distâncias distribucionais aumentaram. Especificamente, a lacuna de riqueza lexical (Yule's K, M03) estreitou de um efeito pequeno no PAN24 ( $d = -0.385$ ) para um efeito médio no PAN25 ( $d = -0.777$ ), indicando que a IA está se tornando mais repetitiva em relação ao texto humano não restrito, embora a distância de distribuição (JS Divergence, M15) tenha disparado para um efeito "Muito Grande" ( $d = -1.503$ ). Isso confirma que, embora a IA possa estar convergindo em certas médias lexicais, ela depende fortemente de distribuições de vocabulário distintas e não humanas.
- Filtro de "Segurança" de Pontuação: O uso de ponto e vírgula (M10) passou de uma divergência negligenciável no PAN24 ( $d = 0.142$ ) para um grande discriminador no PAN25 ( $d = 1.416$ ), atribuído ao ajuste de segurança (RLHF) que suprime pontuações complexas ou expressivas.

3. O "Gap de Variância" (Variance Gap)

Um achado consistente em ambos os datasets é que os LLMs igualam as médias humanas, mas falham em replicar a variância humana. O texto de IA exibe "colapso de modo" (mode collapse), caracterizado por uma variância interna anormalmente baixa no comprimento e na estrutura das sentenças, enquanto a escrita humana mantém alta variabilidade (ruído) como um sinal de veracidade.

4. Consistência entre Datasets

Uma forte correlação de ranking de Spearman ( $\rho = 0.71$ ) entre os tamanhos de efeito do PAN24 e PAN25 indica uma hierarquia estável de métricas discriminativas. Isso sugere que as assinaturas estilométricas identificadas são inerentes à arquitetura generativa dos LLMs e não artefatos de datasets específicos.

Significância e Alegações

O artigo afirma fornecer uma base principada para análise forense que é distinta de detectores de caixa-preta opacos. Suas principais contribuições são:

Interpretabilidade: Ao quantificar divergências específicas ao nível de característica, o framework oferece evidências explicáveis adequadas para contextos jurídicos e acadêmicos.
Identificação do "Paradoxo da Melhoria": O estudo demonstra que, à medida que os modelos de IA melhoram na previsibilidade estatística local (mimetizando a aleatoriedade humana), eles simultaneamente tornam-se mais rígidos na execução estrutural global. O "Tradeoff de Raciocínio-Estrutura" sugere que o impulso pela coerência lógica no raciocínio de Cadeia de Pensamento (Chain-of-Thought) força os modelos em padrões sintáticos repetitivos e de tipo template.
Mudança na Estratégia de Detecção: Os autores argumentam que os sistemas de detecção futuros devem se afastar das métricas de média de Nível 1 (que estão convergindo) e priorizar a variância estrutural de Nível 2 e os artefatos generativos de Nível 3. A "Alucinação de Estilo" — a falha dos LLMs em reproduzir as imperfeições e a variabilidade inerentes da expressão humana — é identificada como o discriminador mais robusto e estável.

O artigo conclui que a fronteira entre HuAT e AIGT não está desaparecendo, mas sim se deslocando; enquanto as lacunas de vocabulário estão fechando, as "assinaturas de máquina" estruturais e de variância estão se tornando mais pronunciadas, particularmente em modelos projetados para o raciocínio.