Resumo Técnico: Atingindo um Alvo Móvel: Adaptação em Tempo de Teste para Detecção de Texto por IA sob Mudança Contínua de Distribuição

Declaração do Problema

Os sistemas de detecção de texto por IA implantados atualmente dependem de aprendizado supervisionado treinado em conjuntos de dados estáticos e rotulados de textos escritos por humanos e gerados por IA. Os autores argumentam que esse paradigma é fundamentalmente vulnerável a mudanças contínuas de distribuição que ocorrem após a implantação. Essas mudanças são categorizadas em três tipos:

1. Humanização Adversária: Usuários ou serviços reescrevem estrategicamente textos gerados por IA para evitar detectores específicos.
2. Novos Lançamentos de LLMs: A emergência de novos modelos de linguagem de grande escala (LLMs) com estilos de escrita distintos que diferem dos dados de treinamento.
3. Deriva Temporal na Escrita Humana: Mudanças naturais nos estilos de escrita humana ao longo do tempo, tornando os dados de treinamento humano anteriores a 2022 cada vez mais fora da distribuição (out-of-distribution).

Detectores supervisionados padrão, que são fixos entre os ciclos de retreinamento, não conseguem responder em tempo real a essas mudanças. Além disso, obter dados de teste rotulados e verificados para essas novas distribuições é frequentemente caro ou impossível, limitando a eficácia das abordagens tradicionais de retreinamento ou adaptação de domínio.

Metodologia

O artigo propõe a Adaptação em Tempo de Teste (TTA - Test-Time Adaptation) usando aprendizado semissupervisionado como uma solução. O insight central é que o uso real de LLMs frequentemente exibe homogeneidade no momento da inferência (monocultura algorítmica). Mesmo sem dados rotulados, um lote de texto não rotulado enviado no momento da inferência provavelmente compartilha uma distribuição comum (por exemplo, gerado pelo mesmo novo LLM ou humanizador).

Os autores formalizam isso usando um framework que combina Classificação Estratégica e Aprendizado Positivo-Não Rotulado (PU - Positive-Unlabeled):

• Framework Teórico: Eles modelam a tarefa de detecção onde a distribuição de teste $U$ é uma mistura de texto humano ($H$), texto de IA inicial ($A$) e texto de IA deslocado ($h(A)$). Eles provam que, embora um classificador supervisionado $f$ possa separar perfeitamente $H$ de $A$ no treinamento, ele pode falhar em separar $H$ de $h(A)$ se $h$ for adversário ou novo.
• PU + TTA e PNU + TTA: Em vez de depender apenas de dados rotulados, os métodos propostos utilizam:
  • PU (Positive-Unlabeled): Utiliza texto humano rotulado (positivo) e uma mistura não rotulada de texto humano e de IA proveniente da distribuição de teste.
  • PNU (Positive-Negative-Unlabeled): Estende o PU incluindo texto de IA rotulado (negativo) da fonte de domínio ao lado da mistura não rotulada do teste.
  • Algoritmo: Eles empregam o algoritmo $(TED)_n$ (Garg et al., 2021), adaptado para configurações de alta dimensão, para estimar a priori da classe e treinar um classificador que minimize a probabilidade de classificar dados não rotulados como humanos, sujeito à restrição de que o texto humano rotulado seja classificado corretamente.

Configuração Experimental

Os autores avaliam sua abordagem contra detectores supervisionados de última geração (incluindo o modelo comercial Pangram) e seus próprios modelos DistilBERT ajustados (fine-tuned). Os experimentos utilizam:

• Datasets: Resumos do Cornell arXiv (2010–2020) e o benchmark RAID.
• Cenários de Deslocamento (Shift):
  1. Deslocamento Adversário Estratégico: Um "loop de pesquisa autônoma" usando um agente de codificação (Claude Code) que gera iterativamente prompts de humanização para derrotar detectores específicos.
  2. Deslocamento Natural de LLM: Avaliação em saídas de LLMs não vistos durante o treinamento (ex: GPT-5.4, Llama 3.3, Gemini 3, Qwen3).
  3. Deslocamento Temporal Humano: Simulando um cenário onde detectores treinados em dados humanos de 2010 devem detectar texto de IA em 2020, onde os estilos de escrita humana sofreram deriva.

Principais Resultados

A avaliação empírica demonstra que detectores supervisionados falham sistematicamente sob mudanças de distribuição, enquanto os métodos TTA permanecem robustos:

1. Evasão Adversária:

   • O Pangram, que alcança 94,7% de recall em texto de IA ingênuo, cai para 24,1% de recall contra humanizadores adversários estrategicamente otimizados.
   • Os métodos propostos PU + TTA e PNU + TTA mantêm alta robustez, alcançando 99,0% de recall de IA contra os mesmos prompts adversários ao se adaptarem ao lote não rotulado.
   • Apenas uma pequena fração de dados adversários não rotulados é necessária para que o TTA se adapte efetivamente.

2. LLMs Fora da Distribuição (OOD):

   • Detectores supervisionados treinados em um LLM (ex: Llama 3.3) performam mal em outros (ex: caindo para 55% de recall em saídas do GPT-5.4).
   • O Pangram especificamente mostrou uma taxa de recall de 34% em saídas do GPT-5.4 logo após seu lançamento, recuperando-se apenas após o retreinamento na nova distribuição.
   • Métodos TTA alcançaram performance quase perfeita (>90% de recall) em LLMs OOD sem dados de IA rotulados, aproveitando a homogeneidade do lote de teste.

3. Deriva Temporal na Escrita Humana:

   • Modelos supervisionados treinados em dados humanos de 2010 classificam cada vez mais a escrita humana de 2020 como gerada por IA (o viés aumenta em 11,4%), estimando 15,1% das sentenças de 2020 como IA quando a taxa real é próxima de zero.
   • Métodos TTA (especificamente PNU + TTA) permanecem estáveis ao longo do tempo, identificando corretamente o deslocamento na escrita humana e mantendo estimativas de prevalência precisas.

Significância e Alegações

O artigo alega que as mudanças contínuas de distribuição são o principal gargalo para uma detecção de texto por IA robusta, tornando modelos supervisionados estáticos ineficazes no mundo real. Os autores estabelecem que:

• A Adaptação em Tempo de Teste é Necessária: A natureza de "alvo móvel" da geração de IA e da escrita humana exige detectores que possam se adaptar no momento da inferência usando dados não rotulados, em vez de depender de retreinamentos periódicos com rótulos.
• Homogeneidade é um Sinal: A homogeneidade latente no uso real de LLMs fornece um sinal crítico que métodos semissupervisionados podem explorar para distinguir texto de IA de texto humano, mesmo quando a distribuição específica é desconhecida.
• Viabilidade Prática: O framework proposto de PU/PNU + TTA oferece um caminho para que detectores existentes se adaptem a textos modernos (ex: texto da internet pós-2022 ou novas chamadas de API) sem exigir acesso imediato a rótulos verificados.

Os autores concluem que, embora o TTA mitigue significativamente os impactos da mudança de distribuição, a tarefa continua desafiadora se as distribuições humana e de IA convergirem completamente. Eles enfatizam que seu trabalho esclarece as limitações das abordagens supervisionadas atuais e destaca o potencial do TTA semissupervisionado como um framework necessário para a futura detecção de IA.