Resumo Técnico: Detecção de Texto Gerado por LLMs em Caixa Preta Usando Divergência Generalizada de Jensen-Shannon

Declaração do Problema

O avanço rápido dos Modelos de Linguagem de Grande Escala (LLMs) obscureceu a distinção entre texto escrito por humanos e texto gerado por máquinas, levantando preocupações quanto à desinformação, plágio, fraude e à degradação da qualidade dos dados de treinamento por meio de loops de feedback recursivos. Os métodos de detecção existentes enfrentam limitações significativas em cenários práticos de caixa preta:

• Detectores baseados em classificadores exigem retreinamento custoso quando há mudanças de domínio ou geradores e dependem de dados rotulados de alta qualidade.
• Métodos de estatística global (por exemplo, verossimilhança, rank, entropia) são frequentemente instáveis sob desajustes de calibração e mudanças de domínio.
• Métodos de estatística distribucional (por exemplo, DetectGPT, DNA-GPT) tipicamente exigem regeneração ou perturbação por instância para estimar divergência local, levando a altos custos computacionais e latência que são irrealistas para aplicações de alta vazão.

Além disso, as restrições de caixa preta exacerbam problemas onde o modelo proxy usado para pontuação pode não corresponder ao modelo fonte desconhecido. O artigo aborda a necessidade de um detector que evite retreinamento e regeneração por instância, mantendo-se robusto sob mudanças de distribuição e incompatibilidades entre modelos proxy.

Metodologia: SurpMark

Os autores propõem o SurpMark, um detector baseado em referência e em caixa preta que enquadra a atribuição como um teste de hipótese livre de verossimilhança. O framework opera em duas fases:

1. Construção de Referência Offline

Usando corpora humanos e de máquinas existentes, o sistema constrói matrizes de transição de referência fixas:

• Estimativa de Surpresa: Um Modelo de Linguagem (LM) proxy fixo computa surpresas ao nível de token ($s_t = -\log p_\theta(x_t | x_{<t})$) para textos de referência.
• Discretização: Valores contínuos de surpresa são quantizados em $k$ estados interpretáveis (por exemplo, "Previsível", "Surpreendente") usando um quantizador $k$-means compartilhado. Isso converte a sequência em uma sequência de estados discretos $\{a_t\}$.
• Modelagem de Transição: As sequências de estados são modeladas como cadeias de Markov de primeira ordem. Matrizes de probabilidade de transição empíricas ($\hat{M}_{human}$ e $\hat{M}_{machine}$) são estimadas contando transições de estado nos corpora de referência.

2. Detecção Online

Para uma passagem de texto de teste:

• Extração de Características: O mesmo LM proxy computa surpresas, que são discretizadas usando o quantizador compartilhado para formar uma sequência de estados.
• Estimação de Transição: Uma matriz de transição empírica ($\hat{M}_{test}$) é computada para o texto de teste.
• Pontuação: O detector calcula uma pontuação de Divergência Generalizada de Jensen-Shannon (GJS). Especificamente, computa a diferença entre a distância GJS para a referência de máquina e a distância GJS para a referência humana:
  $$\Delta GJS_n = GJS(\hat{M}_{machine}, \hat{M}_{test}, \alpha) - GJS(\hat{M}_{human}, \hat{M}_{test}, \alpha)$$
  onde $\alpha$ é a razão entre o comprimento da referência e o comprimento do teste.
• Decisão: O texto é classificado como gerado por máquina se $\Delta GJS_n \leq \tau$ (onde $\tau$ é um limiar, tipicamente 0), e escrito por humanos caso contrário.

Justificativa Teórica

O artigo fornece uma análise teórica sob uma aproximação idealizada de Markov de primeira ordem dos estados de surpresa discretizados:

• Compromisso Discretização-Estimação: Os autores derivam uma lei de escala para o número de bins $k$. Equilibrando o erro de discretização ($O(1/k)$) e o erro de estimação estatística ($O(k^{3/2}/\sqrt{N})$), a contagem ótima de bins escala como $k^* = \Theta(N^{1/5})$, onde $N$ é o comprimento total dos dados de referência.
• Validade da Estatística: A estatística $\Delta GJS_n$ é mostrada como equivalente à razão de verossimilhança logarítmica normalizada entre as duas hipóteses (humano vs. máquina). Os autores provam sua normalidade assintótica, fornecendo uma base principiológica para a regra de decisão.
• Suficiência de Primeira Ordem: Análise empírica e teórica (baseada na teoria de aproximação de Gray) indica que a informação mútua condicional ganha ao passar de um modelo de Markov de primeira ordem para um de segunda ordem é negligenciável (redução de perplexidade subpercentual), justificando o uso de modelos de primeira ordem para eficiência de dados.

Contribuições Principais

1. Framework SurpMark: Um detector baseado em referência que resume o texto por meio da dinâmica de surpresas de token (transições de estado) em vez de verossimilhanças absolutas, evitando a necessidade de regeneração por instância.
2. Análise Teórica: Derivação de diretrizes de projeto para a escala de bins de discretização ($k \propto N^{1/5}$) e uma justificativa principiológica para a estatística de teste baseada em GJS como uma razão de verossimilhança logarítmica.
3. Avaliação Abrangente: Experimentos extensivos demonstrando robustez em diversos conjuntos de dados, modelos fonte (abertos e fechados) e cenários (domínios mistos, paráfrase, ataques adversariais).

Resultados Experimentais

O SurpMark foi avaliado contra 13 baselines (incluindo DetectGPT, Lastde++, R-Detect e Binoculars) em múltiplos conjuntos de dados (XSum, WritingPrompts, SQuAD, WMT19, HC3, DetectRL) e modelos (9 de código aberto, 3 de código fechado).

• Desempenho: O SurpMark consistentemente iguala ou supera as baselines. Alcançou a maior AUROC média em 6 de 9 modelos de código aberto e ficou em primeiro lugar em todos os 3 modelos de código fechado (incluindo GPT-5-Chat), onde estatísticas marginais frequentemente falham.
• Eficiência: Diferentemente de métodos distribucionais que exigem regeneração por entrada (por exemplo, DetectGPT, Lastde++), o SurpMark pontua textos em uma única passagem. Alcança maior vazão que as baselines após amortizar o custo de pré-processamento único, tornando-o adequado para implantação em tempo real.
• Robustez:
  • Incompatibilidade de Proxy: O SurpMark permanece estável mesmo quando o LM proxy difere significativamente do gerador fonte, enquanto muitas baselines degradam.
  • Mudança de Domínio: O método mantém alto desempenho em configurações de domínio misto e gerador misto (benchmark DetectRL).
  • Ataques Adversariais: O SurpMark demonstra forte resiliência contra ataques de paráfrase (polimento, tradução reversa, DIPPER) e ataques adversariais projetados para imitar estilo humano ou evadir detecção.
  • Generalização OOD: O detector performa bem quando os textos de referência vêm de um domínio diferente do conjunto de teste, indicando que captura sinais transferíveis em vez de artefatos específicos de domínio.

Significado e Alegações

O artigo alega que o SurpMark oferece uma solução robusta, eficiente e teoricamente fundamentada para detecção de texto de LLMs em caixa preta. Seu significado reside em:

• Desacoplamento de Modelos Fonte: Ao depender da dinâmica das surpresas de token em relação a referências fixas, evita a fragilidade de classificadores treinados em geradores específicos.
• Eficiência Computacional: Elimina a latência e o custo associados à regeneração por instância, permitindo implantação escalável.
• Tratamento de Modelos Avançados: O método aborda especificamente o desafio de detectar texto de modelos fortes e de código fechado (como GPT-5) onde as distribuições de surpresa marginal convergem com texto humano, mas as dinâmicas transicionais permanecem distintas.

Os autores notam modestamente limitações, reconhecendo que a aproximação de Markov de primeira ordem é uma idealização para o espaço de estados discretizado e que a exposição prévia de textos humanos no modelo proxy poderia teoricamente aumentar falsos positivos, embora experimentos sugiram que esse efeito seja mínimo. Eles enfatizam que o detector fornece um sinal probabilístico e não deve ser usado como a única base para decisões de alto risco sem revisão humana.