Non-Parametric Machine Text Detection via Multi-View Gaussian Processes

Resumo Técnico: Detecção de Texto Gerado por Máquina Não Paramétrica via Processos Gaussianos Multi-Visão

Problema
A detecção de texto gerado por máquinas enfrenta um desafio fundamental em condições adversariais. Embora os detectores alcancem alta precisão em textos não modificados, seu desempenho degrada-se drasticamente quando o conteúdo é submetido a paráfrases, transferência de estilo direcionada ou ajuste fino (fine-tuning) contra detectores específicos. As abordagens existentes frequentemente dependem de um único espaço de características (por exemplo, verossimilhança ao nível de token ou impressões digitais estilísticas), tornando-as vulneráveis a ataques direcionados que suprimem esse eixo específico de detecção. Além disso, classificadores paramétricos treinados em distribuições específicas costumam falhar ao generalizar para novos ataques ou modelos de linguagem não vistos, levando a previsões confidentemente incorretas. Os autores argumentam que uma solução robusta deve alavancar múltiplos sinais complementares e fornecer estimativas de incerteza calibradas para apoiar uma implantação confiável em cenários de alto risco.

Metodologia
Os autores propõem uma estrutura de detecção multi-visão e não paramétrica que opera em um cenário de poucos disparos (few-shot) e ancorado ao domínio. Diferente dos métodos zero-shot que não requerem dados de treinamento, esta abordagem assume o acesso a um pequeno conjunto de suporte de exemplos humanos e de máquinas do mesmo domínio (por exemplo, $N=32$ por classe), mas mantém explicitamente isolados os tipos de ataque e geradores de origem encontrados no momento do teste.

A metodologia consiste em seis estágios principais:

1. Extração de Características Multi-Visão: O sistema extrai características de três visões independentes para forçar um adversário a resolver um problema de múltiplos objetivos:
   • Visão de Estilo: Embeddings estilométricos densos (de um modelo como o LUAR) que capturam impressões digitais lexicais e sintáticas ortogonais ao conteúdo semântico.
   • Visão Probabilística: Pontuações de detectores zero-shot, especificamente LogRank (classificação média de tokens) e FastDetectGPT (curvatura de log-verossimilhança).
   • Visão Estrutural: Estatísticas manuais (ex: contagem de tokens, contagem de sentenças) que persistem através da paráfrase.
2. Construção de Características Baseada em Centroides: Para mitigar a "maldição da dimensionalidade", onde as distâncias euclidianas perdem poder discriminativo em espaços de alta dimensão, o sistema projeta cada visão em um espaço de baixa dimensão. Ele calcula centroides de classe para dados humanos e de máquinas e mapeia cada documento em um vetor 4D contendo distâncias Euclidianas e de Mahalanobis diagonais em relação a ambos os centroides.
3. Classificadores de Processo Gaussiano (GP) por Visão: Um classificador GP esparso e variacional independente é ajustado para cada visão usando uma verossimilhança de Bernoulli e um link probit. Isso gera uma probabilidade por visão de geração por máquina ($p_k$) que incorpora naturalmente a incerteza preditiva. Quando o modelo está incerto (alta variância), a probabilidade é reduzida em direção a 0,5.
4. Agregação e Calibração: As probabilidades por visão são agregadas via uma regressão logística com regularização $\ell_2$ treinada em um conjunto de calibração mantido à parte. Esta etapa aprende o peso ideal das visões e corrige diferenças sistemáticas de calibração entre os GPs.
5. Portão de Fora da Distribuição (OOD): A estrutura permite a abstenção fundamentada. Se o modelo encontrar um texto significativamente fora do seu suporte de treinamento (ex: um idioma diferente ou domínio diferente), a variância preditiva do GP aumenta, sinalizando alta incerteza.

Principais Contribuições

1. Estrutura Multi-Visão: Uma arquitetura de detecção que agrega visões de características complementares (estilística, probabilística, estrutural) para elevar o custo de evasão, exigindo que um adversário derrote simultaneamente múltiplos eixos independentes de detecção.
2. Ensemble de GP com Calibração: O uso de processos gaussianos fornece probabilidades calibradas e estimativas de incerteza fundamentadas com ordens de magnitude menos dados do que as abordagens de aprendizagem profunda. Isso permite a abstenção confiável em entradas fora da distribuição.
3. Avaliação Robusta de Poucos Disparos (Few-Shot): A abordagem demonstra forte desempenho em diversos benchmarks (DetectRL, RAID, PAN 2025) em configurações de transferência de ataque e de gerador, superando as linhas de base zero-shot e de ajuste fino, particularmente sob restrições de baixa taxa de falsos positivos (FPR).

Resultados
Os autores avaliaram seu método em três benchmarks abrangendo diversos geradores e ataques:

• PAN 2025: Em cenários de "iniciado por humano e continuado por máquina" e "escrito por humano e polido por máquina", o método proposto alcançou um AUROC@1% de 0,612 e 0,610, respectivamente, superando as linhas de base zero-shot (que variaram de 0,50 a 0,68) e um classificador RoBERTa ajustado.
• Benchmark RAID: Em domínios de Notícias, Reddit e Avaliações da Amazon, o método alcançou um AUROC@1% de 0,930 (Notícias) e 0,775 (Reddit), superando significativamente a maioria das linhas de base.
• DetectRL: O método alcançou um AUROC@1% de 0,804 em ataques de paráfrase e 0,758 em ataques de perturbação.
• Calibração e Escalonamento: O sistema demonstrou que o desempenho e a calibração melhoram rapidamente com pequenos aumentos nas amostras de treinamento (de 16 para 32). Crucialmente, mostrou-se que as estimativas de incerteza do sistema são informativas: o desempenho diminui monotonicamente à medida que o sistema é forçado a cobrir mais amostras incertas (curvas de Desempenho-Cobertura), e a variância preditiva aumenta significativamente para dados muito fora da distribuição (ex: texto em Árabe quando treinado em Inglês), evitando falsos positivos confiantes.

Significância e Alegações
O artigo afirma que a detecção confiável em cenários de alto risco exige ir além dos detectores universais zero-shot em direção a detectores especializados de poucos disparos que possam caracterizar suas próprias limitações. Os autores afirmam que sua abordagem não paramétrica aborda com sucesso a fragilidade dos detectores atuais ao:

1. Alavancar múltiplas visões complementares para criar uma defesa robusta contra mudanças de distribuição e técnicas de evasão.
2. Utilizar processos gaussianos para fornecer estimativas de incerteza bem calibradas, permitindo que o sistema se abstenha de fazer previsões em dados que não pode classificar confiavelmente (ex: idiomas não vistos ou novos vetores de ataque).

Os autores mantêm modéstia quanto às suas alegações, reconhecendo que, embora o sistema melhore a robustez, quedas significativas de desempenho ainda ocorrem em condições de operação de baixíssimo FPR, típicas de cenários do mundo real (ex: acusações de plágio acadêmico). Eles também observam que seus experimentos são centrados primariamente no inglês, embora testes iniciais de OOD distante sugiram que o mecanismo de incerteza se generaliza para outros idiomas. O trabalho sugere que a robustez futura pode vir da exploração de espaços de características adicionais e ortogonais e da validação da abordagem em ambientes verdadeiramente multilíngues.