Resumo Técnico: AEyeDE

Declaração do Problema

O rápido avanço dos Grandes Modelos de Linguagem (LLMs) permitiu a geração de texto com fluência de nível humano, impondo desafios significativos à integridade da informação, à honestidade acadêmica e à confiança social. Os métodos de detecção existentes enfrentam limitações intrínsecas:

• Detectores baseados em estatísticas superficiais e verossimilhança (ex: perplexidade, burstiness, curvatura) degradam-se à medida que os LLMs são otimizados via técnicas como RLHF para imitar distribuições humanas.
• Classificadores supervisionados frequentemente sofrem com mudanças de domínio e falham em generalizar para geradores não vistos.
• Watermarking (Marca d'água) requer a cooperação do gerador e é frágil contra paráfrases e pós-edição.

As abordagens atuais analisam primariamente o que é escrito (a sequência de texto em si). Os autores hipotetizam que analisar como o texto é produzido — especificamente as estruturas internas de interação token-a-token dentro de um modelo — fornece um sinal mais rico e robusto para distinguir textos gerados por humanos e por IA.

Metodologia: Estrutura AEyeDE

Os autores propõem o AEyeDE, uma estrutura de atribuição que utiliza mapas de atribuição de atenção de um modelo Transformer de proximidade (proxy) como a entrada principal para a detecção, em vez de depender apenas da sequência de texto.

1. Extração de Atribuição

Dado um exemplo de texto observado $x$ (gerado por humano ou IA), a estrutura o passa por um modelo de proximidade fixo $G_\theta$ com acesso de caixa branca (white-box).

• Modelos apenas-decodificadores (Decoder-only): O mapa de atribuição reflete a autoatenção causal (influência de tokens anteriores em tokens atuais).
• Modelos codificador-decodificador (Encoder-decoder): O mapa reflete a atenção cruzada (influência de tokens de origem em tokens de destino).
• O sistema extrai matrizes de atenção de todas as camadas e cabeças, calculando a média delas para produzir uma única matriz de atribuição $A(x; \theta) \in \mathbb{R}^{T_t \times T_s}$.

2. Arquitetura de Rede

Os mapas de atribuição são processados por uma Rede Neural Convolucional (CNN) leve, projetada para aprender representações dessas estruturas relacionais 2D:

• Amostragem de Blocos (Block Sampling): Para modelos apenas-decodificadores, a grande matriz de atenção é sumarizada através da amostragem de blocos quadrados de tamanho fixo (ex: $128 \times 128$) ao longo da diagonal principal, onde as interações locais mais fortes de token-a-token estão concentradas. Para modelos codificador-decodificador, o mapa completo de atenção cruzada é utilizado.
• Codificador CNN: Cada bloco é tratado como uma imagem de um único canal e processado através de uma sequência de blocos convolucionais (progressão de canais: $1 \to 32 \to 64 \to 128 \to 128 \to 256$) com max-pooling.
• Pooling e Classificação: Os embeddings resultantes são agregados usando pooling de atenção aprendível para formar uma representação global. Esta é passada para um Perceptron Multicamadas (MLP) leve para prever a probabilidade de autoria por IA.
• Ramo de Texto Opcional: A estrutura pode opcionalmente concatenar embeddings de texto (de um codificador separado) com embeddings de atribuição, embora experimentos mostrem que representações de apenas atenção são frequentemente competitivas.

3. Análise de Interpretabilidade

Os autores analisam as representações aprendidas agrupando (clustering) patches de $8 \times 8$ dos mapas de características convolucionais finais. Eles identificam estruturas locais recorrentes, denominadas "motivos" (motifs), e comparam suas frequências relativas entre textos gerados por humanos e por IA.

Principais Contribuições

1. Estrutura AEyeDE: Introdução de uma estrutura de detecção baseada em atribuição que utiliza mapas de atenção de um Transformer de proximidade como entrada estruturada para um classificador CNN leve, indo além das estatísticas superficiais.
2. Avaliação Empírica Abrangente: Testes extensivos através de:
   • Configurações de codificador-decodificador: Benchmarks de tradução automática (WMT14, UN Parallel Corpus).
   • Configurações apenas-decodificadoras: Datasets de geração aberta (HC3, RAID, Beemo).
   • Cenários: Detecção específica de gerador, generalização para geradores mistos, perturbações adversárias (paráfrase, ortografia alternativa) e transferência entre datasets.
3. Descoberta de Motivos: Identificação de padrões de atenção local recorrentes ("motivos") cuja prevalência difere sistematicamente entre textos humanos e de IA. Esses motivos fornecem uma assinatura interpretável e localizada de autoria.

Resultados Experimentais

O artigo reporta resultados em diversos cenários, destacando as seguintes descobertas:

• Desempenho de Codificador-Decodificador: O AEyeDE supera consistentemente as linhas de base baseadas apenas em texto. Em tarefas de tradução (fr-en, de-en, ar-en), alcançou ganhos de F1 de +3,6 a +8,3 sobre modelos de apenas texto.
• Detecção Específica de Gerador: Em configurações onde o modelo de proximidade coincide com a família do gerador, o AEyeDE atinge um desempenho próximo ao teto (F1: 96,34–99,25; AUC: 98,81–99,86), superando significativamente baselines como Binoculars, Curvature e RoBERTa.
• Generalização para Outros Geradores: Quando treinado em uma mistura de geradores e testado em um gerador não visto (Mistral), o AEyeDE mantém o melhor AUC e TPR@FPR=0.01 entre todos os métodos, embora com um ponto de operação mais conservador (alta precisão, menor recall) em comparação com baselines que tendem a previsões de "todos positivos".
• Robustez a Ataques Adversários:
  • Ortografia Alternativa: O AEyeDE demonstra excepcional robustez, mantendo alto F1 (98,47) e AUC (99,75) contra perturbações de ortografia ao nível de caractere, superando todos os baselines por margens amplas.
  • Paráfrase: Em configurações individuais, o AEyeDE mantém um forte equilíbrio entre precisão e recall. No entanto, em configurações unificadas (geradores mistos), o desempenho cai para todos os métodos, e a vantagem do AEyeDE diminui, embora ainda alcance o F1 mais alto.
• Transferência entre Datasets: No dataset externo Beemo, o AEyeDE supera todos os baselines em acurácia, precisão, F1 e AUC, demonstrando fortes capacidades de generalização mesmo com dados de treinamento limitados.

Significância e Alegações

O artigo alega que mapas de atribuição baseados em atenção fornecem um sinal complementar e interpretável para a detecção de texto gerado por IA.

• Robustez: O método é menos dependente de pistas lexicais ou estilísticas e mostra robustez superior a ataques de ortografia alternativa e transferência entre datasets em comparação com métodos baseados em estatísticas superficiais ou verossimilhança.
• Interpretabilidade: A descoberta de "motivos" recorrentes sugere que a autoria deixa uma assinatura localizada e repetível nos mapas de atenção do modelo de proximidade. A análise revela que, embora a prevalência desses motivos difira entre textos humanos e de IA, sua saliência (importância para a decisão) nem sempre correlaciona com a prevalência, indicando uma relação complexa entre padrões estruturais e detecção.
• Praticidade: A estrutura opera com acesso de caixa branca a um modelo de proximidade, não necessariamente ao gerador real, e alcança resultados fortes com uma CNN leve treinada com quantidades relativamente pequenas de dados.

Os autores concluem que, embora a estrutura assuma o acesso de caixa branca a um modelo de proximidade (uma limitação para cenários totalmente de caixa preta), a generalização dos padrões de atribuição entre famílias de geradores sugere que o acesso exato ao gerador real não é estritamente necessário para uma detecção eficaz. Eles posicionam este trabalho como um passo em direção a detectores que oferecem evidências transparentes e verificáveis para suas decisões.