Feature-Augmented Transformers for Robust AI-Text Detection Across Domains and Generators

Resumo Técnico: Transformers Aumentados por Recursos para Detecção Robusta de Texto Gerado por IA em Diversos Domínios e Geradores

1. Declaração do Problema

A proliferação de Modelos de Linguagem de Grande Escala (LLMs) criou uma necessidade crítica de detecção confiável de texto gerado por IA em cenários como integridade acadêmica, moderação de conteúdo e curadoria de conjuntos de dados. No entanto, a implantação no mundo real enfrenta um desafio significativo: mudança de distribuição. Detectores treinados em conjuntos de dados específicos frequentemente falham quando aplicados a diferentes domínios, estilos de escrita ou famílias de geradores.

As práticas de avaliação existentes frequentemente dependem de desempenho intra-domínio ou métricas agregadas que podem mascarar comportamentos frágeis. Além disso, muitos estudos re-calibram os limiares de decisão para cada domínio alvo, o que não reflete restrições realistas de implantação onde rótulos do domínio alvo estão indisponíveis. Este artigo aborda a necessidade de um framework de detecção robusto que mantenha o desempenho sob mudança de distribuição sem adaptação ao domínio alvo, focando especificamente no trade-off entre preservar texto humano e detectar diversos geradores de IA.

2. Metodologia

2.1. Protocolo de Avaliação: Implantação com Limiar Fixo
O cerne da metodologia proposta é um protocolo de implantação realista com limiar fixo.

• Treinamento: Os detectores são treinados exclusivamente no conjunto de dados HC3 PLUS (Su et al., 2023), que inclui respostas escritas por humanos e geradas pelo ChatGPT, além de reescritas semanticamente invariantes (parafraseamento, sumarização, tradução).
• Calibração: Um único limiar global de decisão ($\tau^*$) é calibrado em dados de validação retidos do HC3 PLUS.
• Teste: Este limiar é mantido fixo para todas as avaliações subsequentes. Nenhum ajuste fino ao domínio alvo ou re-calibração de limiar é realizado. Este protocolo é projetado para expor modos de falha que são tipicamente ocultados por avaliações adaptativas.
• Métricas: A Acurácia Balanceada (BA) é a métrica primária para contabilizar desequilíbrio de classes e padrões de erro assimétricos (Recall Humano vs. Recall de IA).

2.2. Arquiteturas de Modelo
O estudo avalia duas categorias de modelos:

1. Baselines Transformer Padrão: Codificadores BERT e ROBERTA ajustados finamente com um cabeçalho de classificação linear.
2. Detectores Aumentados por Recursos: Estes modelos fundem representações de transformers com sinais linguísticos artesanais por meio de um módulo Feature-Attention (FEATATTN).
   • Extração de Recursos: 62 recursos artesanais são extraídos (diversidade lexical, padrões de POS, legibilidade, pontuação, perplexidade, explosividade). Um subconjunto de $k=30$ recursos é selecionado globalmente no conjunto de treinamento para evitar vazamento do domínio alvo.
   • Mecanismo de Fusão: Uma rede de atenção leve gateia dinamicamente os recursos selecionados por amostra, projetando-os em um embedding compacto. Este embedding é concatenado com a representação [CLS] do transformer e passado por um classificador MLP.
   • Backbones: O estudo introduz o DeBERTa-v3-base como backbone, hipotetizando que seu objetivo de pré-treinamento (Detecção de Token Substituído) pode produzir representações menos sensíveis a pistas superficiais que variam sob reescrita.

2.3. Conjuntos de Dados

• HC3 PLUS: Utilizado para treinamento e teste intra-domínio (QA e reescritas semanticamente invariantes).
• M4 Benchmark: Um benchmark caixa-preta utilizado para avaliação de transferência entre conjuntos de dados em cinco domínios em inglês (Wikipedia, WikiHow, Reddit, arXiv, PeerRead) e oito famílias de geradores (incluindo ChatGPT, LLaMA, Cohere, etc.).
• AI-TEXT-DETECTION-PILE: Um conjunto de dados externo em grande escala para avaliação fora da distribuição.
• Texto Acadêmico (Novo): Um conjunto de dados em grande escala de parágrafos do arXiv versus texto acadêmico gerado por IA (GPT-3.5, Gemini) utilizado para validação externa.

3. Resultados Principais

3.1. Desempenho Intra-Domínio vs. Entre Conjuntos de Dados

• Intra-Domínio: Transformers padrão (BERT, RoBERTa) alcançam desempenho próximo ao teto no HC3 PLUS QA (até 99,54% de BA). No entanto, o desempenho cai significativamente em reescritas semanticamente invariantes (teste si), indicando dependência de pistas de nível superficial.
• Entre Conjuntos de Dados (M4): Sob o protocolo de limiar fixo, o desempenho degrada-se significativamente.
  • Falhas Complementares: O BERT tende a preservar melhor o texto humano (maior Recall Humano), mas perde algum texto de IA, enquanto o RoBERTa é mais agressivo na detecção de IA (maior Recall de IA), mas classifica erroneamente mais texto humano.
  • Variância de Domínio: O desempenho varia drasticamente entre domínios (por exemplo, o BERT alcança 87,4% de BA na Wikipedia, mas 69,4% no arXiv).

3.2. Impacto da Aumentação por Recursos

• Robustez: A aumentação por recursos melhora significativamente a robustez de transferência. DeBERTa-v3 + FEATATTN alcança o perfil mais equilibrado, atingindo 85,97% de BA no benchmark M4 (81,38% de Recall Humano, 90,57% de Recall de IA).
• Estabilidade: Experimentos com múltiplas sementes (5 sementes) confirmam alta estabilidade, com uma média macro de 83,15 ± 1,04% no M4.
• Comparação com Zero-Shot: O modelo proposto supera baselines zero-shot fortes (Fast-DetectGPT, RADAR, Log-Rank) em até +7,22 pontos percentuais sob o mesmo protocolo de limiar fixo.

3.3. Ablação de Recursos

• Ablações em nível de categoria revelam que os recursos de Legibilidade e Vocabulário contribuem mais para a robustez entre domínios. A remoção dessas categorias resulta nas maiores quedas na Acurácia Balanceada.

3.4. Gerador e Mudança Externa

• Sensibilidade ao Gerador: O melhor modelo mantém altas taxas de detecção entre diversos geradores (por exemplo, 94,59% no Bloomz, 99,80% no ChatGPT), mas mostra um trade-off: é altamente sensível ao texto de IA, o que pode levar a mais falsos positivos em texto humano em conjuntos de dados externos (por exemplo, 55,53% de Recall Humano no AI-TEXT-DETECTION-PILE).
• Domínio Acadêmico: No novo conjunto de dados de Texto Acadêmico, o modelo alcança 81,09% de BA, demonstrando generalização para tópicos STEM.

4. Significado e Alegações

O artigo argumenta que avaliação semanticamente invariante e protocolos de limiar fixo são essenciais para avaliar a verdadeira robustez de detectores de IA. Os autores afirmam:

1. Desempenho Intra-Domínio é Enganoso: Pontuações próximas ao teto em distribuições de origem não garantem confiabilidade sob mudança de distribuição. Reescritas semanticamente invariantes atuam como um "teste de estresse" que expõe a dependência dos detectores de pistas superficiais.
2. Limiares Fixos Revelam a Realidade: Calibrar um único limiar e mantê-lo fixo reflete melhor as restrições de implantação, revelando modos de falha específicos de domínio e gerador que protocolos adaptativos obscurecem.
3. Aumentação por Recursos é Eficaz, mas com Trade-offs Pesados: Aumentar transformers com recursos linguísticos explícitos (especificamente legibilidade e vocabulário) melhora a robustez de transferência. No entanto, isso afia o trade-off entre preservar texto humano e detectar diversos geradores; um modelo otimizado para detecção ampla de IA pode aumentar falsos positivos em escrita humana.
4. Superioridade do DeBERTa-v3: O backbone DeBERTa-v3, potencialmente devido ao seu pré-treinamento de Detecção de Token Substituído, produz um perfil de transferência mais equilibrado e robusto em comparação com BERT e RoBERTa.

O estudo conclui que a robustez prática do detector requer protocolos de avaliação que enfatizem a invariância semântica, fixem pontos operacionais por meio de validação retida e complementem pontuações agregadas com perfis de erro granulares e conscientes do gerador.