SV-Detect: AI-generated Text Detection with Steering Vectors

Declaração do Problema
A rápida implantação de grandes modelos de linguagem (LLMs) produziu textos gerados por máquina que são cada vez mais fluentes e difíceis de distinguir da escrita humana. Embora os métodos de detecção existentes (como estatísticas de nível de token, pontuações baseadas em verossimilhança e classificadores supervisionados) tenham um bom desempenho em distribuição interna (in-distribution), eles frequentemente degradam significativamente sob mudança de distribuição (distribution shift). Essas mudanças incluem transferências entre diferentes domínios, modelos de origem e ataques baseados em edição, como parafraseamento, polimento ou reescrita. Os detectores atuais frequentemente dependem de artefatos específicos de um determinado gerador, conjunto de dados ou estilo de ataque, limitando sua robustez em cenários do mundo real onde as condições de geração são desconhecidas ou adversariais.

Metodologia: SV-Detect
O artigo propõe o SV-Detect, um detector de texto falso que trata a detecção como um problema de sondagem no espaço de representação, em vez de uma tarefa de classificação de nível superficial. A hipótese central é que textos escritos por humanos e textos gerados por máquinas induzem direções sistematicamente diferentes no espaço de representação oculta de um modelo de linguagem.

O método opera em um modelo de linguagem congelado (o "LLM de sondagem") e segue um pipeline de quatro estágios:

1. Extração de Representação por Camada: Os estados ocultos são extraídos de cada camada do LLM congelado. Para cada camada, os estados ocultos de nível de token são submetidos ao mean-pooling para criar uma representação vetorial única para todo o texto.
2. Construção do Vetor de Direcionamento (Steering Vector): Para cada camada, um "vetor de direcionamento" é construído para separar textos escritos por humanos de textos gerados por máquinas. O artigo avalia três métodos de construção:
   • Diferença de média (Mean-difference): A diferença normalizada entre as médias das classes das ativações humanas e de máquina.
   • Regressão logística (Logistic-regression): O vetor normal do hiperplano que separa as duas classes, aprendido via regressão logística no espaço de ativação.
   • PCA: O principal componente principal das diferenças entre as ativações falsas e reais.
     Os experimentos identificam a abordagem de regressão logística como a mais robusta.
3. Recursos de Projeção (Projection Features): Um novo texto de entrada é representado pelo seu alinhamento com esses vetores de direcionamento. Especificamente, calcula-se a similaridade de cosseno entre a ativação agrupada (pooled) do texto em cada camada e o respectivo vetor de direcionamento. Essas pontuações formam um vetor de recursos compacto que resume o alinhamento do texto com as "direções de texto falso" através da rede.
4. *Cabeça de Detecção (Detection Head): Um classificador leve (padronizando para regressão logística com padronização de recursos) é treinado nesses recursos de projeção para produzir uma pontuação de detecção. Crucialmente, o LLM subjacente permanece congelado durante todo o processo.

Principais Contribuições

• Estrutura Inovadora: Introdução do SV-Detect, um detector baseado em vetores de direcionamento extraídos dos estados ocultos de um modelo de linguagem congelado, evitando a necessidade de ajuste fino (fine-tuning) do modelo base.
• Generalização Robusta: Demonstração de forte desempenho em benchmarks desafiadores (DetectRL e MIRAGE), incluindo transferência robusta entre domínios, modelos de origem e famílias de ataques (ex: parafraseamento, polimento).
• Transferência entre Benchmarks: Evidência de que os vetores de direcionamento aprendidos de um benchmark (MIRAGE) podem transferir efetivamente para outro (DetectRL), sugerindo que o método captura um sinal independente de benchmark.
• Interpretabilidade: Análise mostrando que as direções de direcionamento aprendidas alinham-se com pistas lexicais e estilísticas reconhecíveis (ex: registro formal vs. coloquial), ao mesmo tempo que capturam um sinal substancial além dos recursos superficiais.

Resultos Experimentais
O método foi avaliado no DetectRL (focando na robustez através de domínios, modelos e ataques) e no MIRAGE (focando em geração, polimento e reescrita).

• Desempenho In-Distribution: O SV-Detect alcançou um desempenho quase perfeito (AUROC > 99% na maioria dos casos) em todas as configurações do DetectRL (Multi-Domínio, Multi-LLM, Multi-Ataque), superando ou igualando fortes basais supervisionados como RoBERTa e XLM-RoBERTa, e excedendo substancialmente os detectores baseados em pontuação zero-shot.
• Generalização Cross-Setting: Em avaliações de origem cruzada (treino em um domínio/modelo e teste em outro), o SV-Detect demonstrou o desempenho mais consistente entre os detectores comparados, mantendo altos escores F1 onde outros métodos degradaram.
• Desempenho no MIRAGE: No MIRAGE, uma formulação multitarefa (treinando vetores de direcionamento separados para as tarefas de Gerar, Polir e Reescrever) alcançou o melhor desempenho em todas as seis configurações, superando métodos anteriores de estado da arte.
• Estudos de Ablação: O estudo confirmou que a construção de vetores de direcionamento por regressão logística é superior aos métodos de diferença de média ou PCA, particularmente sob transferência. Também mostrou que a escolha do classificador subsequente importa menos do que a própria representação; a regressão logística simples é suficiente e mais robusta do que classificadores não lineares complexos (como CatBoost ou KNN) sob mudança de distribuição.
• Eficiência: Embora o SV-Detect exija uma passagem completa (forward pass) através de um grande modelo de linguagem (tornando-o mais custoso computacionalmente do que pequenos modelos codificadores como o RoBERTa), ele é significativamente mais rápido do que detectores baseados em perturbação (ex: DetectGPT), que exigem múltiplas passagens.

Significância e Alegações
O artigo posiciona a detecção de texto falso como um problema de sondagem no espaço de representação. Os autores alegam que o texto gerado por máquina pode ser identificado não meramente por sua forma superficial ou probabilidades de saída, mas pelas direções estáveis no espaço de estado oculto ao longo das quais ele difere da escrita humana.

A significância do trabalho reside em:

1. Robustez: Fornecer uma solução que generaliza através de diversas condições de geração e ataques de edição, abordando uma limitação fundamental dos detectores atuais.
2. Interpretabilidade: Oferecer um mecanismo para entender como o detector distingue o texto, revelando que o sinal se alinha com diferenças estilísticas significativas (ex: "registro polido tipo LLM" vs. "escrita humana coloquial") enquanto codifica informações adicionais, não superficiais.
3. Simplicidade: Demonstrar que uma simples projeção linear de estados ocultos, seguida de um classificador leve, pode superar abordagens complexas, de ajuste fino ou zero-shot em cenários de robustez.

Os autores concluem que os vetores de direcionamento fornecem uma solução simples e eficaz para detectar texto gerado por IA, sugerindo que a "assinatura" da geração por máquina é uma propriedade geométrica estável dentro do espaço de representação dos modelos de linguagem.