Resumo Técnico: Aprendizado de Representação de Estilo Não Supervisionado para Detecção de Texto por IA via Inversão de Paráfrase

Declaração do Problema

O rápido avanço dos Grandes Modelos de Linguagem (LLMs) intensificou as preocupações relativas ao seu uso indevido para plágio, desinformação e operações de influência automatizadas. Os métodos de detecção existentes enfrentam limitações significativas:

• Métodos estatísticos zero-shot (ex: Binoculars, FastDetectGPT) dependem de distribuições preditivas de LLMs específicos, tornando-os frágeis à paráfrase e ineficazes quando o modelo gerador é desconhecido.
• Classificadores supervisionados exigem textos rotulados por humanos e máquinas, sofrendo com mudanças de distribuição à medida que novos LLMs, domínios e tópicos emergem.
• Detectores baseados em estilo existentes (ex: LUAR, CISR) dependem de rótulos de autoria para treinamento e geralmente requerem amostras de referência dentro da distribuição (few-shot) para funcionar, limitando sua aplicabilidade em cenários zero-shot onde não existem dados de referência para um gerador alvo.

O desafio central é aprender características de estilo discriminativas que distingam texto escrito por humanos de texto gerado por máquina sem depender de rótulos de autoria, mantendo a robustez contra paráfrases adversariais e generalizando para LLMs não vistos.

Metodologia: LUSR (Aprendizado de Representação de Estilo Não Supervisionado)

Os autores propõem o LUSR, um framework que aprende representações de estilo através de uma tarefa de inversão de paráfrase sem exigir rótulos de autoria.

Conceito Central

O método define "estilo" como as características alteradas por uma paráfrase semanticamente equivalente. Como as paráfrases preservam o significado, mas alteram as formas superficiais (sintaxe, pontuação, escolha lexical), um codificador treinado para reconstruir o texto original a partir de sua paráfrase deve capturar esses resíduos estilísticos.

Arquitetura e Objetivo de Treinamento

1. Entrada: Um texto escrito por humano $t$ e sua paráfrase gerada por máquina $P(t)$.
2. Codificadores:
   • Codificador Semântico ($Sem$): Um codificador de sentenças pré-treinado e congelado (SBERT) que gera um embedding semântico $e_l$. Isso garante que o modelo não dependa do conteúdo semântico para a reconstrução.
   • Codificador de Estilo (LUSR): Um codificador treinável (inicializado a partir do RoBERTa-large) que gera um embedding de estilo $e_s$.
3. Reconstrução: Um modelo de linguagem causal (Llama-3.2-1B com LoRA) é treinado para reconstruir o texto original $t$ condicionado a:
   • A paráfrase $P(t)$.
   • O embedding semântico projetado $W_l e_l$.
   • O embedding de estilo projetado $W_s e_s$.
4. Viés Indutivo: Ao congelar o codificador semântico, o objetivo de treinamento força o codificador LUSR a capturar apenas as características não semânticas necessárias para reverter a paráfrase da máquina de volta ao original humano. Isso efetivamente separa o estilo do conteúdo sem supervisão explícita de autoria.

Estratégias de Detecção

Os embeddings LUSR aprendidos são utilizados em dois regimes de detecção:

1. Detecção Few-Shot: Utiliza uma abordagem baseada em protótipos (Snell et al., 2017). Dados $k$ amostras de suporte de texto gerado por máquina, o detector computa o centroide no espaço LUSR e classifica consultas com base na similaridade de cosseno com este centroide.
2. Detecção Zero-Shot (DeepSVDD): Trata o texto gerado por máquina como distribuição interna (ID) e o texto humano como distribuição externa (OOD). Um detector DeepSVDD aprende um hiperesfera compacta ao redor das amostras geradas por máquina no espaço de embedding LUSR. Amostras que se desviam significativamente do centro são sinalizadas como escritas por humanos. Esta abordagem é treinada apenas com dados gerados por máquina (sem necessidade de rótulos humanos para a fase de treinamento do detector).

Principais Contribuições

1. Aprendizado de Estilo Livre de Rótulos: Introduz um objetivo de treinamento que aprende características de estilo discriminativas sem rótulos de autoria, abordando uma limitação chave de detectores de estilo anteriores.
2. Tarefa de Inversão de Paráfrase: Operacionaliza a definição de estilo como "o que uma paráfrase altera", permitindo que o modelo foque nos resíduos não semânticos.
3. Detecção de Duplo Regime: Demonstra que as representações aprendidas suportam tanto a detecção few-shot (quando amostras de referência estão disponíveis) quanto a detecção zero-shot (via DeepSVDD) sem necessidade de retreinar o codificador de estilo.
4. Generalização: Mostra que as representações generalizam para LLMs não vistos e transferem para tarefas não relacionadas, como verificação de autoria e discriminação de estilo refinada.

Resultados Experimentais

Desempenho Few-Shot (Benchmark M4)

• Detecção de Alvo Único: O LUSR alcançou um AUROC(1) de 69 com apenas $k=1$ amostra de suporte, igualando o melhor baseline zero-shot (Binoculars) e superando todos os outros métodos baseados em estilo. Com $k=5$, o LUSR atingiu 96, superando significativamente o próximo melhor método baseado em estilo (LUAR Multidomain com 89).
• Detecção de Múltiplos Alvos: O LUSR alcançou 93 AUROC(1) em $k=5$, uma melhoria de 10 pontos sobre o melhor estilo de representação anterior.
• Robustez: O LUSR manteve um AUROC(1) acima de 90 no cenário de múltiplos alvos mesmo quando a maioria das consultas foi parafraseada usando DIPPER, superando todos os baselines.

Desempenho Zero-Shot (Benchmark MAGE)

• O detector DeepSVDD baseado em LUSR alcançou um AUROC(1) de 78, superando todos os baselines estatísticos zero-shot (ex: Binoculars em 54, FastDetectGPT em 63) e ficando atrás apenas do classificador supervisionado Longformer (81).
• Generalização para Modelos Não Vistos: No cenário de "Modelos Não Vistos", o DeepSVDD do LUSR (97 AUROC) superou o classificador supervisionado Longformer (93 AUROC), sugerindo que as características de estilo capturam pistas invariantes ao gerador melhor do que modelos treinados em saídas de LLMs específicos.
• Generalização para Domínios Não Vistos: O Longformer supervisionado performou ligeiramente melhor em domínios não vistos (95 vs 91), indicando um compromisso onde modelos supervisionados podem capturar artefatos específicos de domínio de forma mais eficaz.

Transferência para Tarefas Não Vistas

Sem qualquer supervisão específica da tarefa, os embeddings LUSR foram avaliados em:

• Verificação de Autoria (Tarefas PAN): O LUSR alcançou um AUROC médio de 74, segundo apenas o LUAR (78) e superando outras representações de estilo (MSR, CISR, StyleDistance), apesar de nunca ter sido treinado com rótulos de autoria.
• Discriminação de Estilo Fina (STEL): O LUSR pontuou 84 na métrica S-o-C (Estilo-ou-Conteúdo), ficando atrás apenas do StyleDistance, demonstrando sua capacidade de isolar estilo de conteúdo.

Significância e Alegações

O artigo argumenta que a inversão de paráfrase serve como um sinal de propósito geral para aprender o estilo de escrita sem rótulos de autoria. Os autores afirmam que:

• O método consegue desacoplar o estilo do conteúdo semântico através do congelamento do codificador semântico.
• As representações resultantes são robustas à paráfrase adversarial e generalizam para LLMs não vistos melhor do que classificadores totalmente supervisionados em configurações zero-shot.
• As características aprendidas não são meros artefatos de um parafraseador específico, mas capturam distinções estilísticas fundamentais úteis em múltiplas tarefas (detecção, verificação de autoria, discriminação de estilo).

Limitações: Os autores reconhecem que os dados de treinamento são restritos a postagens do Reddit em inglês parafraseadas pelo Mistral-7B. Consequentemente, as representações de estilo herdam as regularidades estilísticas do parafraseador específico utilizado, e a eficácia em outras línguas, domínios ou registros formais (ex: jurídico, médico) permanece não validada. Adicionalmente, a definição de "não semântico" é limitada pelos vieses do codificador semântico SBERT congelado.