Learn-to-Distance: Distance Learning for Detecting LLM-Generated Text

1. O Problema

Com o avanço rápido de Grandes Modelos de Linguagem (LLMs) como GPT, Claude e Gemini, a capacidade de gerar texto indistinguível do humano levantou preocupações críticas sobre desinformação, integridade acadêmica e propriedade intelectual. O desafio central é desenvolver algoritmos confiáveis para detectar texto gerado por IA.

A maioria dos métodos existentes de detecção passiva (sem marcas d'água) enfrenta duas limitações principais:

1. Dependência de prompts: Métodos baseados em logits (probabilidades do modelo) tendem a falhar quando o texto é gerado sob prompts não vistos durante o treinamento.
2. Distâncias fixas: Métodos baseados em reescrita (rewrite-based) comparam o texto original com uma versão reescrita pelo LLM. No entanto, eles utilizam métricas de distância fixas e pré-definidas (como distância de Levenshtein ou BERTScore), que podem não capturar a geometria complexa dos espaços de embedding de diferentes LLMs, limitando a generalização.

2. Metodologia: Learn-to-Distance (L2D)

O artigo propõe uma nova abordagem chamada L2D (Learn-to-Distance), que combina a intuição dos métodos baseados em reescrita com o aprendizado adaptativo de uma função de distância.

Fundamentação Teórica e Geométrica

Os autores estabelecem uma intuição geométrica para explicar por que métodos baseados em reescrita funcionam:

• Espaços de Subespaço: Assume-se que o texto humano reside em um espaço de alta dimensão ($H$), enquanto o texto gerado por LLM reside em um subespaço de menor dimensão ($M$) projetado a partir de $H$.
• Erro de Reconstrução: Quando um LLM reescreve um texto, ele projeta o texto original para o subespaço $M$ e adiciona uma pequena perturbação.
  • Para texto LLM, a distância entre o original e a reescrita é pequena (pois ambos estão próximos ou dentro de $M$).
  • Para texto Humano, a distância é maior, pois o texto original está "mais longe" do subespaço $M$ do LLM.
• Generalização: A teoria demonstra que essa diferença de erro de reconstrução persiste mesmo quando há mudanças na distribuição causadas por diferentes prompts de entrada, desde que a semântica seja preservada.

A Abordagem Proposta (L2D)

Em vez de usar uma métrica de distância fixa (como distância euclidiana ou edit distance), o L2D aprende adaptativamente a função de distância ótima para discriminar entre os dois tipos de texto.

• Função de Distância: A distância é parametrizada por um modelo de linguagem $p_\phi$ (fine-tuned):
  $$d_\phi(X_1, X_2) = \left| \frac{\log p_\phi(X_1)}{\text{len}(X_1)} - \frac{\log p_\phi(X_2)}{\text{len}(X_2)} \right|$$
  Onde $len(\cdot)$ é o número de tokens.
• Objetivo de Otimização: O modelo $p_\phi$ é ajustado para maximizar a diferença entre o erro de reconstrução de textos humanos e textos de LLM:
  $$\max_\phi \left( \mathbb{E}_{X \sim D_h}[d_\phi(X, R(X))] - \mathbb{E}_{X \sim D_m}[d_\phi(X, R(X))] \right)$$
  Onde $D_h$ é um corpus humano e $D_m$ é um corpus gerado por LLM.
• Implementação: Utiliza-se um modelo base (ex: Gemma-2-9b-it) para gerar reescritas e um modelo leve (com LoRA) para aprender a métrica de distância. O processo gera múltiplas reescritas ($K$) para reduzir a estocasticidade e calcula a média dos erros.

3. Contribuições Principais

1. Método: Desenvolvimento de um detector baseado em reescrita que aprende a métrica de distância via Machine Learning, superando a rigidez das métricas fixas.
2. Teoria: Prova geométrica formal (Proposições 1, 2 e 3) que:
   • Valida a premissa de que o erro de reconstrução humano é maior que o de LLM.
   • Demonstra a robustez do método a mudanças de distribuição (prompts não vistos).
   • Estabelece que aprender uma função de distância é teoricamente superior a usar uma distância fixa.
3. Empírico: Avaliação abrangente em mais de 100 configurações, cobrindo 24 conjuntos de dados, 7 modelos alvo e 3 tipos de prompts não vistos.

4. Resultados Experimentais

Os experimentos foram conduzidos comparando o L2D com 12 métodos state-of-the-art (incluindo DetectGPT, Fast-DetectGPT, ImBD, RAIDAR, etc.).

• Desempenho Geral: O L2D superou consistentemente todos os baselines.
  • Em modelos como GPT-3.5, GPT-4o e Claude-3.5, o L2D alcançou melhorias relativas de 54,3% a 75,4% sobre o melhor baseline existente.
  • Em média, houve uma melhoria relativa de 41,5% a 75,4% sobre os baselines mais fortes.
• Robustez a Prompts Não Vistos: Diferente de métodos baseados em logits que falham drasticamente quando o prompt de geração muda, o L2D manteve desempenho superior em cenários de reescrita, expansão e polimento com prompts desconhecidos.
• Resiliência a Ataques Adversariais: Sob ataques de paráfrase e descoerência (troca de palavras), o L2D manteve sua precisão (AUC), enquanto outros métodos sofreram quedas significativas de desempenho.
• Estudo de Ablação: A comparação entre o L2D (distância aprendida) e uma versão com distância fixa (usando o modelo pré-treinado sem fine-tuning) mostrou que o aprendizado da distância trouxe uma melhoria relativa média de 96%, provando que a adaptação da métrica é o fator crítico de sucesso.

5. Significado e Conclusão

O artigo "Learn-to-Distance" representa um avanço significativo na detecção de texto gerado por IA. Ao mudar o paradigma de usar métricas de distância estáticas para métricas adaptativas aprendidas, os autores conseguiram resolver o problema da generalização em diferentes modelos de linguagem e prompts.

A abordagem é teoricamente fundamentada em uma intuição geométrica clara e empiricamente validada como superior aos métodos atuais, oferecendo uma solução robusta para a detecção passiva de conteúdo gerado por IA em cenários do mundo real, onde os prompts e os modelos geradores são frequentemente desconhecidos ou variáveis. O código da implementação está disponível publicamente, promovendo a reprodutibilidade e o avanço contínuo na área.