Beyond the Final Actor: Modeling the Dual Roles of Creator and Editor for Fine-Grained LLM-Generated Text Detection

Resumo Técnico: RACE – Detecção de Texto Gerado por LLMs de Alta Granularidade

1. O Problema

O uso indevido de Grandes Modelos de Linguagem (LLMs) exige a detecção precisa de texto sintético. No entanto, as abordagens existentes focam predominantemente em classificações binárias (Humano vs. LLM) ou ternárias (adicionando uma categoria genérica de "colaborativo").

• Limitação Atual: Essas configurações são insuficientes para regulamentações nuanceadas. Por exemplo, em contextos acadêmicos, um texto humano polido por um LLM (assistência legítima) deve ser tratado de forma diferente de um texto gerado por LLM e "humanizado" para burlar detectores (fraude/cheating).
• Desafio: Distinguir quatro classes distintas:
  1. Texto Escrito por Humano.
  2. Texto Gerado por LLM.
  3. Texto Humano Polido por LLM (LLM-Polished Human Text).
  4. Texto Gerado por LLM Humanizado (Humanized LLM Text).
• Hipótese Central: A detecção precisa requer ir além do "ator final" (quem editou por último) e modelar separadamente as contribuições do Criador (que estabelece a lógica e o conteúdo) e do Editor (que refina a expressão linguística).

2. Metodologia: RACE (Rhetorical Analysis for Creator-Editor Modeling)

Os autores propõem o RACE, um framework de detecção que modela as "dual traces" (rastros duplos) do criador e do editor através da Teoria da Estrutura Retórica (RST).

Arquitetura do RACE:
O modelo opera em quatro etapas principais:

1. Extração de Rastros Duplos (Dual Trace Extraction):

   • Utiliza um parser de RST (Teoria da Estrutura Retórica) para segmentar o texto em Unidades de Discurso Elementares (EDUs) e construir uma árvore hierárquica de relações retóricas (ex: Causa, Contraste, Elaboração).
   • Isso captura a estrutura lógica (Criador) e as unidades linguísticas superficiais (Editor).

2. Inicialização do Grafo Consciente de Lógica (Logic-Aware Graph Initialization):

   • O texto é transformado em um grafo multi-relacional onde os nós são EDUs e as arestas são relações retóricas.
   • Pooling de Descendentes: Representações semânticas são agregadas para nós não-folha, capturando o contexto global.
   • Projeção de Gargalo de Informação (Information Bottleneck): Um mecanismo de redução de dimensionalidade filtra ruído lexical superficial, forçando o modelo a focar em características estruturais invariantes do autor.

3. Propagação de Mensagens Guiada por Retórica (Rhetoric-Guided Message Passing):

   • Utiliza uma Rede de Convolução em Grafos Relacional (RGCN) para propagar informações através do grafo.
   • Decomposição de Base: Para evitar explosão de parâmetros devido à grande quantidade de relações retóricas, as matrizes de transformação são decompostas em bases compartilhadas, permitindo que o modelo aprenda componentes "atômicos" da lógica retórica.

4. Leitura do Grafo e Classificação (Graph Readout and Classification):

   • A representação global do texto é extraída do nó raiz da árvore RST (que encapsula a intenção retórica total).
   • Um cabeçalho de classificação final prevê as quatro classes.
   • Otimização: O modelo é treinado com uma perda conjunta de Contrastive Loss supervisionado (para compactar o espaço de características) e Cross-Entropy.

3. Contribuições Principais

• Definição de Tarefa Específica: Introdução de um framework de detecção para o cenário de 4 classes, explicitamente separando "Texto Humano Polido" de "Texto LLM Humanizado".
• Modelagem de Papéis Duais: Proposta do RACE, que desdobra a detecção em duas dimensões:
  • Criador: Modelado através da organização lógica e progressão argumentativa (via RST).
  • Editor: Modelado através de refinamentos linguísticos superficiais (via EDUs).
• Desempenho Superior: Demonstração experimental de que modelar separadamente a lógica do criador e o estilo do editor supera métodos unificados, especialmente em cenários de baixa taxa de falsos positivos.

4. Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados HART (Human-AI Collaborative Text), dividido em 4 classes.

• Comparação com Baselines: O RACE superou 12 métodos baselines (incluindo RoBERTa, CoCo, LF-Motifs, DetectAIve e métodos baseados em métricas como Binoculars).
• Métricas Chave:
  • TPR@1% FPR (Taxa de Verdadeiros Positivos a 1% de Falsos Positivos): O RACE alcançou 83.06% em média, superando o melhor baseline (CoCo) em 3.36% absolutos. Isso é crucial para aplicações reais onde falsos positivos são inaceitáveis.
  • AUROC: O modelo obteve uma média de 97.99%, indicando excelente capacidade de classificação global.
• Análise de Robustez:
  • O modelo manteve alta performance em testes Out-of-Distribution (OOD) em diferentes domínios (ArXiv, Ensaios, Notícias), superando métodos que dependem de distribuições de entidades específicas.
  • Funcionou bem em textos mais curtos (200-600 tokens), onde métodos baseados em estatísticas superficiais falham.
• Estudo de Ablação: A remoção de componentes como a "Projeção de Gargalo" ou a "Decomposição de Base" resultou em queda significativa de desempenho, validando a necessidade de filtrar ruído e regularizar as relações retóricas.

5. Significado e Impacto

• Regulamentação Prática: O RACE oferece uma solução alinhada com políticas de uso ético de IA. Ele permite distinguir entre uso aceitável (polimento de texto humano) e uso malicioso (humanização de texto de IA para fraude), algo que detectores binários não conseguem fazer.
• Mudança de Paradigma: O trabalho sugere que a detecção de texto sintético deve evoluir de uma análise puramente superficial (estilo de palavras) para uma análise estrutural profunda (lógica e intenção), reconhecendo que a "assinatura" do criador (lógica) persiste mesmo após a edição por um editor (estilo).
• Futuro: Abre caminho para atribuição de modelos baseada em lógica e detecção de nível de EDU (Unidade de Discurso Elementar) para investigações forenses mais granulares.

Em resumo, o RACE representa um avanço significativo na detecção de IA, movendo-se além da simples classificação binária para um entendimento sofisticado da colaboração humano-máquina, garantindo maior precisão e menor taxa de alarmes falsos.