A Training-free Method for LLM Text Attribution

1. O Problema

A verificação da proveniência de conteúdo gerado por Inteligência Artificial tornou-se crítica para instituições educacionais, plataformas de mídia social e empresas. Com o avanço dos Modelos de Linguagem de Grande Escala (LLMs), o texto gerado por máquinas tornou-se quase indistinguível do texto humano.

O artigo aborda dois desafios principais:

1. Atribuição entre Modelos Específicos: Dado um texto, identificar se ele foi produzido por um conjunto específico de LLMs (ex: modelos não autorizados vs. modelos internos de uma organização), garantindo uma taxa de falsos positivos extremamente baixa.
2. Detecção de Origem Desconhecida: Determinar se um texto foi gerado por um LLM conhecido (modelo $A$) ou por qualquer outra fonte desconhecida (humano, outro LLM não especificado, etc.).

Limitações das abordagens existentes:

• Métodos Baseados em Aprendizado: Requerem treinamento com grandes conjuntos de dados rotulados, sofrem de baixa generalização para novos modelos ou domínios e frequentemente apresentam altas taxas de falsos positivos (prejudicando, por exemplo, estudantes inocentes).
• Marca d'água (Watermarking): Depende da cooperação do provedor do LLM para inserir sinais ocultos, o que é inviável devido a incentivos de mercado e preocupações com a flexibilidade do usuário.
• Detectores Zero-Shot Atuais: São majoritariamente heurísticos (baseados em perplexidade, entropia ou curvatura) e carecem de garantias teóricas rigorosas, especialmente para textos curtos (como tweets ou respostas de exames).

2. Metodologia

Os autores propõem um framework estatístico zero-shot (sem treinamento) que não requer acesso a dados de treinamento nem cooperação do gerador do texto. A abordagem baseia-se em propriedades estatísticas intrínsecas da geração de texto autoregressiva.

Modelo Teórico

• Processo Estocástico Sequencial: O texto é modelado como um processo estocástico onde cada token depende completamente do histórico anterior (contexto). Isso viola a suposição de independência e identicamente distribuídos (i.i.d.) comum em estatística tradicional.
• Convergência de Propriedades: O núcleo do método é a convergência de duas métricas estatísticas:
  1. Log-Perplexidade ($l_A$): A média da negação do logaritmo da probabilidade que o modelo avaliador $A$ atribui ao texto observado.
  2. Entropia Cruzada Média ($h_N$): A expectativa da log-perplexidade quando o texto é gerado por um modelo $B$ e avaliado por $A$.

O Mecanismo de Detecção

O método explora a seguinte propriedade de convergência:

• Se o texto foi gerado pelo próprio avaliador $A$ (ou seja, $B=A$), a log-perplexidade converge para a entropia de $A$.
• Se o texto foi gerado por um modelo diferente $B$ (ou humano), a log-perplexidade converge para a entropia cruzada entre $B$ e $A$.

Devido à dependência sequencial dos tokens em LLMs, os autores não podem usar o Teorema Central do Limite padrão. Em vez disso, eles:

1. Definem variáveis aleatórias por token que representam a desvio da log-perplexidade em relação à sua expectativa.
2. Demonstram que a soma desses desvios forma uma martingala (uma sequência de variáveis aleatórias onde o valor esperado futuro, dado o passado, é igual ao valor atual).
3. Aplicam Desigualdades de Concentração para Martingalas (especificamente para variáveis sub-exponenciais) para provar que a probabilidade de erro decai exponencialmente com o comprimento do texto ($N$).

Cenários de Acesso

• White-box: Acesso total às distribuições de probabilidade condicional do modelo avaliador.
• Black-box: Acesso apenas via amostragem (API). Os autores estendem a teoria para este cenário, calculando o tamanho de amostra necessário para estimar as probabilidades com precisão suficiente para manter as mesmas garantias de erro.

3. Contribuições Principais

1. Garantias Teóricas Não-Assintóticas: São os primeiros a desenvolver testes estatísticos zero-shot com garantias teóricas rigorosas para textos de comprimento finito (incluindo textos curtos). Provam que os erros Tipo I (falso positivo) e Tipo II (falso negativo) decaem exponencialmente com o número de tokens.
2. Novas Desigualdades de Concentração: Desenvolvem uma nova desigualdade de concentração para variáveis aleatórias dependentes (sequências de tokens de LLM), generalizando trabalhos anteriores que se limitavam a cenários i.i.d. Isso permite tratar o texto gerado por LLMs como uma martingala.
3. Testes Compostos:
   • Teste de Atribuição: Distingue entre dois conjuntos de modelos (ex: internos vs. externos).
   • Teste de Detecção: Distingue entre um modelo específico e "qualquer outra coisa" (incluindo humanos).
4. Limites Inferiores (Lower Bounds): Estabelecem um limite inferior de informação-teórica, provando que a taxa de decaimento exponencial alcançada por seus testes é próxima do ótimo (nenhum detector pode fazer os erros decaírem mais rápido do que $e^{-N \cdot D_{KL}}$).
5. Robustez Empírica: Validam o método contra ataques adversariais (paráfrase, troca de sinônimos, erros de digitação) e em cenários de caixa-preta, demonstrando superioridade sobre detectores comerciais e baseados em aprendizado.

4. Resultados Experimentais

Os autores realizaram experimentos extensivos em diversos conjuntos de dados (SQuAD, XSum, Reddit WritingPrompts, RAID) e modelos (LLaMA, Falcon, Qwen, GPT-NeoX).

• Atribuição (White-box): O método alcançou taxas de falsos positivos (FPR) extremamente baixas (próximas de 0% em muitos casos) e altas taxas de verdadeiros positivos (TPR), mesmo ao distinguir modelos da mesma família (ex: LLaMA2 vs. LLaMA3).
• Detecção (Zero-shot):
  • Em conjuntos de dados baseados em fatos (SQuAD), onde humanos e LLMs produzem textos com alta probabilidade similar, o método superou significativamente os baselines (como Binoculars, DetectGPT, GPTZero).
  • O método manteve alta performance mesmo com textos curtos (~100 tokens), validando a teoria de convergência rápida.
• Robustez Adversarial: No conjunto de dados RAID (6 milhões de textos), o método demonstrou robustez superior contra ataques de pós-edição (como paráfrase e troca de sinônimos), mantendo performance estável onde detectores baseados em perplexidade pura falhavam.
• Cenário Black-box: A versão baseada em amostragem manteve as garantias teóricas, exigindo um número de amostras que escala apenas logaritmicamente com o comprimento do texto.

5. Significado e Impacto

• Regulatório e de Conformidade: Oferece uma ferramenta para instituições garantirem que apenas modelos aprovados (in-house) sejam usados, ou para detectar o uso não autorizado de IAs, com uma garantia matemática de que a acusação de uso de IA não será falsa (baixo FPR).
• Integridade Acadêmica: Resolve o problema de punir erroneamente estudantes por uso de IA, fornecendo um limite superior rigoroso para a probabilidade de erro.
• Segurança de Modelos: Ajuda provedores de IA a protegerem seus pipelines de treinamento contra o "colapso de modelos" (model collapse) ao detectar conteúdo sintético não autorizado em dados de treinamento.
• Avanço Teórico: A aplicação de desigualdades de concentração para martingalas em processos de geração de texto autoregressivo abre novas portas para a análise estatística de sistemas de IA dependentes de histórico, indo além das limitações dos métodos i.i.d. tradicionais.

Em resumo, o artigo apresenta uma solução teoricamente fundamentada e empiricamente robusta para o problema de atribuição de texto de LLM, superando as limitações de métodos heurísticos atuais ao garantir baixíssimas taxas de falsos positivos mesmo em textos curtos e sob condições adversas.