$k$NNProxy: Efficient Training-Free Proxy Alignment for Black-Box Zero-Shot LLM-Generated Text Detection

Título: kNNProxy: Alinhamento de Proxy Sem Treinamento para Detecção de Texto Gerado por LLM em Caixa Preta

1. O Problema

A detecção de texto gerado por Grandes Modelos de Linguagem (LGT - LLM-Generated Text) é crucial para garantir a integridade acadêmica, a segurança da informação e a forense digital. As abordagens existentes dividem-se em métodos baseados em aprendizado (que exigem treinamento de classificadores específicos) e métodos zero-shot (que não exigem treinamento).

Os métodos zero-shot atuais dependem de um modelo proxy (geralmente um LLM aberto e acessível) para simular o comportamento do modelo fonte (o LLM proprietário e desconhecido que gerou o texto). O problema central é o desalinhamento: em cenários de "caixa preta" reais, onde o modelo fonte é desconhecido, um único modelo proxy fixo raramente se alinha perfeitamente com a distribuição de probabilidade do modelo fonte. Isso leva a uma degradação significativa na precisão da detecção, especialmente quando há mudanças de domínio (domain shift) ou quando o modelo fonte é muito diferente do proxy.

Métodos anteriores de alinhamento de proxy (como DALD e Glimpse) tentam resolver isso, mas possuem limitações graves:

• DALD: Requer fine-tuning supervisionado, o que é computacionalmente caro e difícil de escalar para múltiplos domínios.
• Glimpse: Depende de chamadas repetidas a APIs comerciais para obter probabilidades de top-k, o que é caro, lento e vulnerável a mudanças silenciosas nas APIs.

2. Metodologia: kNNProxy

Os autores propõem o kNNProxy, um framework de alinhamento de proxy sem treinamento (training-free) e eficiente em consultas. A ideia central é reutilizar o mecanismo de recuperação do kNN-LM (k-Nearest Neighbor Language Model) como um adaptador de domínio para um proxy fixo.

Componentes Principais:

1. Construção de Datastore (Offline):

   • Um datastore leve é construído uma única vez a partir de um corpus de texto gerado pelo modelo fonte alvo (ou um corpus reflexivo).
   • O datastore armazena pares de (contexto, próximo token). O contexto é codificado usando o modelo proxy fixo.
   • Não é necessário acesso aos parâmetros internos ou probabilidades do modelo fonte, apenas ao texto gerado.

2. Alinhamento via Recuperação (Inference):

   • Durante a detecção, para cada token de um texto suspeito, o sistema recupera os $k$ vizinhos mais próximos no datastore com base no contexto atual.
   • Uma distribuição preditiva baseada nos vizinhos ($\pi_{knn}$) é induzida.
   • Essa distribuição é interpolada com a distribuição original do modelo proxy ($\pi_{prx}$) para criar uma distribuição alinhada ($\hat{\pi}$):
     $$\hat{\pi}^{(i)} = \lambda_i \pi_{prx}^{(i)} + (1 - \lambda_i) \pi_{knn}^{(i)}$$
   • Isso corrige as probabilidades do proxy sem necessidade de fine-tuning ou chamadas de API em tempo real.

3. MoP (Mixture of Proxies) para Robustez:

   • Para lidar com mudanças de domínio (ex: textos acadêmicos vs. redes sociais), o kNNProxy é estendido para o MoP.
   • Múltiplos datastores específicos de domínio são criados.
   • Um roteador leve (baseado em embeddings de sentenças) direciona cada entrada para o especialista (expert) de domínio mais compatível, garantindo que a recuperação seja consistente com o domínio do texto.

4. Análise Teórica e Hiperparâmetros Adaptativos:

   • Os autores derivam um limite teórico de erro de aproximação dependente do tamanho do corpus.
   • Com base nisso, propõem hiperparâmetros adaptativos por token (tamanho do vizinho $k$, temperatura $\tau$ e peso de interpolação $\lambda$). Isso permite que o sistema ajuste dinamicamente a confiança na recuperação baseada na densidade local dos dados, melhorando a detecção em regiões raras ou incertas.

5. Clipping de Cauda Inferior:

   • Para estabilizar a detecção, aplica-se um limite inferior (lower-bound clipping) nas log-verossimilhanças dos tokens antes da agregação, reduzindo o impacto de outliers extremos que podem distorcer a pontuação final.

3. Contribuições Chave

1. Alinhamento de Proxy Sem Treinamento: O kNNProxy elimina a necessidade de fine-tuning custoso ou consultas contínuas a APIs, utilizando apenas um datastore estático construído uma vez.
2. Robustez a Mudanças de Domínio (MoP): A extensão MoP permite que o detector se adapte a diferentes tópicos ou famílias de modelos sem re-treinar, roteando a entrada para o especialista correto.
3. Fundamentação Teórica: A derivação de um limite de erro de aproximação motiva o uso de hiperparâmetros adaptativos, melhorando a confiabilidade sem varreduras de hiperparâmetros custosas.
4. Desempenho SOTA: O método alcança desempenho superior ao estado da arte (SOTA) em benchmarks desafiadores.

4. Resultados Experimentais

Os experimentos foram conduzidos nos benchmarks Mix8 (8 modelos proprietários recentes, 4 domínios) e DetectRL (incluindo ataques de parafraseamento e perturbação).

• Desempenho de Detecção (AUROC):
  • O kNNProxy alcançou uma AUROC média de 0.99 em oito modelos proprietários recentes (incluindo GPT-4, Claude 3, Gemini).
  • Houve uma melhoria de 6.45% na AUROC em relação ao método de alinhamento SOTA anterior (Glimpse/DALD).
  • Em comparação com detectores zero-shot sem alinhamento, o ganho foi ainda mais expressivo (ex: +71% no Fast-DetectGPT em cenários in-domain).
• Robustez (Out-of-Domain):
  • O método manteve alta performance sob mudanças de domínio e ataques de evasão, superando significativamente os métodos baseados apenas em proxy fixo.
  • O MoP demonstrou eficácia na generalização para tópicos não vistos durante a construção do datastore.
• Atribuição de Fonte (Source Attribution):
  • Além da detecção binária (Humano vs. IA), o kNNProxy foi aplicado para identificar qual LLM gerou o texto (atribuição de fonte).
  • Alcançou uma acurácia média de 0.84 na atribuição de fonte entre 4 modelos diferentes, demonstrando utilidade forense ampliada.

5. Significado e Impacto

O trabalho apresenta uma solução prática e escalável para um dos maiores gargalos na detecção de IA: a dependência de modelos proxy alinhados.

• Viabilidade de Implantação: Ao remover a necessidade de fine-tuning e chamadas de API em tempo real, o kNNProxy torna a detecção de texto gerado por IA economicamente viável e robusta para ambientes de produção.
• Resiliência: A abordagem é menos suscetível a mudanças nas APIs comerciais (como a remoção de probabilidades de top-k pela OpenAI) e a mudanças de domínio.
• Novo Paradigma: Reutilizar o kNN-LM (originalmente projetado para melhorar a geração de texto) para uma tarefa discriminativa (forense/detecção) abre novas fronteiras para o uso de memória não paramétrica em segurança de IA.

Em resumo, o kNNProxy oferece um mecanismo de alinhamento leve, eficiente e altamente preciso, estabelecendo um novo padrão para a detecção de texto gerado por LLMs em cenários de caixa preta.