Resumo Técnico: Sobre a Insegurança da Detecção de Autoria de IA Baseada em Teclas

Declaração do Problema

Propostas recentes para detectar texto gerado por IA mudaram o foco da análise de saída linguística (perplexidade, estilometria) para a análise de sinais comportamentais ao nível de processo, especificamente a dinâmica temporal das teclas. Sistemas como os propostos por Kundu et al. [1] e Mehta et al. [2] baseiam-se na premissa de que os sinais motores humanos — caracterizados por intervalos inter-teclas (IKI) variáveis e padrões temporais específicos como "pausas de pensamento" — são distintos da injeção uniforme e rápida de texto por bots automatizados.

Este artigo identifica um erro de categoria fundamental nessas abordagens: elas confundem presença motora (um corpo humano operando o teclado) com proveniência de conteúdo (um humano originando cognitivamente o texto). Os autores argumentam que os modelos de ameaça atuais não consideram um adversário racional que pode gerar conteúdo via Grandes Modelos de Linguagem (LLMs) e, em seguida, transcrevê-lo fisicamente caractere por caractere. Este ataque de "copiar-digitar" (copy-type) produz sinais motores autênticos, indistinguíveis da composição genuína, tornando os detectores baseados apenas em tempo inseguros para verificar a autoria. Além disso, o artigo demonstra que mesmo ataques de "falsificação de tempo" (timing-forgery) automatizados, que sintetizam intervalos de teclas baseados em distribuições humanas, podem contornar esses sistemas.

Metodologia

Modelo de Ameaça e Definições de Ataque

O estudo avalia Sistemas de Verificação de Sinal Motor (MSVS) que aceitam um documento e seu traço de teclas para classificar a saída como HUMANO ou IA. Os autores definem dois vetores de ataque primários:

1. Ataque de Copiar-Digitar (Copy-Type): Um adversário gera texto usando um LLM e o digita fisicamente na plataforma instrumentada. Os sinais motores resultantes são genuínos por construção.
2. Ataques de Falsificação de Tempo (Timing-Forgery): Agentes automatizados geram traços sintéticos amostrando intervalos inter-teclas a partir de distribuições empíricas humanas. Os autores implementam três variantes:
   • Amostragem de Histograma: Amostragem de IKIs independentemente de uma Função de Distribuição Acumulativa (CDF) empírica de dados humanos.
   • Impostação Estatística: Correspondência dos primeiros e segundos momentos (média e variância) da distribuição de IKI da população alvo, ajustada para latências específicas de dígrafos.
   • LSTM Generativa: Uma rede LSTM de 2 camadas treinada em sequências reais de teclas para modelar a distribuição condicional de IKIs dado o histórico de caracteres.

Configuração Experimental

• Datasets: A avaliação utiliza 13.000 sessões de digitação humana do Stony Brook University (SBU) Keystroke Corpus, suplementadas por 5.000 sessões de injeção automatizada e 2.000 sessões de ataque (1.000 de Histograma, 500 Estatísticas, 500 LSTM). A validação é realizada em 11 corpora públicos adicionais (totalizando >150.000 sessões) para garantir a generalização.
• Features: O estudo avalia um vetor de 7 características abrangendo todas as features propostas em trabalhos anteriores [1], [2]:
  • $\delta$: Coeficiente de variação (CV) dos IKIs.
  • $\bar{t}$: IKI médio.
  • $\sigma^2_{IKI}$: Variância do IKI.
  • $\rho$: Densidade de pausa (fração de IKIs > 500ms).
  • $\beta$: Comprimento médio de surto (burst length).
  • $H$: Entropia de Shannon da distribuição de IKI.
  • $\gamma$: Variabilidade de dígrafos.
• Classificadores: Cinco classificadores (Regressão Logística, Random Forest, Gradient Boosting, SVM-RBF, MLP) são treinados usando validação cruzada estratificada de 5 dobras (5-fold).

Principais Resultados

1. Eficácia dos Ataques

• Ataque de Copiar-Digitar: Na validação empírica usando o dataset IIITD-BU (34 sessões de transcrição) e corpora agregados (879 sessões), o ataque de copiar-digitar alcançou uma taxa de bypass de 100% contra o limiar de detecção ($T = 0,269$). O $\delta$ médio para transcrição foi de $0,991$, bem acima do limiar, com um Cohen's $d$ de apenas $0,14$ entre composição e transcrição em condições de texto livre.
• Ataques de Falsificação de Tempo: Todas as três variantes automatizadas alcançaram taxas de evasão $\ge 99,8\%$ contra os cinco classificadores.
  • Ataques de Histograma e LSTM alcançaram 100% de evasão.
  • Ataques Estatísticos alcançaram 99,8% de evasão.
  • As amostras de ataque foram classificadas como humanas com uma confiança média de $\ge 0,993$.

2. Desempenho e Trade-offs dos Classificadores

• Separação de Baseline: Os classificadores alcançaram uma Área Sob a Curva (AUC) de 1,000 ao distinguir a digitação humana genuína da injeção totalmente automatizada (colar/API). Isso confirma que os sistemas detectam corretamente a ausência de sinais motores.
• Falha Operacional: Quando confrontados com sinais motores humanos (sejam genuínos ou falsificados), os sistemas falham em distinguir a proveniência.
  • Para reduzir a taxa de passagem do ataque LSTM abaixo de 50%, o limiar de detecção deve ser elevado para $T > 0,80$.
  • Nesse limiar, a Taxa de Rejeição Falsa (FRR) para usuários humanos legítimos sobe para 16,3%.
  • Em $T = 0,90$ (FRR = 32,6%), o ataque LSTM ainda mantém uma taxa de passagem de 44%.
• Ablação de Features: Nenhuma característica isolada separa de forma confiável todas as variantes de ataque da digitação humana genuína. Embora features como $\delta$ e entropia separem efetivamente humanos de bots, elas não conseguem distinguir entre um humano compondo um texto e um humano transcrevendo um texto.

3. Limites Teóricos

Os autores formalizam um resultado de não-identificabilidade (Teorema 1). Sob a suposição de que o detector observa apenas o tempo das teclas ($\tau$) e não o estado cognitivo, a informação mútua entre as features e a proveniência do conteúdo é zero:
$$I(f(\tau); \text{Proveniência} | s, M_u) = 0$$
Mesmo relaxando a suposição idealizada de que o estado cognitivo não influencia a execução motora (empiricamente $d \approx 1,28$), o erro de Bayes resultante é de 26,1%, o que é operacionalmente insuficiente para decisões de segurança.

Significância e Alegações

O artigo afirma que os sistemas de detecção de autoria de IA baseados em teclas, conforme arquitetados atualmente, são fundamentalmente inseguros contra adversários racionais.

1. Erro de Categoria: Esses sistemas verificam a autenticidade motora (que um humano estava presente), mas não podem verificar a proveniência do conteúdo (que o humano originou o texto). O ataque de "copiar-digitar" explora essa lacuna ao usar o próprio sistema motor do humano para "lavar" o conteúdo gerado por IA.
2. Limitação Estrutural: A vulnerabilidade não é algorítmica, mas estrutural. Como a variável distintiva (origem do conteúdo) é um confundidor latente não observado no espaço de features, nenhum aumento de engenharia de features ou otimização de classificador pode superar a sobreposição de distribuição entre composição e transcrição.
3. Falsa Garantia: Sistemas comercializados como certificação "livre de IA" baseada em padrões de digitação fornecem falsa garantia. Eles podem confirmar que um humano operou o teclado, mas não podem determinar se esse humano foi o autor.
4. Implicações de Defesa: Garantir a proveniência do conteúdo requer arquiteturas fundamentalmente diferentes que vinculem o processo de escrita observado ao conteúdo semântico. Os autores sugerem direções viáveis, incluindo:
   • Coerência do Histórico de Revisão: Analisar padrões de edição não monotônicos (deleções, reformulações) que são raros na transcrição.
   • Desafio-Resposta (Challenge-Response): Forçar a compreensão em tempo real do texto durante a composição.
   • Vinculação Semântica: Integrar PLN para distinguir erros motores de correções semânticas.

Os autores concluem que, até que esses mecanismos de vinculação de conteúdo sejam implantados, a temporização das teclas deve ser usada apenas para confirmar a presença humana, não a autoria.