Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction

Resumo Técnico: Amplificação, Não Aprendizado

Declaração do Problema
Os atuais detectores de texto de IA, quando ajustados finamente em objetivos padrão de entropia cruzada, exibem um modo de falha crítico: classificam erroneamente escrita humana fluente e formal (por exemplo, artigos do New York Times) como gerada por IA com alta confiança. Em configurações canônicas, 33,5% desses artigos humanos ultrapassam o limiar de decisão ($P(AI) \ge 0.5$), frequentemente obtendo pontuações mais altas que a mediana da saída de sete grandes famílias de Modelos de Linguagem de Grande Escala (LLM). A suposição predominante é que isso seja um erro de calibração ou uma falta de representação aprendida. No entanto, os autores argumentam que esse fenômeno não é um defeito a ser corrigido, mas uma consequência geométrica direta de como o ajuste fino interage com os codificadores pré-treinados. Especificamente, os detectores não constroem uma nova fronteira "IA vs. Humano"; eles amplificam um eixo de "tipicidade" preexistente inerente à geometria do modelo pré-treinado.

Metodologia e Mecanismo Central
O artigo postula que a direção $d_{class} = \text{centroide}(AI) - \text{centroide}(HC3)$ no espaço [CLS] pré-treinado representa um eixo de tipicidade pré-treinado. Este eixo mede o quão "típico" um texto é em relação à distribuição de pré-treinamento, e não sua origem (IA vs. Humano).

• Projeção Bruta: Projetar embeddings [CLS] brutos, não ajustados finamente, sobre este eixo alcança alta discriminação (AUROC 0,806–0,944) entre texto humano formal e a população de IA HC3 (Comparação Humano-ChatGPT), atingindo 86–106% do teto de desempenho de detectores totalmente ajustados finamente, sem qualquer supervisão de tarefa.
• Predição Falsificável: Se o eixo mede tipicidade, a escrita não nativa de ESL (que é atípica sob o pré-treinamento) deve projetar-se para o lado oposto da fronteira em comparação com a IA. O artigo confirma isso: em dados de ESL não nativa, o AUROC inverte para 0,06–0,20, um resultado exclusivo da leitura de tipicidade.
• Sondas Congeladas: Uma sonda de regressão logística treinada em apenas 24 exemplos congelados iguala o desempenho do ajuste fino completo (0,900 vs. 0,895 AUROC), sugerindo que a fronteira já está codificada na geometria pré-treinada.
• Preditor de Forma Fechada: Os autores derivam uma expansão de Taylor de primeira ordem para prever o deslocamento do logit ($\Delta \logit$) resultante de uma intervenção de rank-1 no espaço de representação: $\Delta \logit_t = -\epsilon \cdot \langle clst, d \rangle \cdot (w_{h,t} \cdot d)$. Este preditor é matematicamente exato para cabeças decodificadoras lineares e altamente preciso ($R^2 \ge 0,97$) para codificadores sob pequenas perturbações ($|\epsilon| \le 0,7$).

Principais Contribuições

1. Reinterpretação Geométrica: O artigo estabelece que detectores ajustados finamente amplificam uma direção de tipicidade pré-treinada fixa, em vez de aprender uma nova fronteira discriminativa. O ajuste fino principalmente reescala este eixo existente (amplificação de efeito padronizado $K_{std} \approx 0,86\text{--}1,72$), em vez de rotacionar significativamente o espaço de representação.
2. Calibração vs. Representação: Através de avaliações de TPR correspondente, os autores demonstram que várias receitas de treinamento "conscientes da equidade" (CC-loss, dealign-f2c, LoRA, ajuste fino completo) são equivalentes em calibração. Todas operam no mesmo eixo compartilhado; diferenças no desempenho devem-se a escolhas de limiar, não a representações aprendidas. Consequentemente, nenhuma escolha de limiar neste eixo pode eliminar o viés contra humanos formais fluentes.
3. Intervenções de Manipulação de Eixo: O artigo introduz um método para fechar a lacuna de viés manipulando o próprio eixo. Ao ablar a direção de tipicidade derivada do HC3 usando o preditor de forma fechada (intervenção de $\epsilon$ assinado), os autores alcançam uma melhoria estrita de Pareto:
   • No detector ELECTRA canônico, esta intervenção eleva a Taxa de Verdadeiros Positivos (TPR) para HC3-AI de 0,000 para 0,904 com uma Taxa de Falsos Positivos (FPR) de 1% para humanos formais do NYT.
   • Esta intervenção transfere-se para três detectores RoBERTa de terceiros treinados independentemente sem retreinamento, reduzindo o FPR do NYT do detector da OpenAI em 57%.
4. Generalização entre Tarefas: A mesma receita de manipulação de eixo generaliza-se para outras tarefas de justiça de classificador, incluindo HANS (sobreposição lexical), AAVE (viés de dialeto), Bios (ocupação-gênero), fake-news, toxicidade e HateCheck, alcançando redução significativa de viés em tarefas binárias e multiclasse.

Resultados

• Desempenho: A sonda congelada de 24 exemplos iguala o ajuste fino completo. No RoBERTa-base, o ajuste fino completo na verdade reduz a discriminação em comparação com a projeção bruta em populações formais-fluentes.
• Redução de Viés: A intervenção de $\epsilon$ assinado reduz o FPR do NYT em 25$\times$ em comparação com o INLP (um método padrão de remoção de viés) em recall correspondido. Supera o RLACE (que falhou em convergir em 18/18 células) e o Binoculars por uma margem de 6$\times$ em avaliações mantidas fora entre LMs.
• Robustez: A intervenção preserva as Taxas de Verdadeiros Positivos (TPR) entre LMs, enquanto reduz drasticamente os falsos positivos em texto humano formal. O mecanismo mantém-se em três arquiteturas (ELECTRA, RoBERTa-base, DeBERTa-v3), embora a magnitude do efeito varie (ancorada ao HC3).
• Invariância do Observador: Três sondas distintas (residualização da taxa de maiúsculas da superfície do texto, ablação de $\epsilon$ assinado no espaço de representação e o preditor de par de texto de forma fechada) convergem para o mesmo objeto geométrico, com similaridades de cosseno variando de 0,74 a 1,00 entre arquiteturas.

Significado e Alegações
O artigo alega que o problema de detecção "IA vs. Humano" é fundamentalmente um problema de tipicidade, e não de identificação de origem. A alegação central é que as receitas padrão de ajuste fino apenas recalibram um viés preexistente onde o texto humano formal fluente é "mais típico" do que a distribuição específica de treinamento da IA (HC3).

• Implicação para Praticantes: "Compras de variantes" entre receitas de treinamento padrão (LoRA, FT-completo, CC-loss) não resolverão o viés contra humanos formais fluentes, pois todas amplificam o mesmo eixo. A única solução eficaz é uma intervenção de manipulação de eixo parametrizada pelo preditor de forma fechada.
• Implicação Teórica: O artigo refuta a ideia de que detectores aprendem uma nova fronteira de "conteúdo de IA". Em vez disso, eles amplificam uma direção de "tipicidade" onde texto de baixa perplexidade (seja humano ou IA) pontua como "IA" se for mais típico do que a população de IA de referência.
• Limitações: Os autores notam que, embora o eixo ao nível da população seja compartilhado, os mecanismos por texto (por exemplo, densidade de palavras funcionais vs. comprimento da frase) variam conforme a arquitetura. A magnitude do efeito está ancorada à distribuição HC3 e pode diferir para outras populações de IA (por exemplo, RAID). O preditor de forma fechada é preciso de primeira ordem para pequenos $\epsilon$ e assimétrico em direção em certas arquiteturas.

Em resumo, o artigo argumenta que os detectores atuais não estão quebrados; eles estão funcionando exatamente como a geometria pré-treinada dita. Corrigir o viés requer não um melhor treinamento, mas uma intervenção geométrica que remove o sinal de tipicidade confuso.