NOTAI.AI: Explainable Detection of Machine-Generated Text via Curvature and Feature Attribution

O artigo apresenta o NOTAI.AI, um framework explicável para detecção de texto gerado por IA que combina sinais de curvatura, recursos neurais e estilométricos em um classificador XGBoost, utilizando SHAP e uma camada de LLM para gerar atribuições de recursos e explicações em linguagem natural acessíveis aos usuários.

O essencial

🕵️‍♂️ O Que é o NOTAI.AI?

Imagine que você é um detetive tentando descobrir se uma carta foi escrita por uma pessoa real ou por um robô (Inteligência Artificial). Antigamente, bastava olhar para a gramática perfeita para suspeitar de um robô. Mas hoje, os robôs escrevem tão bem que é quase impossível dizer só "olhando".

O NOTAI.AI é uma nova ferramenta criada por pesquisadores da Universidade de Luxemburgo que funciona como um detetive super-observador. Ele não apenas diz "é humano" ou "é robô", mas explica o porquê, mostrando as pistas que encontrou.

🧩 Como Funciona a "Mágica"? (As 3 Camadas do Detetive)

O sistema usa uma combinação de três tipos de inteligência para tomar sua decisão, como se fosse uma equipe de especialistas reunida em uma sala:

1. O "Geômetra" (Análise de Curvatura)

• A Analogia: Imagine que escrever é como caminhar por uma paisagem.
  • Humanos: Nossa mente é caótica e criativa. Às vezes escolhemos palavras estranhas, fazemos pausas inesperadas ou mudamos o ritmo. Nossa "paisagem" de escrita tem muitas curvas, buracos e montanhas (é irregular).
  • Robôs: Eles tendem a escolher o caminho mais fácil e seguro, sempre seguindo a trilha mais provável. A "paisagem" deles é muito lisa e plana.
• O que o NOTAI.AI faz: Ele usa uma ferramenta chamada Fast-DetectGPT para medir a "curvatura" do texto. Se o texto for muito liso e previsível, o sistema levanta a mão: "Ei, isso parece robô!".

2. O "Estilista" (Análise de Estilo e Leitura)

• A Analogia: Pense em um alfaiate que analisa a roupa de alguém.
  • Ele olha para o tamanho das frases, a variedade de palavras usadas (vocabulário rico vs. repetitivo), a pontuação e até o uso de clichês.
  • Robôs muitas vezes usam palavras muito comuns, frases de tamanho muito igual e evitam erros ou variações estranhas. Humanos são mais "desleixados" e variados.
• O que o NOTAI.AI faz: Ele conta 17 pistas diferentes, como "quantas palavras únicas existem?" ou "quantas vírgulas foram usadas?".

3. O "Especialista em Cérebro" (Rede Neural)

• A Analogia: É como ter um professor de literatura que leu milhões de livros.
  • Ele usa um modelo de IA chamado ModernBERT que foi treinado para sentir o "cheiro" de um texto gerado por IA. Ele não olha apenas para a superfície, mas para o contexto e a fluidez semântica.

🧠 O "Juiz" e a "Tradução" (Como a decisão é tomada)

Depois que esses três especialistas coletam as pistas, eles enviam tudo para um Juiz (um algoritmo chamado XGBoost). O Juiz pondera todas as informações e decide: "É Humano" ou "É IA".

Mas aqui está a grande inovação do NOTAI.AI:
A maioria dos detectores só dá um número (ex: "90% de chance de ser IA"). Isso é confuso e assustador. O NOTAI.AI vai além:

1. O Tradutor (SHAP + LLM): Ele pega a decisão matemática do Juiz e a traduz para uma linguagem humana.
2. O Relatório: Em vez de números frios, ele gera um texto explicativo.
   • Exemplo: "O texto foi classificado como IA porque a pontuação de curvatura foi muito baixa (muito liso) e o vocabulário era repetitivo, embora a gramática estivesse perfeita."

🖥️ A Experiência do Usuário (O Painel de Controle)

O sistema é apresentado como um aplicativo na web interativo:

• Você cola um texto.
• O sistema analisa em tempo real.
• Você vê um medidor (como um velocímetro) mostrando a probabilidade.
• O mais legal: Você pode ver exatamente quais pistas pesaram mais. E, se quiser ser um "cientista louco", pode desligar uma pista (ex: "ignore a pontuação") e ver se a decisão muda. Isso ajuda a entender como a máquina pensa.

📊 Os Resultados (Funciona mesmo?)

Os pesquisadores testaram o sistema em um grande banco de dados (RAID).

• Sozinho: Cada especialista (o Geômetra, o Estilista ou o Professor) acertava cerca de 85% a 89% das vezes.
• Juntos (O Time Completo): Quando eles trabalham juntos, a precisão sobe para 96%.
• A Lição: É como um time de futebol. Um jogador é bom, mas o time todo é imbatível.

🚧 Limitações e Futuro

O sistema é muito bom, mas não é perfeito. Se alguém tentar enganar o robô mudando o texto de forma muito agressiva (adversarial) ou se o texto for de um domínio muito diferente do que o robô treinou, ele pode errar. Além disso, os pesquisadores querem no futuro conseguir apontar exatamente qual palavra ou qual frase fez o robô suspeitar, e não apenas o texto todo.

💡 Resumo Final

O NOTAI.AI é como um tradutor de confiança. Ele não apenas diz "isso é falso", mas mostra o "processo de pensamento" por trás da acusação, usando uma combinação de matemática avançada e linguagem simples para que qualquer pessoa (professores, jornalistas, curiosos) possa entender e confiar na decisão.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "NOTAI.AI: Explainable Detection of Machine-Generated Text via Curvature and Feature Attribution", traduzido e estruturado em português:

1. O Problema

O surgimento de Grandes Modelos de Linguagem (LLMs) transformou a geração de texto, criando desafios críticos para a autenticidade, autoria e integridade da informação. Embora os detectores existentes (como o DetectGPT) ofereçam alta precisão, eles frequentemente sofrem de dois problemas principais:

• Falta de Transparência: Muitos sistemas retornam apenas uma pontuação de probabilidade "opaca", sem fornecer justificativas claras ou evidências compreensíveis para o usuário final (educadores, jornalistas, analistas).
• Fragilidade e Robustez: Os detectores tendem a degradar significativamente sob mudanças de domínio, variações de decodificação e perturbações adversariais.
• Necessidade de Interpretabilidade: Há uma lacuna entre sinais de detecção de alto desempenho e a necessidade prática de sistemas que expliquem por que um texto foi marcado como gerado por IA.

2. Metodologia

O NOTAI.AI é um framework híbrido e explicável que integra sinais estatísticos, neurais e estilométricos em um sistema supervisionado. A arquitetura segue um pipeline de quatro etapas: Extrair → Decidir → Explicar → Apresentar.

A. Extração de Recursos (17 Recursos Interpretáveis)

O sistema extrai uma combinação diversificada de características para capturar propriedades distribucionais, estruturais e estilísticas:

1. Codificador Neural: Utiliza um ModernBERT (finetuned) para extrair probabilidades de detecção neural (bert_ai_score), capturando padrões de fluidez semântica e priores de geração.
2. Curvatura de Probabilidade Condicional (CPC): Baseado no Fast-DetectGPT, mede a variação de segunda ordem na probabilidade dos tokens sob perturbações locais. Textos humanos tendem a ter paisagens de probabilidade mais irregulares, enquanto textos de IA são mais suaves e estáveis.
3. Métricas de Legibilidade e Diversidade Léxica: Inclui índice de legibilidade Flesch, contagem de sentenças, comprimento médio, razão Tipo-Token (TTR) e razão de hapax legomena.
4. Pistas Estilométricas e de Superfície: Proporção de stopwords, clichês, frequência máxima de n-gramas repetidos, contagem de pontuação (vírgulas, pontos, dois-pontos), modelando padrões de repetição e ritmo sintático.

B. Meta-Classificação

Todos os 17 recursos são agregados e alimentados em um classificador XGBoost (Gradient Boosted Tree). Este meta-classificador aprende interações não lineares entre os sinais de confiança neural, estatísticas de curvatura e indicadores estilométricos.

C. Explicabilidade (Do Atributo à Racionalidade)

Para tornar as decisões acessíveis a não especialistas, o sistema emprega uma abordagem de duas camadas:

1. Atribuição SHAP (Shapley Additive Explanations): Calcula a contribuição de cada recurso para a decisão do modelo. Valores positivos indicam evidência para "IA", enquanto negativos apoiam "Humano". Isso fornece interpretabilidade local (instância) e global (conjunto de dados).
2. Camada de Explicação via LLM: Para traduzir os valores numéricos do SHAP em linguagem natural, um modelo de linguagem (Google Gemma-3-27b-it) recebe os atributos estruturados e gera rationais estruturados em linguagem natural. O resultado é um resumo conciso e não técnico que explica a decisão.

D. Interface Interativa

O sistema é disponibilizado como uma aplicação web (Flask + JavaScript) que permite:

• Análise em tempo real.
• Visualização da pontuação de confiança.
• Inspeção dos 3 recursos mais influentes (para IA e para Humano).
• Análise de Ablação Interativa: Os usuários podem desativar subconjuntos de recursos para observar como a remoção de sinais específicos altera a decisão final.

3. Resultados Experimentais

A avaliação foi realizada em uma versão modificada e balanceada do conjunto de dados RAID (com uma proporção 1:1 entre textos humanos e gerados por IA, corrigindo o desbalanceamento original de ~97% IA).

• Desempenho do Ensemble: A combinação de todos os recursos (NOTAI.AI Ensemble) superou significativamente os modelos de base individual.
  • Acurácia: 96,34%
  • F1-Score: 0,9631
• Comparação com Componentes Individuais:
  • Apenas Estilometria: F1 = 0,8711
  • Apenas ModernBERT: F1 = 0,8558
  • Apenas Curvatura (CPC): F1 = 0,8884 (Alta precisão, mas menor recall).
• Ganho: O ensemble trouxe um ganho de +7,5 pontos no F1 em relação ao melhor modelo de sinal único, demonstrando que a integração de sinais complementares é crucial.
• Análise de Importância: O SHAP revelou que a Curvatura de Probabilidade Condicional (CPC), a Razão Tipo-Token (TTR) e a pontuação do ModernBERT são os três recursos mais influentes. A análise de dependência mostrou que o CPC tem um efeito não linear e não monótono na decisão.

4. Contribuições Chave

1. Framework Híbrido Explicável: Integração bem-sucedida de detecção baseada em curvatura (não supervisionada) com detectores neurais supervisionados e pistas estilométricas em um único classificador.
2. Camada de Explicação Natural: Transformação de atribuições matemáticas complexas (SHAP) em rationais de linguagem natural gerados por LLM, tornando o sistema utilizável por não especialistas.
3. Ferramenta Interativa de Inspeção: Disponibilização de uma interface web que permite não apenas a detecção, mas a investigação ativa do modelo (através de ablação de recursos), aumentando a confiança do usuário.
4. Reprodutibilidade: Código-fonte e vídeo de demonstração publicamente disponíveis.

5. Significância e Limitações

Significância: O NOTAI.AI preenche a lacuna entre a alta precisão técnica e a usabilidade prática. Ao fornecer evidências estruturadas e linguagem natural, ele capacita usuários finais a entenderem a base da decisão, o que é essencial para aplicações em educação, jornalismo e verificação de fatos.

Limitações e Trabalho Futuro:

• Robustez: Como a maioria dos detectores supervisionados, o sistema pode ainda sofrer com mudanças de domínio severas, geradores não vistos ou paráfrases adversariais.
• Granularidade da Explicação: Atualmente, as explicações operam em nível de recurso (macro). O trabalho futuro visa a localização em nível micro (palavras ou frases específicas) através de mapas de calor interativos de tokens.
• Cenários Complexos: A extensão para cenários de co-autoria humano-IA e idiomas múltiplos é um próximo passo necessário.

Em resumo, o NOTAI.AI representa um avanço significativo na direção de detectores de IA que são não apenas precisos, mas também transparentes, auditáveis e centrados no usuário.