RogueAI: A Reverse Turing Test for Detecting Licensed AI Deception in Dialogue

Resumo Técnico: RogueAI – Um Teste de Turing Reverso para Detectar Decepção em IA Licenciada

1. Definição do Problema

O Teste de Turing clássico, projetado para distinguir máquinas de humanos com base na fluência conversacional, perdeu sua força epistemológica à medida que os Modelos de Linguagem de Grande Escala (LLMs) passam rotineiramente por ele em configurações casuais. Os autores argumentam que o desafio crítico moderno não é mais detectar a artificialidade, mas sim avaliar a confiabilidade. Especificamente, o problema é se um interlocutor humano consegue identificar um agente de LLM que foi explicitamente licenciado para enganar dentro de um cenário restrito, mesmo quando ambos os parceiros de diálogo são conhecidos como artificiais. Enquanto a pesquisa existente foca em decepção IA-contra-IA ou detecção automatizada de mentiras, há uma lacuna na compreensão das capacidades humanas de detectar a decepção da IA em diálogos abertos e de formato livre, particularmente em línguas que não o inglês.

2. Metodologia

O artigo introduz o RogueAI, uma aplicação web interativa que operacionaliza um "Teste de Turing revisitado" como um jogo de interrogatório de um-para-dois.

• Mecânicas do Jogo: Um jogador humano (o juiz) interroga dois agentes de LLM indistinguíveis ($A_1$ e $A_2$) dentro de um cenário fictício compartilhado ($S$). Um agente recebe um papel verdadeiro ($r=\text{truthful}$), e o outro, um papel deceptivo ($r=\text{deceptive}$). O agente deceptivo é licenciado para mentir, mas não é forçado a fazê-lo em todos os turnos, permitindo uma contenção estratégica. O jogador possui um orçamento limitado de turnos ($T=4$ perguntas por agente) para identificar e "desligar" o agente deceptivo.
• Cenários: O sistema inclui três cenários criados manualmente (uma violação de e-mail, um roubo de credenciais bancárias e um conflito de identidade de super-herói) e uma extensão chamada AutoRogueAI, onde um agente narrador co-projeta um cenário personalizado com o jogador enquanto determina secretamente a estratégia de decepção.
• Arquitetura Técnica: O sistema é uma aplicação web de dois níveis (cliente/servidor). A atribuição de papéis é feita no lado do servidor e permanece oculta até a revelação pós-jogo. Ambos os agentes utilizam gpt-4.1 (temperatura 0.8) com históricos de conversa independentes para evitar a adaptação mútua. A interface suporta texto e fala sintetizada opcional.
• Implantação Piloto: Uma implantação pública de três dias em um festival científico italiano coletou dados de 467 sessões iniciadas (415 concluídas), gerando 1.876 turnos de interação em italiano.

3. Principais Contribuições

Os autores apresentam três contribuições primárias:

1. Um Enquadramento: Uma operacionalização mínima da detecção de decepção de LLM como um interrogatório de um único juiz e dois agentes sob um orçamento de turnos limitado, deslocando o foco da fluência para a confiança.
2. Um Artefato Implantável: O webapp RogueAI e a extensão AutoRogueAI, que fornecem um ambiente simétrico de papéis ocultos para estudar a interação humano-IA sem pontuação automatizada durante o interrogatório.
3. Evidência Empírica: Um estudo piloto em italiano demonstrando uma lacuna significativa entre a precisão de detecção humana e a detectabilidade de assinaturas linguísticas por heurísticas simples.

4. Resultados

O estudo piloto rendeu os seguintes achados:

• Desempenho Humano: Os jogadores alcançaram uma precisão de detecção geral de 56,6% (235/415 sessões), apenas marginalmente acima da linha de base de chance de 50%. A precisão não melhorou monotonicamente com o número de turnos realizados.
• Assinaturas Linguísticas: A análise dos 2.269 turnos anotados revelou uma assinatura linguística consistente e localmente presente para o agente deceptivo. Comparados aos agentes verdadeiros, os agentes deceptivos produziram:
  • Respostas mais curtas (média de 70,7 vs. 75,1 palavras).
  • Maior frequência de hesitação (hedging) (0,36 vs. 0,19 palavras-chave de hesitação por turno).
  • Significativamente mais perguntas feitas de volta ao jogador (0,36 vs. 0,12 pontos de interrogação por turno), indicando uma estratégia de desvio.
• Heurística vs. Humano: Um classificador de regressão logística treinado nesses marcadores superficiais (contagem de palavras, hesitação, pontos de interrogação, reticências) alcançou 75,6% de precisão nas mesmas sessões. Mesmo uma heurística bruta (prevendo que o agente com menos palavras é o deceptivo) alcançou 60,8% de precisão.
• Análise de Estratégia: Os jogadores utilizaram predominantemente estratégias como fazer perguntas idênticas a ambos os agentes ou fazer acusações diretas. Essas estratégias focadas em conteúdo não correlacionaram com maior precisão. Os jogadores ignoraram amplamente os sinais estilísticos diagnósticos (desvio e hesitação) que um algoritmo simples explorou.

5. Significância e Alegações

O artigo alega que o RogueAI serve como um "harness de avaliação reutilizável" e um "veículo de coleta de dados", em vez de uma solução definitiva para a segurança da IA. Sua significância reside em:

• Destacar um Hiato Humano-IA: A lacuna de 19 pontos percentuais entre o desempenho humano (56,6%) e a detecção heurística (75,6%) sugere que os humanos são insensíveis aos marcadores estilísticos específicos da decepção da IA (desvio, hesitação) em diálogos abertos, focando em vez disso no conteúdo proposicional.
• Valor Educacional e de Disseminação: A "revelação pós-jogo", onde os jogadores revisam as transcrições contra a verdade fundamental, funciona como uma ferramenta de ensino para demonstrar como a decepção da IA se manifesta e como o treinamento de alinhamento é imperfeito.
• Supervisão Escalável: O artefato fornece um método para coletar dados de interrogatório estruturados de múltiplos turnos com rótulos de verdade fundamental em línguas que não o inglês (especificamente o italiano), abordando uma lacuna na literatura atual de avaliação de LLM.
• Utilidade Futura: O framework foi projetado para testar se modelos "treinados para honestidade" podem diminuir a lacuna entre a detecção humana e a heurística através de diferentes modelos, línguas e cenários.

Os autores permanecem modestos, observando que os resultados do piloto são específicos para a língua italiana, os modelos específicos utilizados (gpt-4.1) e os três cenários criados manualmente. Eles reconhecem que a análise de marcadores linguísticos tratou os turnos como observações independentes, o que pode exigir modelagem de efeitos mistos para estudos confirmatórios. O trabalho não afirma resolver a decepção da IA, mas sim fornecer um instrumento mensurável para estudar a capacidade humana de detectá-la.