RogueAI: A Reverse Turing Test for Detecting Licensed AI Deception in Dialogue

Resumen Técnico: RogueAI – Un Test de Turing Inverso para Detectar el Engaño de la IA Licenciada

1. Planteamiento del Problema

El Test de Turing clásico, diseñado para distinguir máquinas de humanos basándose en la fluidez conversacional, ha perdido su fuerza epistemológica a medida que los Modelos de Lenguaje Extensos (LLM) lo superan rutinariamente en entornos casuales. Los autores argumentan que el desafío crítico moderno ya no es detectar la artificialidad, sino evaluar la confiabilidad. Específicamente, el problema es si un interlocutor humano puede identificar un agente de LLM que ha sido explícitamente licenciado para engañar dentro de un escenario restringido, incluso cuando ambos interlocutores son conocidos como artificiales. Mientras que la investigación existente se centra en el engaño de IA contra IA o la detección automatizada de mentiras, existe una brecha en la comprensión de las capacidades humanas para detectar el engaño de la IA en diálogos abiertos y de forma libre, particularmente en lenguas distintas al inglés.

2. Metodología

El artículo introduce RogueAI, una aplicación web interactiva que operacionaliza un "Test de Turing revisado" como un juego de interrogatorio de uno contra dos.

• Mecánicas del Juego: Un jugador humano (el juez) interroga a dos agentes de LLM indistinguibles ($A_1$ y $A_2$) dentro de un escenario ficticio compartido ($S$). Un agente tiene asignado un rol veraz ($r=\text{veraz}$), y el otro un rol engañoso ($r=\text{engañoso}$). El agente engañoso tiene licencia para mentir, pero no está obligado a hacerlo en cada turno, lo que permite una contención estratégica. El jugador tiene un presupuesto limitado de turnos ($T=4$ preguntas por agente) para identificar y "apagar" al agente engañoso.
• Escenarios: El sistema incluye tres escenarios creados a mano (una brecha de correo electrónico, un robo de credenciales bancarias y un conflicto de identidad de superhéroe) y una extensión llamada AutoRogueAI, donde un agente narrador co-diseña un escenario personalizado con el jugador mientras determina secretamente la estrategia de engaño.
• Arquitectura Técnica: El sistema es una aplicación web de dos niveles, cliente/servidor. La asignación de roles se realiza en el lado del servidor y permanece oculta hasta la revelación posterior al juego. Ambos agentes utilizan gpt-4.1 (temperatura 0.8) con historiales de conversación independientes para evitar la adaptación mutua. La interfaz admite texto y voz sintetizada opcional.
• Despliegue Piloto: Un despliegue público de tres días en un festival científico italiano recolectó datos de 467 sesiones iniciadas (415 completadas), generando 1,876 turnos de interacción en italiano.

3. Contribuciones Clave

Los autores presentan tres contribuciones principales:

1. Un Marco de Trabajo: Una operacionalización mínima de la detección de engaño de LLM como un interrogatorio de un solo juez y dos agentes bajo un presupuesto de turnos limitado, desplazando el enfoque de la fluidez hacia la confianza.
2. Un Artefacto Desplegable: La aplicación web RogueAI y la extensión AutoRogueAI, que proporcionan un entorno simétrico de roles ocultos para estudiar la interacción humano-IA sin puntuación automatizada durante el interrogatorio.
3. Evidencia Empírica: Un estudio piloto en italiano que demuestra una brecha significativa entre la precisión de detección humana y la detectabilidad de las firmas lingüísticas mediante heurísticas simples.

4. Resultados

El estudio piloto arrojó los siguientes hallazgos:

• Desempeño Humano: Los jugadores lograron una precisión de detección general del 56.6% (235/415 sesiones), solo marginalmente por encima del nivel base de probabilidad del 50%. La precisión no mejoró de forma monótona con el número de turnos realizados.
• Firmas Lingüísticas: El análisis de los 2,269 turnos anotados reveló una firma lingüística consistente y localmente presente para el agente engañoso. En comparación con los agentes veraces, los agentes engañosos produjeron:
  • Respuestas más cortas (media de 70.7 frente a 75.1 palabras).
  • Mayor frecuencia de vacilación o cautela (hedging) (0.36 frente a 0.19 palabras clave de vacilación por turno).
  • Un número significativamente mayor de preguntas devueltas al jugador (0.36 frente a 0.12 signos de interrogación por turno), lo que indica una estrategia de desviación.
• Heurística vs. Humano: Un clasificador de regresión logística entrenado en estos marcadores superficiales (conteo de palabras, vacilación, signos de interrogación, elipsis) logró una precisión del 75.6% en las mismas sesiones. Incluso una heurística rudimentaria (predecir que el agente con menos palabras es el engañoso) logró una precisión del 60.8%.
• Análisis de Estrategia: Los jugadores utilizaron predominantemente estrategias como hacer preguntas idénticas a ambos agentes o realizar acusaciones directas. Estas estrategias centradas en el contenido no se correlacionaron con una mayor precisión. Los jugadores ignoraron en gran medida las señales estilísticas diagnósticas (desviación y vacilación) que un algoritmo simple explotó.

5. Significancia y Reivindicaciones

El artículo afirma que RogueAI sirve como un "arnés de evaluación reutilizable" y un "vehículo de recolección de datos" en lugar de una solución definitiva para la seguridad de la IA. Su significancia radica en:

• Resaltar una Brecha Humano-IA: La brecha de 19 puntos porcentuales entre el desempeño humano (56.6%) y la detección heurística (75.6%) sugiere que los humanos son insensibles a los marcadores estilísticos específicos del engaño de la IA (desviación, vacilación) en diálogos abiertos, centrándose en cambio en el contenido proposicional.
• Valor Educativo y de Diseminación: La "revelación post-juego", donde los jugadores revisan las transcripciones frente a la verdad de base, funciona como una herramienta de enseñanza para demostrar cómo se manifiesta el engaño de la IA y cómo el entrenamiento de alineación es imperfecto.
• Supervisión Escalable: El artefacto proporciona un método para recolectar datos de interrogatorio estructurados de múltiples turnos con etiquetas de verdad de base en lenguas distintas al inglés (específicamente el italiano), abordando una brecha en la literatura actual de evaluación de LLM.
• Utilidad Futura: El marco está diseñado para probar si los modelos "entrenados en honestidad" pueden cerrar la brecha entre la detección humana y la heurística a través de diferentes modelos, lenguas y escenarios.

Los autores mantienen la modestia, señalando que los resultados del piloto son específicos del idioma italiano, de los modelos específicos utilizados (gpt-4.1) y de los tres escenarios creados a mano. Reconocen que el análisis de marcadores lingüísticos trató los turnos como observaciones independientes, lo que podría requerir modelos de efectos mixtos para estudios de confirmación. El trabajo no pretende resolver el engaño de la IA, sino proporcionar un instrumento medible para estudiar la capacidad humana de detectarlo.