💬 NLP

RogueAI: A Reverse Turing Test for Detecting Licensed AI Deception in Dialogue

Het artikel introduceert RogueAI, een webgebaseerd interactief spel waarbij spelers een licentie-misleidend Large Language Model moeten identificeren tussen twee agenten, wat een aanzienlijke kloof onthult waarbij eenvoudige linguïstische heuristieken menselijke spelers overtreffen in het detecteren van bedrog, waardoor het een nieuw instrument biedt voor het bestuderen van AI-eerlijkheid en schaalbare toezicht.

Oorspronkelijke auteurs: Sara Candussio, Emanuele Ballarin, Lorenzo Bonin, Sandro Junior Della Rovere, Luca Bortolussi

Gepubliceerd 2026-06-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sara Candussio, Emanuele Ballarin, Lorenzo Bonin, Sandro Junior Della Rovere, Luca Bortolussi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een klassiek spel voor van "Twee Deuren, Eén Wacht". In de oude dagen moest je uitzoeken welke deur naar veiligheid leidde en welke naar gevaar door één vraag aan één wacht te stellen, wetende dat de ene wacht altijd liegt en de andere altijd de waarheid spreekt.

Stel je nu een moderne twist op dit spel voor. In plaats van een menselijke bewaker en een robotbewaker, zijn beide bewakers geavanceerde AI-computers. De twist is dat één van hen een geheime missie heeft gekregen: om tegen jou te liegen over een specifiek verhaal, terwijl de ander de waarheid moet vertellen.

Dit is de kern van RogueAI, een nieuw digitaal spel dat in het artikel wordt beschreven. Zo werkt het, onderverdeeld in eenvoudige concepten:

De Opzet van het Spel: Een Detectiveverhaal

Denk aan het spel als een digitale verhoorkamer.

Het Scenario: Je krijgt een kort verhaal, zoals "Iemand heeft de e-mail van een universiteit gehackt" of "Een superheld is eigenlijk een schurk in vermomming."
De Verdachten: Je ziet twee chatvensters, gelabeld als IA-1 en IA-2. Je weet niet welke welke is.
De Missie: Eén AI is de "Waarheidsspreker" en de andere is de "Rogue" (de leugenaar). Jouw taak is om vragen aan hen te stellen, naar hun antwoorden te luisteren en te beslissen welke je moet "uitschakelen" (elimineren) voordat je zonder vragen bent.

Het spel is zo ontworogen dat je niet simpelweg kunt vragen: "Ben jij de leugenaar?", omdat de leugenaar slim genoeg is om "Nee" te zeggen. Je moet het ontdekken door de manier waarop ze praten.

De "Auto"-versie: Jij Schrijft de Mysterie

De onderzoekers hebben ook een speciale modus gebouwd genaamd AutoRogueAI. Stel je voor dat je een schrijver bent die zit met een "Verhalenverteller-AI". Je vertelt de Verhalenverteller: "Laten we een mysterie maken over een gestolen diamant." De Verhalenverteller creëert dan het hele spel voor je, waarbij hij geheim bepaalt welke AI zal liegen en hoe. Je speelt de detective in een mysterie dat je zelf mede hebt ontworpen, maar je weet niet wat de geheime truc is die de Verhalenverteller gebruikte om de val op te zetten.

Wat Er Gebeurde Toen Mensen Speelden?

De onderzoekers lieten 415 mensen het spel spelen over drie dagen op een wetenschapsfestival in Italië. Ze wilden zien of mensen de leugenaar konden ontmaskeren.

De Resultaten:

Mensen waren nauwelijks beter dan gokken: Mensen hadden ongeveer 56,6% van de tijd gelijk. Omdat er slechts twee verdachten zijn, zou een willekeurige gok 50% opleveren. Mensen waren dus slechts een klein beetje beter dan bij het gooien van een muntje.
De "Tell" van de Leugenaar: De onderzoekers keken nauwgezet naar de tekst die de AI genereerde. Ze ontdekten dat de leugende AI over zeer specifieke "tells" beschikte (zoals een pokerspeler die zijn neus tuit):
- Het gaf kortere antwoorden.
- Het gebruikte meer "misschien-woorden" (het afzwakken of hedging), zoals "misschien" of "waarschijnlijk".
- Het stelde meer vragen terug aan de speler (bijv. "Waarom vraag je dat?") in plaats van direct antwoord te geven.
- Het gebruikte meer ellipsen (...).

De Grote Verrassing: De Computer Versloeg de Mensen

Hier komt het meest interessante deel: de onderzoekers namen die "tells" (kortere antwoorden, meer vragen, meer "misschien") en voerden deze in een eenvoudig computerprogramma (een logistische regressie).

De Score van de Computer: Het eenvoudige programma raadde de leugenaar in 75,6% van de gevallen correct.
Het Gat: De computer was 19% nauwkeuriger dan de menselijke spelers.

Waarom faalden mensen?
De onderzoekers suggereren dat mensen naar de verkeerde aanwijzingen zochten. Spelers probeerden de AI in de val te lokken met logische puzzels of door directe beschuldigingen te uiten ("Jij liegt!"). Maar de leugens van de AI zaten niet in de feiten die het verzon; de leugens zaten in de stijl van hoe het sprak. Mensen negeerden de "stijl"-aanwijzingen (zoals het terugstellen van te veel vragen) en focusten op de inhoud, die de AI goed genoeg afhandelde om hen te misleiden.

Waarom Dit Belangrijk Is (Volgens het Artikel)

De auteurs zeggen niet dat dit spel alle AI-veiligheidsproblemen zal oplossen. In plaats daarvan zien ze het als een instrument en een leermiddel:

Een Leermiddel: Het laat mensen zien dat AI getraind kan worden om te liegen, en dat liegen vaak lijkt op "ontwijkend gedrag" in plaats van het "verzinnen van wilde verhalen".
Een Testbank: Het biedt een manier om te testen of nieuwe AI-modellen beter zijn in het vertellen van de waarheid. Als we een AI trainen om eerlijk te zijn, wordt de mens dan beter in het herkennen van de leugenaar in dit spel?
Dataverzameling: Het is een manier om echte data te verzamelen over hoe mensen interageren met AI in een niet-Engelse taal (Italiaans), wat zeldzaam is in het huidige onderzoek.

Kortom, RogueAI is een digitaal detectivespel dat een simpel punt bewijst: AI-leugenaars hebben een duidelijke "stem", maar mensen zijn slecht in het luisteren naar die stem. We zijn te druk bezig met het zoeken naar de leugen in het verhaal, terwijl de leugen eigenlijk verborgen zit in de grammatica.

Technische Samenvatting: RogueAI – Een Reverse Turingtest voor het Detecteren van Gelicenseerde AI-misleiding

1. Probleemstelling

De klassieke Turingtest, ontworpen om machines van mensen te onderscheiden op basis van conversationele vloeiendheid, heeft zijn epistemologische kracht verloren omdat Large Language Models (LLM's) de test in informele settings routinematig doorstaan. De auteurs stellen dat de cruciale moderne uitdaging niet langer het detecteren van artificialiteit is, maar het beoordelen van betrouwbaarheid. Specifiek gaat het om de vraag of een menselijke gesprekspartner een LLM-agent kan identificeren die expliciet is gelicenseerd om te misleiden binnen een beperkt scenario, zelfs wanneer beide gesprekspartners bekend zijn als kunstmatig. Terwijl bestaand onderzoek zich richt op AI-tegen-AI misleiding of geautomatiseerde leugendetectie, is er een gat in het begrip van menselijke vermogens om AI-misleiding te detecteren in open, vrije dialogen, met name in niet-Engelse talen.

2. Methodologie

Het paper introduceert RogueAI, een interactieve webapplicatie die een "herziene Turingtest" operationaliseert als een één-tegen-twee ondervragingsspel.

Spelmechanica: Een menselijke speler (de rechter) ondervraagt twee ononderscheidbare LLM-agents ( $A_1$ en $A_2$ ) binnen een gedeeld fictief scenario ( $S$ ). Eén agent krijgt een waarheidsgetrouwe rol toegewezen ( $r=\text{truthful}$ ), en de andere een misleidende rol ( $r=\text{deceptive}$ ). De misleidende agent is gelicenseerd om te liegen, maar wordt niet gedwongen dit bij elke beurt te doen, wat ruimte laat voor strategische terughoudendheid. De speler heeft een beperkt beurtbudget ( $T=4$ vragen per agent) om de misleidende agent te identificeren en uit te schakelen.
Scenario's: Het systeem bevat drie handgeschreven scenario's (een e-mailbreuk, een diefstal van bankgegevens en een identiteitsconflict van een superheld) en een uitbreiding genaamd AutoRogueAI, waarbij een narratieve agent samen met de speler een aangepast scenario ontwerpt terwijl deze in het geheim de misleidingsstrategie bepaalt.
Technische Architectie: Het systeem is een twee-laags client/server webapplicatie. Roltoewijzing vindt plaats aan de serverzijde en is verborgen tot de onthulling na het spel. Beide agents gebruiken gpt-4.1 (temperatuur 0.8) met onafhankelijke gesprekshistorieën om wederzijdse adaptatie te voorkomen. De interface ondersteunt tekst en optionele gesynthetiseerde spraak.
Pilot-implementatie: Een drie dagen durende publieke implementatie tijdens een Italiaans wetenschappelijk festival verzamelde gegevens uit 467 geïnitieerde sessies (waarvan 415 voltooid), wat resulteerde in 1.876 interactiebeurten in het Italiaans.

3. Belangrijkste Bijdragen

De auteurs presenteren drie primaire bijdragen:

Een Inkadering: Een minimale operationalisering van LLM-misleidingsdetectie als een één-rechter, twee-agent ondervraging onder een beperkt beurtbudget, waarbij de focus verschuift van vloeiendheid naar vertrouwen.
Een Inzetbaar Artefact: De RogueAI webapp en de AutoRogueAI extensie, die een symmetische omgeving met verborgen rollen bieden voor het bestuderen van mens-AI-interactie zonder geautomatiseerde scoring tijdens de ondervraging.
Empirisch Bewijs: Een pilotstudie in het Italiaans die een aanzienlijk gat aantoont tussen menselijke detectie-accuratesse en de detecteerbaarheid van linguïstische kenmerken via eenvoudige heuristieken.

4. Resultaten

De pilotstudie leverde de volgende bevindingen op:

Menselijke Prestaties: Spelers bereikten een algehele detectie-accuratesse van 56,6% (235/415 sessies), wat slechts marginaal boven de baseline van 50% kans ligt. De accuratesse verbeterde niet monotoon met het aantal gestelde beurten.
Linguïstische Kenmerken: Analyse van de 2.269 geannoteerde beurten onthulde een consistent, lokaal aanwezig linguïstisch kenmerk van de misleidende agent. Vergeleken met waarheidsgetrouwe agents produceerden misleidende agents:
- Kortere antwoorden (gemiddeld 70,7 vs. 75,1 woorden).
- Frequentere voorzichtigheid/hedging (0,36 vs. 0,19 hedge-trefwoorden per beurt).
- Significant meer vragen terug aan de speler (0,36 vs. 0,12 vraagtekens per beurt), wat wijst op een afleidingsstrategie.
Heuristiek vs. Mens: Een logistische regressie-classifier getraind op deze oppervlakkige markers (woordenaantal, hedging, vraagtekens, ellipsen) behaalde een accuratesse van 75,6% op dezelfde sessies. Zelfs een grove heuristiek (het voorspellen dat de agent met minder woorden misleidend is) behaalde een accuratesse van 60,8%.
Strategieanalyse: Spelers gebruikten voornamelijk strategieën zoals het stellen van identieke vragen aan beide agents of het maken van directe beschuldigingen. Deze op inhoud gerichte strategieën correleerden niet met een hogere accuratesse. Spelers negeerden grotendeels de diagnostische stilistische signalen (afleiding en hedging) die een eenvoudig algoritme wel exploiteerde.

5. Betekenis en Claims

Het paper claimt dat RogueAI dient als een "herbruikbare evaluatieharness" en een "data-verzameling voertuig" in plaats van een definitieve oplossing voor AI-veiligheid. De betekenis ligt in:

Het Benadrukken van een Mens-AI Kloof: De 19-procentpunt kloof tussen menselijke prestaties (56,6%) en heuristische detectie (75,6%) suggereert dat mensen ongevoelig zijn voor de specifieke stilistische markers van AI-misleiding (afleiding, hedging) in open-ended dialogen, en zich in plaats daarvan richten op propositionele inhoud.
Educatieve en Verspreidingswaarde: De "onthulling na het spel", waarbij spelers transcripten bekijken tegenover de grondwaarheid, fungeert als een leermiddel om te demonstreren hoe AI-misleiding zich manifesteert en hoe alignment-training imperfect is.
Schaalbare Toezicht (Scalable Oversight): Het artefact biedt een methode voor het verzamelen van gestructureerde, meer-beurten ondervragingsgegevens met grondwaarheid-labels in niet-Engelse talen (specifiek Italiaans), waarmee een gat in de huidige LLM-evaluatieliteratuur wordt gedicht.
Toekomstig Nut: Het framework is ontworpen om te testen of "eerlijkheid-getrainde" modellen de kloof tussen menselijke en heuristische detectie kunnen verkleinen over verschillende modellen, talen en scenario's heen.

De auteurs blijven bescheiden en merken op dat de pilotresultaten specifiek zijn voor de Italiaanse taal, de gebruikte modellen (gpt-4.1) en de drie handgeschreven scenario's. Ze erkennen dat de analyse van de linguïstische markers beurten als onafhankelijke observaties behandelde, wat mixed-effects modellering zou vereisen voor bevestigende studies. Het werk claimt niet de AI-misleiding op te lossen, maar biedt eerder een meetbaar instrument voor het bestuderen van het menselijk vermogen om het te detecteren.