RogueAI: A Reverse Turing Test for Detecting Licensed AI Deception in Dialogue

기술 요약: RogueAI – 라이선스된 AI 기만을 탐지하기 위한 역 튜링 테스트

1. 문제 정의

대화의 유창성을 바탕으로 기계와 인간을 구별하도록 설계된 고전적 튜링 테스트는, 대규모 언어 모델(LLM)이 일상적인 환경에서 일상적으로 이를 통과함에 따라 그 인식론적 힘을 상실했다. 저자들은 현대의 핵심 과제가 더 이상 '인공성'을 탐지하는 것이 아니라, '신뢰성'을 평가하는 것이라고 주장한다. 구체적으로, 문제는 두 대화 상대가 모두 인공적이라는 사실이 알려진 상황에서도, 인간 대화자가 특정 시나리오 내에서 명시적으로 기만을 수행하도록 라이선스를 부여받은 LLM 에이전트를 식별할 수 있는지 여부이다. 기존 연구는 AI 대 AI의 기만이나 자동화된 거짓말 탐지에 초점을 맞추고 있는 반면, 특히 비영어권 언어에서 개방형 자유 대화 중 발생하는 AI 기만을 탐지하는 인간의 능력에 대한 이해에는 공백이 존재한다.

2. 방법론

본 논문은 "재방문된 튜링 테스트"를 일대이 심문 게임으로서 구현한 인터랙티브 웹 애플리케이션인 RogueAI를 소개한다.

• 게임 메커니-크: 인간 플레이어(판사)가 공유된 허구적 시나리오($S$) 내에서 두 명의 구별 불가능한 LLM 에이전트($A_1$ 및 $A_2$)를 심문한다. 한 에이전트는 진실한 역할($r=\text{truthful}$)을, 다른 에 하나는 기만적인 역할($r=\text{deceptive}$)을 부여받는다. 기만적인 에이전트는 거짓말을 하도록 라이선스를 부여받았으나, 모든 차례에 반드시 거짓을 말해야 하는 것은 아니며, 전략적 절제를 허용한다. 플레이어에게는 기만적인 에이전트를 식별하고 "차단"하기 위한 제한된 턴 예산($T=4$ 질문/에이전트당)이 주어진다.
• 시나리오: 시스템은 세 가지 수작업 시나리오(이메일 침해, 은행 자격 증명 탈취, 슈퍼히어로 정체성 갈등)와, 내레이터 에이전트가 플레이어와 함께 커스텀 시나리오를 공동 설계하면서 동시에 기만 전략을 비밀리에 결정하는 확장 기능인 AutoRogueAI를 포함한다.
• 기술 아키텍처: 시스템은 2계층 클라이언트/서버 웹 애플리케이션이다. 역할 할당은 서버 측에서 이루어지며 게임 종료 후 공개될 때까지 숨겨진다. 두 에이전트 모두 상호 적응을 방지하기 위해 독립적인 대화 이력을 가진 gpt-4.1(온도 0.8)을 사용한다. 인터페이스는 텍스트와 선택적 합성 음성을 지원한다.
• 파일럿 배포: 이탈리아의 한 과학 축제에서 3일간 진행된 공개 배포를 통해 467회의 세션이 시작되었고(415회 완료), 1,876회의 이탈리아어 상호작용 턴이 생성되었다.

3. 주요 기여

저자들은 세 가지 주요 기여를 제시한다:

1. 프레이밍: LLM 기만 탐지를 단일 판사, 두 에이전트의 제한된 턴 예산 하의 심문으로 최소하게 구현하여, 초점을 유창성에서 신뢰로 전환하였다.
2. 배포 가능한 결과물: RogueAI 웹앱과 AutoR고AI 확장 프로그램은 심문 중 자동 점수 산정 없이 인간-AI 상호작용을 연구할 수 있는 대칭적이고 숨겨진 역할 환경을 제공한다.
3. 경험적 증거: 단순 휴리스틱에 의한 언어적 특징 탐지 가능성과 인간의 탐지 능력 사이의 유의미한 격차를 보여주는 이탈리아어 기반 파일럿 연구를 제시하였다.

4. 결과

파일럿 연구는 다음과 같은 결과를 도출하였다:

• 인간의 수행 능력: 플레이어들은 전체 탐지 정확도 56.6%(235/415 세션)를 달성하였으며, 이는 50%의 확률 베이스라인보다 약간 높은 수준이다. 정확도는 질문한 턴의 수에 따라 단조롭게 증가하지 않았다.
• 언어적 특징: 주석이 달린 2,269개 턴의 분석 결과, 기만적 에이전트에게서 일관되게 나타나는 국소적 언어적 특징이 발견되었다. 진실한 에이전트와 비교했을 때, 기만적 에이전트는 다음과 같은 특성을 보였다:
  • 더 짧은 응답 (평균 70.7 단어 vs 75.1 단어).
  • 더 빈번한 헤징(hedging) (턴당 헤징 키워드 0.36 vs 0.19개).
  • 플레이어에게 되묻는 질문의 유의미한 증가 (턴당 물음표 0.36 vs 0.12개), 이는 회피 전략을 나타낸다.
• 휴리스틱 vs 인간: 이러한 표면적 마커(단어 수, 헤징, 물음표, 말줄임표)로 학습된 로지스틱 회귀 분류기는 동일한 세션에서 **75.6%**의 정확도를 달성했다. 심지어 단순한 휴리스틱(단어 수가 적은 에이전트를 기만적이라고 예측하는 것)조차 60.8%의 정확도를 달성했다.
• 전략 분석: 플레이어들은 주로 양쪽 에이전트에게 동일한 질문을 던지거나 직접적인 비난을 하는 전략을 사용했다. 이러한 내용 중심의 전략은 높은 정확도와 상관관계가 없었다. 플레이어들은 단순 알고리즘이 활용하는 진단적 스타일 신호(회피 및 헤징)를 대체로 무시했다.

5. 의의 및 주장

본 논문은 RogueAI가 AI 안전에 대한 결정적인 해결책이라기보다 "재사용 가능한 평가 하네스"이자 "데이터 수집 매개체" 역할을 한다고 주장한다. 그 의의는 다음과 같다:

• 인간-AI 간극 부각: 인간의 수행 능력(56.6%)과 휴리스틱 탐지 성능(75.6%) 사이의 19%포인트 격차는 인간이 개방형 대화 중 AI 기만의 특정 스타일적 마커(회피, 헤징)에 둔감하며, 대신 명제적 내용에 집중한다는 것을 시사한다.
• 교육적 및 보급 가치: 플레이어가 실제 정답과 대조하여 대화 기록을 검토하는 "게임 후 공개(post-game reveal)" 과정은 AI 기만이 어떻게 나타나는지, 그리고 정렬(alignment) 학습이 왜 불완전한지를 보여주는 교육 도구로서 기능한다.
• 확장 가능한 감독(Scalable Oversight): 이 결과물은 다양한 모델, 언어, 시나리오 전반에서 "정직함이 훈련된" 모델이 인간과 휴리스틱 탐지 사이의 격차를 좁힐 수 있는지 테스트할 수 있는 구조화된 다회차 심문 데이터를 수집하는 방법을 제공한다.

저자들은 파일럿 결과가 이탈리아어, 사용된 특정 모델(gpt-4.1), 그리고 세 가지 수작업 시나리오에 국한된다는 점을 언급하며 겸허한 입장을 유지하고 있다. 또한, 언어적 마커 분석이 각 턴을 독립적인 관측치로 취급했음을 인정하며, 확증적 연구를 위해서는 혼합 효과 모델(mixed-effects modeling)이 필요할 수 있다고 밝히고 있다. 본 연구는 AI 기만을 해결한다고 주장하는 것이 아니라, 이를 연구하기 위한 측정 가능한 도구를 제공하는 데 목적이 있다.