🤖 AI

Theory-Guided Deception Detection: A RAG-Based Artificial Intelligence Exploration

본 연구는 기만 이론에 기반한 7개의 검색 증강 생성(RAG) 모델을 700개의 진술을 대상으로 베이스라인 모델들과 비교 평가하였으며, 그 결과 이론적 관점이 응답 편향에 유의미한 영향을 미쳤으나 탐지 정확도를 향상시키지는 못했으며, 탐지 정확도는 일반적인 인간의 수행 능력과 유사하고 RAG와 베이스라인 접근 방식 간에 통계적으로 구별할 수 없는 수준임을 밝혔다.

원저자: David M. Markowitz, Timothy R. Levine

게시일 2026-08-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: David M. Markowitz, Timothy R. Levine

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거짓말쟁이를 잡으려는 탐정이라고 상상해 보십시오. 수십 년 동안 인류는 인간보다 더 잘 거짓말을 간파할 수 있는 기계, 즉 결코 실패하지 않는 첨단 "거짓말 탐지기"를 만들기 위해 노력해 왔습니다. 보통 이러한 기계들은 떨리는 목소리, 눈의 경련, 혹은 식은땀 같은 단서들을 살핍니다. 하지만 만약 기계가 오직 '텍스트(글)'만을 다룰 수 있다면 어떨까요? 이것이 바로 텍스트 기반의 기만 탐지의 세계입니다. 여기서 과학자들은 질문을 던집니다: 컴퓨터가 이야기를 읽고, 오직 단어만을 보고도 그것이 진실인지 거짓인지 판별할 수 있을까?

이 연구를 이해하려면 두 가지 큰 개념을 알아야 합니다. 첫째, **거짓말 이론(theories of lying)**이 있습니다. 이것은 전문가들이 작성한 규칙책과 같아서, "거치꾼은 X, Y, Z를 한다"라고 명시합니다. 어떤 규칙책은 거짓말쟁이가 세부 사항을 누락한다고 말하고, 어떤 것은 그들이 너무 장황해진다고 하며, 또 다른 것은 검증 가능한 사실을 제시하는 것을 피한다고 말합니다. 둘째는 AI(인공지능), 구체적으로는 인간처럼 읽고 쓸 수 있는 유형의 AI입니다. 최근 과학자들은 이 AI에게 **RAG(검색 증강 생성, Retrieval-Augmented Generation)**라는 "참고 가이드"를 제공하기 시작했습니다. RAG를 공부하는 학생에 비유하자면, 시험을 보기 전에 기억에만 의존해 추측하는 것이 아니라, 답을 찾기 위해 특정 교과서를 펼쳐 볼 수 있도록 허용된 상태와 같습니다. 여기서 핵심 질문은 이것입니다: 만약 당신이 AI에게 거짓말쟁이를 잡는 법에 대한 특정 "규칙책"을 주고, 판단하기 전에 그 규칙을 찾아보게 한다면, AI가 진실을 포착하는 능력이 더 좋아질 것인가?

위대한 AI 거짓말 탐지기 실험

이 연구에서 두 명의 연구자는 일곱 가지의 서로 다른 "규칙책"(기만 이론)을 테스트하기로 결정했습니다. 그들은 AI가 이 규칙책들을 참고 가이드로 사용하여 더 나은 탐정이 될 수 있는지 확인하고 싶었습니다. 그들은 호텔 리뷰, 법정 증언 기록, 그리고 데일리 트라이얼(trivia game)에 관한 인터뷰 등 다섯 가지의 서로 다른 실제 상황에서 추출한 700개의 서로 다른 진술(진실과 거짓이 섞인)을 포함하는 거대한 실험을 설계했습니다.

그들은 이 700개의 진술을 판단하기 위해 네 가지 종류의 초고성능 AI 모델(네 명의 서로 다른 탐정 성격이라고 생각하십시오)을 사용했습니다. 각 진술에 대해 AI는 두 가지 방식으로 게임을 수행했습니다:

"참고 가이드 없음" 모드 (베이스라인): AI는 자신의 내부 지식만을 사용하여 진술이 거짓인지 진실인지 추측해야 했습니다.
"참고 가이드 있음" 모드 (RAG): 추측하기 전, AI는 일곱 가지 기만 이론 중 하나에서 특정 규칙을 찾아내어 자신의 결정에 활용할 수 있었습니다.

연구 결과의 신뢰성을 확보하기 위해 이 전체 설정을 39,200번 반복 실행했습니다.

큰 반전: 참고 가이드가 그들을 더 똑똑하게 만들지는 못했다

결과는 마법의 탄환을 기대했던 이들에게 다소 실망스러웠습니다. 연구자들이 "참고 가이드가 있는" 탐정과 "참고 가이드가 없는" 탐정을 비교했을 때, 두 그룹 모두 거짓말을 잡아내는 데 똑같이 형편없었습니다.

정확도: 두 그룹 모두 정답률이 약 54.5%에서 54.6% 사이였습니다. 이는 동전 던지기(50%)보다 겨우 조금 나은 수준입니다. 연구는 이론을 사용하는 것과 사용하지 않는 것 사이에 통계적 차이가 없음을 발견했습니다. 즉, AI에게 따를 특정 이론을 제공하는 것이 더 많은 거짓말쟁이를 잡는 데 도움이 되지 않았습니다.

하지만 참고 가이드는 AI의 성격, 즉 과학자들이 말하는 "편향(bias)"을 변화시켰습니다.

"진실 편향(Truth Bias)": 참고 가이드가 없을 때, AI는 사람들이 거짓말을 하고 있음에도 불구하고 그들이 진실을 말하고 있다고 **59.7%**의 확률로 믿는 경향이 있었습니다. 이를 "진실 편향적"이라고 합니다.
"참고 가이드 효과": AI가 참고 가이드를 사용할 때, AI는 조금 덜 신뢰적이 되어 진실을 **57.0%**의 확률로만 믿었습니다. 이는 변화이긴 하지만, 연구에서는 그 효과가 매우 미미하다고 언급했습니다.

규칙책들은 모두 동일하게 만들어지지 않았다

여기서 흥서로운 점이 나타납니다. 참고 가이드가 전체적인 점수를 높이지는 못했지만, 서로 다른 규칙책은 AI를 완전히 다른 방식으로 행동하게 만들었습니다.

"세부 사항(Details)" 규칙책: "정직한 사람은 더 많은 세부 사항과 복잡한 내용을 제공한다"라는 이론이 가장 성적이 좋았습니다. 이는 조사된 것들 중 가장 정확했습니다.
"검증 가능성(Verifiability)" 규칙책: "정직한 사람은 확인할 수 있는 사실을 제공한다"라는 이론입니다. 이 규칙책을 사용하는 AI는 극도로 의심스러워져서, 진술의 오직 **32.2%**만을 진실이라고 판단했습니다. 즉, "거짓 편향(lie-biased)"되었습니다.
"진실 기본값(Truth-Default)" 규칙책: "인간은 보통 사람들이 정직하다고 가정한다"라는 이론입니다. 이 규칙책을 사용하는 AI는 극도로 신뢰하여, **88.1%**의 진술을 진실이라고 판단했습니다. 즉, 매우 "진실 편향적"이었습니다.

이 연구는 이론이 AI가 진실을 더 잘 보게 도와주지는 못했지만, AI의 신뢰 수준을 올리거나 내리는 '다이얼' 역할을 했다고 시사합니다.

AI의 "사고" 스타일

연구진은 또한 AI가 자신의 결정에 대해 어떻게 설명하는지도 살펴보았습니다. 그들은 가장 많은 "인지적 노력"( "왜냐하면", "이해하다", "알다"와 같이 깊이 생각하고 있음을 보여주는 단어들)을 사용한 AI 모델이 가장 정확한 결과를 냈다는 것을 발견했습니다. AI가 문제를 정말로 "풀어나갈" 때 성능이 약간 더 좋아지는 것처럼 보였지만, 이는 하나의 관찰 결과일 뿐 보장된 해결책은 아니었습니다.

결론

이 논문은 이론에 기반한 AI가 아직 전문적인 거짓말 탐지기가 될 준비가 되지 않았다고 결론짓습니다. 인간 탐정과 마찬가지로, AI는 여전히 실수를 저지르기 쉬우며, 본래의 신뢰 성향이나 의심 성향에 크게 영향을 받습니다.

이 연구는 단순히 AI에게 기만 이론을 입력하는 것이 거짓말쟁이를 잡는 "실버 불릿(만능 해결책)"이 될 것이라는 생각을 명시적으로 부정합니다. 정확도는 54.5% 근처에 머물러 있었으며, 이는 법정이나 보안 검사 같은 심각한 현실 세계에서 사용하기에는 부족한 수준입니다. 저자들은 AI가 더 똑똑해지지는 않았지만, 이 실험이 가치 있었던 이유는 서로 다른 이론이 AI가 얼마나 잘 생각하는지를 바꾸지는 못하더라도, AI가 '어떻게' 생각하는지를 바꾼다는 점을 보여주었기 때문이라고 제안합니다. 현재로서는 거짓말쟁이를 잡는 데 있어 AI는 아직 걸음마 단계에 있으며, 로봇이 이 미스터리를 해결해 주기를 기대해서는 안 됩니다.

기술 요약: RAG 기반 AI를 통한 이론 가이드형 기만 탐지

문제 제기
기만 탐지 분야는 인간의 거짓말 탐지 정확도가 매우 낮다는 점(통상적으로 약 54% 수준)을 극복하기 위해 기술적 "실버 불릿(silver bullet)"을 오랫동안 추구해 왔습니다. 최근 연구들은 이 과업을 위해 거대언어모델(LLM)을 탐색해 왔으나, 결과는 여전히 엇갈리고 있으며 이들의 유용성에 대한 합의도 부족한 상태입니다. 결정적으로, 기존의 AI 기반 기만 연구는 모델의 판단을 가이드할 확립된 이론적 프레임워크를 통합하는 경우가 드물었습니다. 대신, 대부분의 연구는 특정 기만 이론에 근거를 두지 않고 "기성품(out-of-the-box)" 방식의 프롬프팅이나 제로샷 학습에 의존했습니다. 본 논문은 검색 증강 생성(RAG)을 통해 AI의 기만 판단을 선도적인 이론적 관점에 근거시키는 것이, 베이스라인(비-RAG) 모델과 비교하여 탐지 정확도를 개선하는지 또는 응답 편향을 변화시키는지에 대한 이해의 간극을 다룹니다.

연구 방법론
저자들은 이론 가이드형 RAG 모델을 여러 차로에 걸쳐 베이스라인 LLM과 비교하는 포괄적인 실험 프레임워크를 개발했습니다:

이론적 프레임워크: 7가지 주요 기만 이론을 RAG 시스템으로 구현했습니다: (1) 세부 사항 및 복잡성(Details and Complications), (2) 에크만의 누설 접근법(Ekman's Leakage Approach), (3) 4요인 이론(Four-Factor Theory), (4) 정보 조작 이론(Information Manipulation Theory, IMT), (5) 대인 기만 이론(Interpersonal Deception Theory, IDT), (6) 진실 기본 이론(Truth-Default Theory, TDT), (7) 검증 가능성 접근법(The Verifiability Approach).
RAG 구축: "7가지 C(Seven C's)" 프레임워크(Bailenson et al., 2026)를 따라, 저자들은 각 이론당 최대 10개의 핵심 소스 문서(총 50개 소스)를 수집하고, 표와 참조를 제거하여 정제한 후, 5,808개의 검색 가능한 단위로 분할(chunking)했습니다. 이들은 text-embedding-3-large를 사용하여 임베딩되었으며, 이론별 ChromaDB 벡터 스토어에 저장되었습니다.
검색 프로세스: 각 판단을 위해 시스템은 키워드 검색(BM25)과 의미론적 검색을 결합한 하이브리드 검색 전략을 채택했습니다. 융합된 상위 6개의 청크가 추출되어 컨텍스트로서 LLM에 전달되었습니다.
모델 및 데이터: 연구에는 네 가지 서로 다른 LLM(gpt-4o, claude-sonnet-4-6, ollama/llama3, deepseek-v4-flash)과 다섯 가지 다양한 데이터셋(호텔 리뷰, 친구의 의견, 법정 녹취록, 외도 인터뷰 녹취록)이 사용되었으며, 총 700개의 진술이 포함되었습니다. 연구는 가능한 경우 진실과 기만의 근거(ground-truth)가 균등하게 배분되도록 설계되었으며, 더 큰 데이터셋에서는 각각 100개를 선택하거나 200개 미만인 경우 사용 가능한 모든 사례를 사용했습니다.
실험 설계: 총 39,200건의 판단이 2 (실행 유형: RAG vs. 베이스라인) × 7 (이론) × 4 (LLM) × 5 (데이터셋) 설계에 따라 수행되었습니다. 베이스라인 모델은 검색된 이론적 컨텍스트 없이 동일한 프롬프트를 받았습니다.
분석: 연구는 전반적인 탐지 정확도, 진실 편향(truth-bias), 진실 정확도, 거짓 정확도를 측정했습니다. 또한, LLM이 생성한 근거(rationale)에 대해 언어적 조사 및 단어 계수(LIWC) 분석을 실시하여 분석적 사고와 인지적 처리 능력을 평가했습니다.

주요 결과

정확도: 전반적인 탐지 정확도는 54.6%로, 전형적인 인간의 수행 능력과 일치했습니다. RAG 기반 모델(54.5%)과 베이스라인 모델(54.6%) 사이에는 통계적으로 유의미한 차이가 없었습니다.
응답 편향: 정확도는 변하지 않았으나, RAG 모델은 베이스라인 모델(59.7%)보다 약간 낮은 진실 편향(57.0%)을 보였습니다(단, 효과 크기는 $d = 0.06$ 으로 작았습니다).
이론적 변동: 특정 이론이 정확도에 미치는 영향은 미미했으나(50.9%에서 58.8% 범위), 응답 편향에는 상당한 영향을 미쳤습니다. 편향은 매우 높은 거짓 편향(검증 가능성 접근법, 32.2%)부터 매우 높은 진실 편향(진실 기본 이론, 88.1%)까지 다양하게 나타났습니다.
조절 효과:
- 콘텐츠 효과: 정확도와 편향은 데이터셋에 따라 유의미하게 변했습니다. 예를 들어, 외도 인터뷰 녹취록에 대한 정확도는 이론에 따라 40 퍼센트 포인트 이상 차이가 났으나, 다른 데이터셋은 안정적이었습니다.
- 모델 효과: claude-sonnet-4-6 모델은 다른 세 모델보다 유의미하게 더 정확하고 더 진실 편향적이었습니다.
인지적 노력: 가장 높은 탐지 정확도를 보인 이론들(세부 사항 및 복잡성, 검증 가능성 접근법)은 LLM의 근거에서 더 높은 인지 처리 용어 비율과 연관되어 있었으며, 이는 생성된 추론의 "노력"과 판단 품질 사이의 연결 고리를 시사합니다.

주요 기여

변별력과 편향의 분리: 본 연구는 이론적 프레임워크를 제공하는 것이 반드시 AI의 거짓과 진실을 구별하는 능력(진단력)을 향상시키지는 않는다는 것을 보여줍니다. 대신, 이론은 주로 모델의 응답 편향을 변화시키는 결정 규칙(decision rules)으로 기능합니다. 편향에 대한 효과 크기( $\eta^2 = .11$ )는 정확도에 대한 효과 크기( $\eta^2 = .003$ )보다 거의 40배 컸습니다.
이론-데이터 매칭: 결과는 비언어적 단서에 의존하는 이론(예: 누설, 4요인)이 텍스트 전용 작업에서 저조한 성능을 보이는 반면, 언어적 프레임워크(예: 세부 사항/복잡성, 검증 가능성)가 상대적으로 더 나은 성능을 보인다는 가설을 뒷받침합니다. 그러나 가장 우수한 성능을 보이는 이론조차 이 맥락에서는 우연 수준을 유의미하게 초과하는 데 어려움을 겪었습니다.
실험 변수로서의 이론: 본 논문은 이론을 조작 가능한 변수로 취급하는 새로운 방법론적 접근을 도입합니다. 저자들은 이론을 RAG로 변환함으로써, AI의 의사결정 과정에서 이론적 원리가 어떻게 작동하는지 관찰하기 위해 수천 건의 판단을 평가하였으며, 이는 전통적인 이론 검증 관계를 효과적으로 역전시킨 것입니다.
탐색적 언어 분석: 본 연구는 LLM 근거의 "인지적 노력"에 대한 언어적 지표가 기만 판단의 품질과 상관관계가 있을 수 있다는 초기 증거를 제공합니다.

의의 및 주장
저자들은 이론 가이드형 AI 기만 탐지가 현재로서는 신뢰할 수 없다고 결론짓습니다. RAG가 정확도를 높이지는 못했지만, 진실을 가정하는 것이 리스크가 되는 고용량 팩트 체크 시나리오에서 유용할 수 있는 진실 편향 감소 메커니즘을 제공했습니다.

본 논문은 AI를 이용한 기만 탐지가 "초기 단계"에 있다고 강조합니다. 연구 결과는 단순히 RAG를 통해 LLM에 이론적 지식을 주입하는 것만으로는 이 영역의 근본적인 한계를 극복하기에 불충분하다는 것을 시사합니다. 저자들은 비언어적 이론을 위한 (예: 시청각 데이터 활용) 더 나은 이론-데이터 매칭을 우선시하고, LLM이 기만 판단을 통해 어떻게 "생각하는지"에 대한 추가 조사를 수행하는 미래 연구를 권고합니다. 또한, 현재의 AI 도구를 기만 탐지 분야의 실전 투입 준비가 된 것으로 간주하는 것에 대해 명시적으로 경고하며, 이 분야의 수십 년간의 약속이 종종 "허황된 약속"으로 끝났음을 언급했습니다.

위대한 AI 거짓말 탐지기 실험

큰 반전: 참고 가이드가 그들을 더 똑똑하게 만들지는 못했다

규칙책들은 모두 동일하게 만들어지지 않았다

AI의 "사고" 스타일

결론

유사한 논문