Tool Receipts, Not Zero-Knowledge Proofs: Practical Hallucination Detection for AI Agents

이 논문은 암호학적 증명 대신 HMAC 서명이 포함된 도구 실행 영수증과 인도 철학의 인식론적 분류를 활용하여 실시간으로 AI 에이전트의 환각을 탐지하는 경량 프레임워크 'NabaOS'를 제안하며, 기존 방법 대비 낮은 지연 시간과 높은 정확도를 달성함을 보여줍니다.

핵심

🧐 문제: AI 가 "창의적인 거짓말"을 할 때

우리가 AI 비서에게 "알리 씨가 보낸 이메일이 몇 통인가요?"라고 물으면, AI 는 이메일을 검색해서 3 통이라고 답할 수 있습니다.
하지만 AI 는 가끔 기억이 나지 않거나, 귀찮아서, 혹은 너무 친절해 보이려고 다음과 같은 거짓말을 할 수 있습니다.

• "검색 안 해봤지만, 알리 씨가 5 통 보냈어요!" (아예 검색도 안 했는데)
• "3 통 보냈는데, 그중 2 통은 마감일 관련이에요." (실제로는 3 통 모두 마감일 관련인데)
• "검색 결과가 없어요." (실제로는 3 통이 있었는데)

이런 거짓말을 실시간으로 잡아내려면 어떻게 해야 할까요?

🚫 기존 방법의 한계: "수학적인 증명"은 너무 느려요

최근에는 **'영지식 증명 (Zero-Knowledge Proofs)'**이라는 암호학 기술을 써서 AI 가 진짜로 계산을 했는지 증명하려는 시도가 있었습니다.

• 비유: AI 가 "내가 진짜로 계산했다"는 것을 증명하기 위해, 수백 페이지에 달하는 복잡한 수학 시험지를 매번 작성하게 하는 것과 같습니다.
• 문제점: 이 과정이 너무 느려서 (몇 분 걸림), 우리가 "지금 바로 답을 줘!"라고 할 때 기다릴 수 없습니다. 게다가 AI 가 계산 과정은 정확했지만, 결론 (사실) 은 틀린 경우도 잡아내지 못합니다.

💡 이 논문의 해법: "NabaOS" (나바 OS)

이 논문은 **"수학 시험지 (영지식 증명) 는 필요 없고, 대신 '영수증'만 있으면 된다"**고 말합니다.

1. 핵심 아이디어: "고대 철학의 지식 분류법"

이 논문은 2,000 년 전 인도 철학 '니야 (Nyāya)' 학파의 지식을 차용했습니다. 그들은 "우리가 아는 것 (지식) 은 어디서 왔는가?"를 5 가지로 분류했습니다.

• 직접 본 것 (Pratyaks.a): 내 눈으로 직접 본 것.
• 추론한 것 (Anumāna): 본 것을 바탕으로 추측한 것.
• 남의 말 (Śabda): 신뢰할 수 있는 사람의 말.
• 아무것도 없음 (Abhāva): "없다"는 사실.
• 근거 없음: 그냥 생각.

이 논리는 AI 에게 적용됩니다. AI 가 "알리 씨가 3 통 보냈다"고 할 때, 이것이 **직접 본 것 (검색 결과)**인지, 추측인지, 아무 근거 없는 말인지 분류해 주는 것입니다.

2. 작동 방식: "위조 불가능한 영수증"

NabaOS 는 AI 가 도구를 쓸 때 (이메일 검색 등), AI 가 아니라 시스템이 직접 실행하고 **디지털 영수증 (Receipt)**을 찍어줍니다.

• 영수증 내용: "이메일 검색 도구 사용함, 결과 3 통, 시간 150ms, 위조 방지 서명 (HMAC)"
• AI 의 역할: AI 는 이 영수증을 보고 답변을 작성합니다.
• 검증 과정: 사용자가 답변을 받으면, 시스템은 **"AI 가 말한 내용이 영수증과 일치하는지"**를 0.015 초 (15ms) 만에 확인합니다.

비유:
식당에서 요리사가 "소고기 300g 썼어요"라고 말하면, 우리는 요리사가 직접 저울을 재는 과정을 지켜볼 필요는 없습니다. 대신 저울이 찍어낸 영수증만 보면 됩니다.

• 요리사가 "소고기 500g 썼어요"라고 거짓말하면? 영수증에 300g 이라고 적혀 있으니 즉시 걸립니다.
• 요리사가 "소고기 안 썼어요"라고 하면? 영수증에 300g 이 있으니 거짓말입니다.

3. 심층 검증: "인터넷 링크 다시 확인하기"

만약 AI 가 자율적으로 웹을 돌아다니며 복잡한 작업을 한다면, 영수증이 없을 수도 있습니다. 이때는 **교차 검증 (Cross-checking)**을 합니다.

• AI 가 "A 뉴스 기사에 따르면..."이라고 하면, 시스템이 직접 그 링크를 다시 클릭해서 내용을 확인합니다.
• 링크가 없거나 내용이 다르면 "거짓말"로 표시합니다.

📊 실험 결과: 얼마나 잘 잡을까요?

이 논문은 1,800 가지 상황을 테스트했습니다.

• 거짓된 도구 호출: 94% 이상 잡아냄.
• 숫자 왜곡 (3 통을 5 통이라고 함): 87% 이상 잡아냄.
• 속임수 (결과가 있는데 없다고 함): 91% 이상 잡아냄.
• 속도: 답변 하나당 0.015 초만 추가됨 (사용자는 전혀 느낀다 못함).
• 정확도: "완벽하게 검증됨"이라고 표시된 답변은 **98.7%**가 사실이었습니다.

🌟 왜 이 방법이 좋은가요? (기존 방식과의 차이)

기존 방식은 **"검증됨 (O)" 또는 "검증 안 됨 (X)"**이라는 이분법적인 스탬프만 찍었습니다.
하지만 NabaOS 는 더 세밀한 신호를 줍니다.

• "직접 확인됨 (Pratyaks.a)": "이건 내가 직접 이메일을 열어본 사실이야." (신뢰도 100%)
• "추론됨 (Anumāna)": "이메일 내용을 보니 알리 씨가 걱정하는 것 같아." (신뢰도 80%, 이건 내 추측이야)
• "근거 없음": "이건 그냥 내 생각일 뿐이야."

사용자는 AI 가 무엇을 직접 확인했고, 무엇을 추측했는지를 알 수 있어, 스스로 판단할 수 있게 됩니다.

🏁 결론

이 논문은 **"AI 가 거짓말을 할 때, 복잡한 수학 증명서로 막을 필요는 없다"**고 말합니다. 대신 **매 순간 찍히는 '디지털 영수증'**을 통해 AI 가 무엇을 보고, 무엇을 추측했는지 실시간으로 투명하게 보여줌으로써, 우리가 AI 를 더 신뢰하고 안전하게 사용할 수 있게 해줍니다.

한 줄 요약:

"AI 가 거짓말을 하면, 복잡한 수학 시험지로 증명하려 하지 말고, '영수증'을 보여달라고 하면 됩니다. NabaOS 는 그 영수증을 0.01 초 만에 확인해 줍니다."

기술 요약

1. 문제 정의 (The Problem)

대형 언어 모델 (LLM) 기반 에이전트가 이메일, 금융, 의료 기록 등 외부 도구를 호출하여 작업을 수행할 때, 할루시네이션 (Hallucination) 이 빈번하게 발생합니다. 에이전트가 실제로 도구를 호출하지 않았음에도 결과를 fabrication 하거나, 출력된 데이터의 개수를 잘못 보고하거나, 추론을 사실인 것처럼 가장하는 등의 문제가 발생합니다.

기존의 해결책인 영지식 증명 (Zero-Knowledge Proofs, ZK) 은 계산의 무결성을 검증할 수 있지만, 다음과 같은 한계로 인해 대화형 개인 에이전트에는 실용적이지 않습니다.

• 높은 지연 시간: 쿼리당 수 분의 증명 시간이 소요되어 실시간 상호작용이 불가능합니다.
• 하드웨어 요구 사항: 특수 GPU 인프라가 필요하여 개인 사용자에게 비용이 많이 듭니다.
• 의미적 불일치 (Semantic Mismatch): ZK 는 "모델이 올바르게 계산했는지"는 검증하지만, "출력된 내용이 사실인지 (Grounding)"는 검증하지 못합니다. 모델이 완벽하게 계산하더라도 잘못된 사실 (할루시네이션) 을 생성할 수 있기 때문입니다.

2. 방법론 (Methodology: NabaOS)

저자들은 NabaOS라는 경량화된 검증 프레임워크를 제안합니다. 이는 인도 철학의 니야 (Nyāya) 학교에서 유래한 인식론적 분류 체계인 ** Pramāṇa **(지식의 원천) 를 적용하여 LLM 의 주장을 분류하고 검증합니다.

2.1. Pramāṇa 기반 주장 분류

LLM 응답 내의 모든 사실적 주장을 다음과 같은 6 가지 인식론적 범주로 분류합니다.

1. Pratyakṣa (직접 지각): 도구 출력에서 직접 얻은 사실 (예: "Alice 로부터 3 통의 이메일이 도착함").
2. Anumāna (추론): 도구 데이터를 바탕으로 한 추론 (예: "Alice 가 마감일에 대해 걱정하는 듯함").
3. Upamāna (비유/유추): 비교를 통한 주장.
4. Śabda (외부 증언): 외부 소스 (웹사이트 등) 를 인용한 주장.
5. Abhāva (부재): 결과가 없음을 주장하는 경우 (예: "검색된 이메일이 없음").
6. Ungrounded (근거 없음): 어떤 증거도 없는 의견.

2.2. HMAC 서명 도구 실행 영수증 (Tool Execution Receipts)

NabaOS 의 핵심 메커니즘은 HMAC 서명이 된 도구 실행 영수증입니다.

• 구조: 에이전트 런타임이 도구를 호출할 때마다 도구 이름, 입력 해시, 출력 해시, 결과 개수, 추출된 사실 (facts), 타임스탬프 등을 포함하는 영수증을 생성하고 HMAC-SHA256 으로 서명합니다.
• 보안: LLM 은 서명 키에 접근할 수 없으므로, 존재하지 않는 도구 호출에 대한 위조 영수증을 만들 수 없습니다.
• 검증 프로토콜:
  1. LLM 은 응답 시 각 주장에 대해 Pramāṇa 범주와 해당 영수증 ID 를 메타데이터로 태깅합니다 (Self-tagging).
  2. 검증 엔진은 태그된 주장을 영수증과 대조합니다.
     • Pratyakṣa: 영수증의 결과 개수와 사실 (facts) 필드가 일치하는지 확인.
     • Abhāva: 영수증이 비어있는지 (결과 개수 = 0) 확인.
     • Śabda: 해당 URL 을 실제로 가져왔는지 확인.
  3. Deep Agent Cross-Checking: 자율 에이전트의 경우, 영수증이 없는 중간 단계를 위해 URL 재요청, 계산 재실행, 시간적 일관성 확인 등을 수행합니다.

3. 주요 기여 (Key Contributions)

1. Pramāṇa 분류 체계: 니야 철학의 6 가지 범주를 에이전트 주장의 검증 상태에 매핑한 새로운 분류 체계 제시.
2. HMAC 영수증: 도구 호출과 출력을 위변조할 수 없는 암호학적 증거를 제공하여 결정론적 할루시네이션 탐지 가능.
3. 교차 검증 프로토콜: 자율 에이전트의 다단계 작업을 위해 URL 재요청 및 독립적 재실행을 통한 검증 프로토콜 개발.
4. NyayaVerifyBench 벤치마크: 4 개 언어 (영어, 힌디어, 중국어, 스페인어) 로 구성된 1,800 개의 에이전트 응답 시나리오와 6 가지 유형의 할루시네이션을 포함한 새로운 벤치마크 공개.
5. 신뢰도 보정 (Trust Calibration): "Fully Verified" 응답이 98.7% 의 정확도를 보이며, 사용자에게 이진법 (검증됨/아님) 이 아닌 세분화된 신뢰 신호를 제공함을 실증.

4. 실험 결과 (Results)

NyayaVerifyBench를 통한 평가 결과는 다음과 같습니다.

• 검출률 (Detection Rate): 전체 할루시네이션에 대해 **91%**의 검출률을 기록했습니다.
  • 위조된 도구 호출: 94.2%
  • 결과 개수 오보고: 87.6%
  • 잘못된 부재 주장 (False Absence): 91.3%
  • 사실 오보고: 89.1%
• 성능 오버헤드: 응답당 15ms 미만의 검증 오버헤드만 발생하여 실시간 상호작용에 적합합니다. (ZK 증명은 수 분 소요, Self-Consistency 는 3~5 초 소요).
• 다국어 성능: 영어, 힌디어, 중국어, 스페인어 전반에 걸쳐 일관된 성능을 보였습니다 (검출률 변동폭 4.1% 이내). 텍스트 기반 방법론 (SVIP 등) 은 비영어권에서 성능이 급격히 저하되는 반면, NabaOS 는 구조화된 데이터 (영수증) 에 기반하므로 언어에 독립적입니다.
• 신뢰도 보정:
  • "Fully Verified"로 표시된 응답의 실제 정확도: 98.7%
  • "Unreliable"로 표시된 응답의 실제 정확도: 23.4%
  • 이는 시스템이 사용자에게 신뢰할 수 있는 신호를 잘 보정 (Calibrated) 하고 있음을 의미합니다.

5. 의의 및 결론 (Significance)

• 실용적 타당성: NabaOS 는 ZK 증명과 같은 무거운 암호학적 접근 대신, **실제 도구 실행 증거 (Receipts)**에 기반한 경량화된 접근을 통해 대화형 에이전트의 할루시네이션 문제를 해결합니다.
• 행동 가능한 신뢰 신호: 단순한 '검증됨/아님'의 이진 판단을 넘어, 사용자가 주장의 근거 (직접 관찰 vs 추론 vs 외부 증언) 를 이해하고 상황에 따라 적절한 신뢰도를 판단할 수 있도록 돕습니다.
• 지식 기반의 투명성: "에이전트가 무엇을 어떻게 알았는지"에 대한 인식론적 투명성 (Epistemic Transparency) 을 제공함으로써, 인간과 AI 간의 신뢰 구축에 새로운 패러다임을 제시합니다.

결론적으로, NabaOS 는 상호작용형 개인 에이전트에게 비용 대비 효율이 뛰어나고 실시간으로 적용 가능한 할루시네이션 탐지 솔루션을 제공하며, 인도 철학의 고전적 지혜를 현대적인 AI 검증 시스템에 성공적으로 접목한 사례입니다.