🤖 AI

SIRIN: A Unified Toolkit for Detecting Contextual Hallucinations in Retrieval-Augmented and Memory-Grounded LLM Systems

SIRIN은 검색 증강, 에이전트 기반, 그리고 메모리 기반 LLM 시스템에서 문맥적 환각을 식별하고 질의 답변 가능성을 평가하기 위해 여러 탐지 패러다임을 통합한 통합 툴킷이자 대화형 웹 인터페이스입니다.

원저자: Julia Belikova, Rauf Parchiev, Mikhail Filimonov, Konstantin Polev, Andrey Savchenko, Maksim Makarenko

게시일 2026-08-04

📖 3 분 읽기☕ 가벼운 읽기

원저자: Julia Belikova, Rauf Parchiev, Mikhail Filimonov, Konstantin Polev, Andrey Savchenko, Maksim Makarenko

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 도서관의 거의 모든 책을 읽은, 매우 똑똑하고 매우 빠른 로봇과 채팅을 하고 있다고 상상해 보세요. 당신이 질문을 던지면 로봇은 완벽한 문법과 자신감 넘치는 어조로 즉각 답변합니다. 하지만 여기 함정이 있습니다. 때때로 그 로봇은 지어낸 이야기를 하기도 합니다. 역사적 사건이 잘못된 날짜에 일어났다고 말하거나, 이야기 속 캐릭터가 하지 않은 행동을 했다고 말할 수도 있습니다. 이것을 "환각(hallucination)"이라고 부릅니다. 로봇이 의도적으로 거짓말을 하는 것이 아니라, 너무 그럴듯하게 들리게 만드는 데 집중한 나머지 사실 여부를 확인하는 것을 잊어버리는 것입니다.

인공지능의 세계에는 이를 막기 위해 시도하는 두 가지 주요 방법이 있습니다. 한 가지 방법은 로봇에게 특정 노트 세트(이른바 "문맥" 또는 "증거")를 주고, "이 노트만을 사용하여 답변하라"고 지시하는 것입니다. 이것은 마치 학생에게 시험 중에 참고 자료를 주는 것과 같습니다. 다른 한 가지 방법은 로봇이 그 노트에서 벗어날 때 이를 알아챌 수 있는 "진실 탐지기"를 구축하는 것입니다. 오랫동안 이러한 진실 탐지기를 만드는 일은 매우 복잡했습니다. 어떤 탐지기는 로봇의 내부 코드(뇌)를 들여다봐야만 작동하는 반면, 어떤 것들은 로봇의 최종 답변만을 읽어야 작동합니다. 어떤 것은 로봇이 얼마나 확신하는지를 체크하고, 어떤 것은 에세이를 채점하는 엄격한 선생님처럼 행동합니다. 이 도구들이 모두 서로 다르게 만들어졌기 때문에, 서로 비교하거나 함께 사용하여 AI를 정직하게 유지하기란 어려웠습니다.

여기, Sber AI Lab의 연구원들이 만든, AI의 거짓말을 잡아내는 유니버설 번역기이자 스위스 아미 나이프 역할을 하는 새로운 툴킷인 SIRIN이 등장했습니다. SIRIN을 "환각 제어 타워"라고 생각하십시오. SIRIN은 당신이 서로 다른 유형의 진실 탐지기 중 하나를 선택하도록 강요하는 대신, 이 모든 것을 하나의 지붕 아래로 모읍니다. SIRIN은 세 가지 매우 다른 검증 방식을 통합합니다:

"뇌 스캔" (Probing): 로봇이 말을 하기 전, 생각하는 동안 내부에서 주저하거나 혼란스러워하는지를 살펴봅니다.
"엄격한 선생님" (Judge): 두 번째의 독립적인 AI를 사용하여 답변과 노트를 나란히 대조하며 서로 일치하는지 확인합니다.
"신뢰도 측정기" (Uncertainty): 공부를 충분히 했는지 확신하지 못하는 긴장한 학생처럼, 로봇이 자신의 답변에 대해 얼마나 불안해하는지를 측정합니다.

SIRIN은 로봇이 말을 마친 후에 거짓말을 잡는 것에 그치지 않습니다. 로봇이 글을 쓰기 시작하기 전에도, 가지고 있는 노트가 질문에 답하기에 실제로 충분한지를 확인합니다. 만약 노트가 부족하다면, SIRIN은 "멈춰! 아직 이 질문에 답할 수 없어"라고 말하여 로봇이 추측하는 것을 방지합니다.

연구원들은 이 방법들을 결합함으로써 훨씬 더 강력한 안전망을 구축할 수 있다는 것을 발견했습니다. 다양한 과업에 대해 SIRIN을 테스트했을 때, "엄격한 선생님" 방식(학습된 AI 판사 사용)이 특히 학습할 사례가 많을 때 거짓말을 포착하는 데 가장 정확했습니다. 그러나 "뇌 스캔" 방식은 학습할 사례가 많지 않을 때도 오류를 잡아내는 데 놀라울 정도로 뛰어나, 가볍고 효율적인 옵션이 되었습니다.

아마도 가장 흥eli로운 발견은 SIRIN이 장기 기억 시스템의 "문지기"로서 어떻게 작동하는가 하는 점일 것입니다. 당신의 대화를 몇 주 동안 기억하는 AI 에이전트를 상상해 보십시오. 만약 그 에이전트가 세부 사항을 잘못 기억한다면, 그 잘못된 기억 위에 완전히 새로운 가짜 기억을 쌓아 올려 오류를 심화시킬 수 있습니다. 연구원들은 에이전트가 답변하기 전에 SIRIN을 체크포인트로 사용함으로써, 답변의 정확도를 약 62%에서 거의 79%까지 높일 수 있으며, 완전히 지어낸 사실의 수를 절반으로 줄일 수 있음을 보여주었습니다.

요컨대, 이 논문은 AI 환각을 잡는 것이 단 하나의 완벽한 탐지기를 찾는 문제가 아니라는 점을 시사합니다. 대신, 다양한 유형의 검사들을 섞어서 사용할 수 있는 유연한 시스템을 구축하는 것이 중요합니다. SIRIN은 이러한 도구들을 하나의 쉽고 사용하기 편한 인터페이스로 통합했을 때, AI 시스템의 핵심 코드를 다시 작성할 필요 없이 지원되지 않는 주장을 잡아내고 로봇이 어디서 틀렸는지를 정확히 짚어내어, AI를 훨씬 더 신뢰할 수 있게 만들 수 있음을 증명합니다.

기술 요약: SIRIN – 문맥적 환각 탐지를 위한 통합 툴킷

문제 정의

대규모 언어 모델(LLM)은 제공된 근거에 기반하지 않은 채 유창하고 그럴듯한 응답을 생성하는 경우가 빈번하며, 이러한 실패 모드를 **문맥적 환각(contextual hallucination)**이라 부른다. 이 문제는 검색 증강 생성(RAG) 및 에이전트 시스템에서 모델이 장기 기억을 관리할 때 특히 치명적인데, 근거가 없는 주장이 시간이 지남에 따라 누적될 수 있기 때문이다.

현재 환각 탐지 분야의 지형은 파편화되어 있다. 기존의 오픈 소스 툴킷들(예: LM-Polygraph, RAGAS, DeepEval)은 대개 특정 탐지 패러다임만을 지원하거나, 특정 입도(응답 수준 vs. 스팬 수준)에서만 작동하며, 서로 다른 방법론을 비교하기 위한 통합된 인터페이스가 부족하다. 또한, 대부분의 도구는 생성 후의 충실성(faithfulness)에만 집중하여, 생성 전 단계의 핵심 과업인 **질의 답변 가능성(query answerability, 컨텍스트가 충분한지 결정하는 작업)**을 간과한다. 이러한 파편화는 상호 보완적인 신호들을 결적으로 결합하거나, 탐지기를 벤치마킹하거나, 이를 프로덕션 시스템의 통합된 신뢰 계층으로 배포하는 것을 어렵게 만든다.

방법론: SIRIN 프레임워크

SIRIN(Semantic Inconsistency Recognition and Inspection Nexus)은 환각 탐지를 인프라 문제로 취급함으로써 이러한 파편화 문제를 해결한다. SIRIN은 세 가지 구별된 탐지 패러다임과 생성 전 단계의 과업을 단일 인터페이스, 구성 시스템 및 평가 파이프라인 아래에 통합하는 플러그인 방식의 통합 툴킷을 제공한다.

1. 통합 탐지기 패밀리

SIRIN은 화이트박스(내부 모델 상태 접근 가능)와 블랙박스(텍스트 전용) 설정을 모두 지원하는 세 가지 탐지기 그룹을 분류한다:

프로빙 (Probing, White-box): 고정된 내부 특징(예: 은닉 상태, 어텐션 맵, 토큰 확률) 위에 경량 분류기(예: 선형 헤드, CatBoost, TabPFN)를 학습시킨다. 이 프로브들은 표현 신호를 바탕으로 충실한 출력과 환각된 출력을 구분한다.
판사형 (Judge-style, Black-box/Text-only): 관찰 가능한 입력과 출력에 의존한다. 여기에는 근거와 정답 사이의 의미적 일관성이나 모순을 확인하기 위해 인코더 기반 분류기(예: ModernBERT, DeBERTa)나 LLM-as-a-judge 검증(예: Qwen, GPT-5.4-mini)을 사용하는 방식이 포함된다.
불확실성 추정 (Uncertainty Estimation, UE): LM-Polygraph 라이브러리를 래핑하여 다양한 불확실성 추정기(확률 기반, 샘플링 기반, 어텐션 인식 기반)를 노출하며, 모델의 확신 패턴(예: 엔트로피, 퍼플렉서티)을 바탕으로 생성물에 점수를 매긴다.

2. 파이프라인 아키텍처

SIRIN은 환각 탐지를 위한 입력 트리플 $(c, q, a)$ 또는 답변 가능성을 위한 쌍 $(c, q)$ 를 처리하는 구성 가능한 파이프라인을 구현한다.

공유 보고서 스키마: 모든 탐지기는 교정된 확률 점수( $s \in [0, 1]$ ), 예측된 라벨, 그리고 선택적 근거(스팬 점수, 근거 설명)를 포함하는 표준화된 보고서를 출력한다.
효율적 처리: 프로빙의 경우, 파이프라인은 고정된 LLM으로부터 특징을 추출할 때 단 한 번의 순방향 패스(single forward pass) 내에서 수행되므로, 중복된 모델 호출 없이 여러 특징 패밀리를 동시에 처리할 수 있다.
입도(Granularity): 시스템은 런타임 게이팅을 위한 응답 수준(response-level) 점수와 특정 미지원 텍스트 구간을 검사하기 위한 스팬 수준(span-level) 점수를 모두 지원하며, 이를 위해 재사용 가능한 스플리터/애그리게이터를 활용한다.
확장성: 새로운 탐지기는 특징 프로세서, 탐지기, 또는 애그리게이터라는 세 가지 플러그 포인트를 통해 추가된다. 설정은 타입화된 Hydra 호환 파일을 통해 관리되어, 파이프라인의 재작성 없이도 태스크 전환이 가능하다.

3. 대화형 웹 UI

SIRIN은 사용자가 컨텍스트-질의-정답 트리플을 입력하고, 모든 패밀리에서 탐지기를 선택하여 결과를 시각화할 수 있는 Streamlit 기반의 웹 인터페이스를 포함한다. 주요 기능은 다음과 같다:

실시간 환각 점수 산출.
미지원 스팬의 하이라이트 및 스팬별 위험 점수 표시.
서로 다른 탐지기 출력의 병렬 비교.
RAGTruth, PsiloQA, Mu-SHROOM과 같은 데이터셋의 큐레이션된 예시 지원.

주요 기여

통합 툴킷: SIRIN은 프로빙, 판사형, 불확실성 추정 방법론을 답변 가능성과 함께 화이트박스 및 블랙박스 환경에서 응답 및 스팬 입도로 지원하는 최초의 오픈 소스 통합 툴킷이다.
대화형 검사: 컨텍스트-질의-정답 트리플을 분석하고, 미지원 스팬을 시각화하며, 탐지기 성능을 직접 비교할 수 있는 라이브 웹 UI를 제공한다.
경험적 입증: 저자들은 다음 분야에서 SIRIN의 유용성을 입증하였다:
- 여러 벤치마크에 걸친 문맥적 환각 탐지 및 질의 답변 가능성 검증.
- SimpleMem 장기 기억 시스템 내에서의 **충실성 게이트(faithfulness gate)**로서의 통합, 즉 선택적 예측 레이어로서의 역할 수행.

실험 결과

응답 수준 탐지

RAGTruth 및 SQuAD 2.0에서 평가:

프로빙: 경량 프로브는 강력한 결과(예: RAGTruth QA에서 88.0 AUROC)를 달성하였으며, 데이터가 부족한 시나리오에서 미세 조정된 인코더 판사보다 우수한 성능을 보였다.
판사(Judges): LoRA로 미세 조정된 디코더 판사(예: Qwen3-4B)는 충분한 주석이 있는 경우 가장 높은 성능(RAGTruth QA에서 93.5 AUROC)을 기록하며 프로브보다 5.5~9.0 AUROC 포인트 높은 성과를 냈다. 제로샷 GPT-5.4-mini 역시 경쟁력 있는 성능을 보였다.
불확실성: 비지도 불확실성 추정기(예: MeanTokenEntropy, RAUQ)는 약한 베이스라인(58.8–69.0 AUROC)을 보였으나, 학습 데이터가 필요하지 않다는 장점이 있다.
답변 가능성: 동일한 파이프라인이 생성 전 답변 가능성 체크를 성공적으로 수행하였으며, 어텐션 풀링 프로브는 SQuAD 2.0에서 87.9 AUROC에 도달했다.

스팬 수준 탐지

PsiloQA(영어 서브셋)에서 평가:

프로브는 고품질의 랭킹(최대 76.0 AUROC)을 제공하였으며, 스팬 주석이 부족한 상황에서도 효과적임을 입증했다.
학습된 판사(LoRA-Qwen3-4B)는 주석이 풍부한 설정에서 최고의 로컬라이제이션 지표(74.8 F1, 69.3 IoU)를 달성하였으나, 제로샷 스팬 태깅은 성능이 크게 떨어졌다.

메모리 시스템 통합 (SimpleMem)

SIRIN은 LongMemEval 상의 SimpleMem 시스템에서 신뢰 계층으로 통합되었다:

메커니즘: 두 가지 게이트가 적용된다. 질의가 커버되지 않았을 경우 검색을 확장하는 답변 가능성 게이트(생성 전)와, 생성된 스팬을 근거와 대조하여 검증하는 충실성 게이트(생성 후)이다.
결과: 두 게이트를 결합함으로써 서비스되는 답변의 정확도를 베이스라인 **62.4%**에서 **79.3%**로 높였으며, 엄격한 미충실성(unfaithfulness)을 **20.2%**에서 **9.8%**로 줄였다. 이는 추가적인 생성 비용 없이 선택적 예측(제공, 재시도, 또는 중단)을 통해 달성되었다.

의의 및 주장

본 논문은 문맥적 환각 탐지가 단일 탐지기의 문제가 아니라 인프라 문제라고 주장한다. SIRIN의 의의는 다음과 같다:

표준화: 서로 다른 패러다임에 걸쳐 탐지기를 개발, 벤치마킹 및 배포할 수 있는 공통 환경을 제공한다.
실용성: 레이블이 부족할 때는 경량 프로브가 효과적이며, 충분한 데이터가 있을 때는 학습된 판사가 우세하다는 점을 입증한다.
체계적 개선: 통합된 탐지 계층이 에이전트형 메모리 시스템의 신뢰 계층으로서 역할을 수행하여, 기본 메모리 구조를 변경하지 않고도 신뢰성을 크게 향상시키고 환각을 줄일 수 있음을 보여준다.

저자들은 SIRIN이 모든 근거 있는 응답이 검증되고, 미지원 스팬이 가시화되며, 새로운 탐지기가 플러그인을 통해 쉽게 통합될 수 있는, 검증이 LLM 스택의 표준 레이어가 되는 단계로 나아가는 발걸음이라고 결론짓는다.

한계점

저자들은 현재 탐지기들이 영어 데이터로 학습되었으며 다국어 환경에서는 검증되지 않았음을 언급하였다. 성능은 주석 데이터의 품질과 도메인 일치 여부에 달려 있으며, 도메인 외 배포 시 재교정이 필요할 수 있다. 또한, 메모리 게이팅 결과는 단일 생성기 백본으로 평가되었으며, 웹 UI는 현재 동시에 로드할 수 있는 모델 수에 따른 GPU 메모리 제약을 받고 있다.