🤖 AI

Mixture-of-Expert Blocks Contain Strong Hallucination Detection Signals

이 논문은 단 한 번의 순전파(forward pass)만으로도 여러 데이터셋에 걸쳐 우수한 성능을 달성하기 위해 라우터 엔트로피(router entropy) 및 전문가 불일치(expert disagreement)와 같은 혼합 전문가(Mixture-of-Experts, MoE) 구조의 고유한 내부 신호를 활용하는 새로운 토큰별 환각 탐지 방법인 InnerExpert를 소개한다.

원저자: Joao Fonseca, Rodrigo Rodrigues, Paolo Romano

게시일 2026-08-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Joao Fonseca, Rodrigo Rodrigues, Paolo Romano

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델은 새로운 세대의 인공지능을 이끄는 엔진으로, 에세이를 쓰고, 문제를 해결하며, 놀라울 정도로 인간처럼 느껴지는 대화를 나눌 수 있는 능력을 갖추고 있습니다. 그러나 이러한 유창함의 이면에는 지속적인 결함이 존재합니다. 바로 이 기계들이 때때로 완전한 확신을 가지고 사실을 지어낸다는 점입니다. '환각(hallucination)'이라고 알려진 이 현상은 모델이 그럴듯하게 들리지만 완전히 거짓된 콘텐츠를 생성할 때 발생합니다. 이러한 오류는 일상적인 대화에서는 대개 해롭지 않지만, 모델이 의료 조언, 법률 조사 또는 뉴스 보도에 사용될 때는 위험해집니다. 과학자들의 핵심 과제는 단순히 사후에 이러한 거짓말을 찾아내는 것이 아니라, 거짓이 시작되는 정확한 순간, 이상적으로는 진실이 무너지기 시작하는 바로 그 단어를 식별하여 발생하는 즉시 잡아내는 것입니다.

수년 동안 연구자들은 모델에게 답변을 여러 번 반복하도록 요청하거나, 서로 다른 버전의 이야기가 일치하는지 확인하는 방식으로 이 문제를 해결하려 노력해 왔습니다. 이러한 방법들은 효과가 있지만, 단 하나의 실수를 찾기 위해 컴퓨터가 동일한 작업을 여러 번 수행해야 하므로 느리고 비용이 많이 듭니다. 더 새로운 접근 방식은 모델이 생각하는 동안 모델의 '두뇌' 내부를 들여다보며, 내부 계산 과정에서 나타나는 미묘한 불확실성의 신호를 찾는 것입니다. 하지만 이러한 내부 점검 방식 대부분은 표준 모델에 국한되어 있습니다. 최근에는 더 강력하고 효율적인 형태의 아키텍처인 '전문가 혼합(Mixture-of-Experts)' 구조가 인기를 얻고 있습니다. 이 설계는 마치 전문가 팀처럼 작동하며, 중앙 관리자가 각 단어가 생성될 때마다 어떤 특정 전문가를 호출할지 결정합니다. 지금까지는 이러한 팀 역동성에서 발생하는 신호들이 거짓을 잡아내는 목적으로는 거의 무시되어 왔습니다.

포르투갈의 연구진은 이러한 내부 팀 신호를 마침내 활용하는 '이너엑스퍼트(InnerExpert)'라는 방법을 개발했습니다. 이너엑스퍼트는 모델에게 반복을 요구하거나 문장이 끝날 때까지 기다려 오류를 확인하는 대신, 모델의 내부 라우팅(routing) 과정을 실시간으로 관찰합니다. 모델이 응답을 생성할 때, 작은 라우터가 현재의 단어를 처리할 '전문가' 네트워크를 결정합니다. 연구진은 모델이 환각을 일으키기 직전에 이 라우터가 혼란의 징후를 보인다는 사실을 발견했습니다. 전문가들 사이에 의견이 불일치하거나, 라우터가 해당 작업에 가장 적합한 전문가를 결정하는 데 어려움을 겪을 수 있습니다. 이러한 망설임과 불일치의 순간을 모델이 주의를 기울이는 방식에 대한 표준 신호와 함께 추적함으로써, 이너엑스퍼트는 모든 단어가 생성될 때마다 신뢰도 점수를 할당할 수 있습니다.

연구팀은 영리하고 자동화된 방식으로 시스템을 훈련시켰습니다. 그들은 모델에 수천 개의 질문을 입력했고, 별도의 고성능 인공지능이 어떤 답변이 사실이고 어떤 답변이 지어낸 것인지 판별하는 판사 역할을 하게 했습니다. 이를 통해 연구진은 사람이 직접 데이터를 읽고 수정할 필요 없이, 환각에 앞서 나타나는 특정 내부 신호 패턴을 이너엑스퍼트가 인식하도록 학습시킬 수 있었습니다. 훈련이 완료된 후, 이 시스템은 메인 모델과 함께 실행되는 가벼운 탐지기 역할을 하며, 결과를 도출하기 위해 데이터의 단 한 번의 통과(single pass)만을 요구합니다. 이 시스템은 모델의 속도를 늦추거나 추가 텍스트 생성을 요구하지 않습니다.

다섯 가지 서로 다른 데이터셋과 두 가지 유형의 거대 모델을 대상으로 테스트했을나, 이너엑스퍼트는 놀라운 효과를 입증했습니다. 이 시스템은 문장 수준에서 최대 0.91, 개별 단어 수준에서 0.76의 정확도로 환각된 답변을 성공적으로 식별해 냈습니다. 이 수치들은 기존 방법들이 거짓이 어디서 시작되는지 정확히 짚어내는 데 어려움을 겪는 것과 비교했을 때 상당한 개선을 의미합니다. 또한 이 시스템은 일반화 능력이 뛰어나, 모델이 원래 훈련받은 이후에 발생한 사건에 대한 질문에서도 강력한 성능을 보였는데, 이는 환각이 가장 빈번하게 발생하는 시나리오입니다. 결정적으로, 이 시스템은 매우 적은 계산 비용만을 추가하면서도 높은 수준의 탐지 능력을 달al 성했습니다. 이는 실제 사용에 있어 실용적임을 의미합니다.

또한 이번 연구는 모델의 내부 팀에서 나오는 단일 신호만으로는 모든 거짓을 잡아낼 수 없다는 점을 밝혀냈습니다. 어떤 신호는 특정 유형의 모델에서 오류를 더 잘 감지하는 반면, 다른 신호는 다른 유형의 모델에서 더 잘 작동했습니다. 이너엑스퍼트의 진정한 힘은 라우터의 혼란, 전문가 간의 불일치, 사용 패턴과 같은 이 모든 다양한 신호를 하나의 통합된 점수로 결합하는 데서 나왔습니다. 이러한 결합을 통해 시스템은 단일 지표가 제공할 수 있는 것보다 더 명확한 모델의 신뢰도 그림을 볼 수 있었습니다. 연구진은 모델의 전문가들이 나누는 내부적인 대화(internal chatter)에 귀를 기울임으로써, 시스템을 느리게 만들지 않고도 이전에는 불가능했던 정밀도로 불확실성을 감지할 수 있음을 입증했습니다.

이 연구는 더 신뢰할 수 있는 인공지능을 향한 길이 반드시 더 큰 모델이나 더 복잡한 검증 시스템을 구축하는 데 있는 것은 아님을 시사합니다. 대신, 모델이 이미 생성하고 있지만 무시되고 있는 신호에 더 세심한 주의를 기울이는 데 있을 수 있습니다. 모델의 내부 의사결정 과정에서 나타나는 미묘한 망설임의 신호를 읽는 법을 배움으로써, 우리는 모델이 언제 추측하고 있고 언제 확신하고 있는지를 아는 시스템을 구축할 수 있습니다. 연구진은 이 방법이 매우 효과적이지만 완벽한 해결책은 아니며, 향후 다른 언어와 더 다양한 작업으로 이 기술이 얼마나 잘 번역/적용될 수 있는지 탐구해야 한다고 언급했습니다. 그러나 현재로서는 이 연구가 환각이 발생하는 즉시 잡아낼 수 있는 명확하고 효율적인 방법을 제공함으로써, 인공지능의 결과물을 더욱 신뢰할 수 있게 만드는 실질적인 도구를 제시하고 있습니다.

기술 요약: InnerExpert – MoE 블록은 강력한 환각 탐지 신호를 포함한다

문제 정의

대규모 언어 모델(LLM)은 그럴듯해 보이지만 사실과 다른 내용을 생성하는 현상인 환각(hallucination)을 빈번하게 일으킨다. 이는 신뢰성을 위해 매우 중요하지만, 이러한 환각을 탐지하는 것은 여전히 도전 과제로 남아 있다. 기존의 탐지 방법은 크게 세 가지 범주로 나뉜다:

샘플링 기반(Sampling-based): SelfCheckGPT와 같은 방식은 여러 확률적 생성 간의 일관성을 조사한다. 효과적이긴 하지만, 여러 번의 순전파(forward pass)가 필요하기 때문에 추론 시 계산 비용이 많이 든다.
내부 신호 기반(Internal-signal): LLM-Check 및 MIND와 같은 방식은 단일 순전파 내의 은닉 상태(hidden states)와 어텐션 패턴을 활용한다. 그러나 이들은 일반적으로 밀집(dense) 아키텍처에서 사용 가능한 제한된 부분 집합의 신호만을 활용하며, Mixture-of-Experts(MoE) 모델 특유의 라우팅 구조를 무시한다.
학습 가능한 탐지기(Trainable detectors): HaluNet 및 FacLens와 같은 접근 방식은 밀집 트랜스포머 신호에 대해 분류기를 학습시키지만, 종종 토큰 단위가 아닌 답변 또는 문장 단위로 작동하여 특정 환각 구간을 국지화하는 데 한계가 있다.

또한, 대부분의 현재 방법들은 환각 구간의 미세한 국지화와 표적 개입을 위해 필수적인 **토큰 단위의 정밀도(per-token granularity)**가 부족하다. 특히 MoE 아키텍처의 고유한 내부 신호를 활용하는 데 있어 구체적인 공백이 존재한다.

방법론: InnerExpert

본 논문은 MoE 아키텍처를 위해 특별히 설계된 단일 패스(single-pass), 토큰 단위 환각 탐지기인 InnerExpert를 소개한다. 이는 모델의 순전파를 가로채 내부 신호를 추출하고 이를 압축된 특징 벡터로 결합한 뒤, 경량 탐지기를 통해 분류하는 방식으로 작동한다.

1. 신호 추출

InnerExpert는 표준 신호(모든 트랜스포머에서 사용 가능)와 MoE 특화 신호(라우팅 메커니즘에서 발생)를 구분한다.

표준 신호:
- 은닉 상태 점수(Hidden State Score): 현재 토큰까지의 중심화된 공분산 행렬의 평균 로그 단일값(mean log-singular-value)을 계산하여 표현상의 중복성을 포착한다.
- 어텐션 점수(Attention Score): 어텐션 커널의 대각 성분의 로그 누적 합을 통해 집중 패턴을 포착한다.
MoE 특화 신호: 이 신호들은 밀집 아키텍처에서는 사용할 수 없으며, 본 논문의 핵심 기여 부분이다. 여기에는 다음이 포함된다:
- 라우터 엔트로피(Router Entropy): 게이팅 분포의 엔트로피로, 전문가 선택의 불확실성을 나타낸다.
- 전문가 은닉 점수(Expert Hidden Score): 활성화된 각 전문가에 대해 독립적으로 계산된 은닉 상태 점수의 라우팅 가중치 합계이다.
- 전문가 유사도(Expert Similarity): 활성화된 전문가 출력 간의 쌍별 코사인 유사도의 라우팅 가중치 평균이다. 낮은 유사도는 불일치(앙상블 불일치와 유사)를 의미한다.
- 전문가 사용 분포(Expert Usage Distribution): 라우팅 확률에 의해 가중치가 부여된 전문가 선택의 누적 분포이다.
- 지니 불순도(Gini Impurity) 및 역 허핀달 지수(Inverse Herfindahl Index): 사용 분포로부터 유도된 지표로, 기여하는 전문가의 확산 정도와 유효 숫자를 측정한다.

2. 특징 조립 및 분류

각 생성된 토큰에 대해, 레이어별 신호는 단일 특징 벡터 $\Phi_t$ 로 평탄화(flattened)된다. 이 벡터는 환각 점수 $s(y_t) \in [0, 1]$ 를 출력하도록 학습된 경량 분류기(예: 로지스틱 회귀, XGBoost, MLP)에 입력된다. 답변 수준의 점수는 토큰 점수들을 집계(max 연산자 사용)하여 얻는다.

3. 학습 감독(Training Supervision)

수동 주석을 피하기 위해, 저자들은 "LLM-as-a-judge" 파이프라인을 사용하는 비지도 학습 방식을 채택한다.

데이터 소스: RealtimeQA 플랫폼의 질문들 (2024년 1월~2025년 12월).
생성: 호스트 모델이 참조 근거(evidence)가 있는 경우와 없는 경우의 답변을 모두 생성한다(RAG 시뮬레이션).
레이블링: 판사 역할을 하는 LLM(GLM-5.1)이 생성된 답변을 참조 근거와 비교하여 이진 환각 레이블을 생성하고 환각 구간을 식별한다. 이 구간들은 토큰 단위의 이진 레이블로 매핑된다.
검증: 이 레이블의 품질은 인간의 주석과 비교 검증되었으며, 약한 어휘적/의미적 휴리스틱보다 훨씬 높은 일치도를 보였다.

주요 기여

InnerExpert 프레임워크: 호스트 LLM을 수정하거나 추가 샘플링을 요구하지 않고도 MoE 특화 내부 신호(라우터 엔트로피, 전문가 불일치, 사용 패턴)를 활용하는 최초의 토큰 단위 환각 탐지 방법이다.
비지도 학습 파이프라인: 참조 근거에 대한 LLM-as-a-judge 레이블링을 사용하여 토큰 단위 탐지기를 학습시키는 공식화된 접근 방식을 제공하며, 이를 통해 수동 주석의 필요성을 제거한다.
신호 인벤토리 및 분석: 6가지 MoE 특화 신호를 표준 트랜스포머 신호와 함께 공식화하여, 어떤 라우팅 신호가 환각에 대한 변별 정보를 담고 있는지 체계적인 연구를 가능하게 한다.
최첨단 성능(SOTA): 여러 데이터셋과 아키텍처에 걸쳐 베이스라인 대비 우수한 성능을 입증하였다.

실험 결과

저자들은 다섯 가지 데이터셋(RealtimeQA, SQuAD, TruthfulQA, NQ-Open, FreshQA)에 대해 두 가지 오픈 웨이트 MoE 모델(OLMoE-1B-7B 및 Gemma-4-26B)로 InnerExpert를 평가했다.

성능: InnerExpert는 다섯 가지 데이터셋 전체에서 평균적으로 최대 0.91 답변 레벨 및 0.76 토큰 레벨 AUROC를 달성했다. 구체적으로, 가장 성능이 좋은 변형인 IE XGB는 Gemma-4-26B에서 평균 답변 레벨 AUROC 0.912를 기록했으며, OLMoE-1B-7B를 위한 최적의 변형인 IE LR은 평균 토큰 레벨 AUROC 0.762를 달 기록했다. 이는 샘플링 기반, 내부 신호 기반, 학습 가능 패러다임의 베이스라인들을 일관되적으로 능가했다.
신호 기여도: 단일 MoE 신호가 두 아키텍처 모두에서 균일하게 강력하지는 않았다. 그러나 분류기를 통해 이들을 결합했을 때 일관된 이득이 나타났으며, 이는 신호들이 상호 보완적인 정보를 제공함을 시사한다. 예를 들어, OLMoE에서 결합 모델은 최적의 개별 MoE 신호보다 AUROC가 0.197 향상되었다.
효율성: InnerExpert는 오직 단일 순전파만을 필요로 한다. 전체 MoE 신호를 추출하면 추론 비용이 일반적인 생성의 약 $2.5\times$ 로 증가하지만, 전체 오버헤드(분류기 추론 포함)는 약 $3\times$ 수준을 유지한다. 이는 여러 번의 순전파(예: $K=5$ )가 필요하고 종종 GPU 메모리 사용량을 두 배로 늘리는 샘플링 기반 방법보다 훨씬 효율적이다.
일반화: 이 방법은 시간적 분포 외 데이터(사후 발생 사건) 및 교차 데이터셋 일반화 작업에서도 베이스라인 대비 일관된 우위를 유지했다.

의의 및 주장

본 논문은 InnerExpert가 MoE 모델의 고유한 내부 구조를 활용함으로써 환각 탐지의 결정적인 공백을 해결한다고 주장한다. 인식론적 불확실성(특히 전문가 불일치 및 라우팅 불확실성)과 관련된 신호를 활용함으로써, 이 방법은 고효율의 미세한 토큰 단위 탐지를 달성한다.

저자들은 다음을 강조한다:

MoE 특화 신호는 텍스트 생성에서의 환각을 탐지하기 위한 풍부하고 이전에 탐구되지 않은 자원이다.
이러한 신호들을 경량 분류기를 통해 표준 트랜스포머 신호와 단순하게 결 조합하는 것만으로도 HaluNet과 같은 복잡한 아키텍처 없이 최첨단 성능을 달성하기에 충분하다.
비지도 학습 파이프라인은 수동 노력 없이 지속적인 모델 업데이트를 가능하게 하여 접근 방식의 확장성을 높인다.

본 연구는 인간 검증의 작은 규모, 영어로 국한된 범위, 경량 분류기에 대한 의존성 등 한계를 언급하며 그 범위를 겸손하게 설정했다. 저자들은 특히 **MLP와 로지스틱 회귀(LR)**가 모델 전반에서 가장 일관된 성능을 보이는 반면, XGBoost는 특정 모델(예: Gemma)에서 급격한 F1 저하를 겪는데, 이는 변별력의 부족보다는 임계값 민감도 때문임을 명시했다. 저자들은 향러 연구 방향으로 도메인 인증, 제어된 텍스트 생성, 그리고 다국어 환경 확장을 제시했다.