🤖 machine learning

Density Ridge Selective Prediction for LLM and VLM Hallucination Detection under Calibration Label Scarcity

이 논문은 LLM 및 VLM의 응답 매니폴드를 6차원 은닉 상태 공간 내의 기하학적 골격으로 모델링하는 밀도 능선 기반의 선택적 예측 방법을 소개하며, 심각한 캘리브레이션 레이블 부족 상황에서도 기존의 비지도 및 지도 학습 베이스라인보다 현저히 우수한 환각 탐지 성능을 달성한다.

원저자: Nina I. Shamsi

게시일 2026-06-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nina I. Shamsi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑하지만 가끔은 딴생각에 빠지기도 하는 로봇에게 이야기나 질문에 대한 답을 요구하고 있다고 상상해 보세요. 때때로 이 로봇은 천재적이고 정확하지만, 때로는 자신 있게 거짓말을 지어내기도 합니다(이를 '환각(hallucination)'이라고 부릅니다).

이 논문의 목표는 이러한 로봇을 위한 거짓말 탐지기를 만드는 것입니다. 구체적으로는 다음과 같은 질문을 던지고자 합니다. "이 답변을 믿어도 될까, 아니면 '모른다'라고 말해야 할까?" 이것을 **선택적 예측(Selective Prediction)**이라고 합니다.

저자들은 이 문제를 해결하기 위해 다음과 같이 쉬운 비유를 사용하여 설명했습니다.

1. 문제점: 충분하지 않은 "정답지"

보통 거짓말 탐지기를 훈련시키려면 이미 정답(레이블)을 알고 있는 방대한 양의 질문 더미가 필요합니다. 하지만 현실 세계에서는 이러한 "정답지"를 충분히 가지고 있지 않은 경우가 많습니다.

기존 방법 A (비지도 학습 방식): 로봇에게 같은 질문을 5번 던집니다. 만약 5번 모두 완전히 다른 대답을 내놓는다면, 로봇이 혼란스러워하고 있을 가능성이 높습니다. 이 방법은 어느 정도 작동하지만, 아주 정교하지는 않습니다.
기존 방법 B (지도 학습 방식): 레이블이 붙은 방대한 정답 더미를 사용하여 선생님이 거짓말을 잡아내도록 훈련시킵니다. 정답지가 있다면 매우 훌륭한 방법이지만, 정답지가 몇 개(예: 200개)밖에 없다면 선생님은 혼란에 빠져 실패하게 됩니다.

저자들은 아주 적은 양의 "정답지"만 있어도 전문가처럼 작동하는 방법을 원했습니다.

2. 해결책: "고속도로" 비유

저자들은 단순히 로봇이 무엇을 말하는지만 보는 대신, 로봇이 생각하는 동안 어떻게 생각하는지를 살펴보았습니다.

숨겨진 경로: 로봇이 단어를 생성할 때마다, 로봇은 복잡하고 보이지 않는 수학적 공간(내부 상태, "hidden state")을 통과합니다. 로봇이 문장을 만들어가는 과정을 추적하면 하나의 흔적이 남습니다.
고속도로 (능선): 저자들은 로봇이 진실을 말할 때, 그 생각의 경로가 매우 특정한 형태의 매끄러운 "고속도로"(밀도 능선, density ridge)를 따른다는 것을 발견했습니다. 이는 마치 기차가 선로 위에 완벽하게 머물러 있는 것과 같습니다.
오프로드 (환각): 로봇이 거짓말을 하거나 환각을 일으키기 시작하면, 생각의 경로가 엉망이 됩니다. 고속도로를 벗어나 숲속을 헤매거나 도랑에 빠지게 됩니다.

3. 탐지기의 작동 원原理

저자들은 소량의 알려진 정답(200개의 레이블된 질문)을 사용하여 이 "고속도로"를 그려내는 시스템을 구축했습니다.

고속도로 지도 만들기: "정확한" 생각의 경로들을 가져와서 그것들이 형성하는 매끄러운 고속도로의 3D 지도를 만듭니다.
새로운 경로 테스트: 새로운 질문이 들어오면, 로봇의 생각의 경로를 관찰합니다.
거리 측정: 새로운 경로가 고속도로에서 얼마나 멀리 떨어져 있는지 측정합니다.
- 고속도로와 가깝다면? 로봇이 진실을 말하고 있을 가능성이 높습니다.
- 멀리 떨어져 있다면 (오프로드)? 로봇이 환각을 일으키고 있을 가능성이 높습니다.

이것을 "밀도 능선(Density Ridge)"이라고 부릅니다. 산의 능선을 생각해보세요. 능선 위를 걷고 있다면 안전하지만, 경사면 아래로 멀리 내려가면 위험에 처하게 됩니다.

4. 결과: 왜 더 나은가?

저자들은 9가지의 서로 다른 AI 모델(텍스트 전용 및 이미지를 볼 수 있는 모델 모두 포함)과 7가지 유형의 퀴즈(수학, 과학, 일반 상식)를 통해 이 모델을 테스트했습니다.

성적: 그들은 "고속도로 탐지기"를 로봇이 얼마나 자신감 있게 말하는지 확인하는 방법(로그 확률)이나 로봇이 얼마나 다른 답변을 내놓는지 확인하는 방법(의미론적 엔트로피)과 같은 기존 방법들과 비교했습니다.
승리: 그들의 방법이 유의미하게 더 뛰어났습니다. 많은 경우, 거짓말을 포착하는 정확도를 5%에서 20%까지 향상시켰습니다.
"희소성"에서의 승리: 심지어 학습을 위해 단 200개의 레이블된 질문만을 제공했을 때도(매우 적은 양임에도 불구하고), 그들의 방법은 무너지지 않았습니다. 많은 데이터를 필요로 하는 다른 방법들이 무너지는 동안, 이 방법은 강력하게 유지되었습니다.

5. 시사점

이 논문은 AI의 거짓말을 찾아내는 비결은 단순히 최종 답변을 보거나 질문을 여러 번 반복하는 것에 있는 것이 아니라, 그곳에 도달하기 위해 AI가 거치는 여정의 형태에 있다고 주장합니다.

만약 AI의 내부 사고 과정이 진실의 매끄럽고 익숙한 "능선"을 따른다면, 우리는 그것을 믿을 수 있습니다. 만약 그 경로가 미지의 영역으로 헤맨다면, 우리는 회의적인 태도를 가져야 합니다. 이 방법은 방대한 양의 정답 라이브러리를 대조할 수 없는 상황에서도 이러한 "헤매는 경로"를 감지할 수 있게 해줍니다.

기술 요약: LLM 및 VLM의 환각 탐지를 위한 밀도 능선 선택적 예측 (Density Ridge Selective Prediction)

문제 정의

본 논문은 교정 레이블 부족(calibration-label scarcity) 조건하에서 거대 언어 모델(LLM) 및 시각-언어 모델(VLM)의 환각 탐지(hallucination detection) 문제를 다룹니다. 환각 탐지는 점차 선택적 예측(selective prediction) 작업(모델이 확신이 낮을 경우 답변을 유보하는 방식)으로 프레임화되고 있으나, 기존 접근 방식들은 다음과 같은 상당한 한계에 직면해 있습니다:

비지도 샘플링 탐지기(예: Semantic Entropy, Eigen-Score)는 레이블의 필요성을 피할 수 있지만, 탐지 품질이 정체되는 경향이 있습니다.
지도 학습 기반 은닉 상태 프로브(예: SAPLMA)는 분포 내(in-distribution) 성능은 강력하지만, 사용 가능한 교정 레이블의 수가 적을 때 성능이 급격히 저하됩니다.

저자들은 상호 보완적인 신호인 생성 시점의 은닉 상태 궤적(generation-time hidden state trajectories)의 기하학적 구조를 활용할 것을 제안합니다. 이들은 고정된 쿼리에 대해 반복적인 샘플링이 임베딩 공간 내에서 다중 모드 분포(multimodal distribution)를 형성하며, 이 모드들이 서로 다른 응답 전략을 인코딩한다고 가정합니다. 최근 연구들은 이러한 궤적의 곡률 진화(curvature evolution)가 추론 품질을 진단하는 지표가 될 수 있음을 시사합니다.

방법론

제안된 방법인 **밀도 능선 선택적 예측(Density Ridge Selective Prediction)**은 운동학적 특징(kinematic features)을 기반으로 구축된 커널 밀도 추정(KDE)의 밀도 능선으로서 LLM의 "응답 매니폴드(response manifold)"를 복구합니다.

운동학적 특징 맵 (Kinematic Feature Map):
각 샘플링된 완성 문구에 대해, 모델은 최종 레이어의 마지막 토큰 상태로부터 은닉 상태 궤적( $H_{i,j}$ )을 추출합니다. 특징 맵 $\phi$ 는 다음의 운동학적 기술자들을 사용하여 고차원 궤적을 6차원 공간( $\mathbb{R}^6$ )으로 투영합니다:
- 평균 곡률( $K_n$ ) 및 최대 곡률( $K_{max}$ ).
- 변위 선형성( $R^2$ ).
- 평균 및 최대 단계별 변위( $\|\Delta h\|$ , $\|v\|_{max}$ ).
- 곡률의 정규화된 argmax( $\tau^\star$ ).
  이러한 특징들은 훈련 통계치를 사용하여 z-score 정규화됩니다.
능선 구축 (Ridge Construction):
- 이 방법은 정답 궤적의 부분 집합( $\tilde{X}^+$ )에 대해서만 가우시안 KDE( $\hat{p}$ )를 적합시킵니다.
- 로그 밀도의 그래디언트( $g$ )와 헤시안( $\nabla^2 \log \hat{p}$ )을 계산합니다.
- 1차원 밀도 능선( $R_1$ )은 법선 부분 공간(normal subspace)으로의 투영된 그래디언트가 0이고, 대응하는 고윳값이 음수인 점들의 집합으로 정의됩니다.
- **부분 공간 제약 평균 이동(Subspace Constrained Mean Shift, SCMS)**을 사용하여 점들을 이 능선의 고정된 점들(정점 집합 $V = \{v_k\}$ )로 반복적으로 투영합니다.
- TwoNN을 통한 내재적 차원 검증을 통해 능선이 1차원( $r=1$ )임을 확인합니다.
- 능선을 표현하기 위해 세 가지 좌표 변형을 탐색합니다: Global LTSA, Hastie–Stuetzle 측지선 호 길이(geodesic arclength), 그리고 Stitched Local-Chart Atlas.
스코어링 및 OOD 해석:
- 테스트 쿼리에 대해, 모델은 $N$ 개의 궤적을 생성하고, 이를 6차원 특징 공간으로 매핑한 후, 가장 가까운 능선 정점까지의 최소 유클리드 거리인 오프-리치 거리(off-ridge distance)( $z_{off}$ )를 계산합니다.
- 최종 신뢰도 점수는 음의 평균 오프-리치 거리입니다: $s(q) = -\frac{1}{N} \sum z_{off}$ .
- 능선은 오직 정답 데이터에 대해서만 적합되므로, 오답(환각) 생성은 자신의 밀도와 관계없이 분포 외(OOD)로 취급되어 더 큰 거리와 낮은 점수를 갖게 됩니다.

주요 기여

응답 매니폴드 탐지기: 지도 학습된 저차원 궤적-곡률 특징 위에서 LLM 응답 매니폴드를 밀도 능선으로 복구하는 새로운 탐지기를 제시합니다.
레이블 부족 환경 평가: 의도적으로 레이블이 부족한 교정 프로토콜( $n_{cal}=200$ 쿼리)을 사용하여 9개의 모델(텍스트 및 비전)과 7개의 벤치마크(HaluEval-QA, TriviaQA, GSM8K, POPE, ScienceQA, A-OKVQA 포함)에 대해 엄격한 평가를 수행했습니다.
절제 연구 (Ablation Studies): 세 가지 파라미터화 변형(LTSA, Arclength, Atlas) 및 커널 구성 전반에 걸쳐 능선 기하학의 기여도를 분리하여 분석함으로써, 일반적인 임베딩 거리가 아닌 능선 구조가 성능을 주도함을 입증했습니다.

실험 결과

방법론은 Semantic Entropy, 로그 확률(log-probability), 그리고 다양한 위상적/기하학적 베이스라인(예: LID-MLE, Flow Matching, kNN)과 비교 평가되었습니다.

성능 향상: 능선 기반 점수는 다양한 모델-데이터셋 조합에서 모든 베이스라인을 AUROC 측면에서 일관되게 앞질렀습니다.
- 예시: Idefics3/A-OKVQA에서, AUROC는 0.795(log-probability)에서 0.972(Ridge LTSA Chart)로 향상되었습니다.
- 예시: SmolVLM/ScienceQA에서, AUROC는 0.790에서 0.990(Ridge Arclength)으로 상승했습니다.
오류 지표: 이 방법은 동시에 AURC(Area Under the Risk-Curve)와 AUGRC를 감소시켜, 유보(abstention) 시의 위험 관리 능력이 우수함을 보여주었습니다.
안정성: 특정 멀티모달 설정에서 비-능선 베이스라인(예: Topology LID-MLE)이 무작위 수준에 가까운 성능(AUROC ~0.47–0.51)으로 저하되는 동안, 능선 방법은 높은 성능을 유지했습니다.
양자화 강건성: 성능 계층 구조(Ridge > Log-Probability > Non-Ridge)는 bf16 정밀도뿐만 아니라 공격적인 nf4 양자화 하에서도 지속되었습니다.
상보성: 기하학적 신호는 토큰 수준의 확신(log-probability)과 상보적인 것으로 증명되었습니다. 능선 방법은 log-probability가 이미 강력했던 데이터셋(예: HaluEval-QA)에서도 AUROC를 개선했습니다.

의의 및 주장

본 논문은 정직한 생성과 환각 생성 사이의 주요 차이점은 은닉 상태의 원시 위치(raw location)가 아니라, **궤적-특징 공간의 형태(shape of the trajectory-feature space)**에 있다고 주장합니다. 구체적으로:

위치보다 기하학: 일반적인 임베딩 거리(kNN, PCA)는 불충분하며, 복구된 1차원 매니폴드 밀도 능선이 탐지에 사용되는 핵심 신호입니다.
희소성에 대한 강건성: 이 방법은 레이블 희소성 상황에서도 "완만한 저하(tempered degradation)"를 보여주며, 일반적인 지도 학습 프로브가 실패하는 지점에서 강력한 성능을 회복합니다.
한계점: 저자들은 헤드 투 헤드(head-to-head) 비교가 모든 탐지기에 공통된 셀로 제한되었음을 언급합니다. 또한 Semantic Entropy가 데이터 희소성 하에서 무작위 성능으로 퇴화할 수 있으며, 지도 학습 투영 프런트엔드는 적합 시 양측 클래스 레이블이 모두 필요하다는 점을 인정합니다. 향후 연구로는 진정한 축별 커널 절제 연구와 능선 점수에 대한 분포 불변 컨포멀 보장(distribution-free conformal guarantees)의 확장이 제안되었습니다.