💬 NLP

The Confidence Manifold: Geometric Structure of Correctness Representations in Language Models

이 논문은 언어 모델 내의 진실성에 대한 내부 표현이 클래스 중심점(class centroids)에 의해 정의되는 단순하고 저차원적인 기하학적 구조를 형성하며, 이를 통해 선형 프로브(linear probes)와 활성화 스티어링(activation steering)을 통한 환각 현상의 매우 효과적인 탐지 및 인과적 조작이 가능함을 밝힌다.

원저자: Seonglae Cho, Zekun Wu, Kleyton Da Costa, Adriano Koshiyama

게시일 2026-07-31

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Seonglae Cho, Zekun Wu, Kleyton Da Costa, Adriano Koshiyama

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 거의 모든 책을 읽은, 매우 똑똑하고 매우 빠른 로봇과 대화하고 있다고 상상해 보세요. 당신이 질문을 던지면, 로봇은 완벽한 문법과 완전한 자신감으로 대답합니다. 하지만 때때로 로봇은 틀릴 때가 있습니다. 호주의 수도가 시드니라고 말할 수도 있습니다(실제로는 캔버라입니다). 혹은 유명한 역사적 인물이 엉뚱한 세기에 태어났다고 말할 수도 있습니다. 무서운 점은, 로봇이 거짓말을 할 때도 진실을 말할 때와 똑같이 확신에 차 있다는 것입니다. 로봇은 더듬거리지도, 주저하지도 않으며, 내부적으로 계산하는 "자신감 지표"(숫자들)도 정상적으로 보입니다.

오랫동안 과학자들은 궁금해했습니다. 로봇이 말로 내뱉지는 않더라도, 자신이 틀렸다는 것을 알고 있는 것일까? 로봇의 뇌 깊은 곳에 "이 사실은 거짓이다!"라고 외치는 비밀 신호가 숨겨져 있는 것일까? 이를 이해하려면 이 로봇들이 어떻게 작동하는지 조금 알아야 합니다. 이들은 인간처럼 생각하지 않습니다. 대신 이들은 "활성화(activations)"라고 불리는 거대한 숫자 구름으로서 정보를 처리합니다. 로봇이 글을 읽고 생각함에 따라, 이 숫자들은 디지털 네트워크의 층들을 통과하며 흐릅니다. 과학자들은 이 숫자 구름이 단순히 무작위적인 것이 아니라, 특정한 모양과 구조를 가지고 있다는 것을 발견했습니다. 때때로 진실한 사실과 거짓 사이의 차이는 복잡하고 무질서한 패턴이 아니라, 이 디지털 공간 속의 단순하고 곧은 선 하나일 수 있습니다. 큰 질문은 이것입니다. 우리가 그 선을 찾아낼 수 있을까요? 그리고 로봇이 문장을 끝마치기도 전에 그 거짓말을 잡아낼 수 있을까요?

이것이 바로 "The Confidence Manifold(신뢰의 매니폴드)"라는 논문이 탐구하고자 하는 내용입니다. 성래 초(Seonglae Cho)와 동료들이 이끄는 연구진은 1억 2,400만 개의 파라미터를 가진 작은 모델부터 140억 개의 파라미터를 가진 거대한 모델에 이르기까지, 11가지 서로 다른 언어 모델의 내부를 들여다보기로 했습니다. 그들은 로로봇의 뇌 속에서 진실이 머무는 특정 형태와 위치, 즉 "정확성의 기하학"을 지도화하고자 했습니다.

로봇의 뇌를 거대하고 다차원적인 방이라고 생각해 보세요. 로봇이 문장에 대해 생각할 때마다, 그 방 안에 점 하나를 찍습니다. 만약 그 문장이 참이라면, 점은 특정 구역에 놓입니다. 만약 거짓이라면, 점은 다른 구역에 놓입니다. 연구진은 이 점들이 방 안의 이곳저곳에 무작위로 흩어져 있는 것이 아님을 발견했습니다. 대신, 이 점들은 마치 두 더미의 구슬처럼 아주 깔끔하게 두 그룹으로 조직되어 있습니다. "진실" 더미와 "거짓" 더미는 매우 단순하고 낮은 차원의 복도에 의해 분리되어 있습니다.

여기 가장 놀라운 부분이 있습니다. 이 두 더미를 구분하기 위해 슈퍼컴퓨터가 필요하지 않다는 점입니다. 연구진은 진술의 참과 거짓의 차이가 단지 이 점들의 평균적인 위치의 단순한 이동이라는 것을 발견했습니다. 이는 마치 빨간 구슬 한 봉지와 파란 구슬 한 봉지가 있는 것과 같습니다. 빨간 구슬과 파란 구슬을 구분하기 위해 모든 구슬의 크기, 무게, 질감을 측정할 필요는 없습니다. 그저 빨간 구슬은 평균적으로 약간 왼쪽에 있고, 파란 구슬은 약간 오른쪽에 있다는 것만 알면 됩니다. 로봇의 뇌에서도 이 "평균 위치"(또는 중심점)가 중요한 전부입니다. 연구진은 이 두 중심점을 찾기 위해 단 25개의 레이블이 붙은 예시만을 사용해서도 90%의 정확도로 거짓말을 탐지할 수 있다는 것을 발견했습니다. 훨씬 더 나아가, 로봇의 뇌에는 수천 개의 차원이 있음에도 불구하고, 이 "진실 신호"는 단 2개에서 8개의 차원으로 이루어진 아주 작은 복도에만 존재한다는 것을 밝혀냈습니다.

연구팀은 단순히 관찰만 한 것이 아니라, 이 신호가 실제인지 확인하기 위해 로봇을 찌르고 건드려 보았습니다. 그들은 "활성화 스티어링(activation steering)"이라는 기술을 사용했는데, 이는 로봇의 내부 숫자를 특정 방향으로 부드럽게 밀어주는 것과 같습니다. 그들이 로봇을 "진실" 방향으로 밀었을 때, 로봇은 실수를 덜 하기 시작했습니다. 반대로 "거짓" 방향으로 밀었을 때는 환각 현상(hallucination)이 더 많이 발생했습니다. 또한 그들은 특정 복도를 제거함으로써 그 신호를 완전히 지워버리려고 시도했는데, 그러자 로봇은 갑자기 진실과 거짓을 구분하는 능력을 완전히 상실했고, 무작위로 추측하는 것보다 나을 것이 없는 수준이 되었습니다. 이는 이 신호가 단순히 우연히 나타난 것이 아니라, 로봇이 사실을 처리하는 방식의 필수적인 부분임을 입증했습니다.

하지만 이 논문은 또한 이것이 모든 상황에 적용되는 마법의 해결책은 아니라고 경고합니다. 연구진은 이 내부 "진실 탐지기"가 로봇이 교묘하게 행동할 때, 즉 흔한 오해를 확신을 가지고 말할 때 매우 효과적으로 작동한다는 것을 발견했습니다. 그러나 로봇이 누군가를 속이려 하지 않는 일반적이고 평범한 질문을 다룰 때는, 로봇이 겉으로 내뱉는 출력값(말하는 내용)만으로도 진실을 판단하기에 충분히 좋습니다. 내부 신호는 로봇이 기만적일 때 가장 밝게 빛납니다.

또 다른 흥ered로운 발견은 이러한 신호가 서로 다른 유형의 질문들 사이에서 어떻게 이동하는지에 관한 것입니다. 만약 로봇에게 특정 데이터셋(예: 역사 퀴즈)에서 거짓을 찾아내도록 가르친다면, 동시에 두 가지를 모두 학습시키지 않는 한 다른 데이터셋(예: 과학 퀴즈)에서의 거짓은 찾아내지 못할 수도 있습니다. 이는 자동차 트랙에서 운전하는 법을 배운다고 해서 눈 내리는 도시에서 운전을 잘하게 되는 것은 아닌 것과 같습니다. 두 가지를 모두 연습해야 합니다. 연구진은 여러 데이터셋을 함께 사용하여 탐지기를 훈련함으로써, 다양한 주제에 걸쳐 작동하는 보편적인 "진실 나침반"을 만들 수 있음을 보여주었습니다.

결국, 이 논문은 언어 모델이 진실을 어떻게 다루는지에 대한 더 명확한 그림을 제공합니다. 이는 이 복잡한 기계들의 깊은 곳에서, 옳고 그름의 차이가 놀라울 정도로 단순하다는 것을 시사합니다. 그것은 단지 데이터가 선의 어느 쪽에 놓여 있는지의 문제입니다. 이것이 모든 상황에서 로봇의 모든 거짓말을 즉각적으로 고칠 수 있다는 뜻은 아니지만, 로봇이 비록 말로 인정하지는 않더라도 자신이 틀렸다는 것을 알고 있다는 사실을 입증합니다. 신호는 그곳에 존재하며, 기하학적이며, 발견되기를 기다리고 있습니다.

기술 요약: 신뢰 매니폴드 (The Confidence Manifold)

문제 정의

대규모 언어 모델(LLM)은 종종 오개념을 사실과 동일한 유창함과 자신감으로 주장하며, 이로 인해 출력 기반의 불확실성 지표(토큰 엔트로피 또는 시맨틱 엔트로피 등)는 환각(hallucination)을 탐지하는 데 불충분하게 됩니다. 선행 연구들은 진실 관련 신호가 LLM의 잔차 스트림(residual stream) 내에 선형적으로 존재한다는 것을 입증했지만, 이러한 신호의 기하학적 구조는 여전히 규명되지 않은 상태입니다. 구체적으로 다음 사항들이 알려져 있지 않습니다:

정답과 오답을 분리하는 데 몇 개의 차원이 필요한가?
신호가 소실되기 전까지 결정 규칙(decision rule)을 얼마나 단순화할 수 있는가?
이 신호의 방향이 모델 출력의 인과적 원인인가, 아니면 단순히 출력과 상관관계가 있는 것인가?
한 데이터셋에서 훈련된 탐지기가 다른 데이터셋에도 전이(transfer)되는가?

본 논문은 124M에서 14B 파라미터에 이르는 11개 모델을 대상으로 '신뢰 매니폴드(Confidence Manifold)'—즉, 정답성 표현의 기하학적 구조—를 규명함으로써 이 질문들을 다룹니다.

방법론

저자들은 데이터 구축, 기하학적 분석, 그리고 인과적 검증을 포함하는 다단계 접근 방식을 채택합니다:

데이터 구축: TruthfulQA를 사용하여 동일한 질문 줄기(stem)가 정답 및 오답과 쌍을 이루도록 구성합니다. 이는 정답성 신호를 콘텐츠 변동으로부터 격리합니다. 은닉 상태(hidden states)는 모든 레이어의 마지막 토큰 위치에서 추출됩니다.
방향 학습 및 기하학적 분석:
- 프로브 훈련(Probe Training): 은닉 상태로부터 이진 정답성 레이블을 예측하기 위해 로지스틱 회귀 프로브를 훈련합니다.
- 차원 스윕(Dimensionality Sweep): 부분 최소 제곱(PLS) 회귀를 사용하여 활성화 값을 다양한 차원( $k$ )의 부분 공간으로 투영하여 최적의 차원을 결정합니다.
- 고유 차원(Intrinsic Dimension): 분류와 독립적으로 표현 매니폴드의 고유 차원을 측정하기 위해 Levina–Bickel MLE 추정치를 사용합니다.
- 센트로이드 분석(Centroid Analysis): 결정 경계가 복잡한 초평면(hyperplane)을 필요로 하는지, 아니면 단순한 거리 기반의 중심점(mean shift)으로 수렴하는지 테스트합니다.
인과적 검증: 부분 공간을 검증하기 위해 세 가지 상호 보완적인 방법을 사용합니다:
- 활성화 스티어링(Activation Steering): 잔차 스트림에 개입( $h' = h + \alpha \hat{w}$ )하여 학습된 방향을 따라 이동하는 것이 환각 발생률을 인과적으로 변화시키는지 관찰합니다.
- 개념 삭제(Concept Erasure, RLACE): 정답성 방향의 직교 보공간(nullspace)으로 활성화를 투영하여 해당 신호가 탐지에 필수적인지 테스트합니다.
- 분산 정렬 탐색(Distributed Alignment Search, DAS): 랭크 $k$ 를 명시적으로 스윕하는 교환 개입(interchange-intervention) 방법을 통해 부분 공간의 인과적 차원을 제한합니다.

주요 결과

1. 저차원 판별 부분 공간

11개 모델 전체에서 정답성 신호는 2~8 차원의 부분 공간에 집중되어 있습니다.

성능은 이 범위 내에서 정점을 찍으며, 차원이 증가함에 따라 급격히 저하됩니다 (예: GPT-2는 3D에서 32D로 이동할 때 AUC가 18% 하락). 이는 추가적인 차원이 신호가 아닌 노이즈를 도입함을 나타냅니다.
임베딩 매니폴드의 고유 차원(8~~12D)은 판별 차원(2~~8D)보다 높으며, 이는 신호가 고차원 공간 내의 저차원 특징(low-rank feature)임을 시사합니다.

2. 센트로이드 충분성 (Mean Shift)

정답성에 대한 결정 규칙은 놀라울 정도로 단순합니다: 두 개의 클래스 센트로이드만으로 충분합니다.

정답 클래스와 오답 클래스 사이의 분리는 복잡한 공분산(covariance)의 차이가 아니라 **평균 이동(mean shift)**에 의해 지배됩니다.
기하학적 분류기(센트로이드 거리, 마할라노비스 거리)는 훈련된 선형 프로브와 $\pm 0.02$ AUC 이내의 성능 차이를 보입니다.
다중 프로토타입 변형(예: 클래스당 여러 센트로이드를 갖는 K-Means)은 성능을 저하시키며, 이는 각 클래스의 분포가 단봉형(unimodal)임을 확인시켜 줍니다.
센트로이드 기반 탐지는 매우 높은 레이블 효율성을 보이며, 단 25개의 레이블된 예시만으로 전체 데이터 성능의 90%를 회복합니다.

3. 인과적 구조

효능: 학습된 방향으로 스티어링하면 Qwen2-7B에서 환각률이 9.1 퍼센트 포인트 변화합니다 (방향에 따라 오차율이 0.56에서 0.52 또는 0.61로 이동).
필요성: RLACE를 통해 부분 공간을 삭제하면 탐지 성능이 우연 수준( $\approx 0.50$ AUC)으로 붕괴됩니다.
인과적 랭크: 스티어링과 삭제는 랭크를 제한하지 못하지만, DAS는 테스트된 모델 전반에서 인과적 랭크를 최대 5 차원으로 독립적으로 제한합니다.

4. 레지임별 이점 (Regime-Specific Advantage)

내부 프로브는 모델이 확신을 가지고 틀리는 적대적 오개념 데이터(예: TruthfulQA)에서 출력 기반 불확실성 방법(P(True), 시맨틱 엔트로피)보다 우수한 성능을 보입니다.

TruthfulQA에서 내부 프로브는 0.80–0.94 AUC를 달성하는 반면, 출력 방법은 0.44–0.64로 떨어집니다.
표준 QA 데이터셋(SciQ, FEVER, CommonsenseQA)에서는 그 격차가 줄어들며, 출력 방법이 내부 프로브와 유사한 성능을 보입니다.
이러한 이점은 보편적인 우월성이 아니라, 모델의 확신도가 정답성과 분리되는 특정 레지임(regime)에 국한됩니다.

5. 전이를 위해서는 공동 훈련이 필요함

단일 데이터셋(예: TruthfulQA)에서 훈련된 프로브는 다른 데이터셋으로 전이될 때 거의 무작위 수준의 성능(0.39–0.66 AUC)을 보입니다.

이러한 실패는 신호의 부재가 아니라 데이터셋 간의 방향 불일치(직교성) 때문인 것으로 분석됩니다.
공동 다중 데이터셋 훈련은 전이 가능성을 회복하여, 인스트럭션 튜닝된 모델에서 0.73–0 g.91 AUC를 달립니다.
이는 "보편적 진실성 초평면(universal truthfulness hyperplane)"을 구축하기 위해서는 여러 데이터셋을 통해 부분 공간의 방향을 정렬해야 함을 시사합니다.

의의 및 주장

본 논문은 스스로를 새로운 탐지기를 제안하는 것이 아니라, 정답성의 기하학적 구조를 규명하는 연구로 포지셔닝합니다.

센트로이드 충분성: 핵심 주장은 LLM에서 진실과 거짓의 분리는 복잡하고 고차원적인 결정 경계가 아니라, 저차원 부분 공간에서의 단순한 평균 이동(mean shift)이라는 점입니다. 이는 왜 단순한 기하학적 규칙(센트로이드 거리)이 복잡하게 훈련된 프로브와 일치하는지를 설명합니다.
제한된 인과적 랭크: 저자들은 정답성을 위한 인과적 메커니즘이 매우 적은 수의 차원(탐지를 위해 2–8차원, 인과성을 위해 $\le 5$ 차원)을 점유한다는 증거를 제공하며, "선형 표현 가설(Linear Representation Hypothesis)"을 "저차원 선형 분리 가능(Low-Rank Linear Separator) 가설"로 정교화합니다.
레시피 의존적 전이: 논문은 전이가 자동적이지 않으며, 방향 불일치를 해결하기 위해 공동 훈련이 필요함을 명확히 합니다.
한계점: 저자들은 본 결과가 교사 강제(teacher-forced) 설정(모델에게 정답 토큰이 주어진 상황)에서 도출되었음을 명시합니다. 따라서 이 결과가 자유 형식 생성(free-form generation)으로 직접 연결된다고 주장하지 않으며, 자유 형식 설정에서의 판단 선택은 상당한 노이즈를 유발할 수 있음을 인지하고 있습니다. 또한, 인과적 랭크 제한은 테스트된 모델과 레이어에 특화된 결과입니다.

요약하자면, 본 논문은 LLM의 정답성이 잔차 스트림 내에서 저차원이고 평균 이동된 신호로 인코딩되어 있으며, 이는 모델 출력에 인과적으로 필요하지만 도메인 간 일반화를 위해서는 특정 훈련 레지임이 필요함을 입증합니다.