💻 computer science

Signed Layer-Level Evidence in Transformer Predictions, and a Diagnostic for When It Applies

이 논문은 트랜스포머의 예측을 부호가 있는 레이어별 증거로 분해하는 Language Evidence Flow(LEF)를 소개하고, 기존 오류 탐지기들의 모델 및 태스크 특이적 한계를 밝혀내는 순열 기반 진단 도구인 ScopeGate를 제안하며, 단일 지표가 모델의 실패를 보편적으로 예측할 수 없음을 입증한다.

원저자: Jeffery Opoku, David Banahene

게시일 2026-08-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jeffery Opoku, David Banahene

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델은 에세이를 쓰고, 수학 문제를 풀며, 놀라울 정도로 인간처럼 느껴지는 대화를 나누는 능력을 갖춘 차세대 인공지능의 엔진입니다. 그러나 그 유창한 표면 아래에는 지속적인 결함이 숨어 있습니다. 바로 모델이 때때로 완벽한 확신을 가지고 사실을 지어내는 현상인데, 연구자들은 이를 '환각(hallucination)'이라고 부릅니다. 수년 동안 이러한 오류를 포착하는 표준적인 방법은 모델의 최종 답변을 보고 "얼마나 확신해 보이는가?"라고 묻는 것이었습니다. 만약 모델이 특정 단어에 높은 확률을 부여한다면, 우리는 그것이 정답이라고 가정합니다. 하지만 이 접근 방식에는 사각지대가 있습니다. 이는 최종 출력을 하나의 '블랙박스'로 취급하여, 그 결과물을 만들어낸 복잡한 내부 메커니즘을 무시합니다. 두 답변은 정확히 같은 수준의 확신도를 가질 수 있지만, 하나는 모델의 내부 구성 요소들 사이의 명확하고 만장일치적인 합의의 결과인 반면, 다른 하나는 서로 다른 부분들이 반대 방향으로 끌어당기는 격렬한 내부적 내전의 취약한 산물일 수 있습니다. 이러한 숨겨진 갈등을 이해하는 것은 매우 중요한데, 왜냐하면 자신감 있게 들리는 거짓말은 주저하는 진실보다 종종 더 위험하기 때문입니다.

한 연구팀은 이 블랙박스 내부를 들여다보고, 단 한 마디의 말이 나오기 전에 일어나는 숨겨진 줄다리기를 밝혀내는 새로운 방법을 개발했습니다. 그들은 이 프레임워크를 '언어 증거 흐름(Language Evidence Flow)'이라고 부릅니다. 단순히 최종 점수를 보는 대신, 이 방법은 문장을 처리하는 과정에서 모델의 아키텍처 내 모든 개별 레이어의 기여도를 추적합니다. 모델을 하나의 긴 의사 결정권자들의 사슬이라고 상상해 보십시오. 각 연결 고리는 최종 선택에 자신만의 증거 조각을 더합니다. 연구진은 각 연결 고리의 기여도에 양수 또는 음수 값을 할당할 수 있다는 것을 발견했습니다. 양수 값은 해당 레이어가 선택된 단어를 지지함을 의미하며, 음수 값은 그것에 반대함을 의미합니다. 이 값들을 모두 합산함으로써, 그들은 '갈등 점수(conflict score)'를 계산할 수 있습니다. 낮은 점수는 내부 레이어들이 조화를 이루고 있음을 의미하며, 높은 점수는 모델이 강력한 내부적 불일치에도 불구하고 답변을 생성하고 있음을 드러냅니다. 이를 통해 연구진은 겉보기에 완벽하게 자신감 있어 보이더라도 모델이 환각을 일으키고 있는 순간을 감지할 수 있습니다.

연구진은 이 아이디어를 14.7-빌리언 파라미터 규모의 거대 시스템부터 1.4-빌리언 파라미터 버전의 작은 모델에 이르기까지 다양한 모델을 대상으로 테스트하며, 다양한 아키텍처 패밀리를 포괄하여 검증했습니다. 그들은 이 방법이 특정 유형의 오류를 포착하는 데 매우 효과적이라는 것을 발견했는데, 그것은 바로 모델의 내부 기억이 외부에서 검색된 정보와 충돌할 때입니다. 검색 증강 생성(RAG) 설정에서는 모델이 답변하기 전에 읽어야 할 문서를 제공받습니다. 만약 문서가 한 가지를 말하고 모델의 학습된 기억이 다른 것을 말한다면, 내부 갈등 점수가 급증하며 답변이 환각일 가능성이 높다는 신호를 보냅니다. 이 방식은 단 한 번의 통과(single pass)로 이루어지므로, 일관성을 확인하기 위해 모델이 동일한 답변을 여러 번 생성해야 했던 기존 방식과 달리 생성 과정에 거의 시간을 추가하지 않습니다.

하지만 이 연구는 또한 놀랍고도 중요한 한계점을 드러냈습니다. 이 내부 갈등 신호가 모든 모델에 적용되는 보편적인 진리는 아니라는 점입니다. 연구진은 일부 모델의 경우 높은 갈등 점수가 오류를 안정적으로 예측했지만, 다른 모델의 경우에는 신호가 약하거나 심지어 오해의 소지가 있다는 것을 발견했습니다. 예를 들어, 한 인기 있는 7-빌리온 파라미터 모델에서는 갈등 점수가 오류를 예측하는 데 있어 무작위 추측보다도 성능이 떨어졌던 반면, 동일한 크기의 다른 모델에서는 문제가 발생했음을 알리는 강력한 지표가 되었습니다. 이러한 불일치는 이 도구를 단순히 어떤 AI 시스템에 설치하는 것만으로는 충분하지 않으며, 먼저 자신의 특정 모델에 작동하는지 검증해야 함을 의미합니다. 이를 해결하기 위해 팀은 '스코프게이트(ScopeGate)'라는 안전 점검 장치를 만들었습니다. 이는 이미 알려진 정답과 오답 세트를 사용하여 갈등 점수가 해당 특정 모델의 오류와 실제로 상관관계가 있는지 확인하는 간단한 테스트입니다. 만약 테스트가 실패하면, 이 도구는 독립적인 경보기로 사용되지 않지만, 모델이 왜 어려움을 겪고 있는지 이해하는 용도로는 여전히 사용할 수 있습니다.

이러한 발견은 모델이 인간과의 대화에 맞게 미세 조정(fine-tuning)됨에 따라 이들의 사고 방식이 변화한다는 것을 시사합니다. 모델이 더 도움이 되고 지시를 잘 따르도록 미세 조정될 때, 표면적인 확신도는 경고 신호로서 신뢰도가 낮아질 수 있지만, 내부 갈상 신호는 여전히 강력하거나 오히려 더 날카로워집니다. 이는 이 새로운 방법이 실제 응용 분야에서 사용되는 가장 진보된 지시 이행형(instruction-tuned) 모델들에 특히 가치 있다는 것을 의미합니다. 또한 연구진은 이 접근 방식이 모델이 사실들을 사슬처럼 엮어야 하는 복잡한 다단계 추론 작업에서 발생하는 오류를 감지하여, 내부 논리가 무너지기 시작하는 순간을 잡아낼 수 있음을 보여주었습니다.

궁극적으로 이 연구는 초점을 최종 출력물에서 생성 과정으로 전환합니다. 이는 답변에 이르는 경로가 답변 그 자체만큼 중요하다는 것을 입증합니다. 네트워크의 모든 레이어를 통해 흐르는 서명된 증거를 매핑함으로써, 연구진은 모델의 내부적 불일치를 실시간으로 볼 수 있는 방법을 제공했습니다. 이 방법이 사전 확인 없이 모든 모델에서 완벽하게 작동하는 것은 아니지만, 즉시 배포 가능한 강력하고 별도의 훈련이 필요 없는 도구를 제공합니다. 이를 통해 개발자들은 모델이 스스로와 어떻게 싸우고 있는지, 그리고 왜 그러는지를 정확히 볼 수 있으며, 인공지능의 불투명한 과정을 관찰 가능하고 측정 가능하며 이해 가능한 것으로 바꿀 수 있습니다. 핵심적인 교훈은 확신만으로는 부족하며, 우리는 기계 내부의 합의된 침묵 혹은 갈등의 소음을 찾아내야 한다는 것입니다.

기술 요약: 트랜스포머 예측에서의 서명된 레이어 수준 증거 (Signed Layer-Level Evidence)

1. 문제 정의

대규모 언어 모델(LLM)은 유창하고 확률이 높은 출력을 생성하지만, 사실과 다른 내용(환각)을 출력하는 경우가 빈번합니다. 기존의 탐지 방법들은 출력 레벨의 점수(예: softmax 확률, 예측 엔트로피)에 의존하거나, 비용이 많이 드는 샘플링(예: SelfCheckGPT) 또는 라벨링된 학습 데이터(예: 프로빙 분류기)를 필요로 한다는 근본적인 한계가 있습니다.

본 연구가 다루는 핵심 난제는 동일한 softmax 확률을 가진 두 토큰이라 할지라도, 그에 도달하는 내부 과정은 판이하게 다를 수 있다는 점입니다. 한 토큰은 모든 트랜스포머 레이어의 거의 만장일치에 가까운 합의에 의해 지지되는 반면, 다른 토کن은 다양한 레이어의 강력한 내부 반대(충돌)에도 불구하고 살아남을 수 있습니다. 출력 레벨의 점수는 로짓 갭(logit gap)만을 함수로 나타내므로, 내부의 "증거 질량(evidence mass)"이나 내부적 불일치 구조를 파악하지 못합니다. 결과적으로, 모델은 매우 높은 확신을 보이는 것처럼 보일 수 있지만, 실제로는 내부 증거들이 서로 충돌하고 있는 상태일 수 있으며, 표준 메트릭으로는 이를 감지할 수 없습니다.

2. 방법론: 언어 증거 흐름 (Language Evidence Flow, LEF)

저자들은 토큰의 예측을 모든 트랜스포머 레이어, 어텐션 헤드, 그리고 검색 증강 생성(RAG) 설정에서의 파라미터 메모리와 검색된 문서로부터 오는 서명된 기여분으로 분해하는 프레임워크인 **Language Evidence Flow (LEF)**를 소개합니다.

2.1 핵심 메커니즘

LEF는 트랜스포머 잔차 스트림(residual stream)의 가산적 특성을 활용합니다. 특정 토큰 위치 $t$ 에 대해, 모델은 최상위 토큰 $\hat{v}_t$ 와 차순위 토큰 $\hat{r}_t$ 를 선택합니다. 로짓 갭 $\Delta_t$ 는 각 레이어 $\ell$ 로부터의 서명된 증거 항 $E_\ell(t)$ 로 정확히 분해됩니다:
$\Delta_t = E_0(t) + \sum_{\ell=1}^{L} E_\ell(t)$
여기서 $E_\ell(t)$ 는 레이어 $\ell$ 의 기여도(어텐션 및 MLP 출력의 결합)로, 최상위 토큰과 차순위 토큰 사이의 갭에 대한 기여를 나타냅니다.

서명된 증거 (Signed Evidence): 만약 $E_\ell(t) > 0$ 이면 해당 레이어는 선택된 토큰을 지지하며, $E_\ell(t) < 0$ 이면 해당 토큰에 반대합니다.
지지 및 반대 질량 (Support and Opposition Mass): $S^+(t)$ 와 $S^-(t)$ 는 각각 양의 증거 크기와 음의 증거 크기의 합입니다.
충돌 점수 (Conflict Score, $C$ ): $C(t) = \frac{2 \min(S^+, S^-)}{S^+ + S^-}$ 로 정의됩니다. 값이 0에 가까우면 일방적인 증거를, 1에 가까우면 분열된(높은 충돌) 상태를 나타냅니다.
플립 마진 (Flip Margin, $m_{flip}$ ): 예측을 뒤집기 위해 필요한 최소한의 증거 재분배량으로, $m_{flip}(t) = \frac{|\Delta_t|}{2} = \frac{M(t)(1-C(t))}{2}$ 로 계산됩니다. 높은 충돌은 작은 플립 마진을 의미하며, 이는 예측의 취약성을 나타냅니다.

2.2 RAG 분해

RAG 시나리오에서 LEF는 증거를 파라미터적( $E_{param}$ ) 원천과 검색된( $E_{retr}$ ) 원천으로 분리합니다. 또한 모델의 내부 메모리와 외부 문서 간의 불일치를 측정하기 위해 **교차 소스 충돌(Cross-Source Conflict, $C_{cross}$ )**을 정의합니다. 이를 통해 모델이 검색된 사실 대신 파라미터 지식을 선택하거나 그 반대의 경우 발생하는 RAG 환각을 탐지할 수 있습니다.

2.3 이론적 보장

본 논문은 출력 레벨의 점수(확률 또는 엔트로피 등)가 내부 충돌을 드러내는 것을 보장할 수 없음을 입증하는 **식별 정리(Identification Theorem)**를 제시합니다. 이는 증거 질량이 softmax 출력과는 독립적인 자유 매개변수이기 때문입니다. 또한 파라미터적 원천과 검색된 원천이 불일치할 때의 충돌에 대한 하한선을 증명합니다.

2.4 ScopeGate: 배포 진단 도구

충돌이 모든 모델에 대해 보편적으로 오류를 예측하는 것은 아니라는 점을 인식하여, 저자들은 ScopeGate를 도입했습니다. 이는 소량의 라벨링된 예시(~100–250개)를 사용하여 특정 디텍터의 점수(예: 충돌)가 특정 모델-태스크 쌍에서 오류와 상관관계가 있는지 확인하는 순열 검정(permutation test)입니다. 만약 이 테스트를 통과하지 못하면, 해당 디텍터는 해당 구성에 대해 배포 준비가 되지 않은 것으로 간주되어 과도한 의존을 방지합니다.

3. 주요 기여

프레임워크: LEF는 예측을 서명된 레이어별 증거로 분해하는 단일 패스(single-pass), 훈련이 필요 없는(training-free) 방식을 제공하여 레이어 수준의 속성 부여(attribution)와 RAG 소스 분리를 가능하게 합니다.
이론: 출력 점수가 충돌을 드러내지 못하는 식별 경계, 충돌과 플립 마진 사이의 폐쇄형 연결, 그리고 자기회귀 디코딩에서의 충돌 전파에 관한 이론적 증명을 제공합니다.
실증적 검증: 11개의 모델(1.4B–14.7B 파라미터)과 6개의 아키텍처 패밀리에 걸쳐 평가를 수행했습니다. 주요 결과는 다음과 같습니다:
- LEF는 여러 아키텍처 패밀리에 걸쳐 단일 순방향 패스로 RAG 소스 불일치를 탐지합니다.
- LEF 충돌(훈련 불필요)은 훈련된 은닉 상태 프로브(AUROC 0.660 vs 0.669)의 성능에 근접하며, 샘플링 기반 방식(SelfCheckGPT)보다 5배 낮은 추론 비용으로 더 우수한 성능을 보입니다.
- 모델 특이성: 충돌은 Qwen2.5 변형 모델과 OLMo-2-7B-Instruct에서는 강력한 오류 신호이지만, Mistral-7B 및 Falcon-7B에서는 실패하거나 역전됩니다.
배포 프로토콜: ScopeGate 안전 체크, 효율성을 위한 레이어 절제(상위 5~10개 레이어 모니터링 시 오버헤드 <4%), 엔트로피와의 앙상블 전략을 포함하는 4단계 레시피를 제공합니다.

4. 실험 결과

사실적 QA (TriviaQA): 단순 싱글 홉(single-hop) QA에서 예측 엔트로피가 일반적으로 원시 충돌보다 우세합니다(예: Mistral-7B: 엔트로피 0.802 vs 충돌 0.463). 그러나 충돌은 확신에 찬 오류(낮은 엔트로피, 높은 충돌)를 탐지하는 데 탁월하며, 특정 모델(예: Qwen2.5-7B-Instruct: HotpotQA에서 충돌 AUROC 0.829)의 멀티 홉 추론 작업에서 더 나은 성능을 보입니다.
RAG 소스 불일치: 검색된 문서가 파라미터적 메모리와 모순될 때, 충열 점수가 유의미하게 상승하며(예: Mistral-7B: +0.048) 정확도는 떨어집니다. 이 효과는 4개의 아키텍처 패밀리 전반에서 방향성 있게 재현됩니다.
ScopeGate 성능: ScopeGate는 테스트된 11개 모델 중 4개의 배포 가능한 구성을 정확히 식별했습니다(모두 Qwen2.5 변형 및 OLMo-2-7B-Instruct). 또한 Mistral-7B와 Phi-2 같은 모델에 대해 충돌을 단독 신호로 사용하는 것에 대해 경고를 적절히 수행했습니다.
지시 미세 조정 (Instruction Tuning): 지시 미세 조정(RLHF)은 엔트로피 기반 탐지를 저하시키는(모델을 더 확신하게 만들지만 덜 신뢰할 수 있게 함) 반면, 충돌 신호를 유지하거나 강화하는 것으로 나타나 LEF가 정렬된 모델에 특히 유용함을 보여줍니다.
효율성: LEF는 상위 5개 레이어에 대한 단일 패스 적용 시 기본 순방향 패스 대비 무시할 만한 오버헤드(~3.7%)만을 추가합니다.

5. 의의 및 주장

본 논문은 LEF가 출력 레벨의 점수와 직교하는, 환각 탐지를 위한 구조적으로 구별되는 신호를 제공한다고 주장합니다. 주요 의의는 모든 작업에서 엔트로피를 보편적으로 능가하는 것이 아니라 다음의 점에 있습니다:

내부 프로세스 노출: 단순히 '무엇'(확률)이 아니라 '왜'(레이어 간의 합의 vs 충돌)를 드러냅니다.
소스 속성 부여: RAG에서 파라미터적 메모리와 검색된 증거를 분리할 수 있는 유일한 단일 패스 방식입니다.
진단을 통한 안전성: ScopeGate의 포함은 디텍터를 타겟 모델에 대한 유효성 검증 없이 배포하는 업계의 경향을 해결합니다. 논문은 디텍터의 유효성이 디텍터 자체만이 아닌 모델-태스크 쌍의 속성임을 강조합니다.
훈련 불필요한 효율성: 라벨링된 데이터나 다수의 추론 패스 없이도 감독된 프로브 및 샘플링 방식과 경쟁할 만한 성능을 달-성합니다.

저자들은 충돌 신호의 보편성에 대해 겸허한 태도를 취하며, 그 효과가 특정 모델 아키텍처와 규모에 따라 달라질 수 있음을 명시하고, 따라서 배포 전 적용 가능성을 검증하기 위해 ScopeGate가 필요하다고 밝히고 있습니다. 또한 레이어 다양성에 대한 현재의 테스트가 이러한 편차를 설명하지 못했음을 언급하며, 왜 어떤 모델은 작동하고 어떤 모델은 실패하는지에 대한 정확한 기계적 이유(예: 레이어 다양성)를 규명하지 못했다고 명시했습니다.