💬 NLP

CoRect: Context-Aware Logit Contrast for Hidden State Rectification to Resolve Knowledge Conflicts

이 논문은 RAG(검색 증강 생성) 과정에서 모델의 내부 지식이 검색된 정보보다 우선시되어 발생하는 지식 충돌 문제를 해결하기 위해, 레이어별 로짓 대비(Logit Contrast)를 통해 파라미터 편향이 높은 층을 식별하고 은닉 상태(Hidden State)를 교정하여 답변의 충실도를 높이는 **CoRect** 방법론을 제안합니다.

원저자: Xuhua Ma, Richong Zhang, Zhijie Nie

게시일 2026-02-10

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xuhua Ma, Richong Zhang, Zhijie Nie

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제 상황: "고집불통 천재 학생" (Knowledge Conflict)

상상해 보세요. 아주 똑똑하지만 고집이 엄청 센 학생이 있습니다. 이 학생은 책을 엄청나게 많이 읽어서 머릿속에 지식이 가득합니다.

그런데 이 학생에게 새로운 시험지를 줬어요. 시험지에는 **"올해 축구 우승팀은 A팀이다"**라고 적혀 있습니다. 하지만 이 학생의 머릿속에는 예전에 읽은 책 내용인 **"축구 우승팀은 B팀이다"**라는 정보가 아주 강하게 박혀 있습니다.

결과가 어떻게 될까요? 학생은 시험지에 적힌 내용을 읽고 있으면서도, 정작 답을 쓸 때는 자기 머릿속에 있는 고집(기존 지식)을 부리며 **"B팀"**이라고 답해버립니다. 이것을 논문에서는 **'지식 충돌(Knowledge Conflict)'**이라고 부릅니다.

2. 기존 방식의 한계: "입만 막는 처방전" (Decoding-time Intervention)

기존에는 이 문제를 해결하려고 학생이 답을 다 쓰고 난 뒤에, 선생님이 옆에서 **"야, B라고 쓰지 말고 A라고 써!"**라고 답안지를 강제로 수정하는 방식을 썼습니다.

하지만 이 방식은 두 가지 문제가 있습니다.

부자연스러움: 억지로 답을 바꾸다 보니 문장이 어색해지거나 말이 안 되는 경우가 생깁니다. (예: "B팀이 우승했다"를 억지로 "A팀이 우승했다"로 바꾸면 문법이 꼬일 수 있음)
근본 원인 방치: 학생의 머릿속에서 왜 그런 잘못된 생각이 일어나는지는 전혀 고치지 못합니다.

3. CoRect의 해결책: "생각의 흐름을 바로잡는 가이드" (Hidden State Rectification)

이 논문에서 제안하는 CoRect는 방식이 완전히 다릅니다. 선생님이 답안지를 고치는 게 아니라, 학생이 **생각을 하는 과정(뇌의 회로)**에 개입합니다.

논문 저자들은 학생의 뇌(모델의 내부 층)를 관찰했더니, 중간 단계까지는 "아, 시험지에 A라고 적혀 있네?"라고 잘 이해하다가, 마지막 단계에서 갑자기 자기 고집(기존 지식)이 튀어나와 생각을 덮어버리는 현상을 발견했습니다. 이를 **'파라메트릭 억제(Parametric Suppression)'**라고 부릅니다.

CoRect의 작동 단계:

"진짜 정답 후보 찾기" (Token Selection): 학생이 멍하니 있지 않도록, 시험지(컨텍스트)를 다시 한번 꼼꼼히 보게 해서 "아, 정답은 A일 확률이 높겠구나!"라는 힌트를 먼저 찾아냅니다.
"고집 부리는 회로 차단하기" (Hidden State Rectification): 학생이 생각을 이어가다가 갑자기 "아니야, 내 기억엔 B야!"라고 고집을 부리려는 **특정 뇌 회로(FFN 레이어)**를 찾아냅니다. 그리고 그 회로가 내뱉는 '고집스러운 신호'만 살짝 약화시켜서, 시험지의 내용이 자연스럽게 흘러나올 수 있도록 길을 터줍니다.

요약하자면?

기존 방식: "답이 틀렸으니 억지로 고쳐 써!" (결과만 수정 $\rightarrow$ 어색함)
CoRect 방식: "네 머릿속 고집이 지금 방해하고 있어. 그 생각만 잠시 접어두고 시험지에 적힌 대로 자연스럽게 말해봐." (생각 과정을 교정 $\rightarrow$ 자연스럽고 정확함)

결론적으로, CoRect는 AI가 눈앞의 근거(데이터)를 무시하고 자기 고집(학습된 데이터)을 부리는 '환각(Hallucination)' 현상을, AI의 내부 사고 과정을 미세하게 조정함으로써 훨씬 더 똑똑하고 정직하게 만드는 기술입니다.

[기술 요약] CoRect: 지식 충돌 해결을 위한 은닉 상태 교정 기반 문맥 인식 로짓 대조 기법

1. 문제 정의 (Problem Statement)

검색 증강 생성(RAG) 시스템은 외부 지식을 활용하여 모델의 환각(Hallucination)을 줄이려 하지만, 지식 충돌(Knowledge Conflict) 문제에 직면합니다. 이는 모델이 학습을 통해 내재화한 **파라미터 지식(Parametric Knowledge)**이 검색된 **외부 증거(Retrieved Evidence)**보다 우선시될 때 발생합니다.

기존의 해결책들은 다음과 같은 한계가 있습니다:

디코딩 단계의 수정 (Decoding-time adjustments): 모델을 블랙박스로 취급하여 출력층(Output layer)에서만 로짓(Logit)을 조정합니다. 이는 모델 내부의 잘못된 정보 전파를 막지 못하며, 과도한 조정 시 언어적 유창성(Fluency)을 해칠 수 있습니다.
모델 편집 (Model Editing): 정답(Ground-truth)을 미리 알고 있어야 하며, 오픈 엔드(Open-ended) 생성 환경인 RAG에서는 적용하기 어렵습니다.

2. 핵심 통찰: 파라미터 억제 현상 (Parametric Suppression)

저자들은 Logit Lens 기법을 통한 층별 분석(Layer-wise analysis)을 통해 새로운 현상을 발견했습니다.

현상: 초기 레이어에서는 검색된 증거(정답)를 반영한 표현이 나타나지만, 깊은 레이어의 FFN(Feed-Forward Network) 층을 거치면서 모델이 암기하고 있는 잘못된 사전 지식(Prior)이 이 증거를 덮어쓰는(Overwrite) 현상이 발생합니다.
결론: 모델은 이미 정답을 알고 있음에도 불구하고, 내부의 파라미터 지식이 증거를 "억제(Suppress)"하기 때문에 잘못된 답을 내놓는 것입니다.

3. 제안 방법론: CoRect (Methodology)

CoRect은 정답 레이블 없이 추론 시점에 내부 은닉 상태(Hidden State)를 직접 교정하는 학습이 필요 없는(Training-free) 프레임워크입니다.

Stage 1: 신뢰할 수 있는 토큰 선택 (Trustworthy Token Selection)

정답을 모르는 상태에서 교정의 기준이 될 타겟 토큰 $\tilde{t}^*$ 를 찾습니다.

문맥 상호 정보량(Contextual Mutual Information) 추정: 전체 문맥이 있는 경우와 없는 경우(Null context)의 로짓 차이를 계산하여, 문맥에 의해 확률이 크게 상승하는 토큰을 식별합니다.
어텐션 필터(Attention Filter): 선택된 후보 토큰이 실제 입력 문맥 내에 존재하는지, 그리고 모델의 어텐션 메커니즘이 해당 위치를 얼마나 강하게 참조하는지를 결합하여 최종 타겟 토큰 $\tilde{t}^*$ 를 결정합니다.

Stage 2: 은닉 상태 교정 (Hidden State Rectification)

식별된 타겟 토큰을 억제하는 레이어를 찾아 내부 표현을 수정합니다.

억제 레이어 식별 ( $L_{supp}$ ): FFN의 출력( $u_l$ )이 타겟 토큰의 방향( $w_{\tilde{t}^*}$ )과 반대되는 방향(내적 값이 음수)으로 작용하는 레이어를 찾습니다.
패치(Patch) 적용: 해당 레이어의 출력에 억제 성분을 상쇄하는 보정 벡터 $\phi_l$ 을 더해줍니다. 이는 새로운 지식을 주입하는 것이 아니라, **잘못된 지식에 의한 억제를 해제(Disinhibition)**하여 모델 본연의 증거 추종 능력을 회복시키는 방식입니다.

4. 주요 기여 (Key Contributions)

현상 규명: 깊은 FFN 층이 증거를 덮어쓰는 '파라미터 억제(Parametric Suppression)' 현상을 메커니즘적으로 밝혀냈습니다.
타겟 불가지론적 개입 (Target-Agnostic Intervention): 정답 레이블 없이도 추론 과정에서 스스로 충돌 레이어를 찾아내고 교정할 수 있는 프레임워크를 제안했습니다.
효율성 및 유연성: 별도의 학습이 필요 없으며, $\alpha$ 파라미터를 통해 억제 해제(Disinhibition)와 능동적 촉진(Promotion) 사이의 강도를 조절할 수 있습니다.

5. 실험 결과 (Results)

질의응답(QA) 성능: NQ, HotpotQA, SQuAD 등 다양한 벤치마크에서 기존의 CAD, AdaCAD 등 강력한 베이스라인보다 높은 정확도(EM)를 기록했습니다. 특히 지식 충돌을 의도적으로 만든 NQ-Swap에서 탁월한 강건성을 보였습니다.
요약(Summarization) 성능: XSum, CNN-DailyMail 등에서 사실적 일관성(AlignScore)을 크게 개선하면서도 언어적 유창성(ROUGE-L)을 유지했습니다.
모델 범용성: Qwen, Llama, Mistral 등 다양한 규모와 구조의 LLM 백본에서 일관된 성능 향상을 입증했습니다.

6. 의의 (Significance)

본 논문은 RAG의 고질적인 문제인 지식 충돌을 해결하기 위해 "출력값 수정"이라는 표면적 접근에서 "내부 표현 교정"이라는 메커니즘적 접근으로 패러다임을 전환했습니다. 이는 LLM의 내부 작동 원리(Mechanistic Interpretability)를 활용하여 모델의 신뢰성(Faithfulness)을 높일 수 있는 매우 실용적이고 강력한 방법론을 제시했다는 점에서 큰 의의가 있습니다.