기술 요약: 다중 선택형 질문(MCQ)에서 LLM의 지식-예측 간극 해소

1. 문제 정의

대규모 언어 모델(LLM)은 종종 "지식-예측 간극(knowledge-prediction gap)"이라는 현상을 보입니다. 이는 모델이 내부 은닉 표현(internal hidden representations) 내에는 정답을 보유하고 있음에도 불구하고, 최종 출력으로는 이를 생성하지 못하는 현상을 의미합니다. 이러한 불일치는 다중 선택형 질문(MCQ) 설정에서 특히 두드러지는데, 모델이 잔차 스트림(residual stream)에 정답을 선형적으로 인코딩하고 있음에도 불구하고 오답을 선택할 수 있기 때문입니다. 기존 연구들은 이러한 실패를 표면적인 단서, 옵션 편향 또는 스타일적 아티팩트의 결과로 돌렸으나, 이러한 실패를 모델의 내부 기하학적 구조와 연결하여 설명하려는 통합적인 시도는 탐구되지 않은 채 남아 있었습니다. 구체적으로, 이 간극이 다양한 도메인 전반에 걸쳐 만연한지, 내부 지식과 출력 행동 사이의 불일치를 뒷받침하는 기하학적 구조가 무엇인지, 그리고 이 간극을 재학습 없이 추론 시점에 완화할 수 있는지 여부는 불분명합니다.

2. 방법론

저자들은 3단계 분석 및 개입 프레임워크를 제안합니다.

A. 선형 프로빙(Linear Probing)을 통한 간극 정량화

저자들은 지식-예측 간극을 내부 표현에 인코딩된 지식과 생성된 예측 사이의 불일치로 정의합니다. 이를 측정하기 위해, 잔차 스트림 활성화값에 대해 두 가지 별도의 선형 프로브를 훈련시킵니다:

1. 지식 프로브(Knowledge Probe): 은닉 상태로부터 실제 정답($y$)을 예측하도록 훈련된 $k$-클래스 선형 분류기.
2. 예측 프로브(Prediction Probe): 모델 자체의 생성된 선택지($\tilde{y}$)를 예측하도록 훈련된 $k$-클래스 선형 분류기.

이들은 다양한 모델(예: Llama 3.1 8B, Qwen 2.5 7B)과 벤치마크(추론, 지식, 진실성, 편향)에 걸쳐 이 프로브들을 평가합니다. 간극을 정량화하기 위해 다음 두 가지 지표를 도입합니다:

• 예측 일치도(AGR): 지식 프로브와 모델의 출력이 동일한 옵션을 선택하는 빈도.
• 분포적 발산(KLD): 지식 프로브와 모델 출력의 확률 분포 간의 쿨백-라이블러(Kullback-Leibler) 발산.

B. 기하학적 해석

저자들은 훈련된 프로브의 가중치 벡터를 잔차 스트림 내의 저차원 부분 공간(subspaces)을 정의하는 것으로 해석합니다:

• 지식 부분 공간(Knowledge Subspace): 지식 프로브의 가중치에 의해 생성되는 공간.
• 예측 부분 공간(Prediction Subspace): 예측 프로브의 가중치에 의해 생성되는 공간.

저자들은 큰 지식-예측 간극이 이 두 부분 공간 사이의 체계적인 불일치와 대응한다고 가설을 세웠습니다. 간극이 클 때, 은닉 상태를 예측 부분 공간에 투영한 좌표는 지식 부분 공간에서의 좌표와 크게 달라집니다.

C. KAPPA: 추론 시점 개입

간극을 완화하기 위해, 저자들은 KAPPA(Knowledge-Aligned Prediction through Projection-based Adjustment)를 도입합니다. KAPPA는 잔차 스트림에 아핀 변환(affine transformation)을 적용하는 경량 추론 시점 개입 방법입니다.

• 메커니즘: 이는 은닉 상태 $h$를 예측 부분 공간에서의 좌표가 지식 부분 공간에서의 좌표와 일치하도록 최소한으로 섭동(perturb)시키는 제약 최적화 문제를 해결합니다.
• 정식화: 변환 $T$는 다음을 만족하는 $h'$를 찾아 $h$를 $h'$로 매핑합니다:
  $$\min_{h'} \|h' - h\|^2_2 \quad \text{s.t.} \quad W_{pred}^\top h' = W_{know}^\top h$$
  이는 예측 부분 공간 내에서만 은닉 상태를 조정하고 직교하는 성분은 그대로 두는 폐쇄형 해(closed-form solution)를 산출합니다.
• 일반화: 이 방법은 하이퍼파라미터 $\alpha$와 $\beta$를 포함하여 정렬의 강도를 조절함으로써, 내부 지식이 예측에 얼마나 강력하게 영향을 미칠지를 유연하게 조정할 수 있게 합니다.

3. 주요 기여

1. 광범위한 간극에 대한 실증적 증거: 본 연구는 지식-예측 간극이 다양한 MCQ 벤치마크와 모델 제품군 전반에 걸쳐 만연해 있음을 입증했습니다. 간극은 추론, 진실성, 편향 작업에서 가장 두드하게 나타나며, 지식 집약적 벤치마크에서는 덜 뚜렷합니다.
2. 기하학적 설명: 논문은 이 간극을 잔차 스트림 내의 서로 다른 지식 및 예측 부분 공간 사이의 불일치로 식별함으로써 기하학적 해석을 제공합니다.
3. KAPPA 개입: 저자들은 모델의 예측을 내부 지식과 일치시키기 위해 은닉 상태를 기하학적으로 교정하는 추론 시점 방법인 KAPPA를 제시합니다. 고정된 수정을 적용하는 기존의 스티어링(steering) 방법들과 달리, KAPPA는 각 사례의 특정 지식-예측 간극에 따라 조정을 적응시킵니다.

4. 결과

• 간극의 크기: 선형 프로브는 테스트된 모든 데이터셋에서 기본 모델 생성 정확도를 일관되게 상회하며, 이는 모델이 활용하지 못하는 선형적으로 접근 가능한 지식을 인코딩하고 있음을 확인시켜 줍니다. 간극은 도메인별로 크게 다르며, TruthfulQA와 BBQ에서 가장 큰 불일치를 보였습니다 (예: Qwen 2.5 7B의 경우 $\Delta$ACC 최대 +21.3%).
• 성능 향상: KAPPA는 베이스라인 모델 및 기존의 추론 시점 방법(CAA 및 DoLA 등)보다 일관되게 간극을 줄이고 정확도를 높였습니다.
  • TruthfulQA에서 KAPPA는 Llama 3.1 8B의 정확도를 8.9~16.9 포인트 향상시켰습니다.
  • 추론 벤치마크(GSM8k, BBH)에서 KAPPA는 1.5~5.0 포인트의 일관된 이득을 달성했습니다.
  • KAPPA는 지식 프로브와 모델 출력 사이의 일치도(AGR)를 크게 높였으며, 종종 지식 프로브 자체의 정확도에 근접하는 결과를 보였습니다.
• 일반화:
  • 모델 간 일반화: KAPPA는 다양한 크기(4B~14B)와 아키텍처(Mistral, Llama, Qwen)를 가진 모델 전반에서 효과적으로 간극을 완화합니다.
  • 데이터셋 간 전이: 부분 공간은 일반적으로 데이터셋 특이적이지만, 유사한 기초 기술을 요구하는 작업 간(예: BBH-NLP에서 GSM8K로)의 성공적인 전이가 관찰되었습니다.
  • 자유 형식 생성(Free-Form Generation): MCQ 옵션이 없는 자유 형식 설정에 KAPPA를 적용했을 때 TruthfulQA의 정확도가 향상되었으며, 이는 기하학적 정렬이 다중 선택 형식을 넘어 확장됨을 보여줍니다.

5. 의의 및 주장

본 논문은 많은 LLM의 실패, 특히 환각(hallucination)과 추론 오류가 지식의 결핍이 아니라 모델이 내부적으로 인코딩하는 것과 궁극적으로 예측하는 것 사이의 불일치에서 기인한다고 주장합니다. 별개의 지식 및 예측 부분 공간을 식별함으로써, 저자들은 이러한 실패에 대한 해석 가능한 기하학적 설명을 제공합니다.

KAPPA의 도입은 이러한 간극이 추가 학습 없이 표현 수준의 정렬을 통해 메워질 수 있음을 보여줍니다. 저자들은 표현 수준의 정렬이 LLM으로부터 더 충실한 예측을 이끌어내기 위한 유망한 방향이라고 결론짓습니다. 또한, 본 연구는 선형적으로 접근 가능한 지식에 초점을 맞추고 있으나, 더 복잡하고 비선형적으로 인코딩된 지식을 어떻게 정렬할 것인지에 대한 후속 연구가 필요함을 언급합니다.