기술 요약: 맥락이 진실을 형성하는 방식

문제 정의

기존 연구는 대규모 언어 모델(LLM)이 문장의 진실성을 잔차 스트림 활성화(residual stream activations) 내의 선형 방향(벡터)으로 인코딩한다는 사실을 입증해 왔으나, 맥락 정보가 도입될 때 이러한 "진실 벡터(truth vectors)"의 기하학적 진화가 어떻게 이루어지는지는 아직 탐구되지 않았습니다. 기존 연구들은 진실이 거짓과 분리되어 활성화 공간에 존재하며 프로브(probe)가 다양한 설정에서 일반화될 수 있음을 보여주었지만, 모델이 문장을 맥락과 함께 처리할 때 이러한 표현의 기하학적 구조—구체적으로 방향과 크기—가 어떻게 변형되는지는 규명하지 못했습니다. 이러한 공백은 RAG(검색 증강 생성) 및 인-컨텍스트 러닝(in-context learning) 시나리오에서 LLM이 외부 정보를 어떻게 통합하는지 이해하는 데 매우 중요합니다.

방법론

저자들은 맥락에 의해 유도되는 진실 벡터의 기하학적 변형을 측정하기 위한 프레 framework를 제안합니다. 실험 설정에는 네 가지의 지시어 튜닝된 LLM(LLaMA-3.1-8B, Mistral-Nemo-12B, Qwen3-4B, SmolLM3-3B)과 다양한 도메인(사실 확인, 법률, 영화 시놉시스, 합성 지식 충돌)을 아우르는 네 가지 데이터셋이 포함됩니다.

핵심 절차:

1. 프롬프트 구성: 각 문장에 대해 [선택된 선택지](문장을 지지하거나 반박함)와 [맥락]의 존재 여부(맥락 있음 또는 없음)를 변화시켜 네 가지 프롬프트를 생성합니다. 모델은 공정한 비교를 위해 특정 토큰(예: ")")으로 시작하는 완성을 생성하도록 지시받습니다.
2. 벡터 추출: 잔차 스트림 활성화(post-MLP)의 첫 번째 생성 토큰 위치에서 진실 벡터를 추출합니다. 맥락이 없는 상태의 문장 $k$에 대한 진실 벡터($v_{k,nc}^{(l)}$)와 맥락이 있는 상태의 진실 벡터($v_{k,c}^{(l)}$)는 각각 참인 완성(True)과 거짓인 완성(False)의 활성화 차이로 정의됩니다:
   $$v_{k,nc}^{(l)} = a_{k,True, nc}^{(l)} - a_{k,False, nc}^{(l)}$$
   $$v_{k,c}^{(l)} = a_{k,True, c}^{(l)} - a_{k,False, c}^{(l)}$$
3. 기하학적 지표: 변화를 정량화하기 위해 두 가지 속성을 측정합니다:
   • 방향 변화 ($\theta$): 맥락이 있는 진실 벡터와 맥락이 없는 진실 벡터 사이의 각도를 코사인 유사도를 통해 계산합니다.
   • 상대적 크기: 맥락이 있는 진실 벡터의 L2 노름(norm)과 맥락이 없는 경우의 노름의 비율 ($||v_{k,c}^{(l)}||_2 / ||v_{k,nc}^{(l)}||_2$). 값이 1보다 크면 참과 거짓 표현 사이의 분리가 증폭되었음을 나타냅니다.

또한, 관련성 민감도를 평가하기 위해 관련 맥락을 다섯 가지 유형의 무작위/무관한 맥락(무작위 문자, 무작위 단어, 비논리적 문장, 무작위 위키피디아 텍스트, 셔플된 데이터셋 맥락)과 비교합니다.

주요 결과

1. 방향 변화의 3단계 패턴

모든 모델과 데이터셋에 걸쳐, 방향 변화($\theta$)는 레이어를 따라 일관된 세 단계 패턴을 따릅니다:

• 1단계 (초기 레이어): 맥락이 있는 진실 벡터와 맥락이 없는 진실 벡터는 대략 직교하며(높은 $\theta$), 이는 초기 처리 단계에서 구별된 표현이 존재함을 시사합니다.
• 2단계 (중간 레이어): 벡터들이 급격히 수렴하여 최소 $\theta$에 도달합니다. 이는 의미론적 인코딩과 지식 검색의 역할을 수행하는 중간 레이어의 알려진 역할과 일치합니다. 주목할 점은 $\theta$가 결코 0에 도달하지 않는다는 것이며, 이는 맥락이 항상 독특한 기하학적 흔적을 남긴다는 것을 나타냅니다.
• 3단계 (후기 레이어): 동작이 다양하게 나타납니다. 일부 데이터셋의 경우 벡터가 안정화됩니다. 그러나 파라미터 지식과 충돌하는 맥락(예: ConflictQA-Counter)의 경우, $\theta$가 다시 증가하며, 이는 더 깊은 레이어에서도 충돌하는 신호가 계속 처리되고 있음을 시사합니다.

2. 진실 분리의 증폭

맥락을 추가하면 일반적으로 진실 벡터의 상대적 크기가 증가합니다(값 > 1). 이는 맥락이 활성화 공간 내에서 참과 거짓 표현 사이의 분리를 증폭시킨다는 것을 나타냅니다. 이 효과는 중간 레이어에서 가장 두드러지며, 이 단계에서 상대적 크기가 정점에 도달한 후 후기 레이어에서 안정화되는 경향이 있습니다.

3. 모델 크기와 민감도 메커니즘

맥락의 관련성을 인코딩하는 방식에 있어 대형 모델과 소형 모델 사이에 유의미한 차이가 존재합니다:

• 대형 모델 (LLaMA, Mistral): 관련 맥락과 무관한 맥락을 주로 **방향 변화($\theta$)**를 통해 구분합니다. 관련 맥락은 무작위 맥락에 비해 현저히 높은 방향적 변화를 유도합니다.
• 소형 모델 (Qwen, SmolLM): 관련 맥락과 무관한 맥락을 주로 **크기 스케일링(magnitude scaling)**을 통해 구분합니다. 이 모델들의 경우 방향 변화는 미미하거나 음수인 경우가 많지만, 진실 벡터의 상대적 크기는 관련 맥락에 대해 현저히 높습니다. 저자들은 이것이 저차원 공간에서의 표현 능력 제약 때문이며, 이로 인해 고유한 방향을 만드는 것보다 크기를 조절하는 것이 더 실행 가능한 인코딩 전략이 된다고 가설을 세웠습니다.

4. 지식 충돌의 영향

파라미터 지식과 모순되는 맥락(ConflictQA-Counter)은 파라미터 지식과 일치하는 맥락보다 더 큰 기하학적 변화(더 높은 $\theta$와 크기)를 생성합니다. 이는 충돌하는 정보가 더 강력하고 지속적인 기하학적 변화를 트리거하며, 잠재적으로 기억 경로와 맥락 경로 사이의 경쟁을 반영함을 시사합니다.

5. 도메인 특수성

LegalBench (Corporate Lobbying)와 같은 복잡하고 전문적인 데이터셋의 경우, 모델이 관련 맥락과 무작위 맥락 사이의 유의미한 기하학적 차이를 보여주는 데 실패하는 경우가 많습니다. 이는 낮은 Flesch 가독성 점수와 상관관계가 있으며, 고도로 기술적인 언어가 관련성을 구별하는 의미 있는 기하학적 신호를 추출하는 모델의 능력을 압도할 수 있음을 시사합니다.

의의 및 주장

본 논문은 맥락이 LLM의 진실 표현을 어떻게 변형하는지에 대한 최초의 기하학적 특성을 제공한다고 주장합니다. 이 발견은 내부 맥락 처리 과정을 이해하기 위한 이론적 렌즈를 제공하며 다음과 같은 실질적인 함의를 갖습니다:

• RAG 시스템: 레이어별 $\theta$ 값은 모델이 검색된 맥락을 통합하는 데 실패했는지(중간 레이어의 수렴 부족), 또는 지식 충돌이 존재하는지(비정상적인 후기 레이어 발산)를 감지하는 진단 신호로 사용될 수 있습니다.
• 소형 모델의 스티어링(Steering): 소형 모델이 방향보다는 크기에 의존한다는 발견은, 이들 모델에 대한 활성화 스티어링 기법이 순수한 방향적 개입보다는 크기 스케일링에 집중해야 함을 시사합니다.

저자들은 이러한 기하학적 변화가 유의미하기는 하지만, 그것이 항상 출력 확률의 선형적인 변화로 이어지는 것은 아니라는 점을 언급하며 신중한 태도를 유지합니다. 또한 첫 번째 토큰에 집중했다는 점, 영어 전용 데이터셋을 사용했다는 점, 그리고 연구된 모델들이 특정 지시어 튜닝 모델이라는 점 등의 한계점도 인정하고 있습니다.