기술 요약: 시간적 맥락 재설정이 긴 문맥 언어 모델의 에피소드 유사 순서 기억을 유도한다

문제 제기

인간의 에피소드 기억은 특정 과거 경험을 인출할 수 있게 하며, 정보가 시간적 흐름 속에서 무엇이 일어났는지와 언제 일어났는지를 보존한다. 수십 년간의 연구에도 불구하고, 이러한 능력—특히 인출 과정에서 시간적 구조가 어떻게 회복되는가—을 뒷받받는 계산적 메커즘에 대해서는 여전히 논쟁이 이어지고 있다. 이는 인간의 장기 기억 시스템이 직접적인 조사가 어렵고 인과적으로 조작하기 까다롭기 때문에 발생하는 메커니즘적 접근성의 한계 때문이다.

대규모 언어 모델(LLM)이 에피소드 기억의 관점에서 점점 더 많이 해석되고 있음에도 불구하고, 근본적인 간극이 존재한다: LLM이 명시적인 시간 신호(사건이 언제 발생했는지 추적)에 의존하는지, 아니면 간접적인 의미론적 추론(인과적 또는 서사적 사슬을 통해 순서를 재구성)에 의존하여 시간적 순서 판단을 수행하는지 불분명하다는 점이다. 또한, 긴 문맥 설정에서 이러한 판단을 주도하는 내부 메커니즘은 잘 이해되지 않고 있다.

방법론

1. 과업 설계: 순서 회상 과업 (Sequence Order Recall Task, SORT)

저자들은 시간적 순서 기억을 조사하기 위해 이진 다중 선택 과업을 도입했다.

• 자극: 긴 텍스트(구체적으로 소설 애커로이드의 살인 사건)에서 두 개의 50단어 세그먼트를 샘플링한다.
• 과업: 세그먼트 A와 B가 주어졌을 때, 피험자(인간 또는 모델)는 어떤 세그먼트가 원래 텍스트에서 더 먼저 등장했는지 결정해야 한다.
• 거리 지표: 두 세그먼트 사이의 단어 거리($\Delta w$)에 따라 난이도가 조절된다.
• 인간 데이터: 소설을 읽고 마친 후 30일 이내에 과업을 완료한 97명의 참가자로부터 새로운 데이터셋을 수집했다.
• 모델 데이터: 두 가지 긴 문맥 LLM인 Llama 3.1-8B-Instruct와 Llama 3.1-70B-Instruct를 동일한 세그먼트 쌍에 대해 평가했다.

2. 통제 조건

서사 기반 추론과 명시적 시간 코딩을 구분하기 위해, 저자들은 다음 모델들을 평가했다:

• 문장 블록 셔플 변형: 소설을 4개 문장 단위의 블록 수준에서 섞었다. 이는 국소적인 어휘 내용은 보존하지만, 전역적인 서사적 일관성과 인과적 의존성을 파괴한다.
• 무작위 단어 시퀀스: i.i.d. 영어 명사로 구성된 60k 토큰 시퀀스를 사용하여 서사적 내용과 독립적인 시간 판독 방향(temporal readout directions)을 맞추었다.
• 외부 문서: 영국 하원의 녹취록을 사용하여 일반화 가능성을 테스트했다.

3. 메커니즘적 해석 가능성 (Mechanistic Interpretability)

본 연구는 시간 정보가 어떻게 저장되고 검색되는지 국소화하기 위해 메커니즘적 해석 가능성을 활용한다:

• 표상 분석: 인코딩 단계에서의 Key-Value (KV) 캐시 내 가치 벡터(value vectors)와 인출 단계에서의 출력 벡터(output vectors)를 분석했다.
• 시간적 판독 방향: 무작위 단어 시퀀스에 대한 주성분 분석(PCA)을 사용하여, 특정 어텐션 헤드에서 세그먼트의 실제 시간 순서와 정렬되는 1차원 선형 방향($w$)을 식별했다.
• 시간적 재설정 점수 (Temporal Reinstatement Score, TRS): 시간적 정렬이 인코딩(가치 캐시)과 인출 단계 모두에서 높은, 즉 시간적 코드의 "재설정(reinstatement)"이 일어나는 헤드를 식별하기 위한 지표를 정의했다.
• 인과적 개입:
  • 절제 (Ablation): 특정 헤드의 인출 단계 표현에서 시간적 판독 방향을 투영하여 제거한다.
  • 증폭 (Amplification): 시간 방향을 따르는 성분을 인자 $\alpha$만큼 스케일링한다.

주요 결과

1. 행동 유사성 및 거리 효과

인간과 LLM 모두 특징적인 **거리 효과(distance effect)**를 보인다: 세그먼트 간의 단어 거리가 멀어질수록 순서 결정 정확도가 높아진다.

• 모델은 넓게 떨어진 세그생먼트에 대해 $\ge 70\%$의 정확도를 달성하며, 이는 인간의 성능을 모방한다.
• 통계적 분석 결과, 인간의 성능과 Llama 3.1-8B-Instruct 사이에는 유의미한 차이가 없었으나, 70B 모델은 특정 큰 거리에서 인간보다 약간 더 나은 성능을 보였다.

2. 서사적 일관성으로부터의 독립성

결정적으로, 모델의 성능은 원본 텍스트가 문장 블록 단위로 섞였을 때도 크게 변하지 않았다.

• 정확도와 거리 효과는 인과적 및 서사적 스키마가 파괴되었음에도 불구하고 지속되었다.
• 이는 모델이 순서를 결정하기 위해 플롯이나 인과적 사슬을 재구성하는 데 주로 의 Rely하는 것이 아니라, 의미론적 파괴에 강건한 메커니즘에 의존함을 시사한다.

3. 단일 시간 재설정 헤드의 국소화

메커니즘적 분석 결과, 시간적 순서 정보는 매우 국소화되어 있음이 밝혀졌다:

• 인코딩: 시간 정보는 여러 헤드의 가치 캐시에 존재하며, 8B 모델에서는 레이어 2와 8에서, 70B 모델에서는 레이어 14에서 정점을 찍는다.
• 인출: 단 하나의 어텐션 헤드가 인출 과정 중 시간적 순서의 재설정을 지배한다:
  • Llama 3.1-8B-Instruct: 레이어 8, 헤드 11 (L8H11).
  • Llama 3.1-70B-Instruct: 레이어 14, 헤드 21 (L14H21).
• 이 헤드들은 "인출 헤드(retrieval heads)"로서 작용하며, 쿼리된 세그먼트의 인코딩 스팬으로 상당한 어텐션 질량(attention mass)을 유도한다.

4. 시간적 재설정의 인과적 역할

인과적 개입은 이러한 특정 헤드들의 필요성을 확인해주었다:

• 절제: 식별된 헤드의 시간적 성분을 제거했을 때, 모델의 정확도가 10–15% 감소하며 거의 무작위 수준(chance level)으로 떨어졌다.
• 증폭: 시간적 성분의 이득(gain)을 높이면 정확도가 향상되었다 (8B 모델에서 최대 9%).
• 특이성: 다른 헤드들을 절제했을 때는 동일한 성능 저하가 나타나지 않았다. 70B 모델의 경우, 다른 헤드의 시간적 방향을 절제하는 것이 오히려 성능을 향상시키기도 했는데, 이는 간섭(interference)이 존재함을 시사한다.

5. 위치 인코딩(RoPE)으로부터의 독립성

식별된 시간적 코드는 단순히 회전 위치 인코딩(Rotary Positional Embeddings, RoPE)의 부산물이 아니다.

• 8B 모델에서 RoPE를 비활성화했을 때도, 재설정 헤드의 시간적 정보는 보존되었으며 오히려 강화되었다.
• 판독 방향은 원래의 방향과 정렬을 유지했으며(코사인 유사도 0.69), 이는 시간 축이 위치 스캐폴드(positional scaffold)로부터 상속된 것이 아니라 훈련 과정에서 학습된 것임을 나타낸다.

의의 및 주장

본 논문은 긴 문맥 LLM이 어떻게 에피소드 유사한 시간적 순서 기억을 수행하는지에 대한 메커니즘적 설명을 제공한다고 주장한다. 주요 기여는 **시간적 맥락 재설정(temporal context reinstatement)**을 구체적이고 국소화된 계산 메커니즘으로 식별한 것이다.

• 메커니즘: 저자들은 LLM이 단순한 의미론적 추론이 아니라, 단일하고 특화된 어텐션 헤드를 통해 KV 캐시로부터 저차원의 시간 코드를 재설정함으로써 시간 순서 과업을 해결한다는 것을 입증했다.
• 생물학적 평행성: 이 발견은 인공 시스템을 해마-내후각 회로의 "시간 세포(time cells)" 및 저차원 표상 표류(representational drift)와 같은 생물학적 에피소드 기억 설명과 비교할 수 있는 구체적인 계산적 목표를 제공한다.
• 방법론적 진보: 본 연구는 긴 문맥 메커니즘 해석 가능성이 가능하다는 것을 입증하며, 시간적 인출 메커니즘을 국소화하고 인과적으로 검증하기 위한 도구 상자(ICMemory-Kit)와 방법론을 제공한다.
• 한계점: 저자들은 이러한 메커니즘에 대한 증거가 다른 모델(Mistral, Qwen)과 과업(다중 세그먼트 순서 지정)에서도 존재함을 언급하며, 본 연구의 결과가 주로 Llama 3 모델과 특정 이진 순서 지정 과업에 기반하고 있음을 겸허히 밝힌다. 그들은 이것이 LLM 메모리의 유일한 메커니즘이라고 주장하는 것이 아니라, 이 특정 범주의 과업에서 지배적인 메커니즘임을 주장하는 것이다.

요약하자면, 본 논문은 시간적 맥락 재설정이 LLM의 에피소드 유사 시간 순서 기억을 위한 핵심적이고 인과적으로 중요한 메커니즘이라고 주장하며, 인공 시스템과 잠재적으로 생물학적 시스템 모두에서 시간적 구조가 어떻게 구현되는지에 대한 새로운 통찰을 제공한다.