기술 요약: 지식이 충돌하는 곳: 언어 모델 내 기억 지식 충돌에 관한 기계론적 연구

문제 정의

대규모 언어 모델(LLM)은 **내부 기억 지식 충돌(intra-memory knowledge conflict)**이라고 불리는 심각한 신뢰성 문제에 직면해 있습니다. 이는 동일한 대상에 대해 일관되지 않은 정보가 모델의 파라미터 지식 내에 인코딩될 때 발생하며, 이로 인해 서로 다른 프롬프트가 상충하는 사실적 연관성을 유도하여 내부 표현이 불안정해지는 현상을 의미합니다. 기존 연구들은 파인튜닝이나 지식 편집을 통해 내부 지식과 외부 컨텍스트 사이의 긴장을 해결하는 컨텍스트-메모리 충돌을 광범위하게 다루어 왔으나, 내부 충돌을 조절하는 메커니즘에 대해서는 여전히 미개척 영역으로 남아 있습니다. 특히, 이러한 충돌이 모델의 아키텍처 내 어디에서 발생하는지, 어떤 구성 요소가 이를 해결하는 역할을 하는지, 그리고 표적화된 개입(intervention)이 모델의 행동을 변화시켜 충돌을 해결하는 데 얼마나 효과적인지는 알려진 바가 없습니다.

방법론

저자들은 내부 기억 충돌을 국소화하고 인과적으로 개입하기 위한 기계론적 해석 가능성(mechanistic interpretability) 프레임워크를 제안합니다. 본 연구는 3단계 파이프라인을 활용합니다:

1. 데이터셋 구축:

   • 합성 데이터 (SynWikiBio): 합성 엔티티를 위한 큐레이션된 위키피디아 스타일의 전기(biographies) 데이터셋입니다. 저자들은 2,000명의 고유한 인물을 생성하였으며, 1,000쌍의 충돌하는 전기(예: 서로 다른 대학교 또는 회사)와 1,000쌍의 충돌이 없는 전기를 생성했습니다. 이를 통해 그라운드 트루스(ground truth)와 충돌하는 사실이 정밀하게 정의된 통제된 실험이 가능합니다.
   • 실제 데이터 (DynamicQA): 일반화 가능성을 테스트하기 위해, 정적, 시간적, 논쟁 가능한 사실을 포함하는 DynamicQA 데이터셋을 활용했습니다. 저자들은 데이터셋에 제공된 반사실적(counterfactual) 정보를 사용하여 사실적 지식을 대체함으로써 충돌하는 컨텍스트를 구축했습니다.

2. 모델 학습:

   • 다양한 아키텍처와 규모를 가진 4개의 LLM(GPT-2 XL (1.5B), Llama-3.2-1B, OPT-2.7B, Qwen3-4B)을 평가했습니다.
   • $\ell_{mix}$: 충돌하는 전기와 충돌이 없는 전기가 모두 포함된 혼합 데이터셋($B_{mix}$)으로 계속 사전 학습(continued pre-training)을 진행하여, 내부 지식 충돌을 가진 모델을 생성했습니다.
   • $\ell_{clean}$: 충돌이 없는 하위 집합($B_{clean}$)으로 계속 사전 학습을 진행하여, 비충돌적 파라미터 표현을 위한 참조 모델로 사용했습니다.

3. 인과적 프로빙 및 개입:

   • 로짓 렌즈 (Logit Lens): 각 레이어의 잔차 스트림(residual stream) 표현을 검사하여, 어디에서 충돌하는 지식이 인코딩되는지, 그리고 예측 신뢰도가 어떻게 진화하는지 확인하는 데 사용되었습니다.
   • 활성화 패칭 (Activation Patching): "소스" 프롬프트(충돌 없는 경우)의 활성화를 "타겟" 프롬프트(충돌하는 경우)에 패칭하여 특정 구성 요소(레이어 또는 헤드)의 인과적 기여도를 측정하는 인과적 추적 방법입니다.
   • 교차 모델 활성화 패칭 (CMAP): 클린 모델($\ell_{clean}$)의 활성화를 충돌 모델($\ell_{mix}$)에 주입하는 고급 변형 방식입니다. 이는 동일한 데이터셋 내에서 충돌이 없는 소스 프롬프트를 찾는 것이 어렵거나 얽힘(entanglement) 문제가 발생할 수 있는 문제를 완화합니다.
   • 개입 기법: 활성화 패칭, 제로 절제(Zero Ablation, 활성화를 0으로 만듦), JUICE(특정 헤드 활성화를 증폭)를 사용하여 모델 예측을 충돌하는 사실로부터 멀어지도록 유도하는 능력을 테스트했습니다.

주요 결과

1. 충돌의 국소화

테스트된 4개 모델 모두에서, 내부 기억 충돌은 일관되적으로 네트워크의 마지막 몇 개 레이어에서 발생하고 해결됩니다.

• 신뢰도 진화: 엔트로피와 KL 발산 분석 결과, 충돌 지식이 있는 모델과 없는 모델은 중간 레이어까지는 유사하게 수렴합니다. 편차는 마지막 레이어(예: GPT-2 XL의 40~47번 레이어)에서 발생하며, 여기서 충돌하는 모델은 불확실성이 높아지는 반면, 비충돌 모델은 확신 있는 예측을 향해 계속 수렴합니다.
• 구성 요소 특이성: 어텐션(Attention) 구성 요소가 MLP 구성 요소보다 충돌 해결에 더 강력한 총체적 기여를 보이는 것으로 나타났습니다.

2. 개입의 효과성

• 헤드 수준 vs 레이어 수준: 표적화된 어텐션 헤드 수준의 개입이 레이어 단위의 개입보다 성능이 훨씬 뛰어납습니다.
• 합성 데이터 vs 실제 데이터 간극: 개입은 실제 데이터인 DynamicQA보다 합성 데이터인 SynWikiBio에서 현저히 더 효과적이었습니다.
  • 예를 들어, GPT-2 XL에서 레이어 단위 패칭의 조향 성공률(Steering Success Rate, SSR)은 0-214(합성)에서 0.141(실제)로 떨어졌습니다.
  • 필터링 분석에 따르면, 이러한 간극은 합성 충돌은 단일 경쟁 사실에 특화된 헤드에 의존하는 경우가 많은 반면, 실제 충돌은 통제되지 않은 데이터 분포로 인해 더 복잡하고 덜 특화된 의사결정 헤드를 포함하기 때문입니다.
• 방법론별 성능:
  • JUICE가 모든 모델과 데이터셋에 걸쳐 가장 견고한 개입 방법으로 나타났습니다.
  • CMAP은 합성 데이터에 대해서는 표준 활성화 패칭과 유사한 성능을 보였으며, 충돌 없는 소스 프롬프트를 찾기 어려운 실제 세계의 충돌 연구에 더 실용적인 설정을 제공했습니다.

3. 모델 규모 및 아키텍처 의존성

• GPT-2 XL의 이례적 현상: GPT-2 XL는 초기에 낮은 개입 성공률을 보였습니다. 추가 분석 결과, 이는 GPT-2 XL의 전체 어텐션 헤드 수(1,200개)가 크기 때문이었습니다. 개입된 헤드의 수를 비례적으로 조정했을 때 성능 추세가 OPT-2.7B나 Qwen3-4B와 같은 다른 모델들과 일치하였으며, 이는 작업 관련 신호가 GPT-2 XL에서는 더 넓은 헤드 집합에 분산되어 있음을 시사합니다.
• 보편적 회로의 부재: 연구 결과, 모든 모델이나 주제에 걸쳐 지식 충돌을 처리하기 위한 단일한 보편적 회로(universal circuit)는 존재하지 않는다는 것을 발견했습니다. 대신, 서로 다른 파라미터 지식을 인코딩하는 별개의 회로들이 존재하며, 입력 프롬프트에 의해 어떤 회로의 신호가 가장 강하게 활성화되느냐에 따라 최종 예측이 결정됩니다.

의의 및 주장

본 논문은 언어 모델의 내부 기억 지식 충돌 해결에 대한 최초의 기계론적 설명을 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 국소화: 내부 충돌이 균등하게 분포된 것이 아니라 마지막 레이어와 특정 어텐션 헤드에 국한되어 있음을 입증했습니다.
2. 개입 계층 구조: 정밀한 헤드 수준의 개입이, 특히 특화된 헤드를 대상으로 할 때, 거친 레이어 수준의 개입보다 우월함을 보여주었습니다.
3. 방법론적 발전: 실제 지식 충돌 연구를 위한 실행 가능하고 종종 필수적인 대안으로서 교차 모델 활성화 패칭(CMAP)을 검증했습니다.
4. 합성-실제 간극: 합성 데이터와 실제 환경 사이의 상당한 성능 차이를 강조하며, 합성 데이터셋이 기계론적 발견에는 유용하지만, 실제 데이터의 복잡성(편향, 노이즈, 엔티티 분포)이 충돌 해결을 상당히 복잡하게 만든다는 점을 분명히 했습니다.

저자들은 LLM이 단일한 "충돌 해결" 모듈에 의존하는 것이 아니라, 서로 다른 사실을 인코딩하는 별개의 회로 간의 경쟁에 의존한다고 결론짓습니다. 이는 모델의 행동을 조절하려면 광범위한 아키텍처 변경을 적용하기보다는, 특정 헤드 수준에서 원하는 신호를 증폭하거나 경쟁하는 신호를 억제해야 함을 시사합니다. 연구는 로짓 렌즈 투영의 한계(초기 레이어에서 신뢰도가 낮음)와 자연적으로 발생하는 사전 학습 충돌의 통계적 특성을 완벽하게 반영하지 못할 수 있는 합성 충돌 사용 등의 한계를 인정합니다.