1. 연구 배경 및 문제 제기 (Problem)

• 핵심 질문: 대규모 언어 모델 (LLM) 이 문맥 내에서 상충되는 정보를 마주할 때, 어떤 기억이 생존하는가? 초기 정보 (Early) 가 유지되는가, 아니면 최근 정보 (Recent) 가 유지되는가?
• 기존 연구의 한계: 인간의 기억 연구에서는 '후행 간섭 (Retroactive Interference, RI; 새로운 정보가 이전 정보를 방해)'이 '선행 간섭 (Proactive Interference, PI; 이전 정보가 새로운 정보를 방해)'보다 우세한 것으로 알려져 있음. 그러나 LLM 의 메모리 간섭 메커니즘, 특히 다양한 아키텍처와 규모에서 어떻게 작동하는지는 명확히 규명되지 않음.
• 연구 목표: 인지 심리학의 고전적 간섭 패러다임을 LLM 에 적용하여, 39 개의 다양한 LLM 에서 RI 와 PI 가 어떻게 발생하는지, 그리고 이것이 인간 기억과 어떻게 다른지 분석.

2. 방법론 (Methodology)

• 실험 설계 (AB-AC 간섭 패러다임):
  • 자극: 46 개의 의미적 카테고리 (예: 미술 장르) 와 해당 값 (예: 인상주의) 의 쌍을 학습시킴.
  • 업데이트: 각 카테고리에 대해 $N$개의 교차 업데이트 (새로운 값 할당) 를 수행 ($N \in \{3, 10, 50, 100, 200, 300\}$).
  • 쿼리:
    • 후행 간섭 (RI): 초기 값 (첫 번째 할당된 값) 을 회상하도록 요청.
    • 선행 간섭 (PI): 최신 값 (마지막 할당된 값) 을 회상하도록 요청.
  • 통제: RI 와 PI 는 동일한 자극 시퀀스를 사용하며, 쿼리 대상만 다르게 설정하여 간섭 효과를 순수하게 측정.
• 평가 지표:
  • RIES (Retroactive Interference Endurance Score): 간섭 수준 ($N$) 에 따른 정확도 곡선 아래의 면적 (로그 스케일).
  • PIES (Proactive Interference Endurance Score): 최신 값 정확도에 대한 동일 지표.
  • 높은 점수는 간섭에 대한 저항력이 강함을 의미.
• 대상 모델: 10 억~2.5 조 파라미터 규모의 39 개 LLM (Llama, Mistral, Qwen, GPT-4o, Claude-3.5, o1 등) 포함.

3. 주요 기여 (Key Contributions)

1. 이중 과정 메모리 (Dual-Process Memory) 증거: RI 와 PI 는 상관관계가 없으며 ($R^2=0.044$), 서로 다른 확장 관계를 보임. 이는 두 가지가 통합된 '메모리 용량'이 아닌, **정리 (Consolidation, RI)**와 **회상 (Retrieval, PI)**이라는 계산적으로 구별되는 메커니즘을 사용함을 시사.
2. 반전된 간섭 프로파일: 인간은 RI > PI 인 반면, 모든 39 개 LLM 이 PI > RI를 보임. 즉, 트랜스포머는 초기 정보를 최근 정보보다 강력하게 보호함 (Primacy Protection).
3. 인지적 실패 분류: RI 실패는 '수동적 회상 실패 (Passive retrieval failure)'인 반면, PI 실패는 '능동적 초기값 침입 (Active primacy intrusion)'임. 두 경우 모두 환각 (Hallucination) 비율은 1% 미만으로 낮음.

4. 주요 결과 (Key Results)

4.1. 간섭 패턴의 역전 (Inverted Interference Profile)

• PI > RI: 모든 모델에서 초기 정보를 기억하는 것 (RI) 보다 최근 정보를 기억하는 것 (PI) 이 훨씬 어려움.
  • RI 정확도: $N=300$에서도 27% 유지 (피크 대비 66%p 하락).
  • PI 정확도: $N=300$에서 2% 로 급락 (거의 완전한 실패).
  • 효과 크기 (Cohen's d = 1.73, $p < 0.0001$).
• 인간과의 차이: 인간은 최근 정보가 이전 정보를 덮어쓰는 경향이 강하지만, LLM 은 초기 정보가 업데이트를 막는 경향이 강함.

4.2. 모델 크기와 간섭 저항성의 관계

• RI 저항성: 모델 크기 (파라미터 수) 와 강한 양의 상관관계 ($R^2 = 0.49$). 큰 모델일수록 초기 정보를 더 잘 보존함.
• PI 저항성: 모델 크기와 상관관계가 없음 ($R^2 = 0.06$, 통계적 유의미성 없음).
• 컨텍스트 윈도우: 컨텍스트 길이 (8K~2M 토큰) 는 RI 나 PI 저항성 모두 예측하지 못함. 이는 간섭 저항이 '버퍼 크기'가 아닌 '표현 능력 (Representational Capacity)'에 의존함을 시사.

4.3. 추론 모델 (Reasoning Models) 의 특이성

• o1, o3 등 추론 모델: RI 저항성이 일반 모델보다 18% 높음 (메모리 정리 능력 향상).
• 대가 (Cost): 그러나 PI 저항성은 오히려 떨어지거나 개선되지 않음. (예: o1 은 RI 랭킹 1 위, PI 랭킹 35 위). 이는 추론 과정이 초기 정보 정리에 도움이 되지만, 최신 정보 회상에는 방해가 될 수 있음을 보여줌.

4.4. 오류 분석 (Error Analysis)

• RI 실패 (51%): '회상 실패'. 모델이 값을 전혀 찾지 못함 (초기 정보가 덮어씌워짐).
• PI 실패 (56%): '동일 키 침입'. 올바른 카테고리에서 이전 값을 반환함 (초기 정보가 최신 정보를 방해).
• 환각: 두 경우 모두 1% 미만으로 낮음. 모델은 정보를 만들어내지 않고, 기존 정보 내의 위치를 혼동함.
• 메타인지: PI 실패 시 모델이 "이 정보를 알 수 없다"고 명시적으로 거부하는 경우가 8.6% 발생 (경쟁 신호 감지). RI 실패 시에는 0% (신호 부재로 오히려 확신하며 틀린 값 반환).

5. 논의 및 의미 (Significance & Implications)

5.1. 메커니즘 해석

• 초기 보호 (Primacy Protection): 트랜스포머의 자기 주의 (Self-Attention) 메커니즘은 초기 토큰이 모든 후속 토큰으로부터 주의를 누적받는 'Attention Sinks' 현상을 보임. 이로 인해 초기 인코딩이 강화되고 최근 토큰은 상대적으로 약해짐.
• 이중 과정 가설:
  • RI (정리): 파라미터 수에 의존. 초소형 모델은 '중첩 (Superposition)'으로 인해 초기 정보가 뒤섞여 사라지지만, 대형 모델은 직교 표현을 통해 초기 정보를 보존.
  • PI (회상): 아키텍처적 제약 (주의 메커니즘). 파라미터를 늘려도 초기 토큰에 대한 편향을 해결하지 못함.

5.2. 실용적 시사점

• 모델 선택 가이드:
  • 역사적 기록/문서 분석 (RI 중요): o1, o3 등 추론 모델이나 대형 모델이 유리.
  • 대화/실시간 업데이트 (PI 중요): Claude 시리즈 (균형 잡힌 설계) 가 더 적합할 수 있음.
• 컨텍스트 vs 크기: 긴 컨텍스트 윈도우보다 모델의 파라미터 수가 간섭 저항성에 더 중요함 (100B 모델이 10B 모델 + 1M 컨텍스트보다 성능이 좋음).

5.3. 결론

이 연구는 LLM 이 인간과 정반대의 간섭 패턴을 보이며, RI 와 PI 가 서로 다른 계산적 메커니즘 (용량 의존적 정리 vs 아키텍처 의존적 회상) 을 통해 작동함을 최초로 체계적으로 증명했습니다. 이는 LLM 의 메모리 한계를 이해하고, 간섭이 중요한 애플리케이션 (의료 기록, 법률 문서 등) 에 적합한 모델을 선택하는 데 중요한 지침을 제공합니다.