Understanding the Interplay between LLMs' Utilisation of Parametric and Contextual Knowledge: A keynote at ECIR 2025

이 키노트 연설은 ECIR 2025 에서 사전 학습된 파라미터 지식과 검색된 맥락 지식 간의 상호작용, 특히 두 지식 간의 충돌과 맥락 활용 실패 원인을 진단하고 해결하기 위한 연구 결과를 다룹니다.

핵심

🧠 핵심 비유: "오래된 두뇌"와 "손편지"

이 연구의 주인공인 LLM 을 상상해 보세요. 이 모델은 어릴 때부터 엄청난 양의 책 (데이터) 을 읽어서 머릿속에 지식을 쑤셔 넣은 천재 학생입니다. 이것이 **'파라메트릭 지식 (Parametric Knowledge)'**입니다.

하지만 세상은 빠르게 변합니다. 학생이 배운 지식이 낡았거나, 혹은 학생이 잘못 기억하고 있을 수도 있죠. 그래서 우리는 학생에게 **새로운 뉴스 기사나 검색 결과 (Context)**를 손편지로 건네줍니다. 이것이 **'맥락 지식 (Contextual Knowledge)'**입니다.

이 논문은 이 학생이 **"내 머릿속 기억이 맞을까, 아니면 지금 준 손편지가 맞을까?"**를 어떻게 판단하는지, 그리고 왜 가끔은 손편지를 무시하고 고집을 부리는지 분석합니다.

---

1. 문제: "왜 학생은 손편지를 무시할까?" (갈등)

학생 (LLM) 은 머릿속에 이미 "일본의 수도는 도쿄다"라고 확실히 기억하고 있습니다. 그런데 우리가 "사실은 스웨덴의 스톡홀름이야"라는 거짓 손편지를 주면 어떻게 될까요?

• 내부 갈등 (Intra-memory conflict): 학생이 공부할 때 '도쿄'라고 배운 것도 있고, '스톡홀름'이라고 잘못 배운 것도 섞여 있어서 머릿속이 혼란스러운 상태입니다.
• 외부 갈등 (Context-memory conflict): 머릿속 기억 (도쿄) 과 새로 받은 손편지 (스톡홀름) 가 정면으로 충돌합니다.

놀라운 발견: 연구진은 재미있는 사실을 발견했습니다.

"사실은 변하지 않는 상식 (예: 일본의 수도) 일수록, 학생은 새로운 손편지를 더 쉽게 믿어버린다!"

반대로, "내일 날씨가 어떨지"처럼 변하기 쉬운 사실은 오히려 학생이 "아, 이건 내 기억을 믿어야지"라고 더 고집을 부립니다. 즉, 변하지 않는 사실일수록 외부 정보에 더 취약하다는 뜻입니다.

2. 연구 1: "학생이 어떤 기억을 꺼냈는지 추적하기" (기여도 분석)

우리는 학생이 정답을 맞힐 때, **머릿속의 어떤 '뉴런 (세포)'**이 작동했는지, 혹은 **어떤 '교과서 페이지 (학습 데이터)'**를 참고했는지 알고 싶습니다.

• 비유: 학생이 수학 문제를 풀 때, "내 기억 속 3 번 문제 풀이법이 도움이 됐다"라고 말하는 것과, "뇌의 왼쪽 앞부분이 활성화됐다"라고 말하는 것은 다릅니다.
• 결과: 연구진은 이 두 가지 방법 (기억의 출처 찾기 vs 뇌세포 활성화 찾기) 을 비교했습니다. 그런데 놀랍게도, 가장 중요한 교과서 페이지를 찾아내서 다시 공부시키는 것 (파인튜닝) 은, 그냥 무작위로 고른 페이지를 공부시키는 것보다 효과가 별로 없었다는 결과가 나왔습니다.
• 이유: 중요한 페이지들이 서로 너무 비슷해서 다양성이 부족했기 때문입니다. 즉, "무엇이 중요한지"를 정확히 찾아내는 것만으로는 부족하고, 다양한 관점이 필요하다는 교훈을 줍니다.

3. 연구 2: "실제 상황에서의 RAG (검색 증강 생성)"

LLM 이 검색 기능을 쓸 때 (RAG), 우리는 "검색된 정보를 잘 믿고 사용할까?"라고 기대합니다. 하지만 연구진은 **실제 세상 (Real-world)**과 **가짜 실험실 (Synthetic Data)**의 차이를 발견했습니다.

• 비유: 실험실에서는 "학생이 거짓말을 하면 바로 알아채고 손편지를 믿는다"고 가르쳤지만, 실제 세상에서는 학생이 어떤 손편지를 믿을지 예측하기 훨씬 어렵다는 것입니다.
• 발견:
  • 학생은 직관적이고 단호한 말투로 된 정보 (예: "이게 맞습니다!") 를 더 잘 믿습니다.
  • 하지만 긴 글이나 출처가 복잡한 글은 잘 무시하거나 혼란을 겪습니다.
  • 실험실 데이터는 "갈등"을 너무 자주 만들어내서, 실제 세상에서는 갈등이 그렇게 자주 일어나지 않는다는 것을 깨닫게 해줍니다.

4. 결론: " spiral (나선) 을 오르는 연구"

이 논문은 LLM 이 완벽한 지능이 아니라, 오래된 기억과 새로운 정보 사이에서 혼란스러워하는 존재임을 보여줍니다.

• 교훈: 단순히 검색 결과를 덧붙인다고 해서 LLM 이 똑똑해지는 게 아닙니다. 어떤 상황에서, 어떤 종류의 정보를, 어떻게 제시해야 학생이 머릿속 기억을 올바르게 수정할지 연구해야 합니다.
• 마무리: 저자는 "연구는 원점에서 도는 것이 아니라, 더 나은 재료로 나선형으로 올라가는 것"이라고 말합니다. 우리는 아직 LLM 의 속마음을 완전히 이해하지 못했지만, 이 연구들이 그 이해를 한 단계 더 높여준 것입니다.

---

📝 한 줄 요약

"거대 AI 는 머릿속의 오래된 기억과 새로 받은 정보 사이에서 갈등하며, 때로는 변하지 않는 상식일수록 새로운 정보에 더 쉽게 넘어갑니다. 우리는 AI 가 언제, 어떻게 정보를 믿을지 더 잘 이해해야 합니다."

기술 요약

논문 기술 요약: LLM 의 매개변수 지식과 문맥 지식 활용 간의 상호작용 이해

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 훈련 과정에서 획득한 **매개변수 지식 (Parametric Knowledge, 가중치에 인코딩된 지식)**을 기반으로 작동하지만, 지식 집약적 작업을 수행할 때는 검색된 **문맥 지식 (Contextual Knowledge)**을 통합해야 합니다. 그러나 현재 다음과 같은 근본적인 문제들이 존재합니다.

• 지식 충돌 (Knowledge Conflicts): LLM 이 제공된 문맥을 무시하고 사전 훈련된 매개변수 기억을 우선시하는 경우가 많습니다. 특히 문맥과 매개변수 지식이 상충될 때 (Context-Memory Conflict) 모델의 신뢰성이 떨어집니다.
• 내부적 충돌 (Intra-Memory Conflict): 훈련 데이터 내의 모순된 표현으로 인해 매개변수 지식 자체에 불확실성이나 불안정성이 존재할 수 있습니다.
• RAG 의 한계: 검색 증강 생성 (RAG) 이 문맥을 활용하는 시기와 방법, 그리고 언제 매개변수 지식을 덮어써야 하는지에 대한 연구가 부족합니다. 또한, 기존 연구는 주로 합성 데이터를 사용하여 현실 세계의 복잡한 RAG 시나리오를 반영하지 못합니다.
• 해결책의 비용: 지식 편집 (Knowledge Editing) 이나 continual learning 과 같은 기존 방법론은 계산 비용이 높거나 의도치 않은 부작용 (ripple effects) 을 초래할 수 있습니다.

2. 방법론 (Methodology)

저자는 LLM 의 내부 작동 원리와 지식 활용 패턴을 분석하기 위해 다음과 같은 다각적인 연구 접근법을 제시합니다.

• 지식 영향력 평가 프레임워크 (Attribution Framework):

  • LLM 의 예측에 영향을 미치는 훈련 인스턴스 (Instance Attribution) 와 뉴런 (Neuron Attribution) 을 비교 분석하기 위한 통합 평가 프레임워크를 제안합니다.
  • MLP 계층의 뉴런 활성화와 중요한 훈련 인스턴스를 정렬 (Align) 하여 모델의 내부 작동 원리를 규명합니다.
  • 신뢰성 테스트 (Faithfulness Tests): 충분성 (Sufficiency, 핵심 뉴런 활성화) 과 포괄성 (Comprehensiveness, 핵심 뉴런 억제) 을 측정합니다.

• 지식 충돌 탐지 및 프로빙 (Probing Tests):

  • DynamicQA 데이터셋: 사실의 동적성 (정적 사실, 시간적 사실, 논쟁적 사실) 을 포함하는 데이터셋을 구축하여 모델의 지식 충돌을 탐지합니다.
  • 측정 지표:
    • 의미적 엔트로피 (Semantic Entropy): 매개변수 기억 내의 불확실성 (내부 충돌) 을 측정.
    • 일관된 설득 점수 (Coherent Persuasion Score): 경쟁적인 문맥이 주어졌을 때 모델의 출력 분포가 어떻게 변하는지 (문맥 - 기억 충돌) 측정.

• 현실 기반 RAG 분석 (DRUID 데이터셋 및 ACU):

  • DRUID (Real-World Contexts): 사실 확인 (Fact-checking) 을 위한 실제 세계의 문맥을 포함한 새로운 데이터셋을 제안합니다. 기존 합성 데이터셋의 한계를 극복하기 위해 고안되었습니다.
  • ACU (Actual Context Usage): LLM 이 실제로 문맥을 얼마나 활용하는지 측정하는 새로운 지표입니다.
  • 문맥 조작 기법 (CMT): 프롬프팅부터 기계적 개입 (Mechanistic Interventions) 까지 다양한 기법을 적용하여 문맥 - 기억 충돌을 해결하는 방법을 비교 분석합니다.

3. 주요 기여 (Key Contributions)

• 통합 평가 프레임워크: 인스턴스 기반과 뉴런 기반의 Attribution 방법을 비교하여 LLM 의 예측에 기여하는 지식의 출처를 더 명확히 규명하는 프레임워크를 제시했습니다.
• 지식 충돌의 새로운 통찰: 사실의 동적성 (Fact Dynamicity) 이 모델의 문맥 수용성에 미치는 영향을 발견했습니다.
• 현실 세계 RAG 데이터셋 (DRUID): 합성 데이터가 과장했던 지식 충돌 등의 특성이 실제 데이터에서는 드물 수 있음을 보여주는 DRUID 데이터셋과 ACU 지표를 개발했습니다.
• 충돌 해결 기법 비교: 다양한 문맥 조작 기법 (CMT) 과 모델 크기 (Large vs. Small LLM) 가 문맥 활용 성공률에 미치는 영향을 체계적으로 분석했습니다.

4. 주요 결과 (Key Results)

• Attribution 분석 결과:

  • 대부분의 MLP 뉴런을 제거해도 예측에 큰 변화가 없었으며, 이는 지식 인코딩에 Attention 가중치가 중요할 가능성을 시사합니다.
  • 영향력 있는 훈련 인스턴스를 이용한 파인튜닝은 무작위 샘플링과 성능 차이가 없었으며, 이는 영향력 있는 인스턴스의 다양성이 낮기 때문으로 분석되었습니다.
  • 인스턴스 및 뉴런 Attribution 을 결합하면 훈련 시 특정 어휘 패턴에 과적합된 데이터 아티팩트 (Dataset Artifacts) 를 발견하는 데 효과적입니다.

• 지식 충돌 및 동적성 결과:

  • 역설적 발견: LLM 은 동적인 사실 (시간에 따라 변하거나 논쟁적인 사실) 보다는 정적이거나 변화하지 않는 사실에 대해 제공된 문맥에 더 쉽게 설득당합니다. 즉, 자주 변하는 사실은 문맥 검색을 통해 업데이트되기 어렵지만, 변하지 않는 사실은 문맥에 의해 쉽게 바뀝니다.
  • 사실의 인기도 (Popularity) 보다는 **사실의 동적성 (Dynamicity)**이 모델의 문맥 수용성을 예측하는 더 강력한 부정적 지표로 작용했습니다.

• RAG 및 문맥 활용 결과:

  • DRUID 분석: 사실 확인 소스 (Fact-check sources) 나 주장에 대한 직접적인 논증, 그리고 주장 이후에 출판된 증거 문서가 문맥 활용 (ACU) 을 높이는 요인임을 발견했습니다.
  • 합성 데이터의 한계: 합성 데이터는 지식 충돌 (Knowledge Conflict) 이나 문맥 반발 (Context Repulsion) 과 같은 현상을 실제 데이터보다 과장하여 표현합니다.
  • 모델 크기: 일반적으로 대형 LLM 이 문맥 활용에 더 성공적이지만, 특정 모델에 최적화된 문맥 조작 기법 (CMT) 을 사용하면 소형 모델이 대형 모델을 능가할 수도 있습니다.
  • 지식 유형별 차이: 주장 검증 (Claim Verification) 과 같이 지식 충돌이 많은 경우 모델은 문맥 지식을 선호하는 반면, 상식 질문 (Common-sense QA) 과 같이 충돌이 적은 경우 매개변수 기억을 더 많이 의존합니다.

5. 의의 및 결론 (Significance)

• RAG 의 현실적 이해: 이 연구는 RAG 기반 모델이 문맥을 어떻게, 언제 활용하거나 무시하는지에 대한 현실적인 통찰을 제공하며, 정보 검색 (IR) 과 자연어 처리 (NLP) 연구 간의 협력을 촉진합니다.
• 연구 방향의 전환: 단순한 성능 향상을 넘어, 모델의 내부 지식과 외부 문맥 간의 상호작용을 이해하고, 특히 저신뢰도 (Low-certainty) 영역에서의 지식 업데이트 전략을 수립하는 데 기여합니다.
• 지속 가능한 발전: Karen Spärck Jones 의 "나선형 상승 (Ascending a spiral)" 비유를 인용하며, 기존 아이디어가 새로운 형태로 재등장하더라도 더 나은 재료와 의상으로 발전하고 있음을 강조합니다. 즉, LLM 의 지식 활용 메커니즘에 대한 연구는 단순한 순환이 아닌 진화적인 과정임을 시사합니다.

이 키노트는 LLM 의 '기억'과 '참고' 사이의 복잡한 관계를 해부하여, 더 정확하고 신뢰할 수 있는 지식 기반 AI 시스템을 구축하기 위한 필수적인 기초를 마련했습니다.