Mitigating Context-Memory Conflicts in LLMs through Dynamic Cognitive Reconciliation Decoding

기술 요약: 동적 인지 조화 디코딩을 통한 LLM 의 컨텍스트 - 기억 충돌 완화

문제 제기
대형 언어 모델 (LLM) 은 사전 학습을 통해 방대한 매개변수 지식을 보유하고 있으며, 이는 종종 컨텍스트 (예: 검색 증강 생성을 통해 제공됨) 에 포함된 외부 정보와 충돌합니다. 이러한 "컨텍스트 - 기억 충돌"이 발생하면 모델은 구식이거나 잘못된 내부 지식에 의존하는 경향이 있어 검색된 컨텍스트의 충실도가 훼손됩니다. 컨텍스트 인식 디코딩 (CAD) 과 같은 기존 완화 전략은 컨텍스트 유무에 따른 출력 분포의 차이를 증폭시키기 위해 정적 대비 디코딩을 사용합니다. 그러나 이러한 정적 접근법은 치명적인 결함을 안고 있습니다: 충돌이 없는 시나리오에서는 출력 분포에 불필요한 간섭을 초래하여 성능 저하와 인지 부조화를 유발합니다. 또한, 다른 동적 방법들은 복잡하고 실제적인 충돌 시나리오를 효과적으로 모델링하는 데 어려움을 겪습니다.

방법론: 동적 인지 조화 디코딩 (DCRD)
본 논문은 입력을 적절한 디코딩 경로로 동적으로 라우팅하여 컨텍스트 - 기억 충돌을 예측하고 완화하도록 설계된 2 단계 디코딩 프레임워크인 DCRD 를 제안합니다. 이 방법은 인지 부조화 이론에서 영감을 받아, 정보가 일관될 때 불필요한 교정 과정을 피하는 것을 목표로 합니다.

1. 어텐션 맵을 통한 충돌 예측:
   디코딩 전에 DCRD 는 모델의 어텐션 맵을 분석하여 "컨텍스트 충실도"를 평가합니다. 이는 트랜스포머 레이어와 어텐션 헤드를 가로질러 컨텍스트와 출력 시퀀스에 할당된 어텐션 가중치의 비율을 계산합니다. 단일 레이어의 다층 퍼셉트론 (MLP) 분류기는 이러한 집계된 충실도 점수를 사용하여 충돌 존재 여부를 예측합니다 (이진 분류).

2. 동적 라우팅 및 인지 조화 디코딩:
   충돌 예측에 기반하여 입력은 두 가지 경로 중 하나로 라우팅됩니다:

   • 충돌 없는 입력: 표준 탐욕적 디코딩 (Greedy Decoding) 으로 유도됩니다. 이는 외부 지식과 내부 지식이 일치할 때 모델의 자연스러운 성능을 유지하면서 정적 대비 방법에서 관찰되는 "과도한 개입"을 방지합니다.
   • 충돌하는 입력: 동적 대비 디코딩 (DCD) 으로 유도됩니다. 이 경로는 예측된 컨텍스트 충실도에 따라 대비 디코딩 강도를 적응적으로 조정합니다. 조정 계수 $\alpha_{adj}$는 $\alpha \cdot \frac{1}{1 + \lambda \hat{s}}$로 동적으로 계산되며, 여기서 $\hat{s}$는 정규화된 컨텍스트 충실도를 나타냅니다.
     • 높은 충실도 (낮은 충돌) 는 개입 감소를 초래합니다.
     • 낮은 충실도 (높은 충돌) 는 개입을 증가시켜 컨텍스트 인식 및 컨텍스트 무관 분포 간의 차이를 증폭시키고, 모델이 외부 컨텍스트를 우선시하도록 강제합니다.

주요 기여

• DCRD 프레임워크: 충돌 예측과 동적 라우팅을 통합한 새로운 2 단계 방법입니다. 이는 충돌 시나리오에서의 개입 필요성과 비충돌 시나리오에서의 효율성 및 정확성 유지 사이의 균형을 독특하게 맞춥니다.
• ConflictKG 벤치마크: 저자들은 4,466 개의 인스턴스 (충돌 및 비충돌 모두 포함) 와 관련 지식 소스를 포함하는 새로운 지식 충돌 QA 벤치마크를 구축했습니다. 이전의 엔티티 교체에 의존하던 방법들과 달리, ConflictKG 는 LLM 을 사용하여 유효한 의미적 충돌을 가진 언어적으로 일관된 컨텍스트를 생성하여 실제 세계의 지식 업데이트 시나리오를 시뮬레이션합니다.
• 종합 평가: 표준 QA(NQ, SQuAD, TriviaQA), 지식 충돌 QA(Counterfacts, NQ-Swap), 그리고 새로운 ConflictKG 벤치마크를 포함한 6 개 데이터셋에서 4 개의 오픈 소스 LLM(Llama2-7b/13b, Llama3-8b, Mistral-7b) 에 대해 광범위한 실험이 수행되었습니다.

실험 결과

• 우수한 성능: DCRD 는 모든 데이터셋과 모델에서 모든 베이스라인 (Greedy, CAD, COIECD, ADACAD) 을 능가했습니다.
  • ConflictKG에서 DCRD 는 탐욕적 디코딩 대비 평균 정확도 14.5%, CAD 대비 14.2% 개선을 달성했습니다.
  • NQ-Swap(고충돌) 에서 DCRD 는 Llama2-13b 기준 탐욕적 디코딩 대비 최대 29.1% 를 개선했습니다.
  • 결정적으로 일반 QA 데이터셋(저충돌) 에서 DCRD 는 성능을 유지하거나 개선한 반면, CAD 와 같은 정적 방법은 성능을 현저히 저하시켰습니다 (예: CAD 는 저충돌 작업에서 모델 간 평균 8.1% 하락).
• 견고성: 데이터 내 충돌 비율이 변하거나 노이즈가 있는 컨텍스트가 도입되었을 때 DCRD 는 베이스라인보다 더 큰 안정성을 보여주었습니다. COIECD 와 ADACAD 에서 관찰된 큰 하락에 비해 성능 변동이 미미했습니다.
• 효율성: DCRD 는 예측 단계로 인해 정적 방법보다 약간 더 많은 추론 시간이 소요되지만, COIECD 보다 훨씬 효율적입니다 (COIECD 시간의 39%). 동적 라우팅은 계산적으로 더 무거운 대비 디코딩이 필요할 때만 적용되도록 보장합니다.

의의 및 주장
본 논문은 DCRD 가 정적 교정 메커니즘이 비충돌 시나리오에서 성능을 해치는 LLM 의 "인지 부조화" 문제에 대한 실용적인 해결책을 제공한다고 주장합니다. 인지 조화 과정을 모방하여—필요할 때만 컨텍스트에 선택적으로 집중함으로써—DCRD 는 고충돌 및 일반 시나리오 모두에서 최첨단 성능을 달성합니다. 저자들은 그들의 접근 방식이 추가 미세 조정이나 복잡한 프롬프트 엔지니어링 없이 지식 충돌을 효과적으로 완화하여, 지식이 빠르게 진화하는 동적 환경에서 사실성을 유지하기 위한 확장 가능한 방법을 제공한다고 주장합니다. 또한 ConflictKG 의 도입은 더 현실적인 컨텍스트 - 기억 충돌 해결 평가를 위한 중요한 걸음으로 강조됩니다.