Diagnosing Retrieval Bias Under Multiple In-Context Knowledge Updates in Large Language Models

이 논문은 대규모 언어 모델이 동일한 사실에 대해 여러 번의 컨텍스트 내 지식 업데이트를 처리할 때 발생하는 회상 편향을 인지 심리학의 AB-AC 간섭 패러다임에 빗대어 분석하고, 업데이트 횟수가 증가할수록 최신 정보의 정확도가 급격히 저하되며 기존 메커니즘으로는 이를 효과적으로 해결하기 어렵다는 점을 규명했습니다.

핵심

🧠 제목: "AI 의 기억력 혼란: 같은 질문을 여러 번 바꿀 때 무슨 일이?"

1. 배경: AI 는 왜 헷갈릴까?

우리가 AI 에게 "이탈리아의 대통령은 누구야?"라고 물으면, AI 는 과거의 데이터와 최신 정보를 모두 알고 있습니다. 하지만 만약 AI 가 대화 중에 같은 주제에 대해 정보가 여러 번 바뀌는 상황을 마주친다면 어떻게 될까요?

• 상황: "이탈리아 대통령은 A 야" → "아니야, B 로 바뀌었어" → "다시 C 로 바뀌었어" → "현재는 D 야"
• 문제: AI 는 이 모든 정보 (A, B, C, D) 를 한 문장 안에 동시에 가지고 있게 됩니다. 이때 AI 가 **가장 최신 정보 **(D)를 찾아내는 데 실패하는 현상을 연구했습니다.

2. 실험: "기억력 테스트" (DKI 프레임워크)

연구팀은 심리학의 **'AB-AC 간섭 현상'**이라는 개념을 차용했습니다.

• 비유: 친구에게 "내 이름은 A 야"라고 알려주고, 나중에 "아니야, 내 이름은 B 야"라고 다시 알려주면, 친구는 A 와 B 사이에서 헷갈려 합니다.
• 실험 방법: 연구팀은 AI 에게 "이탈리아 대통령"이라는 질문 (단서) 을 주고, 그 뒤에 32 개에서 512 개까지의 대통령 이름이 순서대로 바뀌는 긴 목록을 보여줬습니다.
  • **질문 1 **(과거) "가장 처음에 나온 대통령은 누구야?"
  • **질문 2 **(현재) "가장 마지막에 나온 대통령은 누구야?"

3. 놀라운 발견: "과거는 완벽하지만, 현재는 망가진다"

실험 결과는 매우 흥미로웠습니다.

• **과거 정보 **(첫 번째 이름) AI 는 거의 100% 정확하게 기억해냈습니다.
• **최신 정보 **(마지막 이름) 업데이트 횟수가 늘어날수록 정답을 맞추는 비율이 급격히 떨어졌습니다.
• 결론: AI 는 과거의 정보는 잘 기억하지만, 최신 정보로 업데이트하는 능력은 매우 약하다는 '검색 편향 (Retrieval Bias)'이 존재합니다. 업데이트가 많을수록 AI 는 최신 정보를 잊어버리고, 오래된 정보를 다시 꺼내 말합니다.

4. 왜 이런 일이 일어날까? (내부 신호 분석)

연구팀은 AI 의 뇌 (내부 작동 원리) 를 들여다봤습니다.

• 비유: AI 가 정답을 고를 때, 마치 등불처럼 특정 정보에 집중해야 합니다.
• 발견:
  • 정답을 맞춘 경우: AI 는 최신 정보에 집중하는 '등불'이 선명하게 켜졌습니다.
  • 틀린 경우: 등불이 아주 희미해지거나, 모든 방향으로 퍼져버려 (flat) 어느 정보를 선택해야 할지 분간하기 어렵게 되었습니다.
  • 즉, AI 가 틀릴 때는 내부적으로 "이게 최신 정보야!"라고 확신할 만한 단서가 사라진 상태였습니다.

5. 해결책 시도: "기억력 훈련" (개입 전략)

심리학에서 기억력을 돕는 방법들을 AI 에게 적용해 봤습니다.

• 방법:
  • 반복 암기: "이 정보를 K 번 반복해서 읽어봐."
  • 의미 연결: "이 정보들이 서로 어떻게 연결되는지 설명해봐."
  • 망각 지시: "옛날 정보는 '구식'이라고 표시하고 최신 정보만 기억해."
• 결과: 이런 방법들이 약간은 도움이 되었지만, 근본적인 문제를 완전히 해결하지는 못했습니다. 여전히 AI 는 최신 정보를 찾기 어려워했습니다.

---

💡 핵심 요약 (한 줄 평)

"AI 는 과거의 이야기를 아주 잘 기억하지만, 정보가 계속 바뀌는 '최신 뉴스'를 따라가는 데는 여전히 서툴러서, 자주 옛날 이야기를 꺼내 말합니다."

이 연구는 AI 가 긴 대화나 실시간 정보 업데이트가 필요한 상황 (예: 뉴스 요약, 주식 정보, 법률 변경 사항 등) 에서 얼마나 취약한지를 보여줍니다. 따라서 앞으로는 AI 가 최신 정보를 더 잘 추적하고, 오래된 정보와 혼동하지 않도록 하는 새로운 기술 개발이 필요하다고 결론 내립니다.

기술 요약

1. 문제 정의 (Problem Definition)

대형 언어 모델 (LLM) 은 검색 어시스턴트나 지식 기반 질문 응답과 같은 지식 집약적 작업에 널리 사용됩니다. 이러한 환경에서 동일한 사실 (Fact) 은 컨텍스트 내에서 여러 번 업데이트될 수 있습니다 (예: 국가 지도자 변경, 기업 임원 교체 등).

• 기존 연구의 한계: 이전 연구들은 주로 '단일 업데이트 (One-shot update)'나 '단일 충돌 (Single conflict)' 상황에 집중했습니다. 즉, 기존 지식과 새로운 지식이 한 번 충돌하는 상황을 다뤘습니다.
• 새로운 도전 과제: 실제 배포 환경에서는 동일한 힌트 (Cue) 에 대해 여러 번의 업데이트가 연속적으로 발생하며, 이로 인해 과거의 여러 버전과 최신 버전이 공존하고 경쟁하게 됩니다.
• 핵심 문제: 이러한 '다중 업데이트 (Multi-update)' 상황에서 LLM 이 최신 정보를 정확히 추적하는지, 아니면 과거의 역사적 상태에 편향되어 있는지 (Retrieval Bias) 를 체계적으로 평가하고 진단할 수 있는 프레임워크가 부재했습니다.

2. 방법론 (Methodology)

저자들은 인지 심리학의 AB-AC 간섭 (Interference) 패러다임에서 영감을 받아 다음과 같은 방법론을 제시합니다.

2.1 동적 지식 인스턴스 (Dynamic Knowledge Instance, DKI) 평가 프레임워크

• 개념: 동일한 힌트 $A$에 대해 $T$개의 업데이트된 값 $V^{(1)} \rightarrow V^{(T)}$으로 구성된 시퀀스를 정의합니다. 이는 데이터베이스나 지식 그래프의 실제 업데이트 흐름을 추상화한 것입니다.
• 엔드포인트 프로빙 (Endpoint Probing): 모델의 성능을 평가하기 위해 시퀀스의 두 끝단만 질의합니다.
  • 최초 상태 (Earliest): $V^{(1)}$ (가장 오래된 정보)
  • 최신 상태 (Latest): $V^{(T)}$ (가장 최근 정보)
• 지표: 초기 상태 정확도 ($Acc_{earliest}$) 와 최신 상태 정확도 ($Acc_{latest}$) 의 차이인 ELAG (Earliest-Latest Accuracy Gap) 를 계산하여 회수 편향을 정량화합니다.

2.2 데이터 구성

• 합성 데이터 (Synthetic): 의미론적으로 임의적인 단어 쌍을 사용하여 사전 지식 (Parametric memory) 의 영향을 배제하고, 순수한 컨텍스트 내 간섭 효과를 측정합니다.
• 실제 세계 데이터 (Real-world): EvolveBench 등을 기반으로 한 실제 사실 (예: 이탈리아 대통령) 의 시간적 업데이트 시퀀스를 사용합니다.

2.3 내부 신호 진단 (Internal-Signal Diagnostics)

모델의 블랙박스 성능을 넘어 내부 작동 원리를 분석하기 위해 다음 세 가지 신호를 관찰합니다.

1. Attention Allocation: 답변 생성 시 각 후보 업데이트에 할당된 어텐션 가중치.
2. Hidden-State Similarity: 답변 위치의 은닉 상태와 각 후보 값의 은닉 상태 간의 코사인 유사도.
3. Output Logits: 모델이 각 후보에 부여한 확률적 신뢰도 (Confidence).

2.4 인지적 영감을 받은 개입 전략 (Interventions)

인지 심리학의 기억 전략을 프롬프트로 변환하여 편향을 완화하려는 시도를 합니다.

• 일반 기억술 (General Mnemonic): 암기 반복 (Rote Rehearsal), 의미적 심화 (Semantic Elaboration).
• 메모리 업데이트 전략 (Memory Updating):
  • 통합 (Integration): 모든 업데이트를 하나의 연결된 체인으로 인식하게 유도.
  • 지시적 망각 (Directed Forgetting): 이전 정보를 '폐기 (Obsolete)'하고 최신 정보만 유지하도록 명시적 지시.

3. 주요 결과 (Key Results)

3.1 회수 편향의 발견 (Retrieval Bias)

• 현상: 업데이트 횟수 ($T$) 가 증가함에 따라 초기 상태 정확도는 높게 유지되지만, 최신 상태 정확도는 급격히 하락합니다.
• ELAG 확대: 업데이트가 늘어날수록 초기/최신 정확도 차이 (ELAG) 가 커지며, 이는 다양한 LLM (LLaMA, Qwen, GPT 등) 에서 보편적으로 관찰됩니다.
• 모델 크기 영향: 작은 모델일수록 편향이 더 심하며, 업데이트 수가 32~128 사이에서 편향이 급격히 증가하다가 256 이상에서는 포화되는 경향을 보입니다.

3.2 오류 패턴 분석

• LLaMA: 최신 정보를 기억하지 못하고 시퀀스 앞부분 (과거 버전) 으로 회귀하는 경향이 강합니다.
• Qwen: 시퀀스 끝부분에 집중하지만, 실제 정답이 아닌 '범위 밖 (Out-of-Field)' 출력을 생성하거나 불확실한 예측을 합니다.

3.3 내부 신호 진단 결과

• 신호의 평탄화 (Flattening): 정답을 맞춘 경우 내부 신호 (어텐션, 유사도, 로짓) 가 명확한 피크를 보이지만, 오류가 발생한 경우 신호가 평탄화되어 구별력이 떨어집니다.
• 불안정성: 최신 업데이트를 식별할 수 있는 안정적인 국소적 증거 (Local Evidence) 가 모델 내부에 존재하지 않습니다. 신호가 층 (Layer) 간에 일관되지 않고 분산되어 있습니다.

3.4 개입 전략의 한계

• 성능 향상: 2-shot 프롬프팅이나 '메모리 통합 (Integration)' 전략이 최신 상태 회수 정확도를 일부 향상시켰습니다.
• 한계: 그러나 이러한 전략들은 편향을 완전히 제거하지 못했습니다. 초기/최신 정확도 차이 (ELAG) 는 여전히 존재하며, 특히 작은 모델에서는 편향이 심하게 남아있습니다.

4. 주요 기여 (Contributions)

1. DKI 평가 프레임워크 제안: AB-AC 간섭 패러다임을 차용하여, 동일한 사실의 다중 업데이트를 체계적으로 평가하는 새로운 프레임워크를 제안했습니다.
2. 편향 현상의 체계적 규명: 다양한 LLM 에서 업데이트가 증가할수록 최신 정보 추적 능력이 저하되고 초기 정보에 편향되는 현상을 발견하고 정량화했습니다.
3. 내부 메커니즘 진단: 어텐션, 은닉 상태, 로짓 분석을 통해 오류 발생 시 모델 내부 신호가 어떻게 붕괴되는지 (평탄화 및 불안정성) 를 규명했습니다.
4. 개입 전략의 한계 제시: 인지 심리학 기반의 프롬프트 개입이 부분적인 도움을 줄 수 있으나, 근본적인 회수 편향을 해결하기에는 부족함을 보여주었습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 긴 컨텍스트 (Long-context) 환경에서 LLM 이 지식 업데이트를 추적하는 데 있어 근본적인 한계가 있음을 시사합니다.

• 핵심 통찰: LLM 은 단순히 정보를 덮어쓰는 것이 아니라, 여러 버전의 정보가 경쟁할 때 '가장 최근'의 정보를 선택하는 데 실패하는 구조적 취약점을 가지고 있습니다. 이는 단순한 프롬프트 엔지니어링으로 해결되기 어려운 문제입니다.
• 미래 방향: 단순한 프롬프트 전략을 넘어, 모델 아키텍처 차원에서 업데이트 추적 메커니즘을 강화하거나, 지식 충돌을 해결하는 새로운 학습 방법론이 필요함을 강조합니다.

결론적으로, 이 연구는 LLM 이 동적으로 변화하는 현실 세계의 지식을 신뢰할 수 있게 반영하기 위해서는 단순한 정보 추가가 아닌, 다중 버전 간의 경쟁을 관리하는 새로운 접근법이 필요함을 경고합니다.