The Geometry of Forgetting

이 논문은 생물학적 결함이 아닌 의미 기반 정보 조직화 시스템의 기하학적 특성 (고차원 임베딩 공간의 간섭) 이 인간의 망각과 허위 기억 현상을 설명한다는 것을 보여줍니다.

핵심

이 논문은 "우리가 왜 잊어버리고, 왜 없는 일을 기억하는지" 에 대한 놀라운 새로운 설명을 제시합니다.

기존의 과학계는 "뇌라는 하드웨어가 노후화되거나 손상되어서" 기억이 흐려진다고 생각했습니다. 하지만 이 연구는 "아니요, 문제는 뇌가 아니라 '기억을 저장하는 방식' 자체의 기하학적 구조에 있다" 고 주장합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 풀어보겠습니다.

---

1. 핵심 비유: 거대한 도서관과 책장

우리의 기억을 거대한 도서관이라고 상상해 보세요.

• 기억 (Embeddings): 도서관에 꽂힌 책들입니다.
• 의미 (Semantics): 책의 주제입니다. '사과'에 관한 책은 '과일' 섹션에, '자동차'에 관한 책은 '교통' 섹션에 모여 있습니다.
• 검색 (Retrieval): 우리가 무언가를 기억해 내려고 할 때, 도서관 사서가 "사과에 관한 책 찾아줘!"라고 외치는 상황입니다.

이 논문은 이 도서관이 너무 좁고 비좁은 공간에 책들이 빽빽하게 꽂혀 있기 때문에 문제가 생긴다고 말합니다.

2. 왜 잊어버릴까요? (시간이 아니라 '혼잡함'의 문제)

우리는 보통 "시간이 지나서 기억이 사라진다"고 생각합니다. 하지만 이 연구는 "시간이 지났다고 해서 책이 사라지는 게 아니다" 라고 말합니다.

• 기존 이론 (부식): 책이 시간이 지나면 썩어서 없어진다.
• 이 논문의 이론 (혼잡): 책이 사라진 게 아니라, 너무 많은 다른 책들이 그 자리를 막고 있어서 사서가 진짜 원하는 책을 찾지 못하는 것입니다.

비유:
당신이 친구의 전화번호를 기억하려고 노력할 때, 그 번호와 비슷한 다른 번호들이 뇌속에서 "아니, 이거야! 저거야!"라고 떠들썩하게 소란을 피우면, 진짜 번호를 찾아내기 어렵습니다.
이 논문은 컴퓨터 모델 실험을 통해 "경쟁자가 많을수록 기억이 사라지는 속도가 빨라진다" 는 것을 증명했습니다. 시간이 흐르는 것보다 경쟁하는 기억들이 많아서 잊어버리는 것입니다.

3. 왜 없는 일을 기억할까요? (가짜 기억의 탄생)

우리가 "어제 밤에 잠을 자지 못했다"고 생각했는데, 사실은 잠을 잤는데도 '잠'이라는 단어가 떠오르는 가짜 기억 (False Memory) 이 생기는 현상이 있습니다.

• 비유: 도서관의 '과일' 섹션에 '사과', '배', '포도' 책들이 아주 가깝게 모여 있습니다. 그런데 '수박'이라는 책이 아예 없는데도, 사서가 '과일' 섹션만 보고 "아, 수박도 여기 있었지!"라고 착각하는 것입니다.
• 결론: 컴퓨터 모델이 아무런 조정을 하지 않아도, 의미가 비슷한 책들이 자연스럽게 뭉쳐 있기 때문에 (기하학적 구조), 없는 책 (가짜 기억) 을 있는 것처럼 기억해 냅니다.
  • 즉, 가짜 기억은 시스템의 '버그'가 아니라, 의미를 효율적으로 정리하는 시스템의 당연한 '기능' 입니다.

4. 숫자의 착시: "1,024 차원"의 거짓말

최신 AI 모델들은 "우리는 1,024 차원이라는 거대한 공간에 기억을 저장한다"고 말합니다. 이는 마치 "우리는 1,024 개의 책장을 가진 도서관이다"라고 말하는 것과 같습니다.

하지만 이 논문은 실제론 16 개의 책장만 사용하고 있다고 폭로합니다.

• 비유: 도서관이 1,024 층으로 지어졌지만, 실제로 책이 꽂혀 있는 건 1 층과 2 층뿐입니다. 나머지 층은 비어 있습니다.
• 문제: 책이 너무 좁은 공간 (16 층) 에 빽빽하게 모여 있으니, 서로 섞이고 혼동될 수밖에 없습니다. 이것이 바로 우리가 잊어버리고 착각하는 진짜 이유입니다.

5. 요약: 기억은 '불완전한 하드웨어'가 아니라 '필연적인 구조'

이 논문의 결론은 매우 흥미롭습니다.

"우리의 기억이 망가지는 것은 뇌가 약해서가 아닙니다. 의미로 정보를 정리하고, 가까이 있는 것끼리 묶어두는 방식을 선택한 이상, 잊어버리고 착각하는 것은 어떤 시스템이든 피할 수 없는 대가입니다."

• 잊어버림: 너무 많은 경쟁자가 있어서 생기는 '혼잡'의 결과입니다.
• 가짜 기억: 비슷한 것끼리 뭉치는 '효율성'의 부작용입니다.
• 시차 효과 (Spacing Effect): 한 번에 많은 책을 읽는 것보다, 시간을 두고 나누어 읽는 것이 기억에 더 잘 남는 이유는, 가장 최근의 책이 가장 깨끗한 상태로 남아 있기 때문입니다.

한 줄 결론

"기억은 녹슬어서 망가지는 것이 아니라, 너무 많은 정보가 좁은 공간에 빽빽하게 모여서 서로 부딪히기 때문에 망가집니다. 그리고 그 부딪힘이 바로 우리가 인간답게 기억하고, 잊고, 착각하게 만드는 원리입니다."

이 연구는 인공지능과 인간의 뇌가 서로 다른 물질로 만들어졌지만, 정보를 저장하는 '기하학적 규칙'은 똑같기 때문에 똑같은 실수를 저지른다는 것을 보여줍니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

인간의 기억은 강력하지만 결함이 있는 것으로 알려져 있습니다. 우리는 시간이 지남에 따라 기억을 잃고 (망각), 실제로는 발생하지 않은 사건을 기억하며 (거짓 기억), 알고 있는 정보를 꺼내지 못하기도 합니다.

• 기존 관점: 이러한 현상들은 뇌의 생물학적 하드웨어 (신경 회로의 노화, 누수, 생물학적 한계) 의 결함으로 설명되어 왔습니다.
• 새로운 가설: 저자들은 이러한 '결함'이 생물학적 구현의 문제가 아니라, 의미 (meaning) 에 따라 정보를 조직화하고 근접성 (proximity) 으로 검색하는 시스템에 내재된 기하학적 (geometric) 필연성에서 비롯된다고 주장합니다. 즉, 고차원 임베딩 공간에서의 노이즈, 간섭, 시간적 열화가 인간 기억의 정량적 특징을 재현한다는 것입니다.

2. 방법론 (Methodology)

저자들은 생물학적 시스템이 아닌, 오픈 가중치 (open-weight) 기반의 현대 임베딩 모델을 사용하여 기억 시뮬레이션을 수행했습니다.

• 모델 및 데이터:
  • 사용 모델: Qwen2.5-7B (생성), MiniLM-L6-v2, BGE-base/large (임베딩), CLIP (이미지).
  • 데이터: bAbI, TempLAMA, DRM 단어 목록, 위키백과 문장, Flickr30k/COCO 등 공개 데이터셋.
• 기억 메커니즘:
  • 저장: 문맥이 풍부한 임베딩 (위치, 시간, 에피소드 메타데이터 포함) 을 생성합니다.
  • 검색: 코사인 유사도 (Cosine Similarity) 를 기반으로 가장 가까운 임베딩을 검색합니다.
  • 조건: 노이즈, 경쟁 기억 (distractors), 시간적 열화 (temporal decay) 를 시뮬레이션에 적용했습니다.
• 실험 설계:
  1. 간섭 vs. 감쇠: 시간 경과에 따른 감쇠 함수만 적용한 경우와 경쟁 기억 (distractors) 을 추가한 경우를 비교하여 망각 곡선의 지수 ($b$) 를 측정했습니다.
  2. 차원성 분석: 명목상의 차원 (384~1,024) 과 실제 분산이 집중되는 **유효 차원 (Effective Dimensionality, $d_{eff}$)**을 분석하여 간섭 취약성을 평가했습니다.
  3. 거짓 기억 (DRM): 학습하지 않은 핵심 유인어 (critical lure) 가 학습된 단어들과 의미적으로 얼마나 가깝게 군집하는지 확인했습니다.
  4. 간격 효과 (Spacing Effect): 반복 학습 간격 (밀집 vs. 분산) 에 따른 기억 유지율을 노이즈 조건에서 테스트했습니다.
  5. 위상학적 분석: 기억 매니폴드의 연결성 (Betti numbers) 을 분석하여 구조적 특성을 규명했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 망각의 원인은 '감쇠'가 아닌 '간섭' (Interference, not Decay)

• 결과: 시간 경과에 따른 감쇠 함수만 적용했을 때 망각 지수 ($b$) 는 약 0.009로 매우 낮았습니다 (인간은 약 0.5).
• 발견: 경쟁 기억 (distractors) 을 추가하자마자 망각 지수가 0.460으로 급증하여 인간 데이터와 일치했습니다.
• 의미: 시간이 지남에 따라 기억이 사라지는 것이 아니라, 경쟁하는 기억들 간의 간섭이 검색 강도를 약화시켜 망각을 유발합니다.

B. 차원의 환상 (The Dimensionality Illusion)

• 문제: 생성형 임베딩 모델은 명목상 384~1,024 차원을 가지지만, 실제 분산은 약 16 개의 유효 차원에 집중되어 있습니다.
• 결과: 유효 차원이 낮을수록 (예: 64 차원) 간섭에 취약하여 망각이 발생하지만, 차원이 높을수록 (128 이상) 간섭이 급격히 감소합니다.
• 의미: 생물학적 뇌의 신경 코드가 유효 차원 100~500 범위에 있다면, 간섭이 무시할 수 없지만 치명적이지 않은 '전이 영역'에 위치하여 인간적 망각 특성이 나타날 수 있음을 시사합니다.

C. 구조적 거짓 기억 (False Memories from Geometry)

• 결과: DRM (Deese–Roediger–McDermott) 패러다임 실험에서, 학습하지 않은 '핵심 유인어 (sleep)'는 학습된 단어들 (bed, rest 등) 과 의미 공간상에서 기하학적으로 구분 불가능한 위치에 군집했습니다.
• 성능: 파라미터 튜닝 없이, 학습된 임베딩의 원시 코사인 유사도만으로도 인간과 유사한 거짓 기억 발생률 (0.583 vs 인간 0.55) 을 재현했습니다.
• 의미: 거짓 기억은 시스템의 오류가 아니라, 의미 기반 검색 시스템이 갖는 본질적인 특성입니다. 유사한 개념이 공간상에서 가깝게 위치하기 때문에 필연적으로 발생합니다.

D. 간격 효과와 팁 오브 더 텅 (TOT)

• 간격 효과: 분산 학습 (long-spaced) 이 밀집 학습 (massed) 보다 기억 유지율이 높았습니다. 이는 최신 기록이 노이즈에 덜 노출되기 때문으로, 기하학적 관점에서 설명 가능합니다.
• 팁 오브 더 텅 (TOT): 정답이 1 위는 아니지만 상위 2~20 위 내에 존재하는 상태가 발생했습니다. 이는 검색 경쟁의 결과로 해석됩니다.

4. 논의 및 의의 (Significance)

1. 생물학적 vs. 인공적 기억의 통합:

   • 인간 기억의 핵심 현상 (망각, 거짓 기억, TOT 등) 은 생물학적 하드웨어의 결함이 아니라, 유한 차원 공간에서의 유사도 기반 검색이라는 기하학적 제약에서 비롯된 공통된 실패 모드 (failure modes) 입니다.
   • "생물학은 시스템이 매개변수 공간의 어디에 위치하는지를 결정하지만, 기하학은 그곳에 도달했을 때 어떤 일이 발생하는지를 결정한다"는 원칙을 제시합니다.

2. 인공지능 시스템에 대한 함의:

   • RAG 및 장기 기억 시스템: 현재 널리 사용되는 임베딩 모델 (384~1,024 차원) 은 유효 차원이 낮아 간섭에 매우 취약합니다. 데이터베이스가 커질수록 검색 정확도가 멱법칙 (power-law) 으로 저하될 것입니다.
   • 설계 경고: 벡터 데이터베이스에서 '중앙값 병합 (centroid merging)'과 같은 압축 기법은 기하학적으로 파괴적이며, 미세한 각도 차이를 없애 검색 성능을 떨어뜨립니다.
   • 해결 방향: 거짓 기억을 완전히 제거하려면 의미 구조 (semantic clustering) 를 희생해야 하므로, 메타데이터 제약이나 명시적 검증을 통해 오류를 완화하는 것이 현실적인 접근법입니다.

3. 이론적 확장:

   • 이 연구는 망각과 기억 오류를 '버그'가 아닌 '기능'의 일부로 재해석하며, 기억 시스템의 설계 원리에 대한 새로운 통찰을 제공합니다.

결론

이 논문은 인간의 기억 현상이 생물학적 한계가 아니라, 의미 공간의 기하학적 구조에서 자연스럽게 도출되는 수학적 필연성임을 증명했습니다. 고차원 임베딩 공간에서의 간섭과 노이즈는 인간과 유사한 기억 패턴을 생성하며, 이는 인공지능 시스템의 설계와 생물학적 기억 연구 모두에 중요한 시사점을 줍니다.