Geometric Indexing Does Not Improve Versioned Memory Retrieval: Three Pre-Registered Negative Results and a Silent Total-Failure Mode

기억의 문제: 왜 AI는 단순히 읽는 것이 아니라 기억해야 하는가

당신이 매우 똑똑한 로봇 친구와 대화하고 있다고 상상해 보세요. 당신은 로봇에게 "내가 제일 좋아하는 영화는 스타워즈야"라고 말합니다. 나중에 당신은 마음을 바꿔서 "사실, 그 말 취소할게. 내가 제일 좋아하는 건 매트릭스야"라고 말합니다. 만약 당신이 로봇에게 다시 "내 제일 좋아하는 영화가 뭐야?"라고 물었을 때, 당신은 로봇이 예전 답변이 아니라 새로운 답변을 기억하기를 원할 것입니다. 이것이 바로 **대화형 기억(conversational memory)**의 과제입니다. 모든 사람이 읽을 수 있도록 책(문서)을 저장하기만 하는 도서관과 달리, 개인적인 기억은 '당신'을 기억해야 하고, 시간이 흐름에 따라 당신의 생각이 어떻게 변하는지 추적해야 하며, 혼란 없이 수정 사항을 처리할 수 있어야 합니다.

이를 위해 컴퓨터는 **임베딩(embeddings)**이라는 것을 사용합니다. 임베딩을 모든 문장이 하나의 점으로 표시되는 마법의 지도라고 생각해 보세요. 의미가 유사한 문장들은 지도상의 가까운 곳에 배치되고, 서로 다른 아이디어들은 멀리 떨어져 배치됩니다. 질문을 하면 컴퓨터는 답을 찾기 위해 질문과 가장 가까운 점들을 찾습니다. AI 연구 분야의 인기 있는 아이디어는 이 지도의 기하학적 구조를 활용하여 변화를 처리하는 것이었습니다. 이론은 이랬습니다. 만약 당신이 마음을 바꾼다면, 예전의 점을 지우는 대신 새 점을 기존의 점 옆에 약간 떨어뜨려 놓는 것입니다. 그 아이디어는 점들 사이의 거리가 컴퓨터에게 "헤이, 이 두 개는 동일한 사실의 연관된 버전이야!"라고 알려줄 것이라는 것이었습니다.

하지만 이 영리한 속임수가 실제로 효과가 있을까요? 이 논문이 바로 그 점을 조사합니다. 연구자들은 단순히 '수정된' 기억을 지도상의 '원래' 기억 근처에 배치하는 것이 나중에 컴퓨터가 올바른 답을 찾는 데 도움이 되는지 알고 싶어 했습니다. 그들은 이 마법 같은 지름길을 찾기 위해 엄격하게 계획된 실험을 설정했습니다. 하지만 그들은 이 지름길이 막다른 길로 이어진다는 것을 발견했으며, 그 과정에서 많은 실제 세계의 AI 시스템을 망가뜨릴 수 있는 '조용한 버그'를 밝혀냈습니다.

---

실험: 지도 위에서 외줄 타기 시도하기

연구진은 "헬리오스 연구소의 소장은 아나이다"와 같은 3,000개의 가짜 사실이 포함된 시뮬레이션을 설정했습니다. 그런 다음 "소장"이 "베토"로, 다시 "카를로스"로 수정되는 상황에서 어떤 일이 발생하는지 테스트했습니다. 그들은 이러한 변화를 저장하는 세 가지 방법을 비교했습니다:

1. "덮어쓰기(Overwrite)" 방식: 예전 사실을 지우고 새 사실을 씁니다. (역사는 사라지지만 현재의 사실은 유지합니다).
2. "복제(Duplicate)" 방식: 단어 자체의 의미에 기반하여 새로운 사실을 지도상의 원래 위치에 정확히 저장합니다.
3. "버딩(Budding, 싹트기)" 방식 (이야기의 주인공): 기하학적 구조(모양과 거리)가 그들을 연결해주기를 바라며, 새 사실을 기존 사실에서 약간 떨어진 곳에 배치합니다.

첫 번째 실패: 표류하는 클러스터

첫 번째 테스트에서 연구진은 고정된 규칙을 사용하여 "버딩" 방식을 시도했습니다. 사실이 수정될 때마다 새 버전을 원래 버전에서 아주 작은 고정된 단계만큼 떨어뜨려 놓는 방식입니다.

당신이 직선으로 걸으려고 하는데, 한 걸음을 내디딜 때마다 강제로 약간씩 왼쪽으로 회전해야 한다고 상상해 보세요. 한 걸음 뒤에는 괜찮습니다. 네 걸음 뒤에는 경로에서 벗어납니다. 여섯 걸음 뒤에는 반대 방향으로 걷고 있게 됩니다.

AI의 기억에 일어난 일이 바로 이것이었습니다. 고정된 단계 크기를 사용하자, 수정된 사실들의 "클러스터"는 원래의 사실으로부터 **무작위 행보(random walk)**를 하며 멀어졌습니다.

• 4번의 수정 후, 원래 질문과의 연결성이 너무 낮아져서 컴퓨터는 답을 인식하지 못했습니다.
• 6번의 수정 후, 연결 점수는 높은 값인 0.811에서 -0.139로 떨어지며 실제로 음수가 되었습니다.

컴퓨터는 답을 찾고 있었지만, "수정된" 기억이 지도상에서 너무 멀리 표류해 버려서 마치 낯선 사람처럼 보이게 된 것입니다. "버딩" 아이디어는 거리가 계속 쌓이면서 정답을 상위 결과에서 밀어냈기 때문에 실패했습니다.

두 두 번째 실패: 피할 수 없는 세금

연구진은 생각했습니다. "좋아, 아마도 문제가 우리가 너무 멀리 표류하게 둔 것에 있을지도 몰라. 만약 새 버전이 이전 버전이 아니라 원래의 닻(anchor) 근처에 머물도록 강제한다면 어떨까?" 그들은 모든 수정 사항이 시작 지점으로부터 고정된 거리를 유지하도록 하는 "경계가 있는(bounded)" 버전을 시도했습니다.

이번에는 기억이 멀리 표류하지 않았습니다. 연결 점수는 0.8177에서 평탄하고 안정적으로 유지되었습니다. 하지만 반전이 있었습니다. 여전히 패배했다는 것입니다.

왜일까요? "버딩" 방식은 점수에 약 0.036의 **지속적인 세금(penalty)**을 부과했기 때문입니다.

• "복제" 방식(사실을 원래 있어야 할 곳에 정확히 저장하는 방식)은 0.8540을 기록했습니다.
• "경계가 있는 버딩" 방식은 0.8177을 기록했습니다.

연구진은 컴퓨터의 지도가 이미 완벽하다는 것을 깨달았습니다. 당신이 "소장은 베토다"라고 말하면, 컴퓨터는 자연스럽게 그 문장을 올바른 위치에 배치합니다. 과거와 연결하기 위해 인위적으로 그것을 멀리 떨어뜨리는 것은, 단지 그 사실을 완벽한 위치로부터 멀어지게 만드는 것뿐입니다. 이는 마치 친구에게 집을 찾아가라고 도와주면서, 현관문에서 왼쪽으로 3피트 떨어진 곳에 서 있으라고 말하는 것과 같습니다. 집은 이미 그 자리에 있는데, 그들을 이동시키는 것은 오히려 찾기 어렵게 만들 뿐입니다.

세 번째 실패: 조용한 살인자

연구진은 멈추지 않았습니다. 그들은 자신들의 결론이 테스트 문장들이 "자기 완결적"(사람과 사실을 명확하게 언급함)이라는 사실에 의존하고 있다고 의심했습니다. 현실 세계에서 사람들은 종종 간결한 표현을 사용합니다. 사람들은 "아니, 베토야"라고 말하며, "헬리오스의 소장은 베토다"라고 말하지 않습니다. 이를 **생략적 수정(elliptical correction)**이라고 합니다.

그들은 기하학적 트릭이 좋아 보이도록 설계된 "최악의 시나리오" 테스트를 설정했습니다. 그들은 "버딩" 방식을 "수화(Hydrated)" 방식(스마트한 시스템이 "아니, 베토야"를 저장하기 전에 "헬리오스의 소장은 베토다"라는 전체 문장으로 다시 쓰는 방식)과 비교했습니다.

결과는 충격적이었습니다:

• 가공되지 않은 생략적 수정(말한 그대로 "아니, 베토야"를 저장하는 것)은 성공률이 0.0000이었습니다.
• 컴퓨터는 매번 답을 반환했지만, 그것은 결코 정답이 아니었습니다.
• 이 실패는 조용히 일어났습니다. 컴퓨터는 "모르겠습니다"라고 말하지 않았습니다. 그것은 정답만큼이나 높게 랭크된 틀린 답을 자신 있게 내놓았습니다.

기하학이 도움을 주어야 할 이 환경에서도, 이 방식은 대안 시스템(문장을 다시 쓰는 시스템)이 **45%**보다 더 많이 실패할 때만 승리할 수 있었습니다. 실제 세계의 시스템은 이보다 훨씬 뛰어나기 때문에, 기하학적 트록은 아무런 이점이 없습니다.

핵심 요약

이 논문은 명확하고 사전 등록된 판결을 내립니다: 기하학적 인덱싱은 버전이 있는 기억의 검색을 개선하지 못합니다.

사실의 서로 다른 버전들을 연결하기 위해 지도상의 점들 사이의 물리적 거리를 사용할 수 있다는 아이디어는 막다른 길입니다.

1. 거리가 늘어나도록 두면, 기억은 표류하여 길을 잃습니다.
2. 표류를 막더라도, 사실을 처음부터 올را르게 저장하는 것보다 못한 손실을 입게 됩니다.
3. 만약 이를 짧은 생략적 수정(예: "아니, 베토야")에 사용하려 한다면, 시스템은 완전히 실패하며, 틀린 답을 완벽한 확신을 가지고 내놓게 됩니다.

이러한 시스템을 구축하는 모든 이들에게 가장 중요한 발견은 경고입니다: 만약 대화의 맥락에서 대명사 등을 먼저 해결(fix)하지 않고 대화 턴을 저장한다면, 당신은 수정 사항을 100% 잃게 될 것입니다. 시스템은 자신이 고장 났다고 말하지 않을 것입니다. 그저 자신 있게 틀린 답을 줄 뿐입니다. 이 논문은 기하학으로 영리하게 대처하려 하기보다, 문장을 수정(fix)한 다음 저장하는 단순하고 결정론적인 규칙을 따를 것을 제안합니다.