당신이 거대하고 끝없이 이어지는 채팅 기록 속에서 특정 대화를 찾으려 한다고 상상해 보세요. 상대방이 "피자"와 "화요일"에 대해 말했던 것을 기억하지만, 정확히 언제 누가 말했는지는 모릅니다. 인공지능의 세계에서 이것은 바로 "기억 문제(memory problem)"입니다. AI 에이전트(채팅, 코드 작성, 문제 해결 등을 수행하는 똑똑한 컴퓨터 프로그램)가 우리와 오랫동안 대화를 나누다 보면 과부하가 걸리게 됩니다. 그들은 자신의 "두뇌"에 담긴 모든 것을 한꺼번에 기억할 수 없습니다.

이를 해결하기 위해 오늘날 대부분의 AI 시스템은 초정밀하게 정리된 사서처럼 행동하려고 노력합니다. 당신이 질문을 던지기도 전에, 그들은 그 지저듬한 채팅 로그들을 가져와 읽고, 이를 깔끔한 요약본으로 다시 쓰거나, 복잡한 연결 지도를 그리거나, 정교한 사실들의 3D 구조를 구축합니다. 이는 나중에 답을 찾기 더 쉽게 만들기 위함입니다. 하지만 이 방식에는 함정이 있습니다. 이러한 화려한 구조물을 만들기 위해서는 AI가 당신이 무엇을 물어볼지 알기도 전에 무엇이 중요한지를 미리 '추측'해야 합니다. 만약 요약하는 과정에서 아주 작은 세부 사항 하나라도 버리게 된다면, 그 세부 사항은 영원히 사라질 수 있습니다.

이것은 큰 질문을 던집니다. 우리에게 정말로 이런 화려하고 미리 구축된 도서관이 필요할까요? 아니면 AI가 원래의, 다소 지저듬은 채팅 로그를 직접 검색하는 아주 좋은 방법을 갖추기만 하면 되는 것일까요? 이 퍼즐은 새로운 연구가 다루는 주제입니다. 이 연구는 AI가 미리 가공된 메모리 뱅크에 의존하는 대신, 마치 채팅 앱을 스크롤하며 지나가는 호기심 많은 인간처럼 행동할 수 있는지 묻습니다.

---

논문: "ReFind" – 그냥 채팅 앱을 여는 AI

이 연구를 이끈 Ruizhe Li와 동료들은 다음과 같은 파격적인 아이디어를 테스트하기로 했습니다: 만약 AI가 어떤 특별한 메모리 구조도 구축하지 않는다면 어떻게 될까?

채팅 기록을 요약본이나 그래프로 다시 쓰는 대신, 그들의 시스템인 ReFind는 채팅 로그를 있는 그대로 둡니다. 이 시스템은 대화 기록을 가공되지 않은, 편집되지 않은 일기처럼 취급합니다. AI가 질문에 답해야 할 때, 미리 만들어진 인덱스를 참고하는 것이 아니라, 마치 사람처럼 "채팅 앱을 열고" 검색을 시작합니다.

작동 방식: 탐정의 도구 상자

논문은 인간이 오래된 메시지를 찾는 데 상당히 능숙하다고 제안합니다. 우리는 보통 검색창에 완벽한 문장 하나를 입력해서 답을 얻지 않습니다. 대신, 우리는 다음과 같은 기술들의 조합을 사용합니다:

1. 키워드로 검색한다: "피자."
2. 이웃을 살펴본다: 피자에 관한 메시지를 찾으면, 전체 맥락을 파악하기 위해 그 앞뒤의 메시지 몇 개를 함께 읽습니다.
3. 시간을 기억한다: "그건 지난달이었지."
4. 이미 본 것은 건너뛴다: "그 대화는 이미 확인했으니, 다른 곳을 보자."

ReFind는 이러한 인간의 기술을 복제합니다. 이 시스템은 단순하고 빠른 검색 도구(단순히 일치하는 단어를 찾는 BM25라고 불림)를 사용하지만, 이를 AI 에이전트가 검색을 제어할 수 있게 해주는 스마트한 "루프(loop)"로 감쌉니다.

• 루프(The Loop): AI는 질문을 던지고, 결과를 살펴본 뒤, 확신이 서지 않으면 검색어를 바꾸어 다시 시도합니다.
• 제어 도구(The Controls): 이 시스템은 네 가지 특별한 "채팅 특화(chat-native)" 도구를 사용합니다:
  • 문맥 확장(Context Expansion): 검색 결과가 발견되면, AI가 농담이나 맥락을 이해할 수 있도록 주변 메시지들을 함께 가져옵니다.
  • 세션 인식(Session Awareness): 한 메시지가 관련이 있다면 그 대화 세션 전체가 중요할 가능성이 높다는 것을 인지하여, 해당 채팅 세션의 순위를 높입니다.
  • 시간 여행(Time Travel): 특정 날짜 범위 내의 메시지만 보도록 결과를 필터링할 수 있습니다.
  • 본 것은 건너뛰기(Skip the Seen): 이미 확인한 대화는 기억해 두어 동일한 채팅을 두 번 읽느라 시간을 낭비하지 않습니다.

결과: 가공된 힘 vs. 화려한 구조

연구진은 ReFind를 복잡한 메모리 구조(그래프나 트리 등)를 구축하는 "화려한" 시스템들과 대결시켰습니다. 그들은 "누가 무엇을 말했는가?"(single-hop), "사건 A가 어떻게 사건 B로 이어졌는가?"(multi-hop), "이 사실의 최신 버전은 무엇인가?"(fact tracking)와 같은 내용을 다루는 약 2,800개의 질문으로 구성된 방대한 세트를 사용했습니다.

결과는 다음과 같습니다:

• ReFind가 승리했습니다. ReFind는 모든 테스트에서 **58.2%**라는 가장 높은 평균 정확도를 달아냈습니다.
• 가장 강력한 "화려한" 시스템인 HippoRAG 2(복잡한 그래프를 사용하는 시스템)가 **53.2%**로 2위를 차지했습니다.
• 스마트한 루프 없이 단 한 번의 검색만 수행하는 단순한 방식(BM25-RAG)은 **48.8%**에 그쳤습니다.

이는 "화려한" 구조들이 실제로 핵심적인 역할을 하는 것이 아님을 시사합니다. 진짜 비결은 AI에게 검색 과정에 대한 제어권을 부여한 것이었습니다. AI에게는 미리 구축된 지도가 필요한 것이 아니라, 단지 자동차를 운전하고, 도로를 살피고, 언제 좌회전할지 결정할 수 있는 능력이 필요했을 뿐입니다.

"백본(Backbone)" 테스트

이 결과가 특정 AI 모델의 우연한 행운이 아님을 증명하기 위해, 연구진은 더 강력한 AI(GPT-5-mini)를 사용하여 훨씬 더 긴 대화(일부는 500,000 단어 이상)를 대상으로 실험을 재실행했습니다.

• ReFind는 짧은 긴 대화에서는 93.2%, 거대한 대화에서는 **89.3%**의 점수를 기록했습니다.
• 이는 복잡한 그래프와 트리를 사용하는 다른 모든 시스템을 상당한 차이로 제치고 거둔 성과입니다.

이 연구가 배제한 것들

논문은 무엇이 효과가 없었는지도 매우 신중하게 밝히고 있습니다. 연구진은 시스템의 일부를 제거하여 어떤 일이 일어나는지 확인하는 여러 "절제(ablation)" 테스트를 수행했습니다:

• 단순히 루프 때문이 아닙니다: 만약 AI가 여러 번 검색할 수는 있지만 "채팅 특화" 제어 도구(세션 건너뛰기나 문맥 확장 등)를 제거한다면, 점수는 급격히 떨어집니다. AI에게는 일반적인 검색 루프가 아니라, 채팅을 위해 설계된 특수한 도구가 필요합니다.
• 화려한 수학 때문도 아닙니다: 연구진은 단어의 의미를 이해하려고 시도하는 복잡한 "밀집(dense)" 검색 방식(단순 단어 매칭이 아닌 방식)을 사용해 보았으나, 단순한 단어 매칭(BM25)이 실제로 더 낫거나 대등하다는 것을 발견했습니다. AI가 스스로 질문을 재구성하는 능력이 검색 엔진의 종류보다 더 중요했습니다.
• 모델의 크기 때문도 아닙니다: 시스템은 더 작고 저렴한 AI 모델(GPT-4o-mini)에서도 잘 작동했으며, 이는 검색하는 방법이 중요한 것이지 단순히 초강력한 두뇌를 가진 것이 핵심이 아님을 입증했습니다.

핵심 결론

저자들은 결론적으로, 채팅 로그에서 정밀한 사실을 찾는 데 있어 구조는 과대평가되었다고 말합니다. 질문을 던지기 전에 원본 대화를 복잡한 그래프로 변환하기 위해 시간과 컴퓨팅 자원을 낭비할 필요가 없습니다. 대신, 원본 데이터를 수정 없이 안전하게 보관하고, 실시간으로 기록을 검색하고, 확장하고, 필터링할 수 있는 똑똑하고 호기심 많은 탐정 역할을 수행하는 AI 에이전트를 활용해야 합니다.

요약하자면, 이 논문은 AI를 위한 최고의 기억은 미리 쓰인 백과사전이 아니라, 가공되지 않은 편집 없는 일기와 그것을 읽을 줄 아는 똑똑한 에이전트라고 제안합니다.