🤖 machine learning

Beyond Memory Leaderboards: Evaluating Scientific Memory as Budgeted Context Restoration

이 논문은 검색 예산과 프로토콜을 통제하지 않으면 메모리 리더보드가 종종 오해를 불러일으킬 수 있음을 입증하기 위해 두 가지 전체 텍스트 과학적 메모리 벤치마크인 PAIM과 PTr을 소개하며, 궁극적으로 과학적 메모리는 제약 없는 아키텍처 성능이 아니라 예산이 책정된 모달리티 인식 컨텍스트 복원으로 평가되어야 한다고 주장한다.

원저자: Maksim Sheverev, David Finkelstein, Sergey Nikolenko

게시일 2026-07-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Maksim Sheverev, David Finkelstein, Sergey Nikolenko

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대하고 복잡한 미스터리를 풀려고 노력하고 있다고 상상해 보세요. 당신에게는 도서관 한 권 분량의 책을 순식간에 읽을 수 있는 초천재 탐정(AI)이 있습니다. 하지만 여기 함정이 있습니다. 아무리 똑똑한 탐정이라도 한꺼번에 백만 페이지의 텍п를 눈앞에 들이밀면 혼란에 빠질 수 있다는 점입니다. 결정적인 단서를 중간에서 놓치거나, 너무 압도되어 짐작으로 때려 맞추기 시작할 수도 있죠. 이것이 바로 '롱 컨텍스트(long-context)' AI의 문제입니다. 이를 해결하기 위해 과학자들은 이 탐정들을 위한 '기억 장치'를 만들고 있습니다. 즉, 필요할 때만 꺼내 쓸 수 있도록 사실, 이야기, 증거를 저장하는 디지털 서류함입니다.

오랫동안 사람들은 최고의 기억력이란 단순히 가장 많은 페이지를 가져올 수 있는 것이라고 생각했습니다. 그것은 마치 누가 더 큰 종이 뭉치를 읽을 수 있는지를 겨루는 게임과 같았습니다. 하지만 이 논문은 더 나은 질문을 던집니다. 산더미 같은 종이를 읽는 것이 나을까요, 아니면 사건을 실제로 해결할 수 있는 딱 적절한 몇 페이지를 읽는 것이 나을까요? 연구진은 과학 연구를 위해서라면, 기억이란 단순히 사실을 저장하는 것이 아니라 '컨텍스트 복원(context restoration)'이라고 주장합니다. 이는 특정 질문에 답하기 위해 필요한 정확하고 상호 연결된 증거의 망을, 소음 속에서 길을 잃지 않고 재구성하는 능력입니다. 그들은 묻고 싶어 합니다. 만약 모든 탐정에게 읽어야 할 종이의 양을 똑같이 준다면, 누가 실제로 미스터리를 가장 잘 풀 것인가?

이 논문의 저자인 막심 셰베레프(Maksim Sheverev), 데이비드 핀켈스타인(David Finkelstein), 세르게이 니콜렌코(Sergey Nikolenko)는 추측을 멈추고 측정을 시작하기로 했습니다. 그들은 수천 편의 인공지능 및 컴퓨터 과학 관련 실제 논문을 사용하여 두 개의 거대한 실제 세계 테스트 실험실을 구축했습니다. 그리고 그들은 '예산 제약형 컨텍스트 복원(budgeted context restoration)'이라는 새로운 방식의 게임을 만들었습니다. 모든 탐정에게 3만 자의 텍스트만 담을 수 있는 배낭을 준다고 상상해 보세요. 어떤 기억 시스템을 사용하든, 그들은 3만 자보다 더 많이 운반할 수 없습니다. 그런 다음 그들은 여덟 가지 유형의 '기억 시스템'을 테스트했습니다. 어떤 것은 텍스트 덩어리를 단순히 가져오고, 어떤 것은 사실의 복잡한 지도를 구축하며, 어떤 것은 모든 것을 아주 작은 메모로 요약하려고 시도합니다.

그들이 발견한 결과는 다음과 같으며, 이는 기존의 순위표를 완전히 뒤집어 놓습니다.

첫째, 그들은 이전 대회들의 '승자'들이 종종 거대한 배낭을 메고 치팅을 하고 있었다는 사실을 발견했습니다. '그래피티(Graphiti)'라고 불리는 한 시스템은 압도적인 차이로 승리하고 있었지만, 그 이유는 질문 하나당 약 260만 자의 텍스트(작은 소설 한 권 크기!)를 운반할 수 있었기 때문이었습니다. 연구진이 그래피티에게 다른 이들과 똑같은 작은 3만 자짜리 배낭을 강요하자, 그 시스템은 단순히 패배한 것이 아니라 리스트의 맨 밑바닥으로 떨어졌습니다. 그 '승리'는 시스템이 더 똑똑해서가 아니라, 단지 더 많은 연료를 가지고 있었기 때문이었습니다.

둘째, 그들은 기억의 유형보다 정보를 찾는 데 사용하는 도구가 더 중요하다는 것을 발견했습니다. "Kimi Linear"나 "Ring-flash"와 같은 구체적인 이름들이 가득한 테스트 세트(PTr)에서, 최선의 전략은 화려한 새로운 아키텍처가 아니었습니다. 그것은 의미를 찾는 방식(dense)과 정확한 단어를 찾는 방식(sparse/BM25)을 결합하는 단순한 것이었습니다. 이 "단어 검색" 도구를 다른 시스템에 추가했을 때 점수가 급등했으며, 상위 세 시스템은 10점 만점에 1점 차 미만으로 격차가 벌어진 채 거의 동점으로 끝났습니다. 이는 과학적인 질문에 있어서는 화려한 서류함보다 적절한 검색 엔진을 갖추는 것이 더 중요하다는 것을 시사합니다.

셋째, 그들은 답변을 채점하는 방식이 공정하고 신뢰할 수 있음을 입증했습니다. 그들은 매우 똑똑한 AI를 사용하여 답변을 채점했지만, AI가 편향될 것을 우려했습니다. 그래서 그들은 세 명의 서로 다른 AI가 동일한 답변을 채점하게 했고, 심지어 112명의 인간 자원봉사자를 투입하여 일대일 비교를 수행했습니다. 그들은 AI 판정단이 점수 차이가 명확할 때 인간과 77% 일치한다는 것을 발견했습니다. 만약 두 답변의 차이가 매우 작다면(1점 이내), AI조차도 그 둘을 구분할 수 없었습니다. 이는 미래에 아주 미세한 점수 차이에 너무 열광해서는 안 된다는 것을 의미합니다. 그러한 차이는 아마도 노이즈일 가능성이 높기 때문입니다.

이 논문은 과학 논문을 증거의 층위, 관련 아이디어의 커뮤니티, 그리고 고차원적 이론으로 조직하는 "테오리아(Theoria)"라는 새로운 시스템을 소개합니다. 테오리아는 매우 우수한 성능을 보였고 최고의 시스템들과 경쟁할 만한 수준이었지만, 마법처럼 전체 1위를 차지하지는 못했습니다. 연구진은 테오리아의 진정한 힘이 단일 테스트의 질문에 답하는 것이 아니라, 시간이 흐름에 따른 장기적인 연구 프로젝트를 처리하는 방식에서 나올 수 있다고 제안합니다.

결국, 저자들은 우리가 AI의 기억을 최고 점수를 얻는 비디오 게임 순위표처럼 다루는 것을 멈춰야 한다고 주장합니다. 대신, 예산을 통제하는 과학 실험처럼 다뤄야 합니다. 그들은 만약 AI가 읽을 수 있는 텍스트의 양을 통제하지 않는다면, 그것은 지능을 측정하는 것이 아니라 단지 누가 더 큰 배낭을 가졌는지를 측정하는 것뿐임을 보여주었습니다. 규칙을 표준화함으로써, 그들은 적절한 도구를 갖춘다면 단순한 방법이 복잡한 방법만큼이나 효과적일 수 있음을 드러냈습니다. 그들은 모든 데이터, 코드, 테스트 질문을 공개하여, 새로운 공정한 규칙 아래에서 자신의 결과를 깨뜨려 보라고 모두를 초대했습니다.

기술 요약: 메모리 리더보드를 넘어서

문제 정의

현재의 장기 기억(Long-Term Memory, LTM) 평가 방식은 주로 다중 세션 대화, 사용자 선호도, 사실 업데이트와 같은 대화형 설정에서 유래되었습니다. 그러나 연구용 에이전트는 다른 체계에서 작동합니다. 이들은 복잡한 연구 질문에 답하기 위해 전체 과학 논문으로부터 증거를 복원해야 합니다. 저자들은 기존의 벤치마크가 회상(사실을 불러오는 것)과 컨텍스트 복원(특정 정밀도, 조건 및 증거를 가진 상호 연결된 문헌 체계를 재구성하는 것) 사이의 구분을 포착하지 못한다고 주장합니다.

기존 리더보드의 결정적인 결함은 검색 예산(반환되는 텍스트의 양)과 검색 모달리티(밀집형 vs 희소/하이브리드형)에 대한 제어 기능이 부족하다는 점입니다. 이러한 제어가 없다면, 방대한 양의 원문 텍스트(예: 전체 논문)를 반환하는 아키텍처가 더 우수해 보이는 이유는 메모리 관리 능력이 뛰어나서가 아니라, 단순히 합성기(synthesizer)에게 더 많은 컨텍스트를 제공하기 때문입니다. 본 논문은 과학적 메모리가 무제한적인 아키텍처 리더보드가 아닌, 예산이 책정되고 모달리티를 인지하는 컨텍스트 복원으로서 평가되어야 한다고 상정합니다.

방법론

벤치마크: Paim 및 PTr

저자들은 통제된 조건 하에서 컨텍스트 복원을 테스트하기 위해 설계된 두 가지 전체 텍텍스트 과학 QA 데이터셋을 도입합니다:

Public AI Memory (Paim): AI 에이전트 메모리, RAG 및 과학적 에이전트에 관한 81편의 논문(110만 단어)을 포함합니다. 이는 세 가지 난이도 계층(L1: 단일 구간 회상; L2: 메커니즘/비교; L3: 문서 간 합성)에 걸친 66개의 감사된 질문을 포함합니다.
Public Transformers (PTr): 트랜스포머 아키텍처(어텐션, KV 관리 등)에 관한 252편의 논문을 포함합니다. 이 코퍼스는 Paim에 비해 더 밀집되고 어휘적으로 구별되는 명명된 엔티티(모델 이름, 커널 이름 등)를 특징으로 합니다.

두 데이터셋 모두 인용된 논문 내에서 사실이 검증 가능한지, 휘발성 데이터에 대한 의존성이 제거되었는지, 난이도 레이블이 정확한지를 보장하기 위해 엄격한 **루브릭 감사(rubric audit)**를 거칩니다.

평가 프로토콜

저자들은 8가지 메모리/검색 시스템(자체 시스템인 Theoria 포함)과 '검색 없음(no-retrieval)' 베이스라인을 단일 컨텍스트 복원 프로토콜 하에 평가합니다:

주입(Ingestion): 시스템은 각각의 저장소(벡터, 그래프, 사실 등)로 전체 논문(또는 청크)을 주입합니다.
검색(Retrieval): 시스템은 엄격한 예산 제약(쿼리당 $B \in \{10K, 30K, 50K\}$ 자)과 모달리티 제약(밀집 임베딩 vs BM25를 사용하는 희소-밀집 하이브리드) 하에서 컨텍스트를 검색합니다.
합성(Synthesis): 외부 합성기(GPT-4.1-mini)가 검색된 컨텍스트로부터 답변을 생성합니다.
판정(Judging): 답변은 골드 루브릭에 따라 LLM 판정가(Gemini 3.1 Pro)에 의해 점수가 매겨지며, 다른 프런티어 모델(Sonnet 4.6, GPT-5.4, DeepSeek V4 Pro)과의 교차 검증 및 블라인드 인간 측면 비교(SxS) 연구를 거칩니다.

평가된 시스템들

연구는 다양한 아키텍처 패밀리를 포괄합니다:

Simple RAG: 청크 기반 베이스라인(귀무 가설).
Mem0: 원자적 사실을 추출 및 업데이트.
Hindsight: 네 가지 인식적 네트워크를 가진 서사적/시간적 메모리.
Cognee: ECL 파이프라인을 통한 지식 그래프(KG) 완성.
Graphiti/Zep: 에피소드 검색을 지원하는 이중 시점(bi-temporal) 지식 그래프.
Theoria: RAPTOR 트리, Leiden 클러스터링, 이론 진술을 사용하는 3계층 시스템(Evidence, Community, Theory).
Prism: 추출과 RAPTOR를 분리하여 이론적 커뮤니티 라우팅을 제외한 Theoria의 절제 실험(ablation).
Direct Read: 전체 코퍼스 컨텍스트를 사용하는 오라클 앵커.

주요 결과

1. 검색 볼륨이 네이티브 리더보드를 지배함

"네이티브"(제한 없는) 실행에서, Graphiti는 Paim에서 가장 높은 점수(전체 8.04)를 기록했습니다. 그러나 이는 쿼리당 약 260만 자(전체 논문 에피소드)를 검색하기 때문인 것이 전적으로 옳습니다. 검색 예산을 약 30K 자로 제한하면, Graphiti의 성능은 리더보드 최하단(5.27)으로 급락하는 반면, Simple RAG(7.25)와 Theoria(7.19)가 선두로 올라섭니다. 이는 네이티브 리더보드가 아키텍처와 컨텍스트 볼륨을 혼동하고 있음을 보여줍니다.

2. 예산 제어가 아키텍처의 미묘한 차이를 드러냄

Paim에서 고정된 예산(~30K 자) 하에서, 상위 클러스터(Simple RAG, Theoria, Mem0)는 통계적으로 구분이 불가능합니다(0.3점 이내). 그러나 명명된 엔티티가 어휘적으로 뚜렷한 PTr에서는, 구조화된 메모리(Theoria, Mem0)가 밀집 검색 환경에서 Simple RAG보다 약간 앞서는 모습을 보였습니다.

3. BM25 하이브리드 효과

측정된 가장 중요한 개입은 밀집 임베딩에 어휘적 BM25 검색을 추가하는 것(희소-밀집 하이브리드)이었습니다.

PTr에서, 이 하이브리드 접근 방식은 모든 시스템의 점수를 크게 높였습니다.
세 가지 하이브리드 변형(Simple RAG+BM25, Mem0+BM25, Theoria+BM25)은 주입 비용이 4개 차수(orders of magnitude)에 달함에도 불구하고, 50K 예산에서 0.03점 차이로 거의 동일한 성적을 거두며 공동 1위를 차지했습니다.
Paim에서는 하이브리드 상승 효과가 덜 일관적이었는데, 이는 코퍼스의 구조(어휘적 뚜렷함)가 하이브리드 검색의 효능을 결정한다는 점을 시사합니다.

4. 판정가 보정 및 해상도

본 연구는 LLM-as-a-judge의 신뢰성을 검증합니다:

순위는 프런티어 판정가들 사이에서 매우 일관적입니다(Spear $\rho \in [0.90, 0.97]$ ).
인간 SxS 평가는 Tie-tolerance $\tau=1$ 을 적용했을 때 LLM 판정가가 인간 평가자와 **77%**의 일치율을 보임을 보여줍니다.
프로토콜의 유효 해상도는 0~10점 척도에서 약 1점입니다. 이보다 작은 차이는 노이즈와 구별할 수 없습니다.

의의 및 기여

본 논문은 분야가 제한 없는 리더보드를 넘어 예산이 책정되고 모달리티를 인지하는 컨텍스트 복원으로 나아가야 한다고 주장합니다. 주요 기여는 다음과 같습니다:

두 개의 새로운 벤치마크: 전체 텍스트 과학 코퍼스, 감사된 루브릭, 그리고 단순한 사실 회상이 아닌 컨텍스트 복원을 시험하는 난이도별 질문을 특징으로 하는 Paim 및 PTr.
통합 평가 하네스: 검색 예산, 모달리티, 아키텍처의 효과를 격리하여, "승리하는" 아키텍처가 종종 통제되지 않은 컨텍스트 볼륨에 의존한다는 점을 밝혀내는 프레임워크.
Theoria 시스템: 매칭된 예산 하에서 경쟁력 있는 성능을 입려하는 3계층 과학적 메모리 시스템(Evidence + Community + Theory). 비록 하이브리드 리더보드를 엄격하게 압도하지는 못하지만, 모델의 구조적 강점을 보여줍니다.
방법론적 엄밀성: 인간 평가 및 교차 판정가 합의에 대해 LLM 판정가를 보정하는 프로토콜을 통해, 작은 점수 차이(<1점)는 통계적으로 의미가 없음을 확립했습니다.

저자들은 구조화된 메모리(Theoria, Mem0)가 특정 도메인(Paim 등)에서 이점을 제공할 수 있지만, 현재로서는 검색 모달리티(특히 하이브리드 희소-밀집 검색)가 과학적 QA를 개선하는 데 있어 가장 강력한 레버라고 결론짓습니다. 그들은 공정한 비교를 위해 향후 벤치마크가 검색 예산, 모달리티 및 정밀도 계약(granularity contracts)을 명시적으로 보고할 것을 촉구합니다.