MEMAUDIT: An Exact Package-Oracle Evaluation Protocol for Budgeted Long-Term LLM Memory Writing

MEMAUDIT 기술 요약

문제 제기
장기적 LLM 에이전트는 미래의 쿼리가 알려지기 전에 과거 상호작용의 스트림을 영구 기억으로 압축하는 과제를 안고 있습니다. 기존 평가 프로토콜은 일반적으로 최종 질문-답변 (QA) 정확도를 측정합니다. 저자들은 이 접근 방식이 결함이 있다고 주장하는데, 그 이유는 기억 쓰기 (선택 및 표현), 검색, 그리고 판독기 추론이라는 세 가지 서로 다른 실패 모드를 혼동하기 때문입니다. 시스템이 잘못된 기억을 저장했기 때문에, 검색기가 좋은 기억을 놓쳤기 때문에, 혹은 판독기가 증거를 무시했기 때문에 실패할 수 있습니다. 최종 QA 정확도만으로는 어느 계층이 실패했는지 분리할 수 없습니다. 또한, 배포된 시스템은 종종 대상 예산에 비해 너무 비싼 형태로 항목을 저장하거나, 후보 집합에서 (예: 원본 구간 vs 추출된 사실 vs 톰브스톤) 최적의 표현을 선택하지 못합니다.

방법론: MEMAUDIT 프로토콜
이 논문은 기억 쓰기 계층을 독립적으로 평가하기 위해 설계된 정밀한 패키지 오라클 평가 프로토콜인 MEMAUDIT를 소개합니다. 평가의 핵심 단위는 MEMAUDIT 패키지로, 기억 선택 문제를 인증된 분모를 가진 유한하고 감사 가능한 최적화 문제로 변환합니다.

• 패키지 정의: 패키지 $P$는 고정된 경험 스트림, 후보 기억 표현 집합 (예: 원본 텍스트, 사실, 요약, 톰브스톤), 저장 비용, 의미적 증거 단위, 미래 쿼리 요구사항, 그리고 저장 예산 $B$로 정의됩니다.
• 실행 가능성 제약 조건: 실행 가능한 기억 저장소 $X$는 두 가지 제약 조건을 만족해야 합니다:
  1. 배낭 제약 조건: 총 비용 $\sum c_u \le B$.
  2. 분할 매트로이드 제약 조건: 경험당 최대 하나의 표현만 선택됨 ($|X \cap G_i| \le 1$). 이는 모든 변형을 유지하는 대신 표현을 선택하도록 강제합니다.
• 목적 함수: 저장소의 효용은 오목 - 모듈러 (concave-over-modular) 의미적 커버리지 목적 함수로 정의됩니다:
  $$F(X) = \sum_{r \in R} w_r h_r \left( \sum_{u \in X} a_{ur} \right)$$
  여기서 $R$은 증거 단위, $w_r$은 중요도 가중치, $a_{ur}$는 기억 $u$에 의한 단위 $r$의 커버리지, $h_r$은 오목하고 비감소 함수 (기본값은 $\min(1, z)$) 입니다. 이 구조는 동일한 증거 단위에 대한 중복 커버리지에 대해 체감하는 수익을 보장합니다.
• 정밀 최적화: 프로토콜은 분기 한정 (branch-and-bound) 솔버를 사용하여 정밀 패키지 최적값 ($OPT_P(B)$) 을 계산하고, 혼합 정수 선형 계획법 (MILP) 으로 결과를 인증합니다. 이는 어떤 작성자라도 점수를 매길 수 있는 기준이 되는 실측 분모를 제공합니다.
• 외부 시스템을 위한 합집합 분모: Mem0, Letta, A-Mem 과 같은 실제 세계 시스템을 평가하기 위해, 프로토콜은 사전 정의된 후보 집합 외부에서 기억을 생성할 수 있는 시스템에 대해 합집합 패키지를 사용합니다. 내보낸 기억은 adjudicated 커버리지 행을 가진 1 순위 후보로 추가됩니다. 점수는 시스템이 달성한 효용과 (원본 후보 + 시스템 내보내기) 의 합집합 중 어떤 부분집합으로도 달성 가능한 최적 효용의 비율입니다. 이는 추출 품질 (얼마나 많은 유용한 콘텐츠가 발견되었는지) 과 선택 품질 (예산 하에서 얼마나 잘 선택되었는지) 을 구분합니다.

주요 기여

1. 유한 패키지 오라클의 정의: 이 논문은 재현 가능하고 인증된 분모를 가진 예산 기반 기억 쓰기를 위한 엄격한 프레임워크를 정의하여, 작성 시 품질을 하류 검색 및 추론과 분리합니다.
2. 의미적 커버리지 구조: 유효성 상태 (예: 오래된 사실을 무효화하는 톰브스톤) 를 부정적 페널티가 아닌 긍정적 증거 단위로 명시적으로 처리하면서, 의미적 기억 보존을 모델링하기 위해 알려진 오목 - 모듈러 서브모듈러 커버리지 구조를 구체화합니다.
3. 정밀 솔버 및 베이스라인: 저자들은 분기 한정 및 MILP 인증을 통해 정밀 패키지 최적값을 제공합니다. 그들은 시스템 보정을 위해 정밀 한계치를 사용하는 그룹 가치 - 임계값 (GVT) 참조 베이스라인을 도입하고, 밀도 전용 휴리스틱이 임의로 나쁠 수 있음을 보여줍니다.
4. MEMAUDIT 스위트: 데이터셋 및 도구 모음 출시:
   • 제어된 정밀 패키지: 표현 선택을 테스트하기 위해 숨겨진 이벤트 그래프를 가진 합성 환경 (MEMAUDIT-Small).
   • 유효성 중심 스트레스 테스트: 현재 진실 대 낡은 사실의 보존을 테스트하도록 특별히 설계된 시나리오 (예: 업데이트 체인, 시간 간격).
   • 자연 및 내보낸 패키지: 현실적인 대화 슬라이스에서 파생된 인간 감사 "Natural-87" 하위 집합과 동일한 프로토콜 하에 평가된 Mem0, A-Mem, Letta 의 내보낸 기억 저장소.

결과

• 계층 분리: 통제된 실험에서 MEMAUDIT 는 표현 품질을 성공적으로 분리합니다. 예를 들어, "밀도 전용" 휴리스틱 (비용 대비 가치 가장 높은 항목 선택) 은 유효성 상태 단위 (톰브스톤) 를 체계적으로 보존하지 못해, 엄격한 예산 하에서 정밀 OPT 의 26–36% 만 달성하는 반면, GVT 베이스라인은 최적에 근접한 상태를 유지합니다.
• 유효성 후보의 중요성: 톰브스톤/복합 업데이트 후보를 후보 집합에서 제거하면 달성 가능한 최대 효용 (OPT) 이 상당한 마진으로 감소합니다 (예: 예산에 따라 전체 OPT 의 약 52–81% 로 하락). 이는 후보 생성 병목 현상이 선택 병목 현상과 구별됨을 입증합니다.
• 외부 시스템 진단: 내보낸 저장소에 적용 시:
  • Mem0: 높은 "상단 가지치기" 경계 (유용한 증거의 좋은 추출을 나타냄) 를 보이지만 선택된 저장소 비율은 낮아, 예산 인식 선택을 주요 병목 현상으로 식별합니다.
  • Letta: 관련 콘텐츠의 효과적인 선택을 나타내는 강력한 중요도 가지치기 합집합 비율을 달성합니다.
  • A-Mem: 풍부한 메모에 증거를 보존하지만, 직렬화된 크기가 종종 엄격한 예산을 초과하여 압축되지 않는 한 전체 저장소 뷰에 대해 0 점으로 기록됩니다.
• 안정성: 프로토콜은 비용 모델 변화 (예: 단어 수 대 바이트 오버헤드) 및 주석 노이즈에 강건하며, 모델 심판 주석과 비교하여 인간 검증 라벨이 순위 유지에 기여합니다.

의의 및 주장
이 논문은 MEMAUDIT 가 종단 간 QA 가 제공할 수 없는 기억 쓰기 계층에 필수적인 진단 도구를 제공한다고 주장합니다. 후보 집합, 비용, 그리고 증거 단위를 고정함으로써, 그것은 구체적인 질문에 답합니다: "이 패키지가 주어졌을 때, 작성자는 패키지 실행 가능한 의미적 가치 중 얼마나 보존했는가?"

저자들은 이것이 종단 간 어시스턴트 평가를 대체하는 것이 아니라 작성 시 진단임을 강조합니다. 그 중요성은 다음과 같습니다:

1. 국소화: 검색기나 판독기 오류와 혼동하지 않고, 실패가 후보 생성, 표현 선택, 또는 예산 인식 선택 중 어디에서 기인하는지 정확히 지목합니다.
2. 재현성: 확률적 하류 QA 에 의존하는 대신 결정론적이고 감사 가능한 분모 (정밀 OPT) 를 제공합니다.
3. 비교 가능성: 합집합 분모를 통해 서로 다른 내부 표현을 가진 이질적인 시스템을 공유된 의미적 실측치로 점수화할 수 있게 합니다.

이 논문은 Natural-87 이 "첫 번째 감사된 자연 패키지"이자 진단을 목적으로 하며 최종 전체 헤이스택 벤치마크가 아닌 지원 슬라이스임을 지적하며 겸손하게 접근합니다. 이는 장기 기억 문제 전체를 해결한다고 주장하지는 않지만, 압축 및 선택 구성 요소를 엄격하게 평가하기 위해 필요한 "정밀 패키지 오라클"을 제공합니다.