기술 요약: TELEMEM

1. 문제 정의

대규모 언 모델(LLM)은 유한한 컨텍스트 창과 장기적인 이력에 따른 회상 능력의 저하로 인해, 장기적인 상호작용 환경에서 상당한 한계에 직면해 있습니다. 검색 증강 생성(RAG)은 저장 용량 문제를 완화하지만, 기존의 파이프라인은 메모리를 독립적이고 순서가 없는 파편으로 취급합니다. 이러한 접근 방식은 통합, 업데이트 및 인과적 조직을 위한 원칙적인 메커니즘이 부족하여 다음과 같은 문제를 야기합니다:

• 파편화된 컨텍스트: 검색된 정보는 종종 중요한 전제 조건이나 시간적 순서를 누락합니다.
• 불안정한 추론: 인과 구조의 부재는 일관성 없는 장기 추론을 유발합니다.
• 비효전성: 쓰기 및 검색을 위한 빈번하고 배치 처리되지 않은 LLM 호출은 높은 토큰 사용량과 지연 시간을 초래합니다.
• 멀티모달 격차: 기존 시스템은 주로 텍스트 중심이며, 체화된(embodied) 또는 멀티미디어 에이전트를 위한 시각적, 청각적, 시간적 정보를 통합하는 데 어려움을 겪습니다.
• 환각 위험: 대규모의 사전 정의된 스키마에 의존하면 실제 대화에서 신호가 희소할 때 속성 환각이 발생하기 쉽습니다.

2. 방법론: TELEMEM 프레임워크

TELEMEM은 메모리를 고립된 파편이 아닌, 구조화되고 진화 가능한 의미론적 궤적으로 조직하는 통합된 장기 및 멀티모달 메모리 시스템입니다. 그 아키텍처는 밀접하게 결합된 세 가지 구성 요소로 이루어져 있습니다:

A. 메모리 그래프 정식화 (구조)

메모리는 다음과 같은 유향 비순환 그래프(DAG), $G = (V, E)$로 정식화됩니다:

• 노드 ($V$): 안정화된 의미론적 메모리 상태(프로필 상태, 이벤트 상태, 또는 엔티티/객체 상태)를 나타냅니다. 각 노드는 통합된 의미론적 내용, 임베딩 벡터, 그리고 의미론적 유효 순서를 반영하는 유효 타임스탬프를 포함합니다.
• 에지 ($E$): 스레드화된 인과 관계를 정의합니다. 방향성 에지 $p \to v_i$는 노드 $v_i$가 이전 노드 $p$에 의해 의미론적으로 조건화되었음을 나타냅니다.
• 최소 인과 골격: 그래프는 불변의 의존성만을 유지합니다. 중복되거나 이행적인 에지는 제거되어, 주제와 상태의 진화를 포착하는 압축적이고 해석 가능한 루트-투-노드(root-to-node) 스레드를 보장합니다.

B. 메모리 쓰기 파이프라인 (업데이트 메커니즘)

TELEMEM은 비용을 분담하고 일관성을 보장하기 위해 구조화된 쓰기 파이프라인을 사용하여 표현 업데이트와 인덱스 업데이트를 분리합니다:

1. 요약 (Summarization): 대화 턴 또는 멀티모달 관찰 내용을 텍스트 단위로 요약합니다.
2. 검색 정렬 (Retrieval Alignment): 새로운 요약 내용을 기존 메모리와 매칭하여 관련된 역사적 노드를 식별합니다.
3. 전역 클러스터링 (Global Clustering): 새 데이터와 검색된 후보들을 병합하고 의미론적 그룹으로 클러스터링합니다.
4. LLM 기반 통합 (LLM-based Consolidation): LLM이 각 클러스터를 처리하여 중복과 불일치를 해결하고, 정제되고 안정화된 노드를 생성하기 위해 작업(추가, 삭제, 업데이트, no-op)을 할당합니다.
5. 그래프 유지 관리 (Graph Maintenance):
   • 오프라인: 노드들을 시간 순서대로 처리하여 시간적 제약과 가지치기 기준을 준수하는 Insert 연산자를 사용하여 그래프 인덱스를 구축합니다.
   • 온라인: 실시간 업데이트에는 경량화된 Insert 및 ReInsert 연산자를 사용합니다. 노드의 내용이 변경될 때 ReInsert가 트리거되며, 이는 글로벌 DAG 속성을 수정하지 않으면서 스레드 일관성을 유지하기 위해 들어오는 에지를 재계산하고 자식 노드들을 갱신합니다.

C. 메모리 읽기 및 추론 (검색 메커즘)

"Top-K 파편 스티칭" 대신, TELEMEM은 **폐쇄 기반 검색(Closure-Based Retrieval)**을 채택합니다:

• 시드 식별 (Seed Identification): 임베딩 유사도를 통해 관련 시드 노드를 식별합니다.
• 폐쇄 확장 (Closure Expansion): 시스템은 시드로부터 의존성 에지를 따라 역방향으로 재귀적으로 탐색하여 가상 루트까지 도달 가능한 모든 조상 노드(전제 조건)를 수집합니다.
• 컨텍스트 선형화 (Context Linearization): 결과물인 폐쇄된 서브그래프를 시간 순으로 정렬하고, 다운스트림 추론을 위한 일관된 컨텍스트로 직렬화합니다.

멀티모달 확장:
복잡한 비디오 콘텐츠를 위해, TELEMEM은 ReAct 스타일의 추론 프레임워크를 통합합니다. 에이전트는 생각-행동-관찰(think–act–observe) 사이클을 반복하며, 비디오 검색, 비디오-RAG(그라운디드 요약), 비디오-QA(시각적 세부 정보 추출)를 위한 도구를 활용하여 원시 비디오 스트림에 대해 폐쇄 루프 추론을 수행합니다.

3. 주요 기여

1. 통합 프레임워크: 서사 중심의 추출과 구조화된 조직을 통해 일관되고 환각에 강한 사용자 프로필을 유지하는 시스템인 TELEMEM을 도입했습니다.
2. 구조화된 메모리 그래프: 의존성 기반의 스레드와 폐쇄 기반 검색을 갖춘 메모리 그래프를 제안하여, 의존성을 인식하는 컨텍스트 재구성과 안정적인 장기 추론을 가능하게 합니다.
3. 효율적인 쓰기 파이프라인: 배치 검색, 의미론적 클러스터링 및 LLM 기반 통합을 수행하는 설계를 통해 저장 공간의 중복, 토큰 오버헤드 및 엔드 투 엔드 지연 시간을 줄입니다.
4. 멀티모달 추론: ReAct 스타일의 추론을 갖춘 멀티모달 모듈을 개발하여, 복잡한 비디오 이해를 위한 엔드 투 엔드 관찰-생각-행동 능력을 지원합니다.

4. 실험 결과

실험은 ZH-4O(중국어 역할 놀이) 및 LoCoMo(영어 롱 컨텍스트) 벤치마크에서 수행되었습니다.

• ZH-4O 성능: TELEMEM은 **86.33%**의 QA 정확도를 달성하여, 최신 기술인 Mem0(70.20%)보다 상대 정확도 면에서 19% 앞섰습니다. 또한 베이스라인 대비 토큰 사용량을 43% 줄였으며 2.1배의 속도 향상을 달성했습니다.
• LoCoMo 성능: TELEMEM은 단일 홉(single-hop) 추론(64.53%)과 시간적 추론(78.47%)에서 경쟁력 있는 성능을 보여주었으며, 이러한 카테고리에서 롱 컨텍스트 LLM의 성능에 근접했습니다. 그러나 멀티 홉 추론(20.56%)에서는 Memobase(66.04%)와 같은 특화된 베이스라인에 비해 약한 성능을 보였으며, 이는 복잡한 관계 추론에서의 남은 과제를 시사합니다.
• 읽기-쓰기 스케일링 법칙 (Read-Write Scaling Law): 메모리 쓰기 및 읽기 LLM의 모델 크기를 변화시킨 실험 결과, 두 구성 요소가 스케일링됨에 따라 성능이 단조 증가함을 발견했습니다. 최적의 결과는 쓰기와 읽기 역량이 공동으로 스케일링될 때 달성되었으며, 이는 두 요소의 상호 의존성을 강조합니다.

5. 의의 및 주장

본 논문은 TELEMEM이 무질서한 파편 검색에서 구조화된 인과적 메모리 궤적으로 전환함으로써 기존 RAG 시스템의 근본적인 한계를 해결한다고 주장합니다. 그 의의는 다음과 같습니다:

• 안정성: 폐쇄 기반 검색을 통해 일관된 인과적 컨텍스트를 재구성함으로써 장기 추론을 안정화합니다.
• 효율성: 구조화된 쓰기 파이프라인은 토큰 소비와 지연 시간을 크게 줄여, 장기 메모리를 실시간 에이전트에 실용적으로 만듭니다.
• 강건성: 서사 중심의 추출은 스키마 기반의 환각을 방지하여 신뢰할 수 있는 사용자 프로필을 유지합니다.
• 멀티모달리티: 텍스트를 넘어 메모리 역량을 확장하여 복잡한 시각적 콘텐츠에 대한 폐쇄 루프 추론을 지원합니다.

저자들은 단일 접근 방식이 모든 유형의 추론을 지배할 수는 없지만, TELEMEM의 협응된 읽기-쓰기 설계와 구조화된 조직이 장기 상호작용 환경의 에이전트 AI를 위한 우수한 정확도, 효율성 및 확장성의 균형을 제공한다고 결론짓습니다.