1. 연구 배경 및 문제 정의 (Problem)

• 배경: 실시간 스트리밍 비디오 이해 (Live streaming, 감시, 자율주행 등) 는 모델이 사용자의 질문이 도착하기 전까지 관찰된 제한된 정보에 의존해야 하므로, 지속적으로 유입되는 시각 정보를 효율적으로 처리하는 것이 핵심 과제입니다.
• 기존 접근법의 한계:
  • 기존 방법은 비주얼 토큰 압축이나 KV 캐시 압축에 집중했으나, 극도로 긴 비디오의 경우 중요한 시각 정보 손실과 개체 (예: 인간 신원) 의 장기적 일관성 유지에 어려움을 겪습니다.
  • 이를 해결하기 위해 에이전트 메모리 (Agent Memory) 기반 방법 (예: M3-Agent) 이 도입되었습니다. 이는 비디오 정보를 텍스트, 얼굴, 음성 노드로 구성된 메모리 그래프 (Memory Graph) 형태로 저장하여 장기 기억을 유지합니다.
• 핵심 문제: 메모리 그래프가 확장됨에 따라 저장 공간과 검색 (Retrieval) 비용이 기하급수적으로 증가합니다. 특히 텍스트 노드의 수가 증가하면 메모리 검색 지연 시간이 급격히 늘어나 실시간 응답이 불가능해집니다.

2. 제안 방법: StreamMeCo (Methodology)

저자들은 StreamMeCo를 제안하여, 학습이 필요 없는 (training-free) 효율적인 장기 스트리밍 에이전트 메모리 압축 프레임워크를 구현했습니다. 이 프레임워크는 메모리 그래프의 구조적 특성에 기반한 이중 분기 (Dual-branch) 압축 전략과 시간 감쇠 메모리 검색 (Time-decay Memory Retrieval, TMR) 메커니즘으로 구성됩니다.

A. 메모리 그래프 압축 (Text Memory Compression)

메모리 그래프 내 텍스트 노드를 **연결된 노드 (Connected nodes)**와 **고립된 노드 (Isolated nodes)**로 분류하여 각각 다른 전략을 적용합니다.

1. 고립된 노드용: 엣지 없는 Min-Max 샘플링 (Edge-free Minmax Sampling, EMsampling)

   • 목적: 특정 개체 (얼굴/음성) 와 연결되지 않은 일반 텍스트 노드들의 대표성을 유지하며 압축.
   • 과정:
     • 텍스트 노드 임베딩을 기반으로 구형 K-Means (Spherical K-Means) 알고리즘으로 클러스터링 수행.
     • 각 클러스터 내에서 클러스터 중심에 가장 가까운 노드를 먼저 선택.
     • 이후 선택된 노드 집합과의 **최소 거리 (Min-Max 거리)**를 계산하여, 가장 먼 노드를 순차적으로 추가하는 방식으로 대표 노드를 선정.
   • 효과: 클러스터 내의 다양한 의미적 분포를 유지하면서 노드 수를 줄임.

2. 연결된 노드용: 엣지 인식 가중치 가지치기 (Edge-aware Weighting Pruning, EWpruning)

   • 목적: 얼굴/음성 노드와 연결된 텍스트 노드들의 중요도와 다양성을 고려하여 압축.
   • 과정:
     • 개체 중요도 (Entity Importance): 텍스트 노드와 얼굴/음성 노드 간의 엣지 가중치 행렬을 행렬 합산하여 각 텍스트 노드의 중요도 점수 산출.
     • 임베딩 유사도 (Embedding Similarity): 텍스트 노드 간의 쌍별 유사도를 계산하여, 전체 집합 대비 얼마나 다른지 (다양성) 를 측정.
     • 퓨전 점수 (Fusion Score): 개체 중요도 ($W'$) 와 임베딩 유사도 ($S'$) 를 가중치 $b$로 결합한 점수 ($r_j = bW'_j + (1-b)S'_j$) 를 계산.
     • 점수가 높은 상위 노드만 유지하고 나머지를 제거.

B. 시간 감쇠 메모리 검색 (Time-decay Memory Retrieval, TMR)

메모리 압축으로 인한 성능 저하를 보완하기 위해 인간의 기억 메커니즘 (시간에 따른 기억 감쇠) 에서 영감을 얻은 검색 전략입니다.

• 동적 할당: 쿼리와 각 시간 세그먼트 (Time Segment) 내 텍스트 노드들의 유사도 합을 계산하여 세그먼트별 관련성 점수 산출.
• 지수 감쇠 함수: $E'_j = \bar{E}_j \cdot e^{-\lambda(t-j)}$ 공식을 적용하여, 오래된 기억은 자연스럽게 감쇠시키고 최근의 중요한 정보를 더 많이 반영하도록 조정.
• 최적화: 감쇠된 점수에 비례하여 각 시간 세그먼트에서 검색할 노드 수를 동적으로 할당함으로써, 최근의 중요한 정보를 우선적으로 검색하여 추론 정확도를 보장합니다.

3. 주요 기여 (Key Contributions)

1. 구조 기반 이중 압축 모듈: 메모리 그래프의 연결성 (연결/고립) 을 분석하여 EMsampling과 EWpruning 모듈을 설계, 효율적인 그래프 압축을 달성.
2. 새로운 검색 메커니즘 (TMR): 인간의 기억 감쇠를 모방한 시간 감쇠 메모리 검색을 도입하여, 압축으로 인한 정보 손실을 보완하고 최근 정보의 우선 검색을 가능하게 함.
3. 압도적인 성능 증명: 기존 방법론 및 다양한 베이스라인 대비 압축률 70% 에서도 높은 정확도와 속도 향상을 입증.

4. 실험 결과 (Results)

세 가지 벤치마크 데이터셋 (M3-Bench-robot, M3-Bench-web, Video-MME-Long) 에서 광범위한 실험을 수행했습니다.

• 정확도 향상: 메모리 그래프를 70% 압축했음에도 불구하고, 압축되지 않은 M3-Agent 대비 평균 정확도 1.0% 향상을 기록했습니다.
• 속도 향상: 메모리 검색 속도가 1.87 배 (1.87×) 빨라졌습니다.
• 비교 실험:
  • 무작위 제거 (Random), 기존 클러스터링 (K-Means), DART, TimeChat-Memory, MemoryLLM 등 기존 압축 방법론보다 StreamMeCo+TMR 조합이 압도적으로 우수한 성능을 보였습니다.
  • 특히 M3-Bench-robot(로봇 1 인칭 시점) 데이터셋에서는 높은 중복성으로 인해 압축 효과가 더욱 두드러졌습니다.
• 시간 효율성: TMR 메커니즘 도입으로 불필요한 검색 반복 횟수가 줄어들어 전체 처리 시간이 단축되었습니다.

5. 의의 및 결론 (Significance)

• 실용성: StreamMeCo 는 산업 수준의 스트리밍 비디오 에이전트에 적용 가능한 첫 번째 메모리 압축 프레임워크입니다.
• 실시간성: 긴 비디오를 처리할 때 발생하는 높은 저장 및 연산 비용을 획기적으로 줄여, 실시간 질문 응답 시스템의 실용성을 높였습니다.
• 일반화 가능성: 그래프 기반 에이전트 메모리 구조를 가진 다른 프레임워크 (예: Mem0) 에도 적용 가능한 범용성을 가집니다.

이 연구는 장기 비디오 이해 분야에서 '기억의 양'을 늘리는 것뿐만 아니라, '기억의 질과 효율성'을 최적화하는 새로운 패러다임을 제시했다는 점에서 중요한 의의를 가집니다.