OCR-Memory: Optical Context Retrieval for Long-Horizon Agent Memory

"OCR-Memory: Optical Context Retrieval for Long-Horizon Agent Memory" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

웹 자동화, 모바일 앱 제어와 같은 장기적 상호작용 환경에서 작동하는 자율적 대규모 언어 모델 (LLM) 에이전트는 유한한 컨텍스트 윈도우라는 치명적인 병목 현상에 직면해 있습니다.

• 갈등: 에이전트는 향후 작업에 필수적인 광범위한 상호작용 기록 (추론 흔적, 도구 호출, 피드백) 을 축적합니다. 그러나 이러한 고충실도 궤적을 원시 텍스트로 저장하는 것은 토큰 예산 측면에서 과도하게 비용이 듭니다.
• 기존 솔루션의 한계:
  • 원시 저장: 컨텍스트 한도를 초과합니다.
  • 요약/추상화: 토큰을 절약하지만 정보 손실, 단편화, 그리고 디버깅 및 복잡한 계획에 필요한 중요한 구조적 또는 절차적 세부 사항의 상실을 초래합니다.
  • 텍스트 기반 검색 (RAG): 종종 의미적 유사성에 의존하여 주제적으로 관련은 있지만 논리적으로 무관한 스텝을 검색하거나, 정확한 인과적 의존성을 포착하지 못합니다.

2. 방법론: OCR-Memory

저자들은 OCR-Memory를 제안합니다. 이는 메모리 저장 및 검색을 텍스트 도메인에서 시각 도메인으로 전환하는 프레임워크입니다. 상호작용 궤적을 고밀도 시각 데이터로 취급하여 최소한의 토큰 예산 내에서 정보 보존을 극대화합니다.

핵심 구성 요소

1. 시각 인코딩 (저장):

   • 상호작용 로그는 이미지로 렌더링됩니다.
   • 다중 해상도 전략 (Optical Forgetting): 장기 저장 비용을 관리하기 위해 시스템은 인간의 기억 감퇴를 모방합니다. 최근 상호작용은 고해상도 이미지로 저장되는 반면, 오래된 기록은 저해상도 썸네일로 다운샘플링됩니다.
   • 활성 회상 업샘플링: 검색 중 저해상도 썸네일이 관련성이 있는 것으로 식별되면, 시스템은 원본 텍스트 로그에서 이를 동적으로 고충실도로 다시 렌더링하여 현재 작업에 필요한 전체 세부 정보를 확보합니다.

2. 위치 확인 및 전사 (Locate-and-Transcribe) 검색:

   • 환각을 유발하는 자유 형식 텍스트 요약을 생성하는 대신, 시스템은 Set-of-Mark (SoM) 프롬프팅 기법을 사용합니다.
   • 시각 앵커: 메모리 이미지의 텍스트 세그먼트는 빨간색 바운딩 박스 내부에 고유한 숫자 ID 로 주석 처리됩니다.
   • 선택 메커니즘: 광학 검색 모델은 이미지를 스캔하여 텍스트를 생성하는 대신 이진 관련성 벡터 (특정 ID 선택) 를 출력합니다.
   • 결정론적 가져오기: 관련 ID 가 선택되면 시스템은 외부 데이터베이스에서 **완벽한 텍스트 (verbatim text)**를 검색합니다. 이는 "검색 (시각)"과 "생성 (텍스트)"을 분리하여 환각을 제거합니다.

3. 학습 전략:

   • 백본: DeepSeek-OCR을 기반으로 구축되었습니다.
   • 파인튜닝: 모델은 재사용된 HotpotQA 데이터셋으로 파인튜닝됩니다. 작업은 텍스트 생성에서 판별형 검색 (쿼리를 지원하는 단락을 예측) 으로 변환됩니다.
   • 최적화: **회수 (recall)**를 우선시하는 가중 이진 교차 엔트로피 손실을 사용하여 누락된 증거를 위양성보다 더 크게 패널티합니다.
   • 해상도 커리큘럼: 학습 중 이미지는 장기 메모리의 저해상도 조건을 시뮬레이션하기 위해 무작위로 다운샘플링되어, 모델이 시각적 열화에 대해 견고하도록 보장합니다.

3. 주요 기여

• 최초의 시각 메모리 프레임워크: 상호작용 기록을 이미지로 저장하여 엄격한 컨텍스트 제한 하에서 임의의 길이의 에피소드적 경험을 보존할 수 있는 최초의 에이전트 메모리 시스템을 도입합니다.
• 위치 확인 및 전사 패러다임: 시각 앵커를 통한 명시적 인덱스 선택과 결정론적 텍스트 가져오기로 자유 형식 텍스트 생성을 대체하여 환각을 완화합니다.
• 적응형 해상도 및 활성 회상: 저장 효율성 (오래된 데이터는 저해상도) 과 충실도 (활성 데이터는 고해상도) 사이의 균형을 맞추는 새로운 메커니즘으로, 인간의 기억 역학을 모방합니다.
• 실증적 검증: 장기적 벤치마크에서 최첨단 성능을 보여주는 포괄적인 실험.

4. 실험 결과

이 시스템은 Mind2Web(웹 탐색) 과 AppWorld(API 상호작용) 에서 평가되었습니다.

• 성능 향상:
  • Mind2Web: OCR-Memory 는 **작업 성공률 (SR) 4.8%**를 달성하여 강력한 베이스라인인 AWM(4.3%) 과 표준 검색 (2.7%) 을 능가했습니다. 또한 요소 정확도를 **53.8%**로 개선했습니다 (AWM 의 49.1% 대비).
  • AppWorld: 평균 SR **58.1%**를 달성했으며, "Hard" 작업에서 AWM(27.2%) 대비 30.8% 로 상당한 우위를 보였습니다.
• 토큰 효율성:
  • 엄격한 토큰 제한 (예: 1024 토큰) 하에서 OCR-Memory 는 높은 정확도를 유지한 반면, 텍스트 기반 RAG 는 정보 손실로 인해 크게 저하되었습니다.
  • 시각 인코딩은 원시 텍스트 대비 10 배 이상의 압축 비율을 달성했으며, 32k 토큰 컨텍스트 길이 (NIAH 벤치마크) 에서도 94.1% 의 검색 정확도를 유지했습니다.
• 충실도:
  • OCR-Memory 는 증거 복구 (완벽한 텍스트 검색) 에서 100% 충실도를 달성한 반면, 생성형 검색 방법은 환각으로 인해 84.3% 충실도에 그쳤습니다.
• 시스템 트레이드오프:
  • 장점: 추론 컨텍스트 토큰을 획기적으로 줄입니다 (단계당 약 3,980 개에서 약 596 개로).
  • 단점: 디스크 저장 공간 사용량 (에피소드당 18KB 에서 1.47MB 로) 과 검색 지연 시간 (0.3 초에서 1.7 초로) 이 증가합니다. 저자들은 추론 토큰이 가장 희소한 자원임을 고려할 때 이는 수용 가능한 트레이드오프라고 주장합니다.

5. 의의

이 연구는 에이전트가 장기 메모리를 관리하는 방식을 근본적으로 재고합니다. 시각적 양식을 고밀도 손실 없는 저장 매체로 활용함으로써 OCR-Memory 는 "컨텍스트 윈도우 대 정보 완전성"이라는 딜레마를 해결합니다.

• 확장성: 에이전트가 중요한 구조적 세부 사항을 잃지 않고 확장된 기록을 통해 작동할 수 있도록 합니다.
• 신뢰성: "위치 확인 및 전사" 접근 방식은 검색된 증거가 정확하고 환각이 없음을 보장하여 복잡한 다단계 계획 및 디버깅에 필수적입니다.
• 일반화: 성능 향상은 다양한 백본 모델 (GPT-4 및 Qwen3-32B) 에서 일관되게 나타났으며, 이는 이 방법이 모델 특정적 산물이 아닌 견고한 아키텍처 개선임을 시사합니다.

요약하자면, OCR-Memory 는 광학 인코딩이 장기적 에이전트 메모리를 위한 우월한 전략임을 입증하며, 확장 가능하고 충실하며 토큰 효율적인 자율 시스템으로 가는 길을 제시합니다.