기술 요약: 명시적 및 암시적 증거에서 비롯된 개인 시각 기억

문제 정의

장기 기억은 개인화된 AI 에이전트에게 점점 더 중요해지고 있지만, 현재 연구와 벤치마크는 여전히 주로 텍스트 중심입니다. 기존 멀티모달 벤치마크에 이미지가 포함될지라도, 후속 질문에 답하는 데 필요한 정보는 일반적으로 동반된 텍스트만으로도 복원 가능합니다. 또한, 기존 기억 시스템은 종종 이미지 회전을 일반화된 캡션으로 축소하는데, 이는 신원, 소유권, 반복되는 시각적 단서와 같은 중요한 시각적 세부 사항을 폐기하는 "손실성" 과정입니다.

이 논문은 현재 시스템이 명시적 텍스트 진술을 넘어 존재하는 개인 시각 기억을 유지하고 추론하지 못한다는 분야의 격차를 식별합니다. 여기에는 두 가지 구별되는 증거 형태가 포함됩니다:

1. 명시적 증거: 여러 이미지에서 나타나지만 대화에서 명시적으로 언급되거나 논의되지 않을 수 있는 반복되는 시각적 개체 (예: 특정 반려동물이나 사물).
2. 암시적 증거: 대화 내용이 해당 사실과 무관할지라도 시각적 또는 멀티모달 단서로부터 추론해야 하는 잠재적 사용자 사실 (예: 고양이 소유, 특정 취미 보유).

기존 벤치마크는 시각적 일관성을 통해 시간 경과에 따른 신원이나 소유권 모호성을 해결하거나, 시각적 대리체만으로 사실을 추론하도록 에이전트에게 요구하지 않기 때문에 이러한 능력을 테스트하지 못합니다.

방법론

1. 벤치마크 구축 (VisualMem)

적합한 평가 데이터의 부재를 해결하기 위해 저자들은 지속적 사용자 페르소나에 기반한 장기 멀티모달 상호작용을 시뮬레이션하도록 설계된 VisualMem이라는 합성 벤치마크를 소개합니다. 구축 파이프라인은 네 단계로 구성됩니다:

• 멀티모달 페르소나 컨텍스트: 각 사용자에게 인구통계학적 정보, 관심사, 사회적 그래프 (가족, 친구), 사용자 관련 자산 (반려동물, 사물), 사건 타임라인을 포함한 구조화된 컨텍스트를 구축합니다.
• 대화 생성: 다양한 기억 능력을 테스트하기 위해 세 가지 유형의 대화가 생성됩니다:
  • 명시적 개체: 모델이 상호작용 전반에 걸쳐 개체를 추적할 수 있는지 테스트하기 위해 반복되는 대상 개체 (사람 또는 자산) 를 포함하는 이미지.
  • 암시적 사실: 텍스트가 명시적으로 진술하지 않아도 (예: "사용자가 고양이를 소유함") 시각적 대리체 (예: 고양이 나무) 를 통해 사실을 암시하는 이미지. 여기에는 사실이 이미지만으로 추론되는 시각 전용과 이미지와 텍스트를 결합하여 추론되는 멀티모달 변형이 모두 포함됩니다.
  • 방해 요소: 소유권이나 신원을 잘못 귀속하는지 테스트하기 위한 중립적 상호작용 또는 "하드 네거티브" (예: 친구의 고양이).
• 글로벌 일관성을 갖춘 이미지 생성: 제어 가능한 이미지 생성을 사용하여 지속적 개체의 참조 이미지와 장면 설명에 조건부인 이미지를 합성합니다. 이는 동일한 사용자, 반려동물, 또는 사물이 다른 사건과 위치에서도 시각적 일관성을 유지하도록 보장하며, 유효한 장기 기억 추론에 필수적입니다.
• 질문 생성: 지연된 기억을 탐지하기 위한 평가 질문이 도출됩니다. 이는 종종 이미지가 다시 표시되지 않는 객관식 질문 형태로 제시되며, 모델이 이전 시각 증거를 기반으로 개체 신원을 회상하거나 잠재적 사실을 추론하도록 요구합니다.

데이터셋은 10 개의 페르소나, 1,717 개의 사건, 1,718 개의 이미지, 696 개의 질문으로 구성되며, 페르소나당 평균 172 개의 사건이 포함됩니다.

2. 제안된 아키텍처: VISUALMEM

저자들은 기존 텍스트 기반 기억 시스템 (특히 MemOS 를 백엔드로 사용) 과 통합하도록 설계된 하이브리드 시각 - 텍스트 기억 프레임워크인 VISUALMEM을 제안합니다. 이미지를 캡션으로 축소하는 시스템과 달리, VISUALMEM은 세 단계로 구성된 전용 시각 기억 파이프라인을 사용합니다:

• 1 단계: 컨텍스트 기반 해석: 이미지는 고립적으로 처리되지 않습니다. 시스템은 이미지와 이를 둘러싼 대화 컨텍스트를 공동으로 분석하여 신원과 장면 소유권에 관한 모호성을 해결합니다 (예: "내 부엌"과 "친구의 부엌" 구분).
• 2 단계: 지연된 확정: 증거가 즉각적인 근거 설정에 불충분할 수 있음을 인식하여, 시스템은 모호한 이미지를 원래 컨텍스트와 함께 대기 상태에 둡니다. 대화가 진전되고 더 많은 시각적 기억이 축적됨에 따라 시스템은 이러한 대기 이미지를 재검토합니다. 이는 모델이 초기에 잠재적으로 노이즈가 있는 추출에 확정하는 대신 새로운 증거가 도착함에 따라 점진적으로 신원과 소유권을 모호성을 제거할 수 있게 합니다.
• 3 단계: 구조화된 추출: 이미지가 확인되면, 시스템은 세 수준에서 구조화된 개인 정보를 추출합니다:
  • 관계 수준: 사회적 연결과 소유권을 추론.
  • 개체 수준: 반복되는 사람, 사물, 반려동물을 식별하고 향후 매칭을 위한 시각적 참조를 저장.
  • 사실 수준: 소유물, 습관 등 지속적이고 시각적으로 근거 있는 사용자 사실 추출.
    이러한 사실은 텍스트화되어 통합을 위해 텍스트 기억 백엔드로 전달되는 반면, 구조화된 시각 기억은 검색을 위해 접근 가능하게 유지됩니다.

추론 시 VISUALMEM은 쿼리를 적절한 기억 소스로 라우팅합니다: 개체 중심 쿼리는 구조화된 시각 저장소에 대해 해결되는 반면, 광범위한 사실 쿼리는 텍스트 기억 백엔드 또는 둘의 조합을 사용합니다.

주요 결과

시각 기억 벤치마크 성능

실험은 VISUALMEM이 VisualMem 벤치마크에서 기존 기억 시스템보다 현저히 우수함을 보여줍니다:

• 전체 정확도: VISUALMEM은 **84.1%**의 정확도를 달성하여 기존 가장 강력한 기억 기반 베이스라인 (MemOS, 56.0%) 과 RAG 기반 방법 (Self-RAG, 22.1%) 을 크게 능가합니다.
• 명시적 개체: 가장 큰 개선은 대상 사람 (MemOS 대비 95.0% 대 45.0%) 과 대상 자산 (59.9% 대 91.1%) 작업에서 관찰됩니다. 이는 캡션 기반 방법이 시간 경과에 따른 신원과 반복성을 유지하지 못하는 반면, VISUALMEM의 구조화된 시각 기억이 성공함을 확인시켜 줍니다.
• 암시적 사실: VISUALMEM은 암시적 사실 작업에서도 성능을 향상시킵니다 (시각 전용: 77.9%; 멀티모달: 83.4%), 이는 시각적 단서로부터 잠재적 사실을 추론하고 대화 컨텍스트와 결합하는 능력을 보여줍니다.

텍스트 중심 벤치마크 성능

시각 모듈이 기존 텍스트 능력을 저하시키지 않는지 확인하기 위해 저자들은 VISUALMEM을 표준 텍스트 전용 벤치마크 (LOCOMO 및 PersonaMem) 에서 평가했습니다.

• VISUALMEM은 LOCOMO에서 58.1%, PersonaMem에서 **46.3%**를 달성하여 MemOS 베이스라인 (각각 56.8% 및 45.5%) 과 유사한 수준을 보였습니다.
• 이는 시각 기억으로 시스템을 보강해도 텍스트 기억 성능이 유지됨을 시사합니다.

제거 분석

• 시각 대 텍스트 기억: 개체 작업에서 텍스트 기억만 사용하는 것은 시각 기억만 사용하는 것보다 훨씬 나쁜 성능을 보였으며, 이는 벤치마크가 시각 증거에 의해 주도됨을 확인시켜 줍니다. 그러나 둘을 결합하면 특히 멀티모달 암시적 사실에 대해 가장 좋은 결과를 얻었습니다.
• 지연된 확정: 대기 메커니즘을 제거하면 성능이 눈에 띄게 저하되었습니다 (특히 대상 사람의 경우), 이는 충분한 증거가 축적될 때까지 추출을 지연시키는 것의 필요성을 검증합니다.
• 컨텍스트 창: 컨텍스트 구축 시 전체 대화 세션을 사용하는 것이 창을 제한하는 것보다 더 좋은 결과를 낳았는데, 이는 시각적 증거를 텍스트 단서와 연결하기 위해 광범위한 컨텍스트의 중요성을 강조합니다.

중요성과 주장

이 논문은 개인 시각 기억이 개인화된 AI 에이전트의 장기 기억에 있어 독특하고 중요한 구성 요소라고 주장합니다. 저자들은 다음과 같이 논합니다:

1. 현재 연구의 한계: 기존 벤치마크와 방법은 멀티모달 설정에서도 텍스트 중심이며, 텍스트에 명시적으로 진술되지 않은 시각적 증거에 대한 추론 능력을 테스트하지 못합니다.
2. 구조화된 시각 기억의 필요성: 이미지를 일반화된 캡션으로 축소하는 것은 개인화된 에이전트에게 불충분합니다. 시스템은 시각적 상호작용에서 파생된 지속적 개인 정보 (신원, 소유권, 사실) 를 명시적으로 모델링해야 합니다.
3. 하이브리드 접근법의 타당성: VISUALMEM은 구조화된 시각 기억을 기존 텍스트 기억 백엔드와 효과적으로 통합하여 텍스트 기반 능력을 훼손하지 않으면서 시각 작업의 성능을 향상시킬 수 있음을 보여줍니다.

이 연구는 미래 기억 에이전트가 이미지를 보조 텍스트로 취급하는 것을 넘어, 시각적 상호작용이 기여하는 지속적 개인 정보를 보존하고 추론하기 위한 전용 메커니즘을 개발해야 함을 시사합니다. 저자들은 벤치마크가 시각적 일관성과 통제를 보장하기 위해 합성적으로 구축되었으며, 실제 세계 배포에는 개인정보 보호 및 견고성 문제를 해결해야 함을 인정합니다.