기술 요약: 다중 모달 메모리 압축을 통한 장기 지평 체화된 의사결정 (Long-Horizon Embodied Decision-Making via Multimodal Memory Compression)

1. 문제 정의

본 논문은 장기 지평의 인간 중심 체화된 의사결정(long-horizon, human-centered embodied decision-making) 과제를 다룹니다. 절차적 계획이나 즉각적인 목표 달성(예: "컵을 집어라")에 집중하는 표준적인 체화된 작업과 달리, 이 설정은 에이전트가 장기간의 상호작관을 통해 사용자를 대신하여 의사결정자로 행동할 것을 요구합니다. 핵심 문제는 여러 체화된 환경(특히 주거 환경)을 탐색하고, 시간에 따라 축적된 다중 모달 증거를 수집하며, 다차원적인 인간 선호도를 기반으로 최적의 후보를 선택하는 것입니다.

식별된 주요 과제는 다음과 같습니다:

• 선호도 미지정(Preference Under-specification): 사용자 선호도는 명시적인 체크리스트보다는 암시적이거나 간접적이거나 페르소나 기반(예: "나는 요리를 자주 한다"는 것은 넓은 주방이 필요함을 암시함)인 경우가 많습니다.
• 장기 지평 그라운딩(Long-Horizon Grounding): 에이전트는 텍스트로 된 선호도를 여러 환경과 여러 타임스텝에 걸친 시각적 관찰과 연결해야 합니다.
• 메모리 관리: 현재의 에이전트들은 대량으로 축적된 증거를 관리하는 데 어려움을 겪습니다. 본 논문은 필터링되지 않은 가공되지 않은 다중 모달 이력이 노이즈를 유발하여 결정의 질을 저해하며, 메모리 크인과 성능 사이에 비단조적(non-monotonic) 관계가 존재한다고 주장합니다.

2. 방법론

2.1 DunphyBench: 새로운 벤치마크

이 문제를 체계적으로 평가하기 위해, 저자들은 DunphyBench라는 장기 지평 인간 중심 체화된 의사결정용 벤치마크를 도입합니다.

• 태스크: 에이전트는 후보 주거 환경 세트(ProcTHOR에서 생성됨)를 탐색하고, 사용자 선호도와 가장 잘 일치하는 "골든(golden)" 환경을 선택해야 합니다.
• 구조: 각 인스턴스는 선호도 세트($N=7$)와 후보 풀($1 + 3M$)을 포함하며, 여기서 $M$은 다양한 난이도(Easy, Medium, Hard)를 가진 방해 요소들을 나타냅니다.
• 선호도 분류 체계: 선호도는 7가지 의미론적 유형으로 분류됩니다: 방의 개수/유형, 치수, 창문/채광, 객체 존재 여부, 객체 개수, 공간적 연결성, 그리고 재료/마감재.
• 트랙: 벤치마크는 두 가지 트랙을 제공합니다:
  1. 명시적(Explicit): 선호도가 구조화된 제약 조건인 경우 (예: "침실 3개").
  2. 암시적(Implicit): 추론이 필요한 자연어 문장 형태의 선호도인 경우 (예: "나는 요리하는 것을 좋아한다").
• 평가 지표: 정확도(최종 결정의 정답 여부), 정규화된 만족도 비율(Normalized Satisfaction Ratio, 부분적 정답성), 탐색 효율성(단계 수와 정확도 사이의 균형).

2.2 MeMento: 선호도 조건부 다중 모달 메모리 압축

과도한 컨텍스트가 성능을 저하시킨다는 발견에 착안하여, 저자들은 장기 지평의 이력으로부터 의사결정에 유의미한 정보만을 선택적으로 압축하는 프레임워크인 MeMento를 제안합니다.

• 아키텍처: MeMento는 고정된 학습 가능한 메모리 토큰(쿼리) 세트를 사용하여 가공되지 않은 다중 모달 이력을 압축하는 선호도 조건부 Perceiver 스타일 모듈입니다.
• 인코딩:
  • 선호도 인코딩: 사용자 요구사항(명시적 또는 암시적)은 키워드로 변환되어 단일 선호도 임베딩($\bar{z}_r$)으로 풀링됩니다.
  • 스텝 인코딩: 각 탐색 단계(에고 뷰, 맵 뷰, 관찰, 행동)는 시간 및 환경 ID와 함께 스텝 표현으로 인코딩됩니다.
• 압축 메커니즘:
  • 선호도 조건부 쿼리: 학습 가능한 쿼리에 투영 네트워크($Q_r = Q_0 + \phi(\bar{z}_r)$)를 통해 선호도 임베딩이 주입됩니다.
  • 계층적 압축: 쿼리는 각 환경 내의 스텝 표현에 독립적으로 어텐션(Cross-Attention)을 수행한 후, 정보 융합을 위해 스텝 간 셀프 어텐션을 수행하여 컴팩트한 환경 레벨 토큰을 생성합니다. 이들은 전역 메모리 토큰을 형성하기 위해 결합됩니다.
• 주입(Injection): 압축된 토큰은 학습 가능한 어댑터를 통해 고정된 VLM 임베딩 공간으로 투영되어, 구조화된 프리픽스(prefix)로서 현재 프롬프트 앞에 붙여집니다.
• 학습 전략:
  • 1단계 (Preference-Guide): 스텝 레벨의 선호도 관련성 점수를 예측하도록 압축기를 학습시키고, 어텐션 가중치를 관련성 레이블과 정렬합니다.
  • 2단계 (Alignment): 압축기와 어댑터가 선호도 관련 QA 태스크를 사용하여 고정된 VLM이 압축된 메모리를 읽을 수 있도록 학습합니다.

3. 주요 결과

3.1 벤치마크 평가 (DunphyBench)

• 인간 vs 에이전트 격차: 상당한 성능 격차가 존재합니다. 가장 우수한 에이전트 구성(다중 모달 메모리와 도구가 없는 GPT-5.4)은 **58.3%**의 정확도를 달성한 반면, 인간 주석가는 **83.3%**를 달성했습니다.
• 복잡도 민감도: 성능은 태스크 복잡도에 따라 급격히 저하됩니다. 난이도가 Easy에서 Hard로 증가함에 따라 정확도는 명시적(Explicit) 설정의 경우 약 49%에서 25%로, 암시적(Implicit) 설정의 경우 약 26%에서 16%로 떨어집니다.
• 암시적 선호도 병목 현 현상: 에이전트는 명시적 선호도에 비해 암시적 선호도 처리에 크게 어려움을 겪습니다 (Easy 설정에서 26.7% vs 49.1%).
• 메모리 영향: 다중 모달 메모리를 통합하는 것은 일부 모델에서 메모리가 없는 에이전트에 비해 정확도를 거의 두 배로 높입니다. 그러나 필터링되지 않은 메모리의 스케일링은 비단조적입니다. 성능은 중간 정도의 히스토리 길이(15 턴)에서 정점을 찍으며, 과도한 컨텍스트로 인해 노이즈가 발생하면 다시 하락합니다.

3.2 MeMento 성능

• 정확도 향상: DunphyBench에서 MeMento는 가장 강력한 베이스라인 모델(Qwen3VL-8B)의 정확도를 절대치 기준 7.18%, 상대치 기준 15.74% 향상시켰습니다.
• 메모리 효율성: MeMento는 가장 강력한 베이스라인인 Multimodal (Recent) Memory(~60K 토큰)와 비교했을 때 메모리 사용량을 85.38% 줄였으며, 약 3.8K 토큰만을 사용했습니다.
• Ablation 연구:
  • 선호도 조건화를 제거했을 때 가장 큰 성능 저하(52.78%에서 15.67%로)가 발생하여, 선호도 그라운딩의 결정적 역할을 확인했습니다.
  • 시각적 메모리 또는 계층적 압축을 제거하면 완만한 성능 저하가 나타났으며, 이는 다중 모달 증거와 구조적 집계의 시너지를 강조합니다.
• 일반화: MeMento는 100개의 웹 에이전트 태스크(Embodied Web Agent)에 대해 테스트되었으며, 단 512개의 토큰만으로 **83%**의 성공률을 기록하여, 최근 메모리 방식(4.5k 토션 사용 시 69%) 및 텍스트 요약 방식(1k 토큰 사용 시 72%)을 능가했습니다.

4. 의의 및 주장

본 논문은 단순히 컨텍스트 윈도우를 확장하는 것보다 효과적인 장기 지평 다중 모달 메모리 관리가 견고한 의사결정 에이전트를 구축하는 핵심임을 주장합니다.

• 진단: 본 연구는 가공되지 않은 다중 모달 이력이 의사결정의 질을 저해하는 노이즈를 유발하며, 현재의 에이전트들이 방문한 상태를 추적하거나 장기 지평에 걸쳐 증거를 효과적으로 집계하는 데 실패한다는 점을 식별했습니다.
• 솔루션: MeMento는 사용자 선호도에 따라 이력을 선택적으로 압축함으로써 에이전트가 노이즈를 버리고 의사결정에 유의미한 정보만을 유지할 수 있게 하여, 정확도와 효율성을 모두 크게 개선함을 입증했습니다.
• 벤치마크 기여: DunphyBench는 단순한 절차적 계획을 넘어, 에이전트가 암시적 선호도를 추론하고 장기적인 다중 환경 증거를 바탕으로 추론할 수 있는 능력을 테스트하는 필수적인 평가 프레임워크를 제공합니다.

저자들은 자신들의 접근 방식이 주거 태스크를 넘어 웹 기반 의사결정 시나리오로 일반화될 수 있는, 장기 지평 의사결정을 위한 개선된 베이스라인 역할을 한다고 결론짓습니다.