Personalizing Embodied Multimodal Large Language Model Agents over Long-term User Interactions

기술 요약: POLAR – 장기적 사용자 상호작용을 통한 개인화된 신체화된 멀티모달 대규모 언어 모델 에이전트

1. 문제 제기

멀티모달 대규모 언어 모델 (MLLM) 기반의 신체화된 에이전트들은 복잡한 물리적 과제를 해결하는 데 잠재력을 보여주었습니다. 그러나 기존 접근법들은 주로 일반적인 지시와 카테고리 수준의 객체 인식에 초점을 맞추고 있습니다. 실제 시나리오에서는 개인화된 지원이 종종 장기적 상호작용을 통해 축적된 암묵적 맥락에 기반한 인스턴스 수준의 그라운딩을 요구합니다.

사용자가 다수의 신발 쌍이 있는 집에서 "내 신발을 가져와"라고 요청할 때, 에이전트는 이전 기록 (예: "지난 러닝 때 신은 신발") 을 바탕으로 의도된 특정 인스턴스를 결정해야 합니다. 이러한 설정에서 현재 MLLM 기반 에이전트들은 두 가지 주요 난관에 직면합니다:

1. 현재 입력의 부족: 현재 지시와 시각적 관찰에만 의존하는 것은 종종 모호하고 개인화된 참조를 해결하기에 불충분합니다.
2. 원시 맥락의 비효율성: 이전 상호작용에는 필요한 사용자별 정보가 포함되어 있지만, 원시 상호작용 로그는 비구조화되어 있고 노이즈가 많으며 MLLM 이 직접 추론하기 어렵습니다. 이로 인해 종종 장기 컨텍스트 설정에서 성능 저하가 발생합니다.

2. 방법론: POLAR 프레임워크

저자들은 POLAR(Personalized Long-term Agent with Retrieval, 검색을 통한 개인화된 장기 에이전트) 를 제안합니다. 이는 이전 상호작용을 구조화되고 작업 관련성이 있는 기억으로 조직하기 위해 설계된 멀티모달 기억 증강 프레임워크입니다. POLAR 은 **기억화 (Memorization)**와 **활용 (Utilization)**이라는 두 가지 명확한 단계로 작동합니다.

A. 기억 표현 (멀티모달 지식 그래프)
POLAR 은 세 가지 노드 유형을 포함하는 그래프 $M = (V, E)$로 기억을 구조화합니다:

• 객체 노드: 객체의 고유 식별자 (예: 객체 ID).
• 의미적 기억 노드: 이는 객체와 관련된 개인화된 맥락을 포착합니다. 원시 로그를 저장하는 대신, POLAR 은 상호작용을 단일 사용자별 속성을 설명하는 간결하고 세분화된 텍스트 진술로 재구성합니다 (예: "눈 오는 날에 사용됨"). 이는 정보의 얽힘을 방지하고 검색 정확도를 높입니다.
• 에피소드 기억 노드: 이는 에이전트의 궤적, 원시 사용자 지시 및 참조 이미지를 저장합니다. 중요한 점은 원시 궤적이 모든 저수준 단계를 보존하는 대신 계획 관련 경험(성공/실패 상태, 비생산적인 방, 정보 제공 관찰 등) 을 포착하는 컴팩트한 텍스트 요약으로 변환된다는 것입니다.

그래프의 간선은 시간 업데이트와 최근성 인지 검색을 지원하기 위해 타임스탬프가 부여됩니다. 새로운 상호작용이 기존 객체나 의미 노드와 일치하면, 항목을 중복하지 않고 그래프가 점진적으로 업데이트됩니다.

B. 활용 및 계획
작업 수행 중 POLAR 은 에이전트를 안내하기 위해 관련 기억을 검색합니다:

1. 검색: 현재 지시 $I_k$가 주어지면, 시스템은 임베딩 유사성 (BGE-M3 인코더 사용) 을 사용하여 상위-k 개의 의미 기억 노드를 검색합니다.
2. 그라운딩: 에이전트는 검색된 의미 노드에서 해당 객체 노드로의 그래프 연결을 탐색하여 관련 지시와 에피소드 기억을 수집합니다.
3. 추론 및 계획: MLLM 정책은 검색된 후보 객체들을 추론하여 의도된 대상 인스턴스를 그라운딩합니다. 그런 다음 관련 에피소드 기억 (과거 검색 경험) 을 활용하여 고수준 경로 계획과 저수준 행동 선택을 안내합니다.

신체화된 에이전트 자체는 계층적 계획 프레임워크를 따릅니다:

• 고수준 계획: 장면 그래프와 글로벌 추론을 기반으로 거친 경로 (방/경유지 시퀀스) 를 생성합니다.
• 저수준 계획: 자아 중심 시각 관찰을 기반으로 실행 가능한 행동 (이동, 회전, 정지) 을 선택합니다.

3. 실험 설정

• 데이터셋: 평가는 Habitat-Matterport3D(HM3D) 장면의 개인화된 인스턴스 그라운딩 데이터셋인 PinNED를 기반으로 구축되었습니다.
• 시나리오: 세 가지 평가 시나리오가 설계되었습니다:
  • 구성적: 여러 이전 에피소드에서 증거를 결합해야 함 (단일 vs. 결합).
  • 방해 요소: 동일한 카테고리의 의미상/시각적으로 유사한 객체들 중에서 대상을 구별해야 함.
  • 시간적: 시간에 따라 진화하는 맥락이나 객체 연관성의 변화를 처리하는 능력을 테스트함.
• 베이스라인:
  • 사전 지식 없음: 현재 지시와 관찰만 사용.
  • 원시 상호작용: 에이전트에 15 개의 무작위 샘플링된 원시 이전 상호작용 로그를 제공.
• 백본: 오픈소스 모델 (Qwen3-VL, Qwen2.5-VL) 과 독점 모델 (GPT-5, GPT-4o-mini, Gemini-2.5-Flash) 을 포함한 여러 MLLM 에서 평가되었습니다.

4. 주요 결과

• 성능 향상: POLAR 은 모든 MLLM 백본과 시나리오에서 사전 지식 없음 및 원시 상호작용 베이스라인을 일관되게 능가합니다.
  • 사전 지식 없음 베이스라인은 종종 실패하여, 현재 관찰만으로는 개인화된 그라운딩이 불충분함을 확인시켜 줍니다.
  • 원시 상호작용 베이스라인은 일관되지 않은 개선을 보여줍니다. 어떤 경우에는 비구조화된 맥락이 노이즈를 도입하여 성능을 저해합니다.
• 인스턴스 그라운딩: POLAR 은 카테고리 일치 (CM) 오류 (올바른 카테고리에 도달하지만 잘못된 인스턴스) 를 크게 줄여, 동일 카테고리 후보들 사이에서 사용자 의도를 해결하는 데 뛰어난 능력을 입증합니다.
• 기억 설계 분석:
  • 의미적 기억: 원시 상호작용에 대한 희소 또는 밀집 검색에 비해 더 세분화된 검색을 제공하여 요청 관련 정보를 더 효과적으로 격리합니다.
  • 에피소드 기억: 과거 궤적의 구조화된 요약은 원시 궤적이나 단순 지시만 검색하는 것보다 더 높은 성공률을 보여주어, 계획 관련 경험을 추출하는 것이 중요함을 입증합니다.
• 시간적 견고성: POLAR 은 결합 및 시간적 시나리오에서 현저하게 더 잘 수행되어, 객체 중심 그래프가 분산된 정보를 효과적으로 연결하고 맥락의 진화를 처리함을 나타냅니다.

5. 중요성과 주장

이 논문은 신체화된 에이전트를 위한 효과적인 장기 개인화가 단순히 컨텍스트 창을 확장하거나 원시 상호작용 로그를 저장하는 것 이상을 요구한다고 주장합니다. 핵심 기여는 기억을 구조화하는 것이 필수적임을 입증한 것입니다.

구체적으로 저자들은 다음과 같이 주장합니다:

1. 구조화된 기억의 필요성: 비구조화된 이전 상호작용을 작업 관련 기억 (의미적 및 에피소드적) 으로 변환하는 것은 신뢰할 수 있는 인스턴스 그라운딩과 계획에 필수적입니다.
2. 이중 기억 역할: 개인화된 지원은 세분화된 사용자별 속성 검색을 위한 의미적 기억과 미래 계획을 안내하기 위해 과거 검색 경험을 재사용하는 에피소드 기억이라는 서로 다른 기억 유형을 요구합니다.
3. 암묵적 맥락 해결: 에이전트는 시간이 지남에 따라 축적된 암묵적 사용자 의도를 해석할 수 있어야 하며, 이는 구조화된 기억 증강 없이는 현재 MLLM 이 결여된 능력입니다.

이 연구는 멀티모달 역사를 검색 가능하고 추론 친화적인 지식 그래프로 조직함으로써, 일반적인 지시 수행과 진정한 개인화된 지원 사이의 간극을 메운다고 결론지었습니다.