1. 문제 정의 (Problem)

자아 중심 (Egocentric) 보조 시스템의 개인화 한계

• 배경: AR/VR 안경 등의 발전으로 사용자의 1 인칭 시점 (First-person view) 데이터가 지속적으로 생성되고 있습니다. 이러한 데이터는 사용자의 행동 패턴, 선호도, 일과를 이해하는 데 필수적입니다.
• 핵심 과제:
  1. 구조화된 기억 조직화: 방대하고 비정형적인 (unstructured) 자아 중심 비디오 스트림을 효율적으로 검색할 수 있는 구조화된 기억으로 변환하는 것.
  2. 진정한 개인화: 단순한 사실적 회상 (Factual recall, 예: "열쇠를 어디에 뒀나?") 을 넘어, 사용자의 행동 패턴을 내재화하여 미래 행동을 예측하거나 선호도를 기반으로 한 응답을 생성하는 것.
• 기존 접근법의 한계:
  • 기존 장기 컨텍스트 비전 - 언어 모델 (VLM) 은 모든 콘텐츠를 균일하게 처리하여 상호작용 간의 구조적 관계를 모델링하지 못함.
  • 기존 회상 증강 (RAG) 기반 방법 (예: EgoRAG) 은 임베딩 유사도만 의존하여, 사용자 기록이 늘어날수록 문맥적으로 관련 없는 유사한 항목이 검색 정확도를 떨어뜨림 (Precision degradation).
  • 기존 자아 중심 비전 연구는 주로 짧은 클립의 행동 인식에 집중하여 장기적인 사용자 특정 패턴을 모델링하지 못함.

2. 방법론 (Methodology)

논문은 Conway 의 '자아 기억 시스템 (Self-Memory System, SMS)' 이론에서 영감을 받아 EgoSelf 프레임워크를 제안합니다. 이 시스템은 크게 세 가지 핵심 구성 요소로 이루어집니다.

A. 그래프 기반 상호작용 기억 (Graph-based Interaction Memory)

사용자의 연속적인 경험을 이산적인 상호작용 사건으로 분할하고, 이를 이질적 그래프 (Heterogeneous Graph) 로 구성합니다.

• 노드 (Nodes):
  • 이벤트 노드 ($V_{event}$): 사용자의 활동, 상호작용한 객체, 대화 내용, 위치, 타임스탬프 등을 포함하는 구체적인 에피소드 단위.
  • 엔티티 노드 ($V_{entity}$): 객체 (사물) 와 사람에 대한 지속적이고 안정적인 의미론적 지식. 여러 사건을 연결하는 앵커 역할을 함.
• 엣지 (Edges):
  • 이벤트 - 이벤트 연결: 인과 관계 (Causal), 동시 활동 (Co-activity) 등을 통해 사건 간의 시간적, 논리적 연결을 정의.
  • 이벤트 - 엔티티 연결: 특정 사건에 참여한 객체/사람을 연결하여 장기적인 선호도 추적을 가능하게 함.
• 검색 전략 (Memory Retrieval):
  1. 임베딩 유사도 기반 후보 선정: 쿼리와 노드 간 유사도 계산.
  2. 그래프 제약 필터링 (Graph-Constrained Filtering): 선택된 엔티티 노드와 연결된 이벤트 노드만 선별하여 문맥적 일관성 확보.
  3. 맥락 확장 (Context Expansion): 필터링된 핵심 사건에서 다단계 (Multi-hop) 이웃 사건을 확장하여 포괄적인 맥락 제공.

B. 사용자 프로필 (User Profile)

• 그래프의 세부적인 에피소드 데이터를 요약하여 장기적이고 안정적인 사용자 특성 (선호도, 습관) 을 압축된 형태로 표현합니다.
• 빈도 기반 클러스터링과 LLM 기반 요약을 통해 고수준의 행동 패턴을 추출하며, 추론 시 그래프 기억을 보완하는 컨텍스트 프리어로 작용합니다.

C. 습관 학습 태스크 (Habit Learning Task)

• 목표: 모델이 사용자의 특정 행동 패턴을 내재화하도록 하는 자기지도학습 (Self-supervised Learning) 태스크.
• 방식:
  • 시간 순서대로 정렬된 이벤트 체인에서 분할점 (Partition point) 을 설정하여 '과거 (History)'와 '미래 (Future)'로 나눕니다.
  • 모델은 과거의 그래프 구조와 비디오 프레임을 기반으로 사용자의 다음 상호작용 (미래 사건) 을 예측하도록 훈련됩니다.
  • 이 과정을 통해 모델은 개별 사용자의 행동 일관성과 인과 관계를 학습하게 됩니다.

3. 주요 기여 (Key Contributions)

1. EgoSelf 프레임워크 제안: 장기적인 1 인칭 관측 데이터를 이질적 상호작용 그래프와 압축된 사용자 프로필로 조직화하는 새로운 개인화 자아 중심 보조 시스템 아키텍처를 제시.
2. 자기지도 습관 학습 태스크 설계: 단순 검색을 넘어 그래프 데이터를 기반으로 미래 상호작용을 예측함으로써 사용자의 행동 패턴을 모델 파라미터에 내재화하는 학습 방식을 도입.
3. 성능 입증: EgoLifeQA 벤치마크에서 다양한 개인화 태스크 (사물 로그, 사건 회상, 습관 통찰 등) 에서 기존 최첨단 (SOTA) 모델들을 능가하는 성능을 달성.

4. 실험 결과 (Results)

• 벤치마크 성능 (EgoLifeQA):
  • EgoSelf는 EntityLog, EventRecall, HabitInsight, RelationMap, TaskMaster 등 5 가지 태스크에서 평균 40.6% 의 정확도를 기록하여, GPT-4o(36.2%), Gemini(36.9%), EgoGPT(36.0%) 등 기존 모델들을 압도했습니다.
  • 특히 시간적 사건 회상 (Temporal event recall) 과 관계적 상호작용 모델링에서 탁월한 성능을 보였습니다.
• 기록 길이 (History Length) 에 따른 성능:
  • 24 시간 이상의 긴 기록을 요구하는 질문에서도 EgoSelf는 안정적인 성능 (38.8%) 을 유지한 반면, 기존 방법들은 성능이 급격히 저하되었습니다. 이는 사용자 프로필과 구조화된 기억이 장기 추론에 효과적임을 시사합니다.
• 검색 정확도 (Retrieval Performance):
  • 7 일간의 장기 작업에서 Hit@k 지표를 평가한 결과, EgoSelf는 시간이 지남에 따라 성능이 유지되는 반면, EgoRAG는 시간이 지날수록 성능이 지속적으로 하락하여 EgoSelf의 구조화된 기억 설계가 장기적인 사용자 선호도 유지에 필수적임을 입증했습니다.
• 정성적 분석:
  • 사례 연구에서 EgoSelf는 인과적으로 연결된 사건들을 구조적으로 추출하여 일관된 답변을 생성하는 반면, EgoRAG는 관계 모델링이 부재하여 노이즈가 포함된 단편적인 정보를 바탕으로 잘못된 추론을 하는 것으로 확인되었습니다.

5. 의의 및 결론 (Significance)

• 이론적 기여: 인간의 기억 시스템 (에피소드 기억과 의미적 자아 기억의 계층적 구조) 을 AI 시스템에 적용하여, 단순한 데이터 저장을 넘어 '이해'와 '예측'이 가능한 개인화 시스템을 구현했습니다.
• 기술적 혁신: 비정형적인 자아 중심 비디오 데이터를 구조화된 그래프로 변환하고, 이를 통해 사용자의 장기적 행동 패턴을 학습하는 새로운 패러다임을 제시했습니다.
• 실용적 가치: AR/VR 기반의 개인 비서, 헬스케어, 일상 생활 보조 등 다양한 분야에서 사용자의 고유한 습관과 선호도를 정확히 반영한 자연스럽고 적응적인 인간 - AI 협업을 가능하게 합니다.

결론적으로, EgoSelf는 단순한 정보 검색을 넘어 사용자의 행동 패턴을 학습하고 예측하는 진정한 의미의 개인화된 자아 중심 보조 시스템을 실현하기 위한 중요한 걸음입니다.