Egocentric Co-Pilot: Web-Native Smart-Glasses Agents for Assistive Egocentric AI

이 논문은 스마트 안경용 웹 네이티브 신경-상징 프레임워크인 'Egocentric Co-Pilot'을 제안하여, 시계열 추론과 계층적 컨텍스트 압축을 통해 장기간의 1 인칭 비디오 기반 질문 답변 및 의사결정을 지원하고, 실시간 스트리밍 파이프라인을 통해 시각 장애 및 인지 과부하 사용자를 위한 접근성 있는 보조 AI 의 실현 가능성을 입증했습니다.

핵심

1. 기존 AI vs. 새로운 AI: "혼자서 모든 걸 하려는 천재" vs. "팀워크를 잘하는 지휘자"

기존 방식 (단일 거대 모델):
기존의 AI 비서는 마치 **"모든 것을 혼자서 해결하려는 천재 학생"**과 같습니다. 이 학생은 책을 많이 읽었지만, 복잡한 수학 문제를 풀거나 실제 사물을 볼 때는 가끔 헷갈리거나, "모르겠어요"라고 피하는 경우가 많습니다. 특히 체스 같은 전략 게임이나 복잡한 상황에서는 정확한 답을 내기 어려워합니다.

새로운 방식 (에고센트릭 코파일럿):
이 논문이 제안하는 시스템은 **"현명한 지휘자 (LLM)"**와 **"전문가 팀 (도구 상자)"**으로 구성된 오케스트라입니다.

• 지휘자 (LLM): 사용자의 말 ("이 체스 말 움직여줘") 을 듣고, 어떤 전문가가 필요한지 판단합니다.
• 전문가 팀 (Toolbox):
  • 눈 (시각 모듈): 체스판에 어떤 말이 있는지 정확히 봅니다.
  • 두뇌 (게임 엔진): 체스 규칙에 따라 최고의 수를 계산합니다.
  • 입 (언어 모델): 그 결과를 사용자가 이해하기 쉽게 "이 수를 두면 이길 확률이 높아요"라고 설명합니다.

이렇게 각자가 자신의 전문 분야만 담당하므로, 정확하고 신뢰할 수 있는 답변을 얻을 수 있습니다.

2. 핵심 기능 3 가지: "눈, 기억, 그리고 대화"

이 스마트 안경 AI 는 세 가지 특별한 능력을 가지고 있습니다.

① "눈"이 있는 안경 (시각적 이해)

사용자가 안경을 쓰고 체스판을 보며 "이거 뭐야?"라고 묻으면, AI 는 단순히 "체스판이야"라고 말하지 않습니다.

• 비유: 마치 당신의 눈앞에 서 있는 현미경처럼, 체스판 위의 말 하나하나를 정확히 식별하고 "저건 검은색 코끼리 (말) 입니다"라고 알려줍니다.
• 특이점: 사용자가 손가락으로 가리킬 때, AI 는 "어디를 가리키는 거죠?"라고 헷갈리지 않고, 3D 레이저처럼 정확한 위치를 파악합니다.

② "기억"이 있는 비서 (긴 영상 이해)

우리는 하루 종일 안경을 쓰고 생활합니다. "아침에 내가 뭐 먹었지?"라고 물었을 때, AI 는 지금 보는 화면만 보고 "모르겠어요"라고 하지 않습니다.

• 비유: 이 AI 는 하루 종일 찍은 영상을 요약해 주는 편집자입니다.
  • 짧은 기억 (T-CoT): "방금 뭐 했지?"라고 물으면 최근 10 분의 영상을 빠르게 훑어 답합니다.
  • 긴 기억 (HCC): "어제 점심 뭐 먹었지?"라고 물으면, 하루 동안의 영상 중 점심 시간 부분만 골라내어 요약해 줍니다. 마치 **책의 목차 (인덱스)**를 만들어 필요할 때만 relevant 한 페이지를 찾아주는 것과 같습니다.

③ "혼란을 해결하는" 대화 (의도 파악)

사용자가 "이거 해줘"라고 막연하게 말하면, AI 는 엉뚱한 일을 할 수 있습니다.

• 비유: 이 AI 는 신중하고 예의 바른 비서입니다.
  • 사용자가 "이거"라고 말하며 가리켰는데, 여러 물체가 보이면 AI 는 "왼쪽의 사과를 말씀하시는 건가요, 아니면 오른쪽의 오렌지를 말씀하시는 건가요?"라고 확인을 요청합니다.
  • 이렇게 실수를 미리 막아주어, 사용자가 불쾌한 경험을 하지 않도록 보호합니다.

3. 왜 '웹 (Web)'이 중요한가요?

이 시스템은 안경 자체에서 모든 계산을 하는 것이 아니라, **인터넷 (웹)**을 통해 클라우드 서버와 연결됩니다.

• 비유: 안경은 마이크와 스피커가 달린 리모컨 역할을 하고, 무거운 계산 (두뇌 작업) 은 **집에 있는 강력한 컴퓨터 (클라우드)**가 대신해 줍니다.
• 장점: 안경이 가볍고 배터리가 오래 갑니다. 또한, 웹 기술 (WebRTC) 을 사용하므로 스마트폰 앱이나 웹사이트에서도 똑같은 비서를 쓸 수 있어 호환성이 뛰어납니다.

4. 실제로 얼마나 잘할까요?

연구진은 이 시스템을 실제 스마트 안경 (RayNeo X2 등) 에 탑재하고 실험했습니다.

• 체스 게임: 체스판의 상태를 정확히 인식하고, 인간에게 도움이 되는 전략적인 수를 알려주었습니다.
• 일상 질문: "이 사과 칼로리는?"이나 "오후 3 시 미팅 기억해 줘" 같은 요청을 정확하게 처리했습니다.
• 결과: 기존 시중의 스마트 안경 제품들보다 사용자 만족도가 훨씬 높았으며, 인간 비서와 비교해도 뒤지지 않는 성능을 보였습니다.

5. 결론: 왜 이 기술이 필요한가요?

이 기술은 단순히 "재미있는 장난감"이 아닙니다.

• 시각 장애가 있는 분: 책이나 라벨을 읽어주는 눈이 되어줍니다.
• 기억력이 약한 분: 중요한 약속이나 물건을 찾는 것을 도와줍니다.
• 누구나: 복잡한 정보를 쉽게 이해하고, 일상생활을 더 독립적으로 살아갈 수 있게 돕습니다.

한 줄 요약:

"이것은 당신의 눈을 대신해 세상을 보고, 당신의 기억을 대신해 과거를 찾아주며, 당신의 질문에 가장 정확한 전문가를 불러와 답해주는 **스마트 안경용 '생각의 조력자'**입니다."

기술 요약

1. 문제 정의 (Problem Statement)

기존의 AI 비서와 웹 에이전트는 주로 데스크톱 화면이나 스마트폰과 같은 2 차원 인터페이스에 의존합니다. 그러나 시각 장애가 있거나, 인지 과부하를 겪는 사용자, 혹은 복잡한 도시 환경에서 이동 중인 사용자에게는 손이 자유롭고 (hands-free), 항상 켜져 있는 (always-on) 1 인칭 시점 (Egocentric) 의 보조 계층이 필요합니다.

이러한 요구를 충족시키기 위해 스마트 글래스와 AI 에이전트를 결합하려는 시도가 있었으나, 다음과 같은 근본적인 한계가 존재합니다:

• 모호한 의도 해석의 어려움: "이것을 분석해 줘"와 같은 지시어 (deictic command) 는 혼란스러운 시각적 맥락에서 무엇을 가리키는지 파악하기 어렵습니다.
• 단일 모델의 한계: 하나의 거대 언어 모델 (MLLM) 로는 복잡한 지각 (perception), 기호적 추론 (symbolic reasoning), 그리고 웹 도구 사용 (tool use) 을 동시에 정밀하게 수행하기 어렵습니다. (예: 체스 게임의 수를 예측할 때 단순한 추측만 하거나, 규칙을 오해함)
• 장기적 맥락 유지의 부재: 연속적인 1 인칭 비디오 스트림은 모델의 컨텍스트 윈도우를 초과하여, 장기적인 의존성 (long-range dependencies) 을 유지하기 어렵습니다.
• 웹 네이티브 통합의 부재: 기존 솔루션들은 웹 프로토콜, 클라우드 API, 브라우저 기반 클라이언트 등 웹 네이티브 통신 원시 (primitives) 와 잘 통합되지 않아 확장성과 책임 있는 배포가 어렵습니다.

2. 방법론 (Methodology)

저자들은 Egocentric Co-Pilot이라는 프레임워크를 제안하며, 이는 스마트 글래스에서 실행되는 웹 네이티브 신경 - 기호 (Neuro-Symbolic) 시스템입니다. 핵심 구성 요소는 다음과 같습니다.

A. 이기심 추론 코어 (Egocentric Reasoning Core)

연속적인 1 인칭 비디오 스트림을 처리하고 사용자의 질문에 답변하기 위한 엔진입니다.

• Temporal Chain-of-Thought (T-CoT): 최근의 사건이나 특정 시간 구간에 대한 세밀한 분석을 위해, 관련 타임스탬프 주변의 좁은 시간 창을 선택하여 일관된 로컬 스토리라인을 구성합니다.
• Hierarchical Context Compression (HCC): 모델의 컨텍스트 윈도우를 초과하는 장기 기억을 위해, 과거 로그를 시간 단위로 분할하고 텍스트 전용 모델로 요약합니다. 가장 관련성 높은 요약본만 선택하여 현재 컨텍스트에 추가함으로써 장기적 인식을 가능하게 합니다.
• 데이터 파이프라인: 자동 음성 인식 (ASR) 을 통해 변환된 사용자의 음성 질문과, 미세 조정된 MLLM 이 생성한 밀도 높은 1 인칭 비디오 설명을 통합한 시간 순서 이벤트 로그를 기반으로 작동합니다.

B. LLM 오케스트레이션 및 신경 - 기호 실행 (LLM-Orchestrated Neuro-Symbolic Execution)

단일 모델에 의존하지 않고, LLM 을 "지휘자"로 활용하여 전문 도구를 조율합니다.

• MCP (Model-Context Protocol): 경량화된 웹 친화적 프로토콜로, 지각 모듈, 기호적 추론기, 외부 웹 API 등을 JSON 스키마로 정의된 호출 가능한 도구 (Tool) 로 노출합니다.
• 도구 조합: LLM 이 사용자의 의도를 파악한 후, 가장 적합한 도구 (예: 체스 엔진, 영양 정보 API, 일정 관리 도구) 를 선택하여 실행합니다.
• 신경 - 기호 도구 예시 (체스 코치):
  1. 지각 (Neural): 1 인칭 뷰의 체스판 이미지를 안정된 기호적 상태 (FEN) 로 변환.
  2. 추론 (Symbolic): 결정론적 체스 엔진이 최적의 수를 계산.
  3. 해석 (LLM): 계산된 수를 초보자가 이해할 수 있는 전략적 설명으로 변환.

C. 웹 네이티브 상호작용 및 의도 명확화

• WebRTC 기반 파이프라인: LiveKit 을 활용하여 음성, 비디오, 제어 메시지를 단일 웹 표준 채널로 스트리밍합니다. 이는 스마트 글래스 클라이언트와 브라우저 기반 플레이그라운드 모두를 지원합니다.
• 능동적 의도 명확화 (Proactive Intent Disambiguation): 사용자의 지시가 모호할 경우 (예: "이것"이 무엇을 가리키는지 불분명), 시스템이 3D 레이캐스팅 (ray-casting) 을 통해 사용자가 가리킨 물체를 식별하거나, 추가 질문을 통해 의도를 명확히 한 후 행동을 취합니다. 이는 안전과 신뢰성을 위해 필수적입니다.

3. 주요 기여 (Key Contributions)

1. 전문 도구 결합을 위한 신경 - 기호 프레임워크: LLM 을 사용하여 온디바이스 모듈과 웹 기반 서비스를 경량 웹 프로토콜 (MCP) 로 조율하는 아키텍처를 제안했습니다.
2. 모호한 명령 이해 모듈: 텍스트의 모호성은 후속 질문으로, 시각적 모호성은 3D 레이캐스팅 및 대화형 확인을 통해 해결하는保守적 (conservative) 인 사용자 중심 설계를 구현했습니다.
3. 장기 비디오 추론 모듈: T-CoT 와 HCC 를 결합하여 모델의 컨텍스트 윈도우를 넘어선 연속적인 1 인칭 비디오 스트림의 장기적 맥락을 관리하는 방법을 개발했습니다.
4. 실제 환경 평가 및 시스템 구현: 스마트 글래스 (RayNeo X2 등) 에서 작동하는 완전한 시스템을 구축하고, Egolife 및 HD-EPIC 벤치마크에서 SOTA 성능을 달성했으며, 인간 - 루프 (Human-in-the-loop) 연구를 통해 상업적 솔루션보다 우수한 성과를 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능:
  • Egolife: 40.9% 정확도 (기존 SOTA 대비 향상).
  • HD-EPIC: 46.2% 정확도 (기존 SOTA 대비 크게 향상).
  • Ablation Study: HCC 와 T-CoT 를 제거할 경우 성능이 각각 2.0% 와 1.4% 하락하여, 두 모듈 모두 장기 및 단기 추론에 필수적임을 입증했습니다.
• 실제 시나리오 (Tool Use):
  • Category 1 (기본 도구 사용): 98.5% 의 작업 완료율 (TCR) 을 기록하며 API 호출 및 정보 검색의 신뢰성을 입증했습니다.
  • Category 2 & 3 (복잡한 추론): 체스 게임 보조 등 복잡한 신경 - 기호 작업에서 98% 의 성공률을 보였습니다.
• 사용자 평가 (Human-in-the-Loop):
  • 상업용 스마트 글래스 (RayNeo, Xiaomi, Apple Vision Pro 등) 및 인간 응답자와 비교한 5 점 리커트 척도 평가에서, 제안된 모델은 4.68 점을 받아 모든 상업적 경쟁사 (3.77~4.53 점) 를 능가했으며, 인간 응답자 (4.90 점) 에 근접하는 성과를 보였습니다.
  • 특히 의도 파악의 정확성과 작업 수행 성공률에서 상업적 솔루션보다 우월했습니다.

5. 의의 및 결론 (Significance)

이 논문은 **웹 네이티브 통신 원시 (WebRTC, 표준 웹 프로토콜)**와 모듈화된 신경 - 기호 도구를 결합하여, 스마트 글래스와 같은 웨어러블 기기에 적합한 실용적인 보조 AI 에이전트 청사진을 제시합니다.

• 접근성 및 포용성: 시각 장애나 인지적 어려움을 가진 사용자를 위한 항상 켜져 있는 (always-on) 컨텍스트 인식 보조 시스템을 실현 가능하게 합니다.
• 신뢰성과 확장성: 단일 거대 모델을 확장하는 대신, 검증된 전문 도구 (Toolbox) 를 오케스트레이션함으로써 신뢰할 수 있는 추론과 웹 생태계와의 통합을 가능하게 합니다.
• 실용적 가치: 단순한 엔터테인먼트나 참여 유도 (engagement) 를 넘어, 교육, 접근성, 사회적 포용을 위한 실질적인 일상 생활 지원 (예: 영양 라벨 읽기, 복잡한 지시 따르기, 전략 게임 튜터링) 에 초점을 맞춥니다.

결론적으로, Egocentric Co-Pilot 은 웨어러블 AI 가 단순한 알림 장치를 넘어 사용자의 자율성과 디지털 웰빙을 증진시키는 진정한 '코파일럿'이 될 수 있음을 보여주는 중요한 연구입니다.