기술 요약: VisualClaw – 물리적 세계를 위한 실시간 개인화 에이전트

1. 문제 정의

범용적인 멀티모달 작업을 수행하는 비전-언어 모델(VLM)을 복잡한 스트리밍 및 에지 기반 환경(예: AI 안경, 클라우드 어시스턴트)에 배포하는 데에는 실제 적용을 저해하는 세 가지 핵심적인 격차가 존재합니다:

1. 효율성 및 비용: 조밀한 비디오 프레임과 긴 프롬프트를 처리하는 것은 높은 지연 시간과 API 비용을 초래합니다. 표준적인 접근 방식은 종종 비디오 클립에 대한 완전한 오프라인 접근을 가정하는데, 이는 라이브 스트림 환경에서는 불가능합니다.
2. 정적 스캐폴딩(Static Scaffolding): 현재의 에이전트 아키텍처는 배포 후 정적인 상태로 유지됩니다. 이들은 모델 가중치를 재학습하지 않고도 스스로의 실패로부터 배우거나 추론 능력을 시간에 따라 적응시킬 수 있는 메커니즘이 부족합니다.
3. 평가 한계: 표준 비디오 질의응답(QA) 벤치마크는 단발성 객관식 답변에 집중되어 있습니다. 이러한 방식은 에이전트가 동적인 도구 사용 워크스페이스(예: 파일 편집, 기록 대조, 점검 실행) 내에서 시각적 증거를 효과적으로 사용할 수 있는지 평가하는 데 실패합니다.

2. 방법론: VisualClaw 프레임워크

VisualClaw는 **하이브리드 인코딩(Hybrid Encoding)**을 통한 효율적인 에지 배포와 **자기 진화형 기술/메모리(Self-Evolving Skills/Memories)**를 통한 적응형 추론이라는 두 가지 핵심 원칙을 통해 위 격차를 해결하도록 설계된 자기 진화형 멀티모달 에이전트입니다. 이 시스템은 기본 VLM 가중치($\theta$)를 업데이트하지 않고 세 가지 서로 다른 타임스케일에서 작동합니다.

2.1 프레임 단위: 계층적 인코딩 게이트 ($G$)

라이브 스트림의 시각적 비용을 줄이기 위해, VisualClaw는 클라우드 VLM API에 도달하기 전 에지 디바이스에서 프레임을 필터링하는 경량 CPU 전용 캐스케이드(Cascade)를 채택합니다. 게이트 $G$는 각 입력 프레임 $f_t$를 처리하고 MAJOR(주요), MINOR(부차적), 또는 SKIP(건너뛰기) 판정을 출력합니다.

• 메커니즘: 이 캐스케이드는 세 단계로 구성됩니다:
  1. 지각 해시(Perceptual Hash, dHash): 비트 단위로 동일하거나 거의 동일한 중복 프레임(예: 카메라 흔들림, 정지 상태)을 감지하여 제거합니다.
  2. 경량 CPU 인코더: HSV 히스토그램, 휘도, 엣지 밀도 및 텍스처를 사용하여 128차원 장면 벡터를 생성합니다(딥 네트워크나 GPU가 필요 없음).
  3. 적응형 변화 게이트(Adaptive Change Gate): 인코딩된 프레임을 시간적으로 감쇠하는 임계값을 가진 롤링 참조 프레임과 비교하여, 유의미한 장면 변화(MAJOR)와 미세한 변화(MINOR)를 구분합니다.
• 결과: MAJOR 프레임(키프레임)만 클라우드로 전달됩니다. MINOR 프레임은 참조를 업데이트하지만 업로드되지는 않으며, SKIP 프레임은 폐기됩니다. 이는 미래의 프레임을 버퍼링하지 않고 실시간($\sim10 \mu s$)으로 작동합니다.

2.2 질문 단위: 하이브리드 Hot/Cold 기술 주입 ($S$)

프롬프트 컨텍스트를 포화시키지 않으면서 기술 뱅크 $S$의 증가하는 비용을 관리하기 위해, VisualClaw는 계층적 주입 전략을 사용합니다:

• Hot Tier (Hot Tier): 특정 쿼리 $q$에 대해, 문장 트랜스포머(sentence-transformer)가 기술 뱅크를 순위 매깁니다. 가장 관련성이 높은 상위-$k$개의 기술은 시스템 프롬프트에 전체 텍스트("hot bodies") 형태로 인라인 삽입됩니다.
• Cold Tier (Cold Tier): 나머지 기술들은 압축된 "콜드 카탈로그"(이름 및 설명) 형태로만 노출됩니다. 모델은 필요 시 특정 기술의 전체 텍스트를 요청할 수 있지만, 사전에 로드되지는 않습니다.
• 이점: 이를 통해 프롬프트 비용을 전체 기술 뱅크 크기 $|S|$가 아닌 $k$에 의해 제한함으로써 기술 뱅크의 규모와 프롬프트 비용을 분리합니다.

2.3 세션 단위: 메모리 증강 메타 진화 ($M_v$ 및 $E$)

VisualClaw는 실패로부터 학습함으로써 시간이 지남에 따라 개선됩니다.

• 메모리 저장소 ($M_v$): 올바르게 해결된 사례들은 밀집 임베딩(dense embeddings) 형태로 저장됩니다.
• 진화기 (Evolver, $E$): 실패 횟수($N_{evo}$)가 임계값에 도달하면, 오프라인 LLM 진화기가 실패 궤적($D_{fail}$)을 검색된 고신뢰도 메모리($R$)와 함께 분석합니다.
• 업데이트 메커니즘: 진화기는 기술 뱅크를 업데이트하기 위한 새로운 기술($\Delta S$)을 제안합니다. 두 가지 변형이 테스트됩니다:
  • 결합(Concatenation, Cat.): 검색된 메모리를 진화 프롬프트에 직접 추가합니다.
  • 가이드(Guided, Guide): 진화기에 시나리오별 세부 사항을 피하면서 메모리로부터 재사용 가능한 기술을 추상화하도록 지시하는 접두사를 추가합니다.
• 위생 관리(Hygiene): 기술 팽창을 방지하기 위한 필터가 작동합니다: (F1) 토큰-자카드(Jaccard) 중복 제거는 겹치는 기술 이름을 거부하며, (F2) 기술별 유틸리티 추적기는 뱅크의 평균 정확도보다 뒤처지는 기술을 제거합니다.

3. VisualClawArena: 새로운 벤치마크

세 번째 격차(평가)를 해결하기 위해, 저자들은 200개 시나리오로 구성된 멀티모달 에이전트 벤치마크인 VisualClawArena를 도입합니다.

• 구성: 기존 비디오 데이터셋(Indoor/VSI, EgoSchema, QVHighlights)을 문서, 채팅 트레이스, 실행 가능한 체커(checker)와 결합하여 구축되었습니다.
• 파이프라인: 5단계 큐레이션 프로세스를 통해 시나리오가 반드시 비디오 증거를 요구해야 하며, 유효한 실행 가능 체크를 포함해야 하고, 텍s-전용 누수(비디오 없이 텍스트만으로 해결 가능한 경우)를 방지하도록 보장합니다.
• 태스크 구조: 시나리오는 에이전트가 파일을 편집하거나, 비디오 증거를 텍스트 기록과 대조하거나, 실행 가능한 체크를 통과해야 하는 다단계 상호작용을 포함합니다. 벤치마크는 200개의 시나리오를 포함하며, 시나리오당 평균 24.4 단계를 가집니다.

4. 주요 결과

4.1 정적 비디오-QA 성능

네 가지 벤치마크(EgoSchema, EgoPlan-Bench, Video-MME long, NextQA)에서 Gemini 3 Flash 및 GPT-5.2를 사용하여 평가했습니다:

• 정확도: VisualClaw의 "Guide" 변형(가이드 진화가 적용된 스트리밍)은 일반 베이스라인 대비 평균 **+3.85%**의 정확도 상승을 보였으며, EgoSchema(Gemini 3 Flash)에서는 최고 **+15.80%**를 기록했습니다.
• 비교: VisualClaw의 스트리밍 구성은 "Uniform-8" 오프라인 베이스라인(8개의 프레임을 균등하게 샘플링함)보다 정확도를 유지하거나 향상시키면서도 비용 측면에서 +25.9% 더 우수한 성능을 보였습니다.
• 오프라인 상한선: 동일한 진화 프레임워크를 오프라인 Uniform-8 베이스라인에 적용했을 때 정확도가 +3.50%에서 +13.00% 추가로 향상되었으며, 이는 스트리밍 버전이 이 상한선에 매우 근접함을 입증합니다.

4.2 VisualClawArena (에이전트형) 성능

Codex (GPT-5.5) 및 Claude Code (Sonnet 4.6)를 사용하여 200개 시나리오를 평가했습니다:

• 정확도: "Cat."(결합) 메모리 모드를 사용한 VisualClaw가 가장 높은 매크로 정확도를 달s성했습니다: 54.27% (Codex) 및 52.16% (Claude Code). 이는 진화가 없는 베이스라인 대비 각각 +2.9% 및 +3.2% 향상된 수치입니다.
• 난이도: 자가 진화 스택은 "Hard" 시나리오(베이스라인 정확도 $\le$ 55%)에서 가장 큰 성과를 보였으며, 베이스라인 대비 약 +5.3%에서 +5.4% 정도의 성능 향상을 나타냈습니다.
• 관찰: 정적 비디오-QA에서는 "Guided" 진화가 가장 우수했던 것과 달리, 에이전트 워크플로우에서는 "Cat."(직접 결합) 모드가 더 우수했습니다. 이는 복잡한 도구 사용 에이전트가 추상화된 기술보다 가공되지 않은 절차적 트레이스(procedural traces)로부터 더 많은 이득을 얻음을 시사합니다.

4.3 효율성 및 비용

• API 비용 절감: VisualClaw는 전체 프레임 업로드(1 fps)와 비교하여 질문당 API 비용을 평균 −98.1% 감소시켰습니다.
• 최대 절감액: 장기 지속 비디오-MME 벤치마크(30분 클립)에서 비용은 −99.3%(약 $520에서$3.63로) 감소했습니다.
• 프레임 감소: 캐스케이드는 API로 전송되는 프레임 수를 긴 클립의 경우 질문당 평균 5.41개로, 짧은 클립의 경우 1.13개까지 줄였습니다.
• 에지 성능: 캐스케이드 게이트는 완전히 CPU에서 실행되며 지연 시간이 미미하여(<10 ms), 에지 디바이스에서의 실시간 작동을 가능하게 합니다.

5. 의의 및 주장

본 논문은 VisualClам이 스트리밍 비용, 정적 스캐폴딩, 누락된 에이전트 평가라는 세 가지 문제를 해결함으로써 AI 안경과 같은 라이브 에지 애플리케이션에 자연스럽게 부합한다고 주장합니다.

• 비용 효율성: 에지에서 프레임을 필터링하고 기술 뱅크를 압축함으로써, VisualClaw는 실시간 장기 비디오 프로세싱을 경제적으로 실현 가능하게 만듭니다(예: 1시간 세션을 약 3,600번의 API 호출에서 5~20번으로 감소).
• 적응성: 자가 진화 메커니즘을 통해 에이전트는 값비싼 모델 재학습이나 가중치 업데이트 없이도 사용자 특유의 실패를 바탕으로 개인화되고 개선될 수 있습니다.
• 벤치마킹: VisualClawArena는 단순한 객관식 QA를 넘어 실행 가능하고 도구를 사용하는 작업 내에서 동작해야 하는 멀티모달 에이전트를 위한 검증된 테스트베드를 제공함으로써 문헌의 중요한 공백을 메웁니다.

저자들은 하이브리드 인코딩과 메모리 가이드 진화의 결적인 결합이 효율적인 인지와 지속적인 적응을 가능하게 하여, VisualClaw를 배포 가능한 멀티모달 에이전트를 위한 강력한 프레임워크로 만든다고 결론짓습니다.