기술 요약: SCOPE – 에지(Edge)에서의 실시간 자연어 카메라 에이전트

문제 정의

로보틱스를 위한 언어 기반 에이전트를 배포하려면 실제 환경의 제약을 반영하는 평가 프레임워크가 필요합니다: 즉, 자연어 지시와 재현 가능한 결과, 엄격한 지연 시간 예산, 그리고 제한된 에지 컴퓨팅 자원입니다. 기존의 언어 모델(LM) 및 시각-언어 모델(VLM) 벤치마크는 종종 정적인 이미지 이해나 모바일 내비게이션에 집중되어 있어, 팬-틸트-줌(PTZ) 카메라 제어의 특수한 과제를 해결하지 못합니다. PTZ 제어는 인지, 추론, 작동이 결합된 비자명한 피드백 루프를 포함합니다 (예: "여섯 개의 콘이 보일 때까지 15°씩 오른쪽으로 팬 하세요"). 현재의 평가 방식은 다음을 결여하고 있습니다:

1. 폐쇄 루프 평가(Closed-loop assessment): 대부분의 방식은 에이전트가 반복적으로 인지, 계획, 행동하는 능력을 측정하지 못합니다.
2. 심투리얼 패리티(Sim-to-Real parity): 시뮬레이션 환경이 물리적 하드웨어의 액션 공간과 관측 루프를 충실히 모사하는지에 대한 프레임워크가 거의 없습니다.
3. 배포 핵심 지표: 에지 하드웨어에서의 지연 시간, 메모리 점유율, 오류 모드 등이 거의 포착되지 않아, 실제 로봇 제어 루프 내에서의 에이전트 동작을 예측하기 어렵습니다.

방법론

저자들은 언어 기반 PTZ 에이전트의 실행 가능하고 폐쇄 루프적인 평가를 위해 설계된 모듈형 프레임워크인 SCOPE(Simulation and Camera Operations for Perception and Evaluation)를 제시합니다.

시스템 아키텍처

SCOPE는 에지 제약을 관리하기 위해 **디커플링된 설계(decoupled design)**를 채택합니다:

• 플래너(Planner): 소형 언어 모델(SLM)이 고수준 플래너 역할을 수행합니다. 이는 카메라 제어 및 인지 쿼리와 추론을 교차하여 수행합니다.
• 인지(Perception): 시각적 이해는 호출 가능한 도구로 노출된 경량 VLM에 위임됩니다.
• 도구 인터페이스(Tool Interface): SLM은 고정된 OpenAI 호환 JSON 스키마 도구 세트를 통해 환경과 상호작용합니다. 여기에는 다음이 포함됩니다:
  • 직접 제어: ADJUST_PTZ(팬/틸트/줌), GO_TO_PRESET(프리셋 이동), TAKE_IMAGE(이미지 촬영).
  • 인지: COUNT_OBJECTS(객체 수 세기), QUERY_ANSWER(OCR/속성 쿼리), ZOOM_TO_OBJECT(객체로 줌), TRACK_OBJECT(객체 추적).
• 루프(Loop): 에이전트는 사용자 요청과 이력을 LM에 쿼리합니다. 모델은 답변과 함께 종료되거나 도구 호출을 발행합니다. 출력은 작업 완료 또는 단계 제한($T_{max}$)에 도달할 때까지 반복적 추론을 위해 컨텍스트로 다시 피드백됩니다.

시뮬레이션 및 벤치마크 구축

반복 가능한 CI 스타일의 테스트를 가능하게 하기 위해, 저자들은 Blender를 사용하여 물리적 PTZ 액션 공간(요, 피치, 초점 거리)과 관측 루프를 모사하는 시뮬레이션 환경을 구현했습니다.

• 벤치마크: QA, 단일/다단계 명령, 카운팅, 공간 추론, 설명, OCR을 아우르는 536개의 자연어 태스크 데이터셋입니다.
• 그라운드 트루스(Ground Truth): 검증 가능한 결과를 보장하기 위해 카메라 프리셋(엔티티, 속성, 공간 배치 및 명시적 부재)에 대한 구조화된 주석을 바탕으로 태스크를 구성했습니다.
• 평가 프로토콜: LLM-as-Judge (구체적으로 gpt-oss-120B)가 에이전트의 궤적을 총체적으로 평가합니다. 이는 결정론적인 문자열 매칭에 의존하는 대신, 이진 정답 여부를 할당하고 오류를 특정 모드(예: VLM 쿼리 오류, 환각, 도구 라우팅 실수)로 분류합니다.

모델 선택

본 연구에서는 19가지의 플래너-인지 조합을 평가했습니다:

• 플래너 (SLMs): 다양한 Qwen3 모델(4B, 30B-A3B, 32B, 80B-A3B)을 포함하며, FP16 및 FP8/INT4 양자화 형식을 적용한 밀집(dense) 및 혼합 전문가(MoE) 아키텍처를 모두 포함합니다.
• 인지 (VLMs): Moondream 제품군(2B, 4-bit, 9B MoE) 및 Qwen2.5-VL-7B.

주요 기여

1. SCOPE 프레임워크: 시뮬레이션과 물리적 하드웨어(AXIS M5075-G) 모두에서 작동하는 모듈형 언어 기반 PTZ 에이전트로, 충실한 심투리얼 전이를 가능하게 합니다.
2. Blender 기반 시뮬레이션: 현실적인 PTZ 기능과 결정론적인 파노라마 도구를 제공하여 시간적 불일치 없이 전체 장면 추론을 처리하는 프레임워크를 구축했습니다.
3. 536개 태스크 벤치마크: 능동적인 시점 제어와 폐쇄 루프 상호작용을 요구하는 데이터셋으로, 정적 이미지 벤치마크에서는 보이지 않는 실패 모드를 드러냅니다.
4. 체계적 평가: 19가지 모델 쌍의 정확도, 지연 시간, 오류 모드를 측정하여 실시간 에지 배포를 위한 아키텍처 선택을 분석했습니다.

결과

정확도 및 오류 분석

• 병목 현상으로서의 인지: 도구 중심 태스크(단일 호출, 다단계 명령)는 높은 정확도(86–100%)를 달성했으나, 인지 중심 태스크(카운팅, OCR)는 현저히 낮은 성능(38–83%)을 보였습니다.
• 플래너 vs. 인지: 더 강력한 SLM은 환각을 실질적으로 줄이고 도구 라우팅을 개선했습니다. 그러나 충분히 유능한 SLM(예: Qwen3-30B-A3B)을 사용하더라도, 인지가 지배적인 성능 병목이 되었습니다.
  • "오라클(oracle)" 설정(VLM의 카운팅/쿼리 오류를 무시하는 경우)에서 평균 정확도는 66.2%에서 82.0%로 상승했으며, 이는 인지 실패가 전체 오류의 약 47%를 차지함을 나타냅니다.
  • SLM을 30B-A3B 이상으로 확장하는 것은 더 나은 VLM 백본을 통한 이득에 비해 정확도 측면에서 한계 효용이 감소했습니다.
• 오류 모드: 약한 SLM은 환각과 부적절한 도구 사용으로 인해 실패했습니다. 강한 SLM은 라우팅 오류를 거의 범하지 않았으며, 이들의 실패는 거의 전적으로 VLM의 한계(오인식, OCR 오류) 때문이었습니다.

지연 시간 및 효율성

• 인지의 지배력: 엔드 투 엔드(end-to-end) 지연 시간은 플래너가 아닌 VLM 백본에 의해 결정됩니다. 관측 범위를 전체 파노라마로 확장하면 지연 시간이 약 22% 증가합니다.
• MoE 효율성: 혼합 전문가(MoE) 모델(예: 활성 파라미터 3B인 Qwen3-30B-A3B)은 훨씬 작은 네트워크와 유사한 지연 시간으로 작동하면서도 밀집형 대안 모델과 대등하거나 이를 능가하는 정확도를 보여주었습니다.
• 양자화: FP8/INT4 양자화는 정확도 저하를 최소화하면서 효율성 이득을 제공했으나, 지연 시간 영향은 구성에 따라 달랐습니다.

최적의 구성

가장 높은 성능을 보인 구성은 Moondream3 (VLM)와 Qwen3-30B-A3B (SLM)의 조합으로, **73.8%**의 태스크 성공률을 달 기록했습니다.

의의 및 주장

본 논문은 실시간 에지 실행이 가능한 언어 기반 PTZ 제어를 위한 실용적이고 심투리얼 검증된 설계 지점을 식별했다고 주장합니다. 핵심 요점은 다음과 같습니다:

• 아키텍처 선택: 실시간 에지 배포를 위해서는 계획(SLM)과 인지(VLM)를 분리하는 것이 필수적입니다.
• 모델 선택: 컴팩트한 MoE 플래너(예: 30B-A3B)는 정확도-지연 시간 간의 최적의 균형을 제공하며, 비례적인 지연 시간 비용 없이 더 큰 밀집 모델을 능가합니다.
• 현재의 한계: 성능의 주요 천장은 비전 백본입니다. 향한 PTZ 에이전트의 발전은 플래너를 더 확장하는 것보다 더 강력한 VLM(OCR 및 카운팅을 위한)에 더 많이 의존할 것입니다.
• 배포 현실: 본 연구는 아키텍처가 모듈화되고 인지가 최적화되어 있다면, 오픈 소스 모델이 에지 하드웨어에서 실시간 제어 루프(~2 Hz, ≤500ms)를 달성할 수 있음을 입증합니다.

저자들은 본 벤치마크가 구조화된 프롬프트를 사용하므로 모호한 실제 쿼리를 과소 대표할 수 있다는 점과, 지연 시간 측정이 서빙 구성(예: vLLM vs. 자체 호스팅)의 영향을 받았다는 점을 언급하며 신중한 태도를 유지합니다. 또한 저지연 에지 제약 조건과의 불일치로 인해 프런티어(frontier) 모델들을 명시적으로 제외했습니다.