기술 요약: ProcAgent

문제 정의

가구 조립이나 가정 내 수리와 같은 절차적 작업은 사용자의 인지적 요구를 크게 높이며, 지침 파싱, 정신적 상태 모델 유지, 공간 추론 및 오류 복구를 동시에 수행할 것을 요구한다. 기존의 멀티모달 어시스턴트들이 유망한 성과를 보여주었음에도 불구하고, 가정 환경에서는 두 가지 결정적인 한계에 직면해 있다:

1. 개인정보 보호 및 지연 시간: 대부분의 시스템은 대규모 언어 모델(LLM)과 시각-언어 모델(VLM)을 위해 클라우드 기반 추론에 의존한다. 연속적인 비디오 스트리밍을 원격 서버로 전송하는 것은 개인정보 보호 문제("감시 불안")를 일으키며, 적시 코칭 루프를 방해하는 5~10초의 왕복 지연 시간을 발생시킨다.
2. 비효율성 및 경직성: 기존 시스템은 인식을 "항상 켜져 있는(always-on)" 상태로 처리하여 높은 컴퓨팅/열 비용을 초래하거나, 고정된 파이프라인을 일률적으로 적용하는 경우가 많다. 이들은 현재 턴(turn)의 특정 필요에 따라 도구(비전 vs. 언어)를 동적으로 선택하는 능력이 부족하며, 이로 인해 자원이 제한된 엣지 하드웨어에서 지속적인 실시간 상호작용을 구현하는 것이 불가능하다.

핵심 과제는 사용자 편의성을 저해하지 않으면서, 완전히 온디바이스(on-device)에서 프라이버시, 지연 시간, 그리고 역량을 균형 있게 조절하는 에이전트 지능을 제공하는 것이다.

방법론: ProcAgent 프레임워크

ProcAgent는 단일 NVIDIA Jetson AGX Orin에서 실행되도록 설계된 완전한 온디바이스, 에이전트 기반, 비전 기반 절차적 어시스턴트이다. 이 시스템은 제안 및 검증(propose-and-verify) 아키텍처를 채택하여, 저지연 연속 인식을 고비용의 의미론적 추론으로부터 분리한다. 시스템은 네 가지 주요 구성 요소로 작동한다:

1. 2단계 인식 스택 (Two-Stage Perception Stack)

• 저지연 제안기 (Low-Latency Proposer): 미세 조정된 경량 CLIP 모델이 들어오는 비디오 프레임에 대해 지속적으로 실행된다. 이 모델은 프레임을 공유 이미지-텍스트 임베딩 공간으로 매핑하여 잠정적인 "후보 이벤트"(예: "정렬 및 회전")를 방출한다. 노이즈를 처리하기 위해, 프레임 단위의 가공되지 않은 출력을 내보내는 대신 슬라이딩 윈도우 투표를 사용하여 프레임당 예측을 집계함으로써 안정적인 후보를 생성한다.
• 온디맨드 시각 검증기 (On-Demand Visual Verifier): 고성능 VLM(Qwen2.5-VL-3B)은 필요할 때만 호출된다. 이는 두 가지 역할을 수행한다:
  • 상태 추적 검증: 제안기가 생성한 후보 이벤트가 실제로 작업 공간에서 일어나고 있는지 확인한다.
  • 쿼리 그라운딩 (Query Grounding): 공간적 검증이 필요한 사용자 쿼리(예: "이 다리가 제대로 정렬되었나요?")에 대한 시각적 맥량을 제공한다.

2. 유한 상태 작업 모델 (Finite-State Task Model, FSM)

시스템은 절차적 구조(예: IKEA 가구 조립)를 인코딩하기 위해 카운터가 보강된 유한 상태 머신을 활용한다.

• 구조: 작업은 단계(예: 시작, 테이블 다리, 테이블 선반)와 이벤트로 나뉜다. 정수 카운터는 하위 단계의 완료 횟수(예: 부착된 다리 수)를 추적한다.
• 가드 조건 (Guard Conditions): 이벤트는 특정 가드 조건이 충족될 때만 "발생(fire)"할 수 있다(예: "테이블 뒤집기"는 4개의 다리가 모두 부착된 후에만 유효함).
• 기능: FSM은 후보 이벤트를 필터링한다. 만약 후보 이벤트가 시각적으로 확인되었으나 가드 조건을 위반하는 경우(예: 너무 빨리 테이블을 뒤집는 경우), 해당 이벤트는 인간 참여형(human-in-the-loop) 개입을 위해 에이전트로 격상된다.

3. 절차적 에이전트 (Procedural Agent)

LLM 기반 에이전트(GPT-OSS-20B)가 상호작용을 중재하고 세션 컨텍스트(진행 상황, 오류, 이력의 구조화된 기록)를 관리한다.

• 인식 전 추론 (Reason-Before-Perception): 에이전트는 사용자 쿼리가 세션 컨텍스트와 지식 베이스(RAG)만을 사용하여 답변될 수 있는지, 아니면 시각 검증기를 호출해야 하는지를 결정한다.
• 인간 참여형 (Human-in-the-Loop, HITL): 시각 검증기가 이벤트를 확인했지만 FSM이 이를 거부하거나(또는 그 반대의 경우), 에이전트는 확인 대화를 시작한다. 에이전트는 잘못된 개입을 방지하기 위해 사용자의 판단에 맡김으로써 사용자의 검증을 요청한다. 이 설계는 자율적 교정보다 자발적 사용 환경에서의 사용자 신뢰를 우선시한다.

4. 지식 베이스 구축 (Knowledge Base Construction)

작업별 지식은 데모 영상을 활용하여 클라우드 모델(Gemini, GPT-4o)을 통해 오프라인으로 구축된다. 이 과정에는 다음이 포함된다:

• 원자적 단계 추출 (Atomic Step Extraction): 타임스탬프가 포함된 개별 동작 식별.
• 교차 모델 검증: 논리적 일관성을 위해 단계들을 감사.
• 계층적 컨텍스트 생성: 구조화된 작업 설명 및 런타임 에이전트를 위한 RAG 컨텍스트 생성.
• 통합: 추출된 작업 그래프를 사용하여 런타임 FSM 엔진을 구성.

주요 기여

1. 엔드 투 엔드 온디바이스 에이전트 시스템: ProcAgent는 클라우드 추론 없이 엣지 하드웨어(Jetson AGX Orin)에서 실시간 적응형 절차적 안내가 가능하다는 것을 입증하여, 사용자 프라이버시와 신뢰를 보존한다.
2. 효율적인 멀티모달 프레임워크: 본 논문은 경량 제안기를 사용하여 지속적인 모니터링을 수행하고, 모호성이나 편차가 발생할 때만 고비용의 시각적 추론을 호출함으로써 엣지 디바이스에서 효율적인 절차적 어시스턴트를 만드는 방법을 제시한다.
3. 경험적 특성화: 시스템 절제 실험(ablation)과 사용자 연구를 통해, 각 구성 요소(인식, FSM, RAG, HITL)가 정확도, 자원 효율성 및 사용자 경험에 기여하는 바를 규명한다. 또한 시퀀스 준수를 위한 핵심 동력으로서 인간 참여형 확인의 중요성을 강조한다.

결과

시스템은 15개의 IKEA 조립 영상과 10명의 참가자를 대상으로 한 사용자 연구를 통해 평가되었다.

시스템 성능

• 지연 시간: 시스템은 텍스트 전용 쿼리를 약 2초 내에, 시각적으로 그라운딩된 쿼리를 약 8초 내에 해결한다.
• 정확도: 전체 시스템은 상태 정확도(State Accuracy) 83.7%와 시퀀스 준수율(Sequence Adherence) 72.8%를 달려냈다.
• 절제 실험 통찰:
  • 시각 검증기는 응답의 정답률과 사실적 일관성을 크게 향상시켰다.
  • FSM은 필수적인 절차적 구조를 제공하고, 검증 전 유효하지 않은 후보를 필터링함으로써 GPU 부하를 줄였다.
  • **사용자 확인(User Confirmation)**은 시각 검증기와 작업 모델 간의 불일치를 해결함으로써 시퀀스 준수에 가장 크게 기여한 요소였다.
  • "단일 VLM" 베이스라인(상태 추적 없음)과 비교했을 때, ProcAgent는 사실적 일관성(3.71 대 2.54), 유용성(3.43 대 1.56), 정확성(3.64 대 1.85) 측면에서 상당한 개선을 보였다.

자원 효율성

Jetson AGX Orin에서 실행되는 전체 시스템은 평균 GPU 부하 약 75%, 전력 소비 약 41W를 유지하며 안전한 열 운용 범위 내에 머물렀다. FSM 필터링이 없는 구성(항상 켜져 있는 검증)은 더 높은 열 스트레스(59°C에 근접)와 더 긴 세션 시간을 초래했다.

사용자 연구

10명의 참가자가 가구를 조립하는 과정에서 진행된 연구 결과:

• 이해 가능성 및 실행 가능성: 가장 높은 점수를 받았으며, 사용자들은 피드백이 명확하고 즉시 사용 가능하다는 점을 확인했다.
• 프라이버시 안도감: 참가자들은 온디바이스 작동의 가치를 명시적으로 언급하며, 로컬 처리가 신뢰 구축에 크게 기여함을 나타냈다.
• 정신적 요구량: 사용자들이 시스템을 정신적으로 힘들다고 느끼지 않았으며, 이는 "점진적 공개(Progressive Disclosure)" 전략(전체 응답 전 경량 확인 절차)의 유효성을 입증한다.
• 신뢰: 전반적으로 긍정적이었으나, 선제적 개입에 대한 일부 잔여 불확실성이 존재했으며, 이는 새로운 상호작용 패턴을 처음 접하는 사용자들에게 나타나는 예상된 결과이다.

의의

본 논문은 적응형 절차적 지원이 클라우드 의존성을 필요로 하지 않는다는 점을 주장한다. 프라이버시, 지연 시간, 그리고 역량 사이의 트레이드오프는 근본적인 문제가 아니라 아키텍처의 문제이다. 선택적 인식, FSM 기반의 상태 강제, 그리고 인간 참여형 확인을 결합함으로써, ProcAgent는 일반적인 엣지 하드웨어에서 신뢰할 수 있는 가이드를 달성한다. 이 연구는 물리적 세계의 보조를 위해서는 원시 모델의 규모나 클라우드 연결성보다 "올바른 설계"(구조, 선택적 비전, 인간 피드백의 통합)가 더 중요하다는 점을 시사한다.