기술 요약: GuideMe

문제 정의

멀티모달 거대 언어 모델(MLLM)은 오프라인 비디오 이해 측면에서 강력한 능력을 입증해 왔으나, 실시간 절차적 코치(procedural coach)로서 기능하는 능력은 아직 탐구되지 않은 영역입니다. 진정한 절차적 코치는 **폐쇄 루프 상호작용(closed-loop interaction)**을 수행해야 합니다. 즉, 사용자의 실행을 지속적으로 모니터링하고, 편차나 오류를 실시간으로 감지하며, 사용자가 올바른 궤도로 돌아올 수 있도록 교정적인 안내를 제공해야 합니다. 기존의 데이터셋과 벤치마크는 주로 오프라인 주석, 단계별 지침 또는 사후 오류 라벨링에 초점을 맞추고 있습니다. 미래의 정보에 접근할 수 없는 상태에서 어시스턴트가 언제 개입할지, 무엇을 조언할지, 그리고 사용자가 실수했는지 여부를 선제적으로 결정해야 하는 현실적인 스트리밍 제약 조건 하에서의 완전하고 능동적인 코칭 사이클을 평가하는 작업은 지원하지 않습니다.

방법론

1. GuideMe 벤치마크

저자들은 절차적 작업에서의 폐쇄 루프 교정 능력을 평가하기 위해 설계된 최초의 멀티 도메인 스트리밍 벤치마크인 GuideMe를 소개합니다.

• 규모 및 범위: 이 데이터셋은 요리, 물체 조작, 일상생활 가이드, 피트니스 등 4가지 다양한 도메인에 걸친 2,458개의 비디오(223.7시간)로 구성됩니다.
• 상호작용 샘플: 다음 네 가지의 뚜렷한 어시스턴트 행동을 포착하는 47,775개의 상호작용 샘플을 포함합니다:
  1. 다음 단계 지침 발행.
  2. 올바른 실행에 대한 완료 피드백 제공.
  3. 실행 오류 감지.
  4. 실수를 바로잡기 위한 교정적 안내 제공.
• 주석 파이프라인: 확장 가능한 3단계 자동화 파이프라인이 개발되었습니다:
  • 지침 활동 추출(Instructional Activity Extraction): 원시 단계별 주석을 추출, 병합하고, 소스 태스크 그래프를 기반으로 정상(correct), 오류(wrong), 또는 교정(correction) 동작으로 분류합니다.
  • 지식 생성(Knowledge Generation): 추출된 활동으로부터 LLM이 태스크 설명과 정형화된 단계 시퀀스를 생성하며, 이때 논리적 일관성을 보장하기 위해 병렬 샘플링과 합의 정제(consensus refinement)를 사용합니다.
  • 대화 생성(Conversation Generation): 행동 경계에 맞춰 자연스러운 대화를 생성하여, 사전 행동 지침(pre-action instructions)과 사후 행동 피드백(확인 또는 교정)을 만듭니다.

2. 추론 프로토콜

평가는 모델이 슬라이딩 윈도우(기본 60초)와 전체 대화 이력을 통해 연속적인 비디오 스트림을 관찰하는 엄격한 인과적 설정을 시뮬레이션합니다. 모델은 각 타임스탬프에서 침묵을 유지할지 아니면 응답을 생성할지를 선제적으로 결정해야 합니다.

• 샘플링 전략: 저자들은 밀집된 샘플링에서 발생하는 클래스 불균형을 피하기 위해, 그라운드 트루스(ground-truth) 개입 타임스탬프와 동일한 수의 침묵 구간에서 모델을 질의하는 **앵커 기반 샘플링(Anchor-Based sampling)**을 채택합니다.

3. 평가 프레임워크

단순한 텍ền 생성 이상의 성능을 평가하기 위해 세 가지 구성 요소로 이루어진 프레임워크를 제안합니다:

1. 시공간-의미론적 이분 매칭(Temporal-Semantic Bipartite Matching): 생성된 응답과 참조 응답 사이의 최소 가중치 이분 매칭 문제를 해결하여 시퀀스 수준의 정렬을 측정합니다. 이는 의미적 임베딩과 시간적 거리 페널티를 사용하여 정확한 문자열 일치가 아닌 의미적 동등성을 허용하는 Soft-F1(sPrecision, sRecall)을 계산합니다.
2. 행동 분류(Behavioral Classification): 인스턴스 수준의 개입 타이밍을 평가합니다. 결과는 다음과 같이 분류됩니다:
   • 올바른 침묵 (Correct Silent, CS): 침묵이 필요한 상황에서 올바르게 침묵함.
   • 오경보 (False Alarm, FA): 침묵이 필요한 상황에서 말을 함.
   • 무응답 (No Response, NR): 개입이 필요한 상황에서 말을 하지 않음.
   • 부분적 정답 (Partly Correct, PC): 적절한 시간에 말을 함.
     이들은 올바른 침묵과 고품질의 개입에 보상을 주고 오경보와 미응답에 페널티를 주는 Score 지표로 집계됩니다.
3. LLM-as-a-Judge: 매칭된 예측-참조 쌍의 콘텐츠 품질을 관련성, 사실적 타당성, 인과적 추론을 기준으로 05점 척도(0100으로 재조정)로 평가합니다.

주요 결과

독점 모델(예: Gemini 3.1 Pro, GPT-5.2, Doubao), 오픈 소스 MLLM(예: Qwen3-VL 시리즈), 그리고 특화된 스트리밍 모델(예: VideoLLM-online, Dispider)을 대상으로 광범위한 실험이 수행되었습니다.

• 성능 비대칭성(Performance Asymmetry): 핵심적인 발견은 능력의 비대칭성입니다. 모델들은 일반적으로 기본적인 지침 전달(다음 단계 제공)에는 준수한 성능을 보이지만, 오류 감지 및 교정적 안내에서는 크게 실패합니다.
• 실패 모드: 모델들은 두 가지 실패 모드로 양극화되는 경 경향이 있습니다:
  • 공격적(Aggressive): 빈번하게 개입하지만 많은 오경보를 생성함 (예: VideoLLum-online).
  • 보수적(Conservative): 너무 자주 침묵하여 필요한 개입을 놓침 (예: Dispider, MMDuet2).
• 정량적 격차: 가장 우수한 성능을 보이는 모델조차 폐쇄 루프 구현에 어려움을 겪습니다. 예를 들어, Gemini 3 Pro는 높은 instruction sF1(42.0)을 달성하지만, 오류 감지(33.8)와 교정(34.3)에서는 크게 하락합니다. 가장 높은 종합 Score(45.7)는 주로 오경보를 최소화하는 보수적인 전략 덕분에 Qwen3.5-397B-A17B가 달성했으나, 이 역시 필요한 개입의 상당 부분을 놓칩니다.
• 미세 조정(Fine-Tuning)의 영향: GuideMe 학습 데이터셋으로 미세 조정을 수행하면 시간적 정렬(Qwen3-VL-8B의 경우 sF1이 35.7에서 39.7로 증가)이 개선되지만, 행동이 더 보수적인 방향으로 이동하여 미응답(NR)은 증가하고 오경보는 감소합니다.
• 문맥 민감도: 그라운드 트루스 대화 이력을 제거하고 모델 자신의 예측에만 의존할 경우 성능이 급격히 저하되는데, 이는 대화 이력에서의 오류 축적이 모델의 효과적인 코칭 능력을 심각하게 저해함을 나타냅니다.

의의 및 기여

본 논문은 세 가지 주요 기여를 주장합니다:

1. GuideMe 벤치마크: 다양한 절차적 작업을 폐쇄 루프 평가 프레임워크로 통합하여 '지침-관찰-교정'의 전체 사이클을 다루는 최초의 멀티 도메인 스트리밍 벤치마크입니다.
2. 주석 및 평가 파이프라인: 이질적인 데이터셋을 스트리밍 상호작용 샘플로 변환하는 확장 가능한 3단계 주석 파이프라인과, 선제적 가이딩에 특화된 엄격한 3요소 평가 프레임워크(시공간-의미론적 매칭, 행동 분류, LLM-as-a-Judge)를 제공합니다.
3. 역량 격차 확인: 본 연구는 현재 MLLM의 근본적인 한계를 드러냅니다. 즉, 모델들이 무엇이 일어나야 하는지(절차적 지식)는 설명할 수 있지만, 실제로 무엇이 일어나고 있는지(실시간 오류 감지 및 교정)를 바탕으로 효과적으로 코칭하는 능력은 현재 부족하다는 점입니다.

저자들은 GuideMe가 수동적인 서술을 넘어 진정으로 상호작용하는 절차적 코칭을 개발하기 위한 실질적인 테스트베드 역할을 할 것이며, '언제 말할 것인가'와 '어떻게 교정할 것인가'를 결정하는 능력이 미래 연구의 핵심 과제임을 강조하며 결론을 맺습니다.