💻 computer science

VTO: Visual Tool Orchestration for Video Anomaly Detection

본 논문은 파운데이션 모델 기반의 인지 평가기와 세밀한 단계별 감독을 활용하여 멀티모달 에이전트가 비디오 이상 탐지를 개선하기 위해 특화된 시각적 도구들을 동적으로 오케스트레이션할 수 있도록 하는 프로세스 감독 강화 학습 프레임워크인 VTO를 제안하며, 이는 새로운 벤치마크 및 도구 세트인 VAD-Tool을 통해 검증되었다.

원저자: Rui Wang, Yeteng Wu, Xianling Zhang, Mengshi Qi

게시일 2026-08-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Rui Wang, Yeteng Wu, Xianling Zhang, Mengshi Qi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 복잡하고 혼란스러운 도시에서 미스터리를 풀려는 탐정이라고 상상해 보세요. 당신에게는 수첩과 펜이 있지만, 도시는 움직이는 자동차, 떨어지는 물체, 그리고 싸우는 사람들로 가득합니다. 사건을 해결하기 위해 당신은 그저 장면 전체를 보고 추측할 수는 없습니다. 특정 인물을 추적하기 위한 돋보기, 자동차가 과속하는지 확인하기 위한 속도계, 혹은 연기를 포착하기 위한 화재 감지기 같은 구체적인 도구를 사용해야 할 수도 있습니다. 컴퓨터의 세계에서 이것은 **비디오 이상 탐지(Video Anomaly Detection)**라고 불립니다. 이는 기계에게 싸움이 일어나거나 누군가 넘어지는 것과 같은 이상하거나 위험한 상황을 포착하도록 가르치는 일입니다.

오랫동안 컴퓨터는 마치 시험을 위해 암기하는 학생처럼 패턴을 외우는 방식으로 이 일을 수행하려 했습니다. 그들은 영상을 보고 "이것은 싸움이다!"라고 말하곤 했습니다. 하지만 만약 싸움이 새로운 장소에서 일어나거나 모습이 약간 달라진다면, 컴퓨터는 혼란에 빠져 실패하게 됩니다. 최근 과학자들은 컴퓨터에게 대화하고 생각할 수 있는 '두뇌'(거대 언어 모델)를 부여하는 시도를 했습니다. 그들은 컴퓨터가 어떤 도구를 언제 사용할지 스스로 판단할 수 있기를 바랐습니다. 하지만 문제는 이 똑똑한 컴퓨터들이 하나의 작은 문제를 발견하자마자 생각을 멈추고 즉시 답을 내놓는다는 점입니다. 그들은 작은 싸움이 어떻게 집단 패닉으로 이어질 수 있는지와 같은 더 큰 그림을 놓칩니다. 그들에게는 너무 빨리 포기하지 않고, 단계별로 계속해서 조사하는 법을 배우는 방법이 필요합니다.

여기서 새로운 논문이 등장합니다. 루이 왕(Rui Wang)과 멍스 치(Mengshi Qi)가 이끄는 베이징 정보통신대학교 연구진은 VTO(Visual Tool Orchestration, 시각적 도구 오케스트레이션)라는 새로운 시스템을 구축했습니다. VTO를 탐정 로봇을 위한 엄격하지만 명석한 코치라고 생각해 보세요. 단순히 로봇이 추측하게 두는 대신, 코치는 로봇이 취하는 모든 단계를 지켜봅니다. 만약 로봇이 잘못된 도구를 선택하거나 확신이 들기도 전에 조사를 멈춘다면, 코치는 그 즉시 '엄지손가락을 아래로(thumbs down)' 내립니다. 만약 로봇이 하나의 단서를 확인한 뒤 다음 단서를 확인하며 완벽한 논리적 사슬을 따른다면, 코치는 '엄지손가락을 위로(thumbs up)' 올립니다.

연구진은 로봇이 배울 수 있는 12가지의 서로 다른 '마법 도구'가 있는 거대한 놀이터와 같은 특별한 훈련장인 VAD-Tool을 만들었습니다. 이 도구들은 군중을 세거나, 얼굴을 인식하거나, 무기를 포착하거나, 화재를 감지하는 등의 일을 할 수 있습니다. 연구진은 '프로세스 감독 강화 학습(process-supervised reinforcement learning)'이라는 방법을 사용하여 로봇을 가르쳤습니다. 간단히 말해, 이는 단순히 최종 정답에 대해 점수를 매기는 것이 아니라, 그 '과정'에 대해 점수를 매기는 것을 의미합니다. 그들은 로봇이 너무 일찍 멈추는 것이 실수라는 점을 배우도록 만들었습니다. 심지어 그들은 로봇의 추론이 매 단계마다 타당한지 확인하기 위해 매우 똑똑한 AI(720억 개의 파라미터를 가진 모델)를 판사로 사용했습니다.

결과는 인상적이었습니다. 새로운 VTO 시스템을 테스트했을 때, 이 시스템은 기존 방식들보다 복잡한 다단계 미스터리를 해결하는 데 훨씬 뛰어난 성능을 보였습니다. 다른 시스템들이 하나의 단서를 찾은 후 종종 포기했던 반면, VTO는 전체 이야기를 찾아낼 때까지 점들을 연결하며 계속 나아갔습니다. 테스트 결과, 새로운 시스템은 이전의 최고 방법들과 비교했을 때 적절한 도구와 순서를 선택하는 정확도를 최대 **10.2%**까지 향품시켰습니다. 심지어 이 시스템은 가장 크고 강력한 AI 모델 중 일부를 능가하며, 컴퓨터에게 단계별로 생각하는 '방법'을 가르치는 것이 단순히 모델을 크게 만드는 것보다 더 중요하다는 것을 증명했습니다. 이 논문은 AI가 엄격하고 논리적인 경로를 따르도록 강제하고 포기하지 않는 것에 보상을 줌으로써, 우리가 더 안전하고 스마트한 도시 감시 시스템을 구축할 수 있음을 시사합니다.

기술 요약: VTO – 비디오 이상 탐지를 위한 시각적 도구 오케스트레이션 (Visual Tool Orchestration)

1. 문제 정의

비디오 이상 탐지(Video Anomaly Detection, VAD)는 공공 안전에서 도시 감시에 이르기까지 다양한 응용 분야에 필수적인 과업입니다. 그러나 실제 세계의 이상 징는 결코 고립되어 나타나지 않습니다. 이들은 복잡하고 다양하며 특정 물리적 맥락(예: 국지적 다툼이 무기를 사용한 공격으로 에스컬레이션되는 상황)에 의존합니다. 기존의 딥러닝 접근 방식은 VAD를 폐쇄형 집합(closed-set) 분류 또는 스코어링 과업으로 취급하며, 이로 인해 오픈 월드 시나리오에서의 일반화 성능이 저하되는 문제를 겪습니다.

설명 가능한 VAD를 위해 대규모 언어 모델(LLM) 및 시각-언어 모델(VLM)을 활용하려는 최근의 시도들은 멀티모달 에이전트를 도입했습니다. 그러나 이러한 시스템은 두 가지 주요 한계점에 직면해 있습니다:

정적 오케스트레이션(Static Orchestration): 지도 미세 조정(SFT) 또는 휴리스틱 행동 복제(behavior cloning)에 의존하는 시스템은 도구를 독립된 캡슐로 취급합니다. 이들은 복잡한 인과 관계를 해독하기 위해 서로 다른 시각 전문 모델들을 동적으로 오케스트레이션하는 데 어려움을 겪습니다.
조기 종료(Premature Termination): 거칠고 결과 중심적인 보상에 의리하는 표준 강화 학습(RL) 방식은 에이전트가 주요 이상 징후를 감지한 직후 실행을 중단하게 만듭니다. 미세한 수준의 감독이 없으면, 에이전트는 연쇄적인 2차 위험을 식별하는 데 필요한 필수적인 다단계 인과 체인을 완성하지 못합니다.

2. 방법론: VTO 프레임워크

저자들은 VAD를 복잡한 다단계 인지적 도구 오케스트레이션 문제로 변환하기 위해 설계된 프로세스 감독 강화 학습 프레임워크인 **VTO (Visual Tool Orchestration)**를 제안합니다.

2.1 VAD-Tool 벤치마크

이 프레임워크를 지원하기 위해, 저자들은 다음과 같은 계층적 시각 도구 세트 및 벤치마크인 VAD-Tool을 구축했습니다:

12개의 특화된 시각 도구: 세 가지 기능적 카테고리로 구성됩니다:
- 개체 식별 및 추적: Person Re-ID, Gait Recognition, License Plate Recognition, Car Re-ID.
- 행동 및 장면 이해: Pose Estimation, Human Fall Detection, Crowd Counting, Scene Recognition.
- 보안 이벤트 및 위험 탐지: Violence Detection, Weapon Detection, Fire/Smoke Detection, 그리고 일반적인 Anomaly Detection 전문가.
데이터셋: 약 1,548만 토큰 규모의 대규모 훈련 데이터셋과 1,841개의 샘플로 구성된 엄격한 테스트 세트를 특징으로 합니다. 이 데이터셋은 상호 연관된 이상 징후 쿼리(예: 포즈 기반 폭력 탐지)를 포함하며, 이는 다단계 추론을 요구합니다. 데이터는 강력한 VLM(Qwen2.5-VL)을 사용하여 초기 궤적을 생성하고 논리적 정확성을 위해 전문가 검토를 거치는 Human-in-the-loop 파이프라인을 통해 큐레이션되었습니다.

2.2 훈련 파이프라인

VTO 프레임워크는 두 가지 별도의 단계로 작동합니다:

단계 1: 지도 미세 조정 (SFT)
기본 모델은 기초적인 역량을 확립하기 위해 VAD-Tool 데이터셋에 대해 미세 조정됩니다:

구문적 도구 호출 (Syntactic Tool Invocation): 유효한 ReAct 형식(Thought, Action, Action Input, Observation) 준수.
이상 이벤트 모델링 (Anomaly Event Modeling): 고위험 보안 이벤트를 위한 내부 표현 적응.
관측값 통합 (Observation Integration): 시각 전문가의 특정 출력(예: 추적 ID, 공간 좌표)을 문맥화하는 법 학습.

단계 2: 프로세스 감독 인지 정렬 (Process-Supervised Cognitive Alignment)
정적 행동 복제와 결과 기반 RL의 한계를 극복하기 위해, 저자들은 **GRPO (Group Relative Policy Optimization)**를 통해 최적화되는 동적 학습 루프를 도입합니다. 이 단계는 조밀한 단계별 감독을 제공하기 위해 이중 보상 시스템을 사용합니다:

규칙 기반 목적 보상 ( $R_{rule}$ ):
- 과업 완료 ( $R_{comp}$ ): 성공적인 완료에 대한 양수 점수, 오류에 대한 음수 페널티.
- 도구/파라미터 매칭 ( $R_{tool}, R_{param}$ ): 도구 이름 및 파라미터에 대한 정확한 일치 강제.
- 효율성 페널티 ( $R_{eff}$ ): 불필요한 도구 호출 억제.
LLM-as-a-Judge 보상 ( $R_{LLM}$ ):
- 72B 파라미터 모델(Qwen2.5-VL)을 전문가 평가자로 활용하여 다음 항목에 대해 궤적을 점수화합니다:
  - 논리성 ( $R_{logic}$ ): 단계별 인과적 추론.
  - 관련성 ( $R_{rel}$ ): 사용자 쿼리와 행동의 일치 여부.
  - 완전성 ( $R_{complete}$ ): 필요한 모든 논리적 단계가 포함되었는지 확인하며, 조기 종료를 명시적으로 페널티 처리함.

에이전트는 그룹 상대적 이득(group-relative advantage)을 최대화함으로써 정책을 최적화하며, 이를 통해 목표 지향적인 인과 체인을 구축하고 조기 종료 없이 실행하는 법을 효과적으로 학습합니다.

3. 주요 기여

VTO 프레임워크: 프로세스 감독 강화 학습에 의해 구동되는 동적인 멀티모달 에이전트 프레임워크입니다. 이는 결과 기반 보상에서 미세한 단계별 인지 정렬로 전환함으로써 VAD의 조기 종료 문제를 명시적으로 해결합니다.
VAD-Tool 벤치마크: 12개의 특화된 시각 모델을 통합한 포괄적인 평가 플랫폼입니다. 이는 단일 단계 및 다단계 상호 연관 이상 추론을 테스트하도록 설계되었으며, 결과 중심 메트릭에 집중했던 기존 데이터셋의 공백을 메웁니다.
성능 돌파구: 본 프레임워크는 동적 정책 최적화가 정적 SFT 베이스라인을 크게 능가하며, 복잡한 도구 오케스트레이션 작업에서 거대한 72B 파라미터 모델의 성능까지 뛰어넘을 수 있음을 입증합니다.

4. 실험 결과

다양한 베이스 모델(Vicuna-7B, Llama-3-8B, Qwen3-VL-8B)과 강력한 72B 베이스라인(Qwen2.5-VL-72B)을 사용하여 VAD-Tool 벤치마크에서 광범적인 실험을 수행했습니다.

베이스라인의 한계: 제로샷(Zero-shot) 및 퓨샷(Few-shot) 베이스라인, 그리고 SFT 전용 모델들은 "Interrelated Tools" 과업에서 치명적인 성능 저하를 보였습니다. 예를 들어, Vicuna-7B는 상호 연관된 전체 응답 과업에서 0%의 정확도로 급락했으며, Qwen2.5-VL-72B는 약 67.40%에서 정체되었습니다.
VTO 성능: VTO는 모든 베이스라인을 크게 앞질렀습니다.
- Qwen3-VL-8B 백본에서, VTO는 상호 연관된 도구의 "Whole" 메트릭에 대해 SFT 베이스라인의 89.74% 대비 **95.14%**의 정확도를 달축했습니다.
- Llama-3-8B 백본에서, VTO는 상호 연관 성능을 65.93%(SFT 베이스라인)에서 **72.16%**로 향상시켰습니다.
- VTO는 Qwen3-VL-8B 변형 모델에서 결정(Decis) 및 도구 선택(Tool) 메트릭에서 완벽한 점수(100%)를 기록했습니다.
절제 연구 (Ablation Studies): 프로세스 감독 구성 요소(특히 과업 완료 보상 또는 LLM 심판 보상)를 제거하면 성능이 크게 하락하였으며, 이는 조기 종료와 환각 현상을 방지하기 위해 결정론적 규칙 기반 앵커와 질적 논리 감독이 모두 필요함을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 VTO가 VAD를 정적인 분류 과업이 아닌 복잡한 다단계 인지적 도구 오케스트레이션 문제로 재정의한다고 주장합니다. 프로세스 감독 인지 정렬을 도입함으로써, 저자들은 에이전트가 환경을 동적으로 탐색하고, 관찰 가능한 다단계 인과 체인을 구축하며, 조기에 종료되지 않고 안전 제약 조건을 엄격히 준수하도록 훈련될 수 있음을 보여줍니다.

이 연구는 정적 모방 학습과 물리적 보안 영역에서의 동적 강화 학습 사이의 간극을 메웁니다. 또한, 에이전트가 예측 불가능하고 연쇄적인 위험을 처리할 수 있게 하는 엄격한 인프라(VAD-Tool)와 확장 가능한 프레임워크(VTO)를 제공하여, 현재의 훈련 의존적 또는 훈련 프리(training-free) 패러임의 한계를 넘어섭니다. 저자들은 자사의 접근 방식이 더 작은 모델(8B 파라미터)이 특정 복잡한 추론 작업에서 훨씬 더 큰 모델(72B 파라미터)과 대등하거나 이를 능가하는 성능 수준에 도달할 수 있게 한다고 강조합니다.