기술 요약: MonitorVLM-v2

문제 정의

대규모 시각-언어 모델(VLM)은 연쇄 사고(Chain-of-Thought, CoT) 프롬프팅을 통해 다중 모드 추론에서 진보된 능력을 입증해 왔습니다. 그러나 이들의 산업 안전 감시 적용에는 근본적인 배포 불일치 문제가 존재합니다. 지하 광산과 같은 안전 중심 환경은 결정론적이고, 지연 시간이 낮으며, 감사 가능한 연속적인 다중 스트림 모니터링을 요구합니다.

기존의 VLM 접근 방식은 자기 회귀적(autoregressive) CoT 생성에 의존하며, 이는 가변적인 길이의 텍스트 추론 흔적을 생성합니다. 이는 추론 지연 시간이 추론 길이와 동시 실행되는 비디오 스트림 수에 따라 공동으로 확장되기 때문에 처리량 병목 현상을 야기합니다. 또한, 자유 형식의 텍스트 출력은 즉각적인 인간의 개입에 필요한 규칙 수준의 결정을 내리기 위한 구조화된 인터페이스를 제공하지 못합니다. 현재의 파이프라인은 파편화된 증거(객체 탐지, 행동 인식)나 의미론적 유사도 점수(예: CLIP)에 의존하는 경우가 많으며, 이는 시각적 증거를 즉각적인 조치가 필요한 경계가 정해진 규칙 기반의 안전 결정으로 변환하는 데 실패합니다.

방법론

MonitorVLM-v2는 안전 평가를 개방형 텍스트 생성이 아닌, 유한한 규제 결정 공간에 대한 확률적 추론으로 재구성함으로써 이러한 과제를 해결합니다. 이 프레임워크는 세 가지 핵심 혁신을 통합합니다.

1. 추론-결정 압축 (Reasoning-to-Decision Compression)

본 프레임워크는 자기 회귀적 CoT 생성을 단일 단계의 기호적 결정(symbolic decision-making)으로 대체합니다.

• 유한 기호 공간 (Bounded Symbolic Space): 안전 모니터링을 유한한 집합 $Y = \{y_0, \dots, y_K\}$에 대한 Rule-ID 토큰 예측으로 공식화합니다. 여기서 $y_0$는 위반 없음, $y_{1\dots K}$는 특정 안전 규정에 해당합니다.
• 복잡도 감소 (Complexity Reduction): 출력을 단일 토큰으로 제한함으로써, 디코딩 복잡도를 $O(T)$($T$는 생성된 토큰 수)에서 $O(1)$로 줄여 추론 비용을 출력 길이에 관계없이 분리합니다.
• 규칙-토큰 셔플링 (Rule-Token Shuffling, RTS): 모델이 고정된 토큰 ID를 암기하는 것을 방지하기 위해, 훈련 중에 규정과 토큰 간의 매핑을 주기적으로 순열(permutation) 처리합니다. 이를 통해 모델이 정적인 토큰 인덱스 연관성이 아닌, 시각적-규제 대응 관계에 기반하여 조건부 추론을 수행하도록 강제합니다.

2. 기호 정책 최적화 (Symbolic Policy Optimization, SymPO)

표준 지도 미세 조정(SFT)은 정답 토큰의 가능성(likelihood)을 최대화하지만, 잘못된 대안들을 명시적으로 억제하지는 못하므로 모호한 장면에서 약한 결정 경계를 초래합니다.

• 대조 학습 (Contrastive Learning): SymPO는 유한한 기호 공간을 위해 설계된 새로운 대조 정책 최적화 알고리즘입니다. 이는 정답 Rule-ID에 $+1$의 보상을 할당하고, 모든 오답 대안에 $-1$을 할당합니다.
• 결정 경계 선명화 (Decision Boundary Sharpening): 경쟁하는 가설들에 페널티를 부여함으로써, SymPO는 시각적으로 모호한 조건에서도 높은 신뢰도의 방해 요소들을 억제하고 정답 규칙에 확률 질량을 집중시켜 변별력을 높입니다.

3. 엔트로피 가이드 기반 인간-AI 트리아지 (Entropy-Guided Human-AI Triage)

본 시스템은 예측 불확실성을 단순한 노이즈가 아닌 측정 가능한 신호로 취급합니다.

• 불확실성 정량화: 기호 결정 분포에 대해 섀넌 엔트로피(Shannon entropy)를 계산합니다.
• 적응형 라우팅 (Adaptive Routing):
  • 낮은 엔트로피: 예측 결과는 빠른 인간 확인을 위해 Top-1 경로로 라우팅됩니다.
  • 높에는 엔트로피: 지각적 충돌을 나타내는 사례는 전문가 검사를 위해 압축된 Top-3 후보 세트로 격상됩니다.
• 감사 가능성 (Auditability): 이 메커니즘은 100% 인간의 감독을 보장하며, 자율적 추론과 인간의 판단 사이의 확장 가능한 인터페이스를 유지합니다.

주요 결과

본 프레임워크는 통제된 실험과 실제 운영 중인 지하 광산 시설의 10개 동시 카메라 피드를 통한 4개월간의 전향적 배포를 통해 검증되었습니다.

• 추론 효율성: MonitorVLM-v2는 CoT 기반 베이스라인 대비 19.45배의 추론 속도 향상을 달립하여, 세그먼트당 지연 시간을 3.82–6.41초에서 0.15–0.39초로 단축함으로써 서브 세컨드(sub-second) 처리량 요구 사항을 충족했습니다.
• 정확도 및 변별력:
  • CoT를 Rule-ID 감독(RTS 포함)으로 교체했을 때, 전체 CoT 감독 대비 평균 정확도는 4.66% 감소했으나 속도는 획기적으로 개선되었습니다.
  • 최종 모델(Qwen3-2B 백본 + SymPO)은 69.84%의 정확도를 달성하여, 제로샷 프라이머리 모델(예: Claude Sonnet 4.6, 56.73%) 및 미세 조정된 오픈 소스 베이스라인을 능가했습니다.
  • SymPO는 SFT(58.14%)에 비해 **재현율(Recall, 74.73%)**을 크게 향상시켜, 정밀도(Precision, 87.94%)를 희생하지 않으면서 더 많은 실제 위반 사례를 찾아냈습니다.
• 운영 성능:
  • 4개월 동안 시스템은 24시간 연속 모니터링 하에서 89건의 확정된 위반 사례를 식별했습니다.
  • 이는 일일 18시간만 커버하는 현장의 정기 수동 점검 워크플로우(32건)보다 2.78배 많은 위반 건수를 탐지한 것입니다.
  • 시스템은 인간 검사관이 놓친 64건의 위반을 식별했고, 인간은 시스템이 놓친 7건을 식별하여 상호 보완적인 역량을 보여주었습니다.
• 오류 분석: 잔여 오류는 무작위적이지 않고 저조도, 심한 폐쇄(occlusion), 또는 시점 왜곡이 발생하는 시나리오에 집중되는 구조적 특성을 보였습니다. 엔트로피 가이드 트리아지는 어려운 사례의 28.65%를 전문가 검토로 성공적으로 라우팅하여, 테스트 세트에서 추가 247건의 사례를 복구했습니다.

의의 및 주장

본 논문은 MonitorVLM-v2를 규칙 기반 산업 안전 모니터링을 위해 종단적으로 검증되고 지속적으로 운영 가능한 최초의 VLM 프레임워크라고 주장합니다. 그 의의는 다음과 같습니다.

1. 패러다임 전환: 규칙이 정해진 작업의 경우, 명시적인 자연어 추론 흔적이 기능적으로 반드시 필요하지 않음을 입증했습니다. 추론의 기능적 역할은 유한한 기호 공간에 대한 보정된 결정 분포를 통해 포착될 수 있습니다.
2. 배포 가능성: 추론을 상수 비용($O(1)$) 디코딩으로 압축함으로써 다중 스트림 환경에서의 VLM 처리량 병목 현상을 해결하고, 실시간적이며 감사가 가능한 산업적 배포를 가능하게 했습니다.
3. 인간-AI 시너지: 엔트로피를 통해 불확실성을 운용함으로써, AI가 고처리량 스크리닝을 담당하고 인간은 모호하고 위험이 높은 시나리오에 인지적 노력을 집중할 수 있는 실질적인 인터페이스를 구축했습니다.
4. 폐쇄 루프 적응 (Closed-Loop Adaptation): 경계가 정해진 Rule-ID 주석 공간은 다루기 쉬운 반복적 적응을 가능하게 합니다. 시스템은 고엔트로피 실패 사례의 피드백 루프를 사용하여 4회의 반복을 통해 탐지 정확도를 69.84%에서 77.21%로 향상시켰으며, 이는 자유 형식의 CoT 감독으로는 구현하기 어려운 과정이라고 설명되었습니다.

저자들은 본 시스템을 인간의 감독을 대체하는 것이 아니라, 주의력 저하 및 불연속적 커버리지로 인해 발생하는 누락된 이벤트를 완화하는 동시에 법적 책임은 여전히 인간 운영자에게 남겨두는 지속적인 모니터링 엔진으로 정의합니다.