💻 computer science

MonitorVLM-v2: A Deployed Vision-Language Framework for Real-Time Safety Violation Detection

MonitorVLM-v2는 개방형 사고 사슬 추론을 압축된 단일 단계 규칙 예측 및 기호적 정책 최적화로 대체함으로써 대규모 시각-언어 모델을 실시간의 결정론적 안전 모니터링 시스템으로 변환하는 배포된 프레임워크이며, 이를 통해 실제 지하 광산 시설에서 19.45배의 속도 향상과 현저히 높은 위반 탐지율을 달성하였다.

원저자: Jiang Wu, Sichao Wu, Yinsong Ma, Lifang Zheng, Jingliang Duan

게시일 2026-08-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiang Wu, Sichao Wu, Yinsong Ma, Lifang Zheng, Jingliang Duan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 기계들이 굉음을 내고 노동자들이 분주히 움직이는, 시끄러운 대형 공장 안에 서 있다고 상상해 보세요. 당신의 업무는 백 개의 비디오 화면을 동시에 지켜보며, 사다리를 탈 때 안전벨트를 착용하지 않거나 중장비 근처에서 휴대폰을 사용하는 것과 같이 안전 수칙을 어기는 사람이 있는지 찾아내는 것입니다. 이것이 바로 컴퓨터에게 이미지를 "보고" 이해하도록 가르치는 과학의 한 분야인 **컴퓨터 비전(computer vision)**의 세계입니다. 오랫동안 가장 똑똑한 컴퓨터들은 **사고의 사슬(Chain-of-Thought, CoT)**이라고 불리는 방식을 사용해 왔습니다. 이것은 마치 학생에게 수학 문제를 풀 때 정답을 내기 전에 모든 사고 과정을 긴 에세이로 써 내려가라고 요구하는 것과 같습니다. 복잡한 퍼즐을 풀 때는 매우 훌륭하지만, 바쁜 공장 현장에서는 최악의 방법입니다. 만약 컴퓨터가 매 비디오 프레임마다 긴 에세이를 써야 한다면, 실시간으로 위험을 포착하기에는 너무 느려질 것이고, 열 개의 화면을 동시에 감시해야 한다면 과부하가 걸릴 것입니다. 연구자들이 던지는 핵심 질문은 이것입니다. 우리는 이 초지능적인 컴퓨터들이 매번 소설을 쓰지 않고도 어떻게 빠르고, 안전하며, 정확한 결정을 내리게 만들 수 있을까?

여기, 산업 현장의 궁극적인 안전 파수꾼이 되도록 설계된 새로운 시스템인 MonitorVLM-v2가 등장했습니다. Jiang Wu와 동료들이 이끄는 연구진은 공장에서 컴퓨터가 왜 규칙이 깨졌는지에 대해 길고 시적인 문단으로 설명할 필요 없이, 그저 최대한 빨리 "규칙 14번 위반!"이라고 외치기만 하면 된다는 점을 깨달았습니다. 그들은 컴퓨터의 "사고" 과정을 빠른 단일 선택 게임으로 바꾸는 프레워크를 구축했습니다. 변하는 길이의 긴 이야기를 생성하는 대신, 이 시스템은 모든 추론을 하나의 "토큰"으로 압축합니다. 즉, 35개의 가능한 안전 규칙 목록 중에서 하나의 특정 규칙 ID를 선택하는 방식입니다.

이를 구현하기 위해 그들은 **규칙-토큰 셔플링(Rule-Token Shuffling)**이라는 영리한 훈련 기법을 발명했습니다. 예를 들어, '사과'라는 단어가 매일 바뀌는 새로운 언어를 배우고 있다고 상상해 보세요. 만약 당신이 '사과'는 항상 '빨간색'이라는 단어라고만 암기한다면, 규칙이 바뀔 때 혼란에 빠질 것입니다. 하지만 '사과'가 오늘 어떤 단어로 불리든 상관없이 '과일'이라는 '개념'임을 배우도록 강요받는다면, 당신은 훨씬 더 똑똑해질 것입니다. MonitorVLM-v2는 훈련 과정에서 어떤 "규칙 ID"가 어떤 안전 규칙에 대응하는지를 끊임없이 섞음으로써 이 작업을 수행합니다. 이는 AI가 단순히 정적인 라벨을 보고 추측하는 것이 아니라, 실제로 영상을 보고 위험을 이해하도록 강제합니다.

AI가 올바른 규칙을 선택하는 법을 배웠다면, 연구진은 작업자가 일부 가려져 있거나 조명이 좋지 않은 경우처럼 상황이 까다로울 때 AI가 혼란을 느끼지 않는지 확인해야 했습니다. 이를 위해 그들은 **기호 정책 최적화(Symbolic Policy Optimization, SymPO)**라는 새로운 방법을 사용했습니다. 이것은 학생에게 단순히 "잘했어, 정답을 맞혔구나!"라고 말하는 엄격한 코치를 생각하면 쉽습니다. 대신 코치는 이렇게 말합니다. "정답을 맞히긴 했지만, 틀린 답에도 90%의 확률을 부여했구나. 그건 위험해! 다시는 그런 오답을 고르지 않도록 벌을 주겠다." 이 방식은 컴퓨터의 결정 경계를 날카롭게 다듬어, 선택에 대한 확신을 높여줍니다.

그렇다면 컴퓨터가 여전히 확신하지 못할 때는 어떻게 될까요? 이 시스템은 엔트로피(entropy)(불확실성을 뜻하는 멋진 단어)를 기반으로 한 "교통 경찰" 접근 방식을 사용합니다. 컴퓨터가 매우 확신하고 있다면(낮은 엔트로피), 해당 이벤트를 빠른 인간 검토 대상으로 표시합니다. 만약 컴퓨터가 혼란스러워한다면(높은 엔트로피), 가장 가능성이 높은 상위 세 가지 옵션을 인간 전문가에게 보내 정밀 검토를 요청합니다. 이를 통해 위험한 상황이 간과되지 않도록 보장하면서도, 인간이 명백하고 쉬운 사례에 시간을 낭비하는 것을 방지합니다.

연구진은 단순히 실험실에서만 테스트한 것이 아니라, 이를 실제 지하 광산에 4개월 동안 배치했습니다. 결과는 놀라웠습니다. 이 새로운 시스템은 기존의 "에세이 쓰기" 방식보다 19.45배 더 빨랐으며, 덕분에 속도 저하 없이 10개의 비디오 스트림을 동시에 처리할 수 있었습니다. 더 중요한 것은, 이 시스템이 현장의 정기 수동 점검보다 2.78배 더 많은 확정된 안전 위반 사항을 잡아냈다는 점입니다. 인간 검사원이 하루 18시간 근무하는 동안, AI는 24시간 내내 감시하며 인간이 피로나 주의 산만으로 놓친 89건의 위반 사항을 발견하여, 인간이 찾은 32건보다 더 많은 것을 찾아냈습니다. 이 시스템은 인간을 대체하는 것이 아니라, 까다로운 사례를 최종 확인을 위해 넘겨주는, 지치지 않는 조력자로서 역할을 했습니다.

요약하자면, MonitorVLM-v2는 안전이 중요한 직무를 수행할 때, 우리가 필요로 하는 것은 말을 많이 하는 AI가 아니라, 빠르게 결정하고, 실수로부터 배우며, 언제 인간에게 도움을 요청해야 할지 정확히 아는 AI라는 점을 시사합니다. 복잡한 추론을 빠르고 제한된 결정으로 전환함으로써, 연구진은 AI를 산업 현장의 노동자를 안전하게 지키는 신뢰할 수 있는 파트너로 만드는 방법을 보여주었습니다.

기술 요약: MonitorVLM-v2

문제 정의
대규모 시각-언어 모델(VLM)은 개방형 자기회귀적 사고 사슬(Chain-of-Thought, CoT) 생성을 통해 멀티모달 추론을 발전시켜 왔으나, 이러한 접근 방식은 산업 안전 감시의 요구 사항과 근본적으로 일치하지 않습니다. 지하 광산과 같은 안전 필수 환경은 경계가 명확하고, 결정론적이며, 저지연(low-latency)인 의사결정을 요구합니다. 기존의 CoT 기반 방식은 추론 트레이스의 길이에 따라 지연 시간이 함께 증가하는 가변 길이 추론 문제를 겪습니다. 이는 처리량(throughput)의 병목 현상을 야기하여 실시간 다중 스트림 모니터링을 불가능하게 만듭니다. 또한, 자유 형식의 텍스트 출력은 결정론적 제어와 감사 가능성에 필요한 구조화된 인터페이스가 결여되어 있습니다. 현재의 파이프라인은 파편화된 증거(객체 탐지, 행동 인식)나 의미론적 유사성 매칭(예: CLIP)에 의존하는 경우가 많으며, 이는 시각적 데이터를 신뢰할 수 있는 규칙 수준의 안전 판단으로 변환하는 데 실패합니다.

방법론
저자들은 MonitorVLM-v2를 제안합니다. 이는 안전 평가를 개방형 텍스트 생성이 아닌, 유한한 규제 결정 공간에 대한 확률적 추론으로 재구성한 배포 지향적 프레임워크입니다. 이 방법론은 세 가지 핵심 혁신으로 구성됩니다:

추론-결정 압축 (Reasoning-to-Decision Compression):
본 프레임워크는 과업을 시간적 시각 세그먼트를 유한한 기호 공간( $Y = \{y_0, \dots, y_K\}$ ) 내의 단일 단계 Rule-ID 예측으로 매핑하도록 재구성합니다. 여기서 $y_0$ 는 위반 없음, $y_{1\dots K}$ 는 특정 안전 규정을 나타냅니다. 이는 추론 복잡도를 출력 길이에 종속되지 않게 하여, 디코딩 비용을 $O(T)$ (가변 토큰 시퀀스)에서 $O(1)$ (단일 토큰)로 줄입니다. 모델이 정적인 토큰-인덱스 연관 관계를 암기하는 것을 방지하기 위해, 저자들은 훈련 중에 규정과 토큰 사이의 매핑을 주기적으로 치환하는 **Rule-Token Shuffling (RTS)**을 도입하여 모델이 시각적-규제 의미론에 기반하여 예측하도록 강제합니다.
기호 정책 최적화 (Symbolic Policy Optimization, SymPO):
시각적으로 유사한 규제 가설들을 구별하는 문제를 해결하기 위해, 저자들은 대조적 정책 최적화 알고리즘인 SymPO를 제안합니다. 정답 토큰의 가능성만을 극대화하는 표준 지도 미세 조정(SFT)과 달리, SymPO는 대조적 보상 함수를 사용합니다. 즉, 정답 Rule-ID에는 $+1$ 의 보상을, 모든 오답 대안에는 $-1$의 보상을 부여합니다. 이는 경쟁하는 가설들을 명시적으로 처벌함으로써 유한한 기호 공간 내의 결정 경계를 날카롭게 만들고, 모호한 조건 하에서의 식별력을 향м 향상시킵니다.
엔트로피 기반 인간-AI 트리아지 (Entropy-Guided Human-AI Triage):
예측 불확실성은 기호적 결정 분포에 대한 섀넌 엔트로피(Shannon entropy)를 사용하여 정량화됩니다. 시스템은 다음과 같은 적응형 라우팅 메커니즘을 구현합니다:
- 저엔트로피 예측: 인간 검증을 위한 신속한 Top-1 확정 경로로 라우팅됩니다.
- 고엔트로피 예측: 전문가 검토를 위한 Top-3 후보 세트로 라우팅됩니다.
  이를 통해 명확한 사례에 대해서는 높은 처리량을 유지하면서, 모호한 사례에 인간의 인지적 노력을 집중시켜 100% 인간 감사 가능성을 보장합니다.

주요 결과
본 프레임워크는 통제된 실험과 10개의 동시 카메라 피드가 운영되는 실제 지하 광산 시설에서의 4개월간의 전향적 배포를 통해 검증되었습니다.

효율성: MonitorVLM-v2는 CoT 기반 베이스라인 대비 19.45배의 추론 속도 향상을 달ach성했습니다. 세그먼트당 지연 시간을 3.82~~6.41초에서 0.15~~0.39초로 단축하여, 다중 스트림 모니터링을 위한 서브 세컨드(sub-second) 처리량 요구 사항을 충족했습니다.
정확도: 기호적 결정 공간에서, (SymPO로 최적화된 Qwen3-2B 백본 기반) 모델은 엄격한 Rule-ID 프로토콜에 대해 69.84%의 정확도를 기록했습니다. 이는 제로샷 기반의 독점 모델(예: Claude Sonnet 4.6, 56.73%) 및 미세 조정된 오픈 소스 베이스라인을 능가하는 성능입니다.
운영 영향: 4개월의 배포 기간 동안, 시스템은 24시간 연속 모니터링 하에 89건의 확정된 위반 사항을 식별했습니다. 이는 해당 현장의 일상적인 수동 점검 워크플로우(매일 18시간만 수행)가 식별한 32건과 비교했을 때 2.78배 증가한 수치입니다.
오류 분석: 잔여 오류는 무작위적이기보다 구조적인 것으로 나타났으며, 저조도, 심한 폐쇄(occlusion), 또는 시점 왜곡이 있는 시나리오에 집중되었습니다. 엔트로피 기반 트리아지는 이러한 모호한 사례들을 성공적으로 식별하였으며, Top-3 검토 경로를 통해 Top-1 경로가 놓친 247개의 어려운 사례(테스트 세트의 28.65%)를 추가로 복구해 냈습니다.

의의 및 주장
본 논문은 MonitorVLM-v2가 규제 준수 산업 안전 모니터링을 위해 종단적으로 검증되고 지속적으로 운영 가능한 최초의 VLM 프레임워크라고 주장합니다. 본 연구의 주요 의의는 규제 기반의 제한된 과업을 수행함에 있어 명시적인 자연어 추론 트레이스가 기능적으로 필수적인 것은 아님을 입증했다는 데 있습니다. 멀티모달 추론을 보정된 단일 단계 기호 결정으로 압축함으로써, 본 프레임워크는 산업적 책임에 적합한 예측 가능하고 감사 가능하며 저지연인 인터페이스를 달성했습니다.

저자들은 이 시스템이 인간의 감독을 대체하는 것이 아니라 보완하도록 설계되었음을 강조합니다. 압축된 기호 추론과 엔트로피 기반 트리아지의 결적인 조합은 자율적 의사결정과 인간의 감독적 판단 사이의 확장 가능한 인터페이스를 구축하며, 인간 단독 감시의 고질적인 문제인 불연속적 커버리지와 주의력 저하 문제를 해결합니다. 본 연구는 VLM을 개방형 어시스턴트에서 다양한 규제 기반 산업 도메인을 위한 신뢰할 수 있는 결정 모듈로 적응시키기 위한 원칙적인 경로를 제시합니다.

기술 요약: MonitorVLM-v2

유사한 논문