Designing Multi-Robot Ground Video Sensemaking with Public Safety Professionals

이 논문은 6 개 경찰 기관과 협력하여 다중 로봇 지상 영상 분석을 위한 테스트베드와 LLM 기반 설명 기능을 갖춘 MRVS 도구를 개발하고, 이를 통해 공공 안전 업무의 부담을 줄이고 상황 인식을 향상시키는 방안을 제시합니다.

핵심

🤖 핵심 이야기: "로봇 경찰관들의 눈"을 어떻게 연결할까?

상상해 보세요. 경찰서에는 로봇 경찰관 10 대가 동시에 순찰을 나갑니다. 각 로봇은 자신의 눈 (카메라) 으로 주변을 보고 영상을 찍습니다. 문제는 이 10 개의 영상을 사람이 직접 다 보고 사건을 찾아내야 한다는 거죠.

지금까지의 방식은 마치 10 개의 TV 채널을 동시에 켜놓고, 한 사람이 모든 채널을 8 배 속도로 빠르게 넘기면서 "아, 저기 뭐가 움직이는 것 같은데?"라고 눈으로 찾아다니는 것과 비슷합니다. 이건 너무 힘들고, 중요한 사건을 놓치기 쉽죠.

이 연구는 **"로봇들이 찍은 영상을 어떻게 하면 경찰관들이 편하게 보고, 빠르게 사건을 찾아낼 수 있을까?"**를 고민하며 두 가지 큰 작업을 했습니다.

---

🛠️ 1 단계: "무엇을 찾아야 할지" 정하기 (연구 1)

먼저, 로봇이 무엇을 찍어야 경찰관들이 진짜 도움이 될지 알아내야 했습니다.

• 비유: 로봇이 "고양이가 지나갔다"라고 알려주면 경찰관은 "아, 그건 중요하지 않아"라고 생각할 수 있습니다. 하지만 "총을 들고 있는 사람"이나 "불이 난 것"은 즉시 대응해야 하죠.
• 방법: 연구팀은 실제 경찰관 5 명과 함께 3 년 치 범죄 기록과 다양한 영상 데이터를 분석했습니다.
• 결과: 로봇이 찾아내야 할 38 가지의 '중요한 사건 (EoI)' 목록을 만들었습니다.
  • 긴급: 총기 난사, 폭탄 폭발, 납치 등 (즉시 대응 필요)
  • 주의: 난동, 차량 도난, 의심스러운 행동 등
  • 일반: 주차 위반, 길거리 흡연 등 (나중에 확인)
• 데이터셋: 이 38 가지 사건을 실제로 연기해서, 로봇이 순찰하는 동안 찍은 **20 편의 영상 (낮/밤 각 10 편)**을 만들었습니다. 마치 로봇이 순찰하는 시뮬레이션 영화 같은 거죠.

🚀 2 단계: "로봇의 눈"을 하나로 모으는 도구 만들기 (연구 2)

이제 이 영상들을 분석할 **MRVS (Multi-Robot Video Sensemaking System)**라는 도구를 만들었습니다. 이 도구는 **인공지능 (AI)**을 활용합니다.

• 비유: MRVS 는 마치 현명한 비서와 같습니다.
  • 비서의 역할: 10 대 로봇이 찍은 10 시간 분량의 영상을 한 번에 훑어봅니다. 그리고 "여기서 이상한 게 발견됐어요! (예: 사람이 넘어짐)"라고 알려줍니다.
  • 핵심 기능:
    1. 요약해 주기: 긴 영상을 보고 "이건 사건 A, 저건 사건 B"라고 카드 형태로 정리해 줍니다.
    2. 이유 설명: "왜 이상하다고 생각했나요?"라고 물으면 AI 가 "사람이 넘어졌고, 다른 사람이 도와주지 않고 지나갔기 때문입니다"라고 설명해 줍니다. (단순히 '이상함'만 알려주는 게 아니라 이유를 알려줘야 경찰관이 믿을 수 있죠.)
    3. 찾기 기능: "빨간 옷을 입은 사람"이나 "검은색 SUV"를 검색하면, 10 대 로봇의 영상 중 그 특징을 가진 사람/차량을 찾아줍니다.
    4. 팀워크: 경찰관 A 가 발견한 사건을 경찰관 B 와 실시간으로 공유할 수 있는 공간도 제공합니다.

📊 결과가 어땠나요?

연구팀은 이 시스템을 실제 경찰관 9 명에게 사용하게 했습니다.

• 좋았던 점:
  • 시간 절약: 수시간을 들여 영상을 찾아보던 일을 AI 가 먼저 걸러주니, 경찰관들은 중요한 '검증' 작업에만 집중할 수 있었습니다.
  • 신뢰도: AI 가 "이건 의심스럽습니다 (신뢰도 높음)"라고 알려주면, 경찰관들은 그 부분을 먼저 확인했습니다.
  • 팀 협업: 한 사람이 발견한 정보를 다른 팀원에게 바로 공유할 수 있어 혼란이 줄었습니다.
• 우려된 점:
  • 거짓 경보: AI 가 가끔 엉뚱한 것을 '사건'으로 오인할 수 있습니다. (예: 개가 뛰는 것을 '사람이 뛰어'로 착각)
  • 사생활: 로봇이 지나가는 모든 것을 찍는 것에 대한 주민들의 우려가 있었습니다.
  • 결정권: AI 가 알려준 대로만 따라가는 게 아니라, 최종 판단은 반드시 사람이 해야 한다는 의견이 강했습니다.

💡 이 연구가 우리에게 주는 교훈

이 논문은 단순히 "로봇을 더 많이 쓰자"는 이야기가 아닙니다.

1. 사람 중심의 설계: 기술이 아무리 좋아도, 실제 현장에서 일하는 경찰관의 필요와 업무 흐름에 맞지 않으면 쓸모가 없습니다.
2. AI 는 조력자일 뿐: AI 는 '찾아주는 비서'일 뿐, '판단하는 경찰관'이 될 수는 없습니다. AI 의 판단을 사람이 다시 확인하고 책임져야 합니다.
3. 투명성과 신뢰: AI 가 왜 그 사건을 찾아냈는지 이유를 설명해 주어야 (설명 가능한 AI) 사람들이 믿고 사용할 수 있습니다.

🌟 한 줄 요약

"여러 대의 로봇이 찍은 방대한 영상을, AI 비서가 경찰관에게 '중요한 사건만 요약해서 이유와 함께' 알려주어, 경찰관들이 더 안전하고 효율적으로 일할 수 있게 돕는 시스템을 만들었습니다."

이 연구는 앞으로 우리가 로봇과 AI 를 공공 안전에 어떻게 도입해야 할지, 기술적 측면과 사람의 마음을 모두 고려한 귀중한 길잡이가 되어줍니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 인력 부족과 위험 노출: 공공 안전 전문가들은 인력 부족과 현장 활동으로 인한 부상 위험에 지속적으로 노출되어 있습니다.
• 기존 기술의 한계: 고정형 CCTV, 드론, 바디캠 등 다양한 비디오 소스가 존재하지만, 지상 로봇의 다중 비디오 스트림을 실시간으로 분석하고 운영 업무에 통합하는 방법에 대한 연구는 부족합니다.
• 수동 분석의 비효율성: 현재 비디오 분석은 대부분 수동으로 이루어지며, 이는 시간 소모가 크고 인지적 부하를 유발합니다.
• 실무와의 괴리: 기존 컴퓨터 비전 (CV) 연구의 '이상 감지 (Anomaly Detection)' 모델들은 고정된 시점이나 연구자 정의 이벤트를 기반으로 하여, 실제 경찰의 운영 맥락 (Context) 과 우선순위를 반영하지 못해 현장 적용에 실패하는 경우가 많습니다 (예: NYPD 의 K5 로봇 퇴출 사례).

2. 방법론 (Methodology)

연구는 두 단계의 형식적 연구 (Formative Study) 와 총괄적 연구 (Summative Study) 로 구성되었습니다.

Study 1: 형식적 연구 (Testbed 및 요구사항 도출)

• 참여자: 5 명의 공공 안전 전문가 (경찰관, 수사관, 지휘관 등) 와의 인터뷰 및 설문.
• 관심사 사건 (EoI, Events of Interest) 분류:
  • 3 개 캠퍼스의 3 년 치 범죄 기록 (13,234 건) 과 10 개의 공개 이상 감지 비디오 데이터를 분석.
  • 전문가들과의 협의를 통해 38 가지의 시각적 관측 가능 사건을 도출하고, 이를 4 단계 (Emergency, Urgent, Moderate, Advisory) 로 우선순위화한 분류 체계 (Taxonomy) 를 구축.
• 디자인 요구사항 (DRs) 도출:
  • 전문가 인터뷰를 통해 6 가지 핵심 디자인 요구사항을 도출:
    1. 맥락 인식 EoI 설명: 단순 플래그가 아닌 AI 의 판단 근거 제공.
    2. 자동화된 비디오 감지: 수동 스크리닝 부담 감소를 위한 이상 이벤트 요약.
    3. 상황 개요 (Situational Overview): 다중 스트림 통합 및 우선순위 시각화.
    4. 통합 시공간 인식: 지도와 타임라인을 통한 공간적·시간적 정보 동기화.
    5. 기술자 기반 검색 (Descriptor-based Search): 얼굴/번호판이 아닌 의상, 차량 색상 등 외형 속성 기반 검색.
    6. 팀 협업 지원: 주야간 교대 근무 간 정보 공유 및 협업 워크스페이스.
• 비디오 데이터셋 구축:
  • 20 명의 배우와 22 가지 EoI 시나리오를 활용하여 10 개의 낮/밤 패트롤 루트에서 촬영.
  • 총 20 개의 지상 로봇 비디오 (약 30 분/개, 총 470 분) 를 생성하고, 모든 얼굴과 차량 번호판을 모호하게 처리 (Anonymization) 한 공개 데이터셋을 마련.

Study 2: MRVS 시스템 개발 및 평가

• 시스템 아키텍처 (MRVS):
  • 백엔드: 멀티모달 LLM (Gemini 2.0 기반) 을 활용. '감시 AI' 페르소나를 부여하여 비디오를 클립 단위로 분석, EoI 분류, 설명 생성, 신뢰도 점수 부여. 객체 탐지 (BoxMOT) 와 추적 기술을 결합.
  • 프론트엔드: 6 가지 핵심 기능 (비디오 월, 비디오 브리핑, 타임라인, 상황 개요, 기술자 검색, 그룹 워크스페이스) 을 제공하는 인터페이스.
• 평가:
  • 알고리즘 평가: HolmesVAD(기존 CV 모델) 및 Gemini 2.0(일반 LLM) 과 비교.
  • 전문가 평가: 9 명의 공공 안전 전문가를 대상으로 실제 수사 시나리오 (긴급 대응, 순찰 검토, 용의자 검색) 를 수행하게 하고 인터뷰 진행.

3. 주요 기여 (Key Contributions)

1. 다중 로봇 비디오 의미화 테스트베드:
   • 전문가가 검증한 38 가지 EoI 분류 체계.
   • 실제 지상 로봇으로 촬영된 20 개의 비디오 데이터셋 (낮/밤, 470 분).
   • 공공 안전 전문가로부터 도출된 6 가지 디자인 요구사항.
2. MRVS 시스템 (시스템 아티팩트):
   • 멀티모달 LLM 백엔드와 인간 중심 프론트엔드를 통합한 최초의 상호작용 시스템.
   • 다중 로봇 비디오 워크플로우를 공공 안전 업무에 맞게 최적화.
3. 백엔드 및 프론트엔드 평가:
   • 기술적 성능 (정확도, F1 점수) 과 인간 중심의 유용성 (인지 부하 감소, 신뢰도) 을 모두 검증.
4. 디자인 함의:
   • 공공 안전 우선순위와 윤리적/개인정보 보호 고려사항을 반영한 미래 시스템 설계 방향 제시.

4. 결과 (Results)

알고리즘 성능 (Study 2 - 백엔드)

• 성능 비교: 제안된 모델은 기존 SOTA 모델인 HolmesVAD 와 강력한 베이스라인인 Gemini 2.0 보다 전반적으로 우수한 성능을 보였습니다.
• F1 Score:
  • 전체: 제안 모델 0.519 (Gemini 2.0: 0.453, HolmesVAD: 0.018).
  • 야간: 제안 모델 0.540 (Gemini 2.0: 0.438, HolmesVAD: 0.021).
• 정밀도 vs. 재현율 (Precision vs. Recall):
  • 제안 모델은 HolmesVAD 보다 재현율 (Recall) 이 훨씬 높았습니다.
  • Gemini 2.0 은 정밀도 (Precision) 는 높았으나 재현율이 낮아 많은 이상 이벤트를 놓쳤습니다.
  • 의도적 트레이드오프: 공공 안전의 특성상 '놓치는 것 (False Negative)'이 '오경보 (False Positive)'보다 치명적이므로, MRVS 는 재현율을 높이기 위해 정밀도를 다소 희생하도록 설계되었습니다. 오경보는 추가 확인 작업으로 이어지지만, 놓친 사건은 치명적 위협이 될 수 있기 때문입니다.

사용자 평가 (Study 2 - 프론트엔드)

• 작업 부하 감소: 전문가들은 MRVS 가 비디오 분석 시간을 단축하고, 중요한 순간을 빠르게 식별하는 데 도움이 된다고 평가했습니다.
• 신뢰와 통제: AI 가 생성한 설명 (Rationale) 과 신뢰도 점수가 전문가의 판단을 보조하며, 최종 결정권은 인간에게 있음을 확인했습니다.
• 협업 강화: 공유 워크스페이스 기능을 통해 교대 근무 간 정보 공유가 원활해지고, 업무 연속성이 개선되었습니다.
• 우려 사항:
  • 오경보 (False Alarms): 지속적인 오경보는 전문가의 피로도를 높일 수 있음.
  • 개인정보 및 윤리: 감시 확대에 따른 사생활 침해 우려와 특정 계층에 대한 과도한 감시 (Over-policing) 가능성에 대한 경계.
  • 법적 효력: AI 판별 결과가 법정에서 증거로 사용되기 위해서는 인간 검증이 필수적이라는 점.

5. 의의 및 결론 (Significance & Conclusion)

• 실무 중심의 AI 설계: 이 연구는 기술 중심의 접근이 아닌, 실제 공공 안전 전문가의 업무 흐름, 제약 조건, 의사결정 방식을 깊이 이해하고 이를 시스템에 반영한 인간 중심 설계 (Human-Centered Design) 의 성공 사례입니다.
• 확장 가능한 솔루션: MRVS 는 지상 로봇뿐만 아니라 기존 CCTV, 드론, 바디캠 등 다양한 비디오 소스에 적용 가능한 아키텍처를 제시합니다.
• 스케일링 가능성: 만성적인 인력 부족 상황에서 한 명의 운영자가 여러 로봇을 효과적으로 감독할 수 있는 능력을 제공하여, 공공 안전 운영의 확장성을 높입니다.
• 미래 방향: 향후 연구는 더 다양한 지역과 계절, 모달리티 (오디오, 텍스트) 를 포함하고, 윤리적 감시와 투명성, 그리고 로봇의 자율성 향상을 위한 기술적 발전이 필요함을 강조합니다.

이 논문은 공공 안전 분야에서 AI 와 로봇 기술이 단순히 '자동화'를 넘어, 전문가의 판단을 보조하고 사회적 신뢰를 유지하면서 실질적인 안전을 증진하는 방향으로 발전해야 함을 시사합니다.