SOVABench: A Vehicle Surveillance Action Retrieval Benchmark for Multimodal Large Language Models

당신이 로봇에게 단순히 사진 한 장을 보는 것이 아니라, 영화를 통해 세상을 이해하는 법을 가르치려 한다고 상상해 보세요. 이것이 바로 **멀티모달 거대 언어 모델(Multimodal Large Language Models, MLLMs)**의 세계입니다. 이 모델들을 인터넷에 있는 모든 책을 읽고 모든 영상을 시청한 '슈퍼 천재 학생'이라고 생각해보세요. 이들은 "이 사진에서 무엇이 일어나고 있나요?" 또는 "고양이가 몇 마리 있나요?"와 같은 질문에 답하는 데 매우 뛰어납니다. 하지만 까다로운 문제가 하나 있습니다. 이들은 거의 비슷해 보이지만 서로 반대로 움직이는 두 가지를 구별하는 데 종종 어려움을 겪습니다. 예를 들어, 자동차가 후진하는 것과 앞으로 주행하는 것의 차이를 말이죠.

**비디오 감시(video surveillance)**의 세계에서 이는 매우 큰 문제입니다. 보안 카메라는 단순히 자동차가 거기 있다는 사실을 아는 것만으로는 부족합니다. 자동차가 정확히 '무엇을 하고 있는지' 알아야 합니다. 짐을 싣고 있는 중인가요, 아니면 내리고 있는 중인가요? 왼쪽으로 회전하고 있나요, 아니면 오른쪽으로 회전하고 있나요? 만약 로봇이 혼란을 겪는다면, 실제 범죄를 놓치거나 잘못된 경보를 울릴 수 있습니다. 과학자들은 로봇을 위한 더 나은 '눈'을 만들기 위해 노력해 왔지만, 대부분의 테스트는 마치 파티의 정지 사진을 보는 것과 같습니다. 즉, 로봇이 장면을 인식하는지는 확인하지만, 비디오에서 일어나는 구체적인 동작을 이해하는지는 확인하지 못합니다. 이 논문은 차량 동작에 특화된 더 강력한 새로운 테스트를 만들고, 로봇이 차이를 식별하도록 가르치는 영리한 새로운 방법을 제시함으로써 그 간극을 메우고자 합니다.

---

새로운 "반대 동작" 드라이빙 테스트

이 연구의 연구자들은 기존의 테스트들이 감시 업무라는 까다로운 작업에 비해 너무 쉽다는 것을 깨달았습니다. 그들은 SOVAB-Bench(Surveillance Opposite Vehicle Actions Benchmark)라고 불리는 새로운 벤치마크를 구축했습니다. 이것은 학생에게 단순히 운전을 하라고 하는 대신, "트렁크를 여는 것"과 "트렁크를 닫는 것", 또는 "차에 짐을 싣는 것"과 "차에서 짐을 내리는 것"을 구별하라고 요구하는 운전 면허 시험과 같습니다. 이러한 동작들은 인간의 눈에는 매우 비슷해 보이지만, 시간상으로는 정확히 반대되는 동작입니다.

SOV-ABench는 이러한 "반대 쌍(opposite pairs)"으로 구성된 실제 보안 카메라 클립 모음입니다. 연구진은 로봇을 위해 두 단계의 난이도를 설정했습니다:

1. "쉬운" 단계 (Inter-pair): 로봇이 자동차가 왼쪽으로 도는 것과 자동차가 멈추는 것의 차이를 구별할 수 있는가? (이들은 명확히 다릅니다).
2. "어려운" 단계 (Intra-pair): 로봇이 자동차 문을 여는 것과 자동차 문을 닫는 것의 차이를 구별할 수 있는가? (이들은 마치 역재생처럼 거의 동일하게 보입니다).

테스트를 실행한 결과, 현재 시장에 나와 있는 가장 진보된 로봇들조차 "어려운" 단계에서 고전한다는 것을 발견했습니다. 그들은 종로종종 "여는 것"과 "닫는 것"을 같은 것으로 취급하며 혼동하곤 했습니다. 이는 단순히 성능 좋은 카메라를 갖는 것만으로는 충분하지 않으며, 로봇이 움직임의 '이야기(story)'를 이해하는 더 나은 방법이 필요하다는 것을 증명했습니다.

"설명하기" 기법

그렇다면 연구자들은 로봇을 더 똑똑하게 만들기 위해 어떻게 했나요? 처음부터 복잡한 새로운 로봇을 만드는 대신, 앞서 언급한 '슈퍼 천재 학생(MLLM)'을 활용한 영리하고 비용이 들지 않는 트릭을 사용했습니다.

보통 로봇이 비디오를 볼 때, 전체를 하나의 거대한 수학적 숫자(임베딩, embedding)로 변환하여 다른 비디오와 비교하려고 합니다. 저자들은 이 방식이 중요한 미세한 디테일을 놓치는 경우가 많다는 것을 발견했습니다. 대신, 그들은 로봇에게 자신이 보는 것을 말하게(talk about what it sees) 했습니다.

그들의 레시피는 다음과 같습니다:

1. 스마트한 AI 모델에게 비디오를 보여줍니다.
2. 질문을 던집니다: "이 비디오의 동작을 간략하게 분류하세요" 또는 "움직임을 설명하세요."
3. 답변을 듣습니다: AI는 "사람이 자동차의 트렁크를 닫고 있다"와 같은 문장을 작성합니다.
4. 문장을 숫자로 변환합니다: 그 작성된 설명을 표준 텍스트 도구를 사용하여 수학적 숫자로 변환합니다.
5. 이야기를 비교합니다: 두 비디오가 유사한지 확인하기 위해, 원본 영상을 직접 비교하는 대신 AI가 쓴 '이야기'를 비교합니다.

이 방법은 마치 인간 목격자에게 흐릿한 사진을 보여주는 대신, 범죄 현장을 말로 설명해 달라고 요청하는 것과 같습니다. 한 목격자가 "차가 후진하고 있었다"라고 말하고, 다른 목생자가 "차가 전진하고 있었다"라고 말한다면, 사진이 비슷해 보일지라도 단어 속에서의 차이는 명확해집니다.

연구 결과

결과는 놀라울 정도로 좋았습니다. 이 "설명하기" 트릭을 사용함으로써, 그들의 시스템은 다른 로봇들이 사용하는 표준 방식보다 반대 동작을 포착하는 데 훨씬 더 뛰어난 성능을 보였습니다.

• 기본적인 수준을 뛰어넘다: 물체 개수를 세거나 공간 관계(예: "상자가 왼쪽에 있는가 오른쪽에 있는가?")를 이해하는 테스트에서, "말하는" AI 모델을 사용한 그들의 방식은 이전의 최고 성능 모델들보다 유의미하게 뛰어났습니다. 예를 들어, 개수 세기 작업에서 그들의 최적 설정은 기존 표준 대비 정확도가 34% 이상 향 улуч되었습니다.
• 어려운 코드를 풀다: SOVABench의 "어려운" 단계(반대 동작 구별)에서, 특정 모델인 MiniCPM-V 4.5와 "태스크 인지형(task-aware)" 프롬프트(AI가 무엇을 찾아야 하는지 알려주는 특정 지침)를 사용한 그들의 방식은 가장 높은 점수를 기록했습니다. 이 방식은 거의 모든 다른 모델, 심지어 대형 기술 기업의 값비싼 독점 모델들을 제치고 53.6점을 달성했습니다.
• 지시문의 힘: 질문을 어떻게 던지느냐가 중요하다는 것을 발견했습니다. 단순히 "이것을 설명하라"고 하면 AI는 보통 수준이지만, "동작들을 나열하라"고 하면 훨씬 더 잘 수행합니다. 이는 로봇에게 명확한 직무 기술(job description)을 주는 것이 적절한 디테일에 집중하도록 돕는다는 것을 시사합니다.

발견하지 못한 것 (그리고 배제한 것)

이 논문이 하지 않은 일을 명시하는 것도 중요합니다. 연구진은 로봇이 이제 완벽해졌다고 주장하는 것이 아닙니다. 여전히 실수는 발생하며, 점수가 가장 높긴 하지만 100%는 아닙니다. 또한, 단순히 비디오용으로 설계된 모델(Video-MLLMs)을 사용하는 것이 무조건 더 낫다는 생각도 배제했습니다. 실제로, 짧고 구체적인 동작에 있어서는 이미지와 텍스트를 모두 처리할 수 있는 범용 모델들이 특화된 비디오 모델들보다 더 나은 성능을 보이기도 했습니다.

또한, 이러한 결과를 얻기 위해 수천 개의 새로운 예시로 로봇을 재학습시킬 필요가 없다는 점도 보여주었습니다. 그들의 방식은 "학습이 필요 없는(training-free)" 방식으로, AI를 있는 그대로 사용하면서 비디오를 설명하게 함으로써 훌륭한 결과를 얻을 수 있습니다. 이는 새로운 로봇을 학습시키는 데 막대한 비용과 시간이 든다는 점에서 매우 중요한 의미를 갖습니다.

핵심 요약

이 논문은 때때로 로봇이 비디오를 이해하도록 돕는 가장 좋은 방법은 로봇의 '눈'을 더 날카롭게 만드는 것이 아니라, '목소리'를 더 명확하게 만드는 것임을 시사합니다. AI에게 보이는 것을 글로 설명하게 함으로써, 순수한 시각적 수학 계산이 놓치기 쉬운 "싣는 것"과 "내리는 것" 사이의 미묘한 차이를 포착할 수 있습니다. 이는 감시의 세계에서 움직임 자체를 보는 것만큼이나, 그 움직임 뒤에 숨겨진 이야기를 아는 것이 중요하다는 점을 상기시켜 줍니다.