당신이 로봇에게 영화를 보고 무엇이 일어나는지 말하도록 가르치고 있다고 상상해 보세요. 오랫동안 과학자들은 이 로봇들에게 짧은 5초짜리 클립을 보여주고 "개가 달린다"와 같은 단일 문장을 쓰게 하며 테스트하는 데 매우 능숙했습니다. 하지만 만약 당신이 로봇에게 1분 30초 정도 되는 전체 장면을 보고, 이야기와 등장인물의 감정, 그리고 아주 작은 세부 사항까지 포함된 완전한 문단을 작성하라고 요구한다면 어떻게 될까요? 이것이 바로 "비디오-언어 모델(Video-Language Models)"의 까다로운 최전선입니다. 이 모델들을 인터넷을 읽고 수백만 개의 영상을 시청한 매우 똑똑한 학생이라고 생각해 보세요. 중요한 질문은 그들이 단순히 개를 볼 수 있느냐가 아닙니다. 그들이 복잡한 이야기를 이해하고, 시간 순서를 올바르게 유지하며, 허구의 내용을 지어내지 않고 묘사할 수 있느냐는 것입니다. 지금까지는 이 긴 이야기를 바탕으로 그들의 숙제를 공정하게 채점할 방법이 없었습니다. 기존의 채점 도구들은 철자 틀린 것을 찾아내는 수준이었습니다. 그들은 얼마나 많은 단어가 일치하는지만을 계산했을 뿐, 이야기의 본질은 완전히 놓치고 있었습니다.

여기, 사우스다코타 주립대학교의 연구진이 설계한, AI 학생들이 긴 형태의 영화 묘사를 얼마나 잘 쓰는지 테스트하기 위한 엄격한 성적표인 CLIP-CC-Bench가 등장했습니다. 연구진은 단순히 일치하는 단어를 찾는 대신, 다섯 가지 서로 다른 고급 AI 시스템으로 구성된 "전문가 심사위원단"을 구축했습니다. 이 심사위원들은 단순히 단어 수를 세는 것이 아니라, 의미를 파악하기 위해 이야기를 읽으며, 큰 그림(줄거리)과 아주 작은 세 세부 사항(누가 무엇을 입고 있었는지 등)을 모두 확인합니다. 그들은 가장 똑똑한 17개의 비디오 AI 모델을 테스트했습니다. 결과는 놀라웠습니다. 일부 모델은 일반적인 이야기를 전달하는 데 매우 능숙해지고 있지만, 거의 모든 모델이 작은 세부 사항을 정확히 맞추는 데 어려움을 겪고 있으며, 아직 완벽한 모델은 하나도 없었습니다. 이 연구는 단순히 모델을 크게 만드는 것만으로는 자동으로 더 나은 스토리텔러가 될 수 없음을 증명하며, 우리가 어디에서 실패하고 있는지 정확히 파악하여 이를 수정할 수 있도록 투명한 방법을 제공합니다.

문제점: "스펠링 비(Spelling Bee)" 대 "독후감"

수년 동안 과학자들은 비디오-AI 모델을 테스트할 때 약간 스펠링 비와 같은 방식을 사용했습니다. 그들은 AI에게 짧은 클립을 보여주고 그것을 묘사하라고 요청했습니다. 그런 다음, 오래된 수학적 도구인 BLEU나 ROUGE를 사용하여 AI의 답변을 인간의 답변과 비교했습니다. 이러한 도구들은 AI가 인간과 동일한 단어를 사용했는지 확인하는 데는 뛰어나지만, 의미를 이해하는 데는 형편없습니다. 만약 인간이 "그 남자는 슬프다"라고 썼는데 AI가 "그 남자는 울고 있다"라고 썼다면, 기존의 도구들은 "틀렸어, '남자'라는 단어를 쓰지 않았잖아!"라고 말할 수도 있습니다. 비록 그 의미는 완벽함에도 불구하고 말이죠.

게다가, 대부분의 테스트는 짧은 클립만을 사용하고 한 문장 답변만을 요구했습니다. 이는 학생의 소설 작성 능력을 테스트하기 위해 트윗 한 줄만 쓰게 하는 것과 같습니다. 실제 삶과 영화는 길고, 복잡하며, 시간에 따라 발생하는 세부 사항들로 가득 차 있습니다. 연구진은 AI가 비디오를 진정으로 이해하는지 알기 위해서는, 90초 길이의 영화 장면에 대해 완전한 문단을 쓰게 하고 실제 독후감을 채점하듯 평가해야 한다는 것을 깨달았습니다.

해결책: 새로운 영화 테스트

이를 해결하기 위해 팀은 CLIP-CC-Bench를 만들었습니다. 연구진이 5시간 분량의 영화를 가져와서 각각 약 90초 길이의 200개 구별되는 클립으로 나누었다고 상상해 보세요. 이 클립들은 무작위가 아니었습니다. 등장인물 간의 상호작용, 카메라 움직임, 장면 전환 등을 포함하여 시각적으로 풍부하고 복잡하도록 신중하게 선정되었습니다.

여기서 영리한 부분은, 연구진이 AI가 인터넷에서 암기한 유명한 이름들을 바탕으로 추측하는 것이 아니라 실제로 보고 있는지 확인하기 위해 모든 고유 명사를 금지했다는 점입니다. 답변에는 "해리 포터", "뉴욕", "토요타"와 같은 이름이 등장하지 않습니다. 대신, 인간 전문가들은 "빨간 재킷을 입은 남자" 또는 "고급 자동차"와 같이 묘사했습니다. 이는 AI가 기억하는 것이 아니라 실제로 보는 것을 묘사하도록 강제합니다.

심사위원: 5인의 패널

문단을 어떻게 채점할까요? 하나의 AI에게 다른 AI를 채점하라고 할 수는 없습니다. 그것은 마치 학생에게 자기 숙제를 스스로 채점하라고 하는 것과 같습니다. 그래서 연구진은 다섯 가지 서로 다른 최첨단 AI 임베딩 모델로 구성된 "배심원단"을 구축했습니다. 이것을 각기 다른 스타일을 가진 다섯 명의 영어 선생님이라고 생각하세요.

1. 거시적 심사위원(The Coarse Judge): 전체 문단을 살펴보고 일반적인 이야기가 일치하는지 확인합니다. AI가 주요 줄거리를 제대로 파악했나요?
2. 미시적 심사위원(The Fine Judge): 문장 단위로 살펴봅니다. AI가 특정 동작, 색상, 사건의 순서를 정확하게 언급했나요?

시스템은 이 두 가지 관점을 결합합니다. 만약 AI가 줄거리는 맞지만 세부 사항은 모두 놓친 모호한 문단을 쓴다면, "미시적 심사위원"은 낮은 점수를 줄 것입니다. 만약 AI가 앞뒤가 맞지 않는 무작위의 세부 사항들을 나열한다면, "거시적 심사위원"이 감점을 할 것입니다. 최종 점수는 조화 평균(harmonic mean)을 사용하는데, 이는 AI가 높은 점수를 받기 위해서 반드시 두 가지 모두 잘해야 함을 의미합니다.

결과: 누가 테스트를 통과했는나?

연구진은 17개의 서로 다른 비디오-언어 모델을 이 관문 속으로 밀어 넣었습니다. 결과는 다음과 같았습니다:

• 최고의 성과자: VideoLLaMA3가 모든 다섯 명의 심사위원이 매긴 순위의 합의 점수인 Borda rank에서 완벽한 1위를 차지했습니다. 그러나 실제 평균 점수는 0.67(1.0이 완벽한 점수)이었으며, 이는 우승자조차도 상당한 개선의 여지가 있음을 보여줍니다.
• 2위: mPLUG-Owl3가 근소한 차이로 2위를 차지했습니다.
• 격차: 최고 모델들과 나머지 모델들 사이에는 명확한 격차가 존재합니다. 최고의 모델인 VideoLLaMA3조차 평균 점수 0.67을 기록했습니다. 이는 오늘날의 최고의 AI조차도 아직 갈 길이 멀다는 것을 알려줍니다.
• 큰 문제: 연구는 일관된 "거시-미시 격차(Coarse-Fine Gap)"를 발견했습니다. 모델들은 일반적인 이야기(거시)를 파악하는 데는 훨씬 뛰어났지만, 구체적인 세부 사항(미시)을 파악하는 데는 어려움을 겪었습니다. 예를 들어, 모델은 "두 남자가 눈 속에서 싸운다"라고 말할 수 있습니다. 이는 좋은 요약입니다. 하지만 한 남자가 총을 들고 있었다거나, 눈이 아주 심하게 내리고 있었다는 점은 놓칠 수 있습니다. "미시" 점수는 종종 훨씬 낮았으며, 때로는 0.47까지 떨어졌습니다. 이는 모델들이 여전히 세세한 부분에서 고군분투하고 있음을 보여줍니다.
• 아키텍처의 중요성: 연구는 "트랜스포머(Transformer)" 아키텍처(특정 유형의 AI 설계)를 기반으로 구축된 모델들이 특정 작업에 특화된 모델들보다 일반적으로 더 나은 성능을 보였다는 것을 발견했습니다. 이는 범용적인 "똑똑한" 모델이 되는 것이 특화된 "비디오" 모델이 되는 것보다 스토리텔링에 더 중요하다는 것을 시사합니다.

이것이 왜 중요한가

이 논문은 단순히 "AI가 좋아지고 있다"라고 말하는 것이 아닙니다. 그것들이 어디에서 실패하고 있는지를 보여주는 정밀한 지도를 제공합니다. 우리는 단어를 세는 오래된 방식에 의존해서는 안 되며, 단순히 모델을 크게 만들고 잘 되기를 바랄 수도 없다는 것을 증명합니다. 이 새로운 다중 심사 시스템을 사용함으로써, 연구진은 현재의 모델들이 영화를 요약할 수는 있지만 캐릭터의 의상이나 사건의 구체적인 순서 같은 세부 사항은 잊어버리는 학생과 같다는 것을 보여주었습니다.

팀은 자신들의 모든 데이터, 코드, 그리고 17개 모델의 결과를 공개했습니다. 이는 다른 과학자들이 이와 동일한 테스트를 사용하여 더 나은 모델을 구축할 수 있게 함으로써, 차세대 비디오-AI가 단순히 이야기를 "추측"하는 것이 아니라 진정으로 이해하도록 보장하기 위함입니다. 앞으로 나아갈 길은 명확합니다. 우리는 거시적인 관점과 미세한 세부 사항 사이의 간극을 메울 수 있는 모델이 필요하며, CLIP-CC-Bench는 그 진전을 측정할 자가 될 것입니다.