컴퓨터가 "스케이트보드를 타는 고양이"와 같은 단순한 문장을 움직이는 영상으로 만들어내는, 컴퓨터가 영화를 꿈꿀 수 있는 세상을 상상해 보십시오. 이것은 인공지능이 지시 사항을 읽는 것만으로 영상을 생성하고 편집하는 방법을 배우는 **비디오 생성(video generation)**이라는 흥미로운 최전선입니다. 하지만 여기서 까다로운 점이 있습니다. 바로 컴퓨터가 일을 잘 해냈는지 어떻게 알 수 있느냐는 것입니다. 과거에 과학자들은 모든 학생에게 똑같은 수학 시험을 치르게 하는 교사처럼, 고정된 체크리스트를 사용하여 이러한 AI 영화를 채점하려고 시도했습니다. 만약 프롬프트가 특정 개수의 풍선을 요구했다면, 고정된 테스트는 이를 놓칠 수 있습니다. 만약 프로프트가 영상 내내 캐릭터의 얼굴이 일정하게 유지되어야 한다고 요청했다면, 표준 테스트는 얼굴이 변했는지 여부를 알아차리지 못할 수도 있습니다. 이러한 AI 영화는 매우 창의적이고 다양하기 때문에, 일률적인 채점 시스템은 진정한 마법이나 실제 실수를 잡아내는 데 실패하곤 합니다.

VideoArgus라는 새로운 비디오 채점 방식이 등장했습니다. 이는 경직된 시험이라기보다 똑똑하고 맞춤 제작된 탐정 소설처럼 느껴집니다. 각 비디오 요청마다 고정된 규칙을 사용하는 대신, VideoArgus는 뛰어난 편집자처럼 각 비디오 요청에 대한 구체적인 지시 사항을 읽고 나서 그 작업만을 위한 완전히 새로운 맞춤형 채점 기준(rubric)을 작성합니다. 이 시스템은 프롬프트, 이미지, 그리고 목표를 살펴보고 이렇게 말합니다. "좋아, 이 특정 비디오를 위해서는 텍스트가 읽기 쉬운지, 고양이가 스케이트보드 위에 계속 있는지, 그리고 배경이 깜빡이지 않는지를 확인해야 해." 그런 다음 이 시스템은 전문화된 도구들과 AI "눈"들을 사용하여 이러한 구체적인 요소들의 증거를 추적하고, 원래 의도했던 바에 따라 비디오를 채점합니다. 이러한 접근 방식은 작업에 맞춰 규칙을 조정함으로써 우리가 AI 모델들이 실제로 얼마나 잘 수행하고 있는지 훨씬 더 명확한 그림을 얻을 수 있으며, 이를 통해 미래에 더 나은 비디오 생성기를 구축할 수 있음을 시사합니다.

"일률적인(One-Size-Fits-All)" 채점의 문제점

AI 비디오 생성을 평가하는 것을 요리 경연 대회를 심사하는 것에 비유해 보십시오. 참가자마다 서로 다른 요리를 만들도록 요구되는 상황입니다. 어떤 사람은 수프를 만들고, 어떤 사람은 케이크를 굽고, 어떤 사람은 스테이크를 굽습니다. 만약 모든 사람에게 "뜨거운가?"와 "냄새가 좋은가?"만을 묻는 단일한 고정 체크리스트를 사용한다면, 당신은 핵심을 놓치게 될 것입니다. 체크리스트가 그 특정 재료들에 맞춰 설계되지 않았다면, 케이크가 탔는지 혹은 수프가 너무 짠지는 알 수 없을 것입니다.

오랫동안 비디오 평가는 이런 방식으로 이루어졌습니다. 과학자들은 "움직임 품질"이나 "텍스트 정렬"과 같이 모든 비디오에 적용되는 고정된 차원의 벤치마크를 사용했습니다. 하지만 비디오 생성은 복잡합니다. 때로는 프로프트가 특정 개수의 물체(예: "빨간 사과 다섯 개")를 요구하고, 때로는 캐릭터의 얼굴을 일정하게 유지하라고 요구하며, 또 다른 때는 새로운 지시 사항에 따라 비디오를 편집하라고 요구합니다. 고정된 체크리스트는 이러한 사례별 세부 사항을 놓치기 쉽습니다. 이는 마치 같은 자로 마천루의 높이와 버섯의 높이를 측정하려는 것과 같습니다. 숫자는 얻을 수 있겠지만, 그 버섯이 실제로 그 종에 걸맞게 높은지는 알려주지 못할 것입니다.

VideoArgus: 맞춤형 탐정

이 논문의 저자들은 **사례별 채점 기준(sample-specific rubric)**을 생성함으로써 판도를 바꾸는 프레임워크인 VideoArgus를 소개했습니다. 영화를 보기 전, 초지능 AI 편집자가 프롬프트와 입력 이미지를 읽는다고 상상해 보십시오. 그러면 이 편집자는 오직 그 특정 요청만을 위한 독특한 "채점표"를 작성합니다. 이 표는 일반적인 목록이 아닙니다. "이 비디오의 경우, 표지판의 텍스트가 올바르게 철자가 적혀 있는지, 개가 원을 그리며 달리는지, 그리고 조명이 일관되게 유지되는지를 확인해야 한다"라고 명시하는 상세한 계획입니다.

결정적으로, 이 채점표는 출력물에 대해 눈이 가려져 있습니다(output-blind). AI는 비디오를 보기 전에 규칙을 작성합니다. 이는 시스템이 비디오가 얼마나 좋아 보이는지에 따라 규칙을 수정하는 것을 방지합니다. 이를 통해 동일한 프롬프트로부터 생성된 모든 비디오가 정확히 동일한 맞춤형 기준에 따라 판단되도록 보장합니다.

맞춤형 채점 기준이 작성되면, VideoArgus는 이를 실행에 옮깁니다. 단순히 일반적인 AI에게 "이 비디오가 좋은가?"라고 묻는 것이 아닙니다. 대신, 비디오를 아주 작은 조각들로 분해합니다. 맞춤형 시트의 각 규칙에 대해, 특정 도구들을 사용하여 증거를 수집합니다.

• 규칙이 개수 세기에 관한 것이라면, 물체를 세는 도구를 사용할 수 있습니다.
• 규칙이 텍스트에 관한 것이라면, 화면에 적힌 내용을 읽기 위해 광학 문자 인식(OCR) 도구를 사용합니다.
• 규칙이 캐릭터 추적에 관한 것이라면, 시각적 도구를 사용하여 프레임 단위로 해당 캐릭터를 따라갑니다.

시스템은 이러한 증거 조각들을 결합하여 점수와 그 점수에 대한 이유를 제공합니다. 이는 단순히 범인이 누구인지 추측하는 것이 아니라, 지문, 알리바이, 목격자 진술을 수집하여 탄탄한 사건을 구성하는 탐정과 같습니다. 최종 결과는 단순히 비디오 점수가 얼마인지만 알려주는 것이 아니라, 어디에서 성공했고 어디에서 실패했는지 정확히 지목하며 이유를 설명하는 상세한 보고서입니다.

VideoArgus-Bench: 거대한 테스트 키친

이 아이디어가 효과적임을 증명하기 위해, 연구팀은 1,026개의 서로 다른 비디오 챌린지로 구성된 거대한 컬렉션인 VideoArgus-Bench를 구축했습니다. 이 챌린지들은 다섯 가지 유형의 비디오 작업을 다룹니다:

1. 텍스트-투-비디오 (T2V): 단어만으로 비디오 만들기.
2. 텍스트-및-이미지-투-비디오 (TI2V): 단어와 시작 이미지를 사용하여 비디오 만들기.
3. 텍스트-및-피사체-투-비디오 (TS2V): 특정 캐릭터(사람 또는 동물 등)가 일관되게 유지되는 비디오 만들기.
4. 텍스트 기반 비디오 편집 (TV2V): 텍스트 지시에 따라 기존 비디오 변경하기.
5. 텍스트-및-피사체-주도 비디오 편집 (TSV2V): 특정 피사체를 일관되게 유지하면서 비디오 편집하기.

그들은 이 1,026개의 입력을 만들기 위해 653개의 고유한 이미지와 416개의 고유한 비디오를 사용했습니다. 이 모든 입력에 대해 맞춤형 채점 기준을 생성하고 이를 "동결(freeze)"했습니다. 이는 규칙이 확정되었음을 의미하며, 이를 통해 서로 다른 AI 모델을 테스트할 때 모두가 정확히 동일한 맞춤형 규칙에 따라 경쟁하도록 보장합니다.

발견한 내용: 더 나은 성적, 더 명확한 답변

연구진은 55가지의 서로 다른 AI 모델과 작업 조합을 VideoArgus-Bench로 테스트했습니다. 또한, 컴퓨터가 실제 사람과 얼마나 일치하는지 확인하기 위해 15명의 자원봉사자가 비디오를 채점한 1,260개의 비디오를 포함하는 별도의 "인간 정렬(human alignment)" 세트를 만들었습니다.

결과는 유망했습니다. VideoArgus는 기존의 고정된 체크리스트 방식보다 인간의 판단과 훨씬 더 잘 일치했습니다.

• 높은 일치도: 컴퓨터의 비디오 순위와 인간의 순위를 비교했을 때, VideoArgus는 훨씬 더 강력한 일치도(Spearman 및 Kendall 상관계수로 측정)를 보여주었습니다. 예를 들어, Text-to-Video 작업에서 VideoArgus는 0.496의 상관계수에 도달한 반면, 기존 방식은 0.162에 불과했습니다. 이는 VideoArgus가 인간이 실제로 어떤 비디오를 좋아하는지 파악하는 데 훨씬 더 뛰어났음을 의미합니다.
• 도구의 힘: 특화된 도구(텍스트를 위한 OCR이나 움직임을 위한 트래킹 등)를 사용하는 것이 큰 차이를 만든다는 것을 발견했습니다. 이러한 도구들을 제거하고 일반적인 AI가 추측하게 했을 때 점수는 떨어졌습니다. 이는 적절한 "도구"를 갖추는 것이 정확한 채점에 필수적임을 시사합니다.
• 일관성: 채점 기준을 작성하거나 채점을 수행하는 데 서로 다른 AI 모델을 사용했을 때 결과가 변하는지 테스트했습니다. 비디오 모델들의 순위는 대체로 일정하게 유지되었으며(상관계수 약 0.90에서 0.93 사이), 이는 이 방법이 특정 AI 모델의 완벽함에 의존하지 않는 견고한 방식임을 시사합니다.

똑똑함의 비용

흥미로운 발견 중 하나는 비용에 관한 것이었습니다. 각 비디오에 대한 맞춤형 채점 기준을 작성하는 데는 약간의 컴퓨팅 파워와 비용(비디오당 평균 약 $0.23)이 듭니다. 그러나 이 채점 기준은 한 번 작성되면 동일한 프롬프트를 해결하려는 모든 모델에 대해 재사용되므로 비용이 분산됩니다. 일단 채점 기준이 준비되면, 실제 비디오 채점은 표준 컴퓨터에서 로컬로 수행되므로 대규모 테스트를 수행하기에 효율적입니다.

시사점

VideoArgus는 AI 평가의 미래가 더 크고 일반적인 체크리스트에 있는 것이 아니라, '구체성'에 있다는 것을 시사합니다. 모든 비디오 요청에 대해 맞춤형의 증거 기반 채점 계획을 생성함으로써, 우리는 이러한 AI 모델들이 실제로 무엇을 할 수 있는지에 대해 훨씬 더 명확하고 정직한 그림을 얻을 수 있습니다. 이는 "테스트를 통과했는가?"라는 질문에서 "요청받은 대로 정확히 수행했는가?"라는 질문으로, 그리고 그것을 증거로 입증하는 것으로의 전환입니다. 이러한 접근 방식은 연구자들이 모델의 강점과 약점을 더 깊이 이해하도록 도와, 미래에 더 나은, 더 신뢰할 수 있는 비디오 생성을 위한 길을 열어줍니다.