당신이 초지능형 로봇에게 영화를 보고 질문에 답하는 법을 가르치려 한다고 상상해 보세요. 이 로봇은 '멀티모달 거대 언어 모델(Multimodal Large Language Model, 줄여서 MLLM)'로 알려져 있으며, 이미지와 텍스트를 이해하는 데 매우 뛰어난 재능을 가지고 있습니다. 하지만 문제가 하나 있습니다. 영화는 매우 길며, 로봇의 "단기 기억"에는 한계가 있다는 점입니다. 만약 로봇에게 2시간짜리 영화 전체를 프레임 단위로 입력한다면, 로봇은 과부하가 걸려 중요한 부분을 잊어버리고, 정적인 벽을 천천히 훑는 지루하고 반복적인 장면을 처리하는 데 엄청난 에너지를 낭비하게 될 것입니다. 이를 해결하기 위해 과학자들은 로봇이 더 나은 편집자가 되어, 가장 중요한 순간만을 골라 보도록 가르치려 노력해 왔습니다. 하지만 기존의 편집 방식은 마치 딱딱하게 정해진 대본을 사용하는 것과 같았습니다. 외부 도구에 의존하여 무엇이 흥미로운지 추측하게 함으로써, 로봇이 미스터리를 풀기 위해 실제로 필요로 하는 미묘한 단서들을 놓치는 경우가 많았습니다.

여기서 EviSelect라는 새로운 접근 방식이 등장합니다. EviSelect를 경직된 편집자가 아니라, 로봇의 마음을 읽는 데 능숙한 호기심 많은 탐정이라고 생각해 보세요. 외부 전문가에게 무엇을 볼지 묻는 대신, EviSelect는 로봇의 내부 "어텐션 맵(attention maps)"—즉, 로봇의 뇌가 자연스럽게 집중하고 있는 부분들을 보여주는 히트맵—을 훔쳐봅니다. "희소 프리필링(sparse prefilling)"이라는 영리한 기술(전체 영화의 전반적인 분위기를 파악하기 위해 저해상도 스냅샷을 빠르게 찍는 것과 같은 방식)을 사용하여, EviSelect는 정확히 어디에서 액션이 일어나는지, 움직임이 얼마나 빠른지, 그리고 얼마나 많은 디테일이 필요한지를 파악합니다. 그런 다음 가벼운 "셀렉터(selector)"가 학습하여 모든 영상의 순간마다 세 가지 스마트한 결정을 내리도록 가르칩니다: 이 장면을 유지할 것인가? 여기에 몇 개의 프레임을 보여줄 것인가? 그리고 화질은 얼마나 선명해야 하는가?

그 결과는 마법처럼 효율적입니다. 세 가지 서로 다른 롱 비디오 챌린지 테스트에서, EviSelect는 기존 방식만큼 혹은 그보다 더 잘 질문에 답하면서도, 약 50% 적은 시각적 토큰(영상의 디지털 구성 요소)을 사용했습니다. 이 엄청난 데이터 감소는 단순히 메모리를 절약했을 뿐만 아니라, 전체 과정을 3.9배 더 빠르게 만들었습니다. 이 논문은 로봇 자신의 내부 증거가 선택을 안내하도록 함으로써, 외부의 추측이나 경직된 규칙에 의존하는 대신, 훨씬 더 똑똑하면서도 놀라울 정도로 효율적인 비디오 이해 시스템을 구축할 수 있다고 제안합니다.

문제점: "정보 과잉"의 병목 현상

긴 영상은 현재 AI에게 악몽과 같습니다. 로봇에게 30분짜리 영상을 보고 질문에 답하라고 하면, 로봇은 딜레마에 빠집니다. 모든 것을 기억할 수는 없기에 "키프레임(keyframes)", 즉 가장 중요한 순간들을 골라내려 노력합니다. 하지만 키프레임을 고르는 기존 방식들은 결함이 있었습니다. 그것들은 마치 음악이 얼마나 큰지나 색상이 얼마나 밝은지에 따라서만 장면을 자르는 영화 편집자와 같아서, 실제 스토리는 무시했습니다. 이러한 방식들은 외부 도구(예: 유사도를 점수 매기는 별도의 AI)를 사용하여 무엇을 남길지 결정했습니다. 문제는 무엇일까요? 그 외부 도구는 메인 로봇이 무엇을 생각하고 있는지 모른다는 것입니다. 그 도구는 화려한 폭발 장면을 강조할 수도 있지만, 정작 로봇이 퍼즐을 풀기 위해 필요했던 것은 조용한 대화 장면이었을 수도 있습니다.

또한, 이러한 기존 방식들은 "경직되어" 있었습니다. 모든 영상을 동일하게 취급하여, 고정된 수의 프레임을 고정된 크기로 선택했습니다. 이는 마치 문장이 단순하든 복잡하든 상관없이 단어 사이의 공백까지 포함하여 책의 모든 글자를 하나하나 읽으려는 것과 같습니다. 이는 지루한 부분에 에너지를 낭비하고, 흥미진진한 부분의 뉘앙스는 놓치게 만듭니다.

해결책: 로봇의 마음을 읽다

이 논문의 저자인 장보(Bo Zhang)와 그의 팀은 EviSelect라는 새로운 프레임워크를 제안했습니다. EviSelect는 로봇에게 무엇이 필요한지 추측하는 대신, 로봇에게 직접 묻습니다.

작동 방식은 다음과 같습니다:

1. "희소 프리필링(Sparse Prefill)" 기술: 로봇이 전체 영상을 보기 전에, EviSelect는 영화의 아주 작고 압축된 버전을 제공합니다. 이는 로봇에게 영화 전체의 빠르고 흐릿한 썸네일들을 보여주는 것과 같습니다. 이 과정은 비용이 저렴하고 빠릅니다.
2. "어텐션(Attention)" 단서: 영상이 흐릿하고 짧더라도, 로봇의 뇌는 여전히 특정 영역에서 빛을 발합니다. EviSelect는 이러한 "어텐션 맵"을 포착합니다. 그리고 이를 세 가지 유형의 단서로 분류합니다:
   • 관련성(Relevance): 이 순간이 질문과 일치하는가?
   • 시간(Time): 이 순간이 앞뒤의 순간들과 어떻게 연결되는가?
   • 공간(Space): 이곳에 많은 디테일이 필요한가, 아니면 단순한 배경인가?
3. 스마트 셀렉터(Smart Selector): 작고 가벼운 AI인 "셀렉터"는 이러한 단서들을 살펴보고 영상의 각 타임스탬프마다 세 가지 동적인 결정을 내립니다:
   • 유지 또는 삭제(Keep or Drop): 이 초를 아예 봐야 하는가?
   • 샘플링 비율(Sampling Rate): 만약 본다면, 초당 1프레임, 4프레임, 혹은 8프레임이 필요한가? (빠른 액션에는 더 많은 프레임이 필요하고, 느린 장면에는 더 적은 프레임이 필요합니다.)
   • 해상도(Resolution): 4K 화질이 필요한가, 아니면 낮은 해상도의 스케치 정도면 충분한가? (선명한 얼굴에는 고해상도가 필요하지만, 어두운 복도는 그렇지 않을 수 있습니다.)

학습: "그룹 비교"를 통한 학습

로봇에게 어떻게 초 단위의 편집 결정을 내리도록 가르칠 수 있을까요? 저자들은 GRPO(Group Relative Policy Optimization)라는 기술을 사용했습니다. 로봇이 한 번에 여덟 가지 방식으로 영상을 편집하도록 하는 게임 쇼를 상상해 보세요. 그 후 시스템은 어떤 버전이 정답을 맞혔는지 확인합니다. 만약 어떤 버전이 정답을 맞혔으면서 동시에 더 적은 픽셀을 사용했다면, 큰 보상을 받습니다. 만약 정답은 맞혔지만 너무 많은 픽셀을 사용했다면, 작은 보상을 받습니다. 만약 오답을 냈다면, 아무리 효율적이었더라도 보상을 받지 못합니다.

이 "그룹 비교"는 로봇이 최적의 균형을 찾도록 가르칩니다: 즉, 최소한의 시각적 데이터를 사용하면서도 정답을 맞히는 것입니다.

결과: 더 빠르고, 더 똑똑하며, 더 가볍게

저자들은 MLVU, LongVideoBench, Video-MME라는 세 가지 주요 벤치마크에서 EviSelect를 테스트했습니다. 이들은 영화, 감시 영상, 복잡한 서사를 다루는 롱 비디오 이해 분야의 "올림픽"과 같습니다.

결과는 인상적이었습니다:

• 정확도: EviSelect는 TSPO 및 Q-Frame과 같은 기존 방식들을 능가하며 최고 수준(state-of-the-art)의 성능을 달성했습니다. 예를 들어, Video-MME 벤치마크에서 이전 최고 기록보다 정확도를 1.9% 향상시켰습니다.
• 효율성: EviSelect는 평균적으로 1,701개의 시각적 토큰만을 사용한 반면, 기존의 최고 방식들은 약 3,360개를 사용했습니다. 이는 데이터의 49% 감소를 의미합니다.
• 속도: 처리하는 데이터가 적기 때문에, 엔드 투 엔드(end-to-end) 시간은 거의 10초에서 단 2.55초로 줄어들었습니다. 이는 3.9배의 속도 향상입니다.

이것이 의미하는 바 (그리고 의미하지 않는 것)

이 논문은 긴 영상을 이해하는 핵심은 단순히 더 많은 컴퓨팅 파워를 문제에 쏟아붓는 것이 아니라, 무엇을 볼 것인지에 대해 더 똑똑해지는 것이라고 제안합니다. 로봇 자신의 내부 "증거"를 사용함으로써, EviSelect는 각 영상의 독특한 리듬에 적응합니다.

하지만 저자들은 한계점도 명시했습니다. EviSelect는 특정 로봇의 내부 어텐션으로부터 학습하기 때문에, 재학습 없이 완전히 다른 유형의 로봇에 적용하면 완벽하게 작동하지 않을 수 있습니다. 또한, 이 방법은 로봇의 내부 "뇌"(어텐션 맵)에 대한 접근 권한을 필요로 하므로, 이러한 정보가 숨겨진 폐쇄형 "블랙박스" 모델에는 사용할 수 없습니다.

요약하자면, EviSelect는 무엇이 중요한지에 대한 AI 자신의 본능을 믿도록 가르친다면, 절반의 노력으로 네 배나 빠른 속도로 영화를 보고 단서를 찾아 미스터리를 풀 수 있다는 것을 증명합니다.