당신이 로봇에게 영화를 보고 리뷰를 쓰는 법을 가르치려 한다고 상상해 보세요. 인공지능의 세계에서 이 작업은 "비디오 캡셔닝(video captioning)"이라고 불립니다. 오랫동안 똑똑한 로봇들(멀티모달 거대 언어 모델, 즉 MLLM이라 불리는)은 이 분야에서 점점 더 발전해 왔지만, 그들에게는 비밀스러운 약점이 하나 있습니다. 그들은 마치 토끼를 모자에서 꺼내 보여주기만 할 뿐, 어떻게 꺼냈는지는 보여주지 않는 마술사와 같습니다. 그들은 영상을 보고 즉시 "개가 들판을 가로질러 달린다"와 같은 문장을 내뱉습니다. 하지만 그들은 자신의 과정을 보여주지 않습니다. 어떤 개인지, 정확히 어디에서 달리고 있었는지, 혹은 언제 시작해서 언제 끝났는지 말해주지 않습니다. 만약 로봇이 실수를 해서(예를 들어, 개가 뒤로 달리고 있다고 생각한다면), 그 오류는 최종 문장 속에 숨겨져 버리기 때문에 수정하기가 매우 어렵습니다. 과학자들이 이 문제를 중요하게 여기는 이유는, 우리가 로봇이 세상을 진정으로 이해하기를 원한다면, 그들이 무엇을 말하는지가 아니라 '어떻게' 보는지 알아야 하기 때문입니다.

여기에 비디오 로봇을 위한 탐정 역할을 하는 새로운 프레임워크인 PercepCap이 등장했습니다. PercepCap은 로봇이 바로 최종 리뷰를 작성하게 두는 대신, 먼저 "탐정 노트"를 작성하도록 강제합니다. 최종 캡션을 쓰기 전에, 로봇은 반드시 자신이 찾아낸 단서들을 명시적으로 나열해야 합니다: "나는 왼쪽에서 오른쪽으로 이동하는 개(ID: 123)를 2초에서 5초 사이에 보았다." 이 "인지 후 묘사(perceive-then-describe)" 체인은 로봇의 사고 과정을 가시적으로 만듭니다. 연구진은 로봇에게 시공간적 증거(사물이 어디에 있고 언제 발생하는지)를 먼저 보여주도록 강제함으로써, 최종 설명이 훨씬 더 정확하고 상세해진다는 것을 발견했습니다. 그들은 단순히 이것이 작동할 것이라고 추측한 것이 아니라, 특수한 2단계 프로세스를 사용하여 모델을 훈련시켰으며, 여러 까다로운 벤치마크에서 테스트하여 이 "과정을 보여주는" 방식이 기존의 "그냥 답을 맞히는" 방식보다 일관되게 우수함을 입증했습니다.

탐정의 노트: PercepCap의 작동 원리

기존의 비디오 캡셔닝 방식이 학생이 정답만 답안지에 적어야 하는 시험을 치르는 것과 같다고 생각해 보세요. 만약 학생이 틀린 답을 적었다면, 선생님은 학생이 문제를 잘못 읽었는지, 사실을 잊어버렸는지, 아니면 그냥 찍었는지 알 방법이 없습니다. 새로운 방식인 PercepCap은 그 학생에게 연습장(scratchpad)을 주는 것과 같습니다.

"인지(Perceive)" 단계 (연습장)
먼저, 로봇은 영상을 시청하며 구조화된 "탐정 노트"를 채웁니다. 이것은 단순한 무작위 목록이 아닙니다. 다음 두 가지에 대한 엄격하고 조직적인 기록입니다:

1. 객체 궤적(Object Trajectories): 특정 객체(사람이나 자동차 등)를 추적하고, 서로 다른 시간대에 화면의 정확히 어디에 있는지 기록합니다.
2. 시간적 이벤트(Temporal Events): 특정 행동이 언제 발생하는지 기록하며, 정확한 시작 시간과 종료 시간을 표시합니다.

"묘사(Describe)" 단계 (최종 보고서)
노트가 다 채워진 후에야 로봇은 최종 캡션을 작성합니다. 로봇은 연습장의 노트를 가이드로 사용합니다. 로봇이 이미 사물을 식별하고 시간을 파악하는 힘든 작업을 마쳤기 때문에, 최종 이야기는 환각(hallucination)이나 누락된 세부 사항이 포함될 가능성이 훨씬 낮습니다.

비법: 로봇을 가르치는 방법

여러분은 "이전에 노트를 써본 적도 없는 로봇이 이 노트를 어떻게 배웠을까?"라고 궁금해할 수 있습니다. 연구진은 **캡션 기반 인지 데이터 구축(Caption-Anchored Perception Data Construction)**이라 부르는 영리한 데이터 생성 방법을 고안해 냈습니다.

인간 전문가가 쓴 완벽한 영화 리뷰가 있지만, 거기에는 타임스탬프나 위치 태그가 없다고 가정해 봅시다. 연구진은 이 리뷰를 가져와서 아주 똑똑한 AI에게 다시 한번 영화를 보게 했습니다. 이번에는 리뷰에 언급된 것들을 구체적으로 찾으라는 지시와 함께 말이죠.

1. 앵커(Anchor): 연구진은 최종 캡션(앵커)에서 시작했습니다.
2. 추출(Extract): 리뷰에 언급된 객체와 이벤트의 이름을 뽑아냈습니다.
3. 근거 제시(Ground): AI가 해당 특정 요소들이 정확히 어디서 그리고 언제 일어났는지 찾도록 영상을 다시 보게 하여, 그 주변에 박스를 치고 타임스탬프를 추가하게 했습니다.

이를 통해 최종 캡션과 "탐정 노트"가 완벽하게 일치하는 완벽한 훈련 세트가 만들어졌습니다.

2단계 훈련 캠프

로봇에게 이 새로운 사고 방식을 가르치기 위해, 연구진은 두 단계의 훈련 전략을 사용했습니다.

1. 1단계: 지도 미세 조정 (규칙 배우기 단계)
   연구진은 수천 개의 완벽한 예시(캡션 + 일치하는 노트)를 로봇에게 보여주며 이 과정을 모방하도록 가르쳤습니다. 로봇은 다음과 같이 학습했습니다: "먼저 단서를 나열해야 한다. 그다음 이야기를 쓴다." 이를 **인지-묘사 지도 미세 조정(PD-SFT)**이라고 합니다.

2. 2단계: 강화 학습 (금메달 따기 단계)
   단순히 복사하는 것만으로는 부족합니다. 로봇은 더 나아져야 합니다. 여기서 연구진은 **인지 기반 강화 학습(PG-RL)**이라는 방법을 사용했습니다. 선생님이 로봇의 과제를 두 가지 별도 카테고리로 채점한다고 상상해 보세요:

• 노트: 객체를 제대로 추적했는가? 시작과 종료 시간을 정확히 맞췄는가?
• 이야기: 최종 캡션이 정확하고 완전한가?

로봇은 이 두 가지 모두에 따라 "점수"를 받습니다. 만약 로봇이 훌륭한 이야기를 썼더라도 노트에서 핵심 객체를 놓쳤다면 낮은 점수를 받게 됩니다. 이는 로봇이 단순히 문장의 흐로가 아니라, 인지의 품질에도 신경을 쓰도록 강제합니다.

결과: 실제로 효과가 있는가?

연구진은 DREAM-1K, CaReBench, ShortVidBench, MotionBench를 포함한 여러 까다로운 비디오 이해 챌린지에서 PercepCap을 테스트했습니다. 그들은 이 새로운 모델을 캡션을 직접 작성하는 강력한 기존 모델인 Qwen3-VL 베이스라인과 비교했습니다.

결과는 명확했습니다. PercepCap은 일관되게 베이스라인보다 우수한 성능을 보였습니다.

• DREAM-1K에서, PercepCap은 F1 점수 33.9를 기록하여 베이스라인의 29.1보다 높은 성적을 냈습니다. 이는 가짜 정보를 만들어내지 않고 올바른 세부 사항을 포착하는 데 더 뛰어났음을 의미합니다.
• CaReBench에서는 행동과 객체를 식별하는 정확도가 크게 향상되었습니다.
• ShortVidBench와 MotionBench에서도, 즉 캡션이 영상에 대한 질문에 얼마나 잘 답하는지를 테스트하는 환경에서도 PercepCap은 더 높은 점수를 기록했습니다 (예: 베이스라인의 72.8% 대비 **76.1%**의 정확도).

왜 중요한가 (그리고 아직 할 수 없는 것)

핵심적인 결론은, 로봇이 말을 하기 전에 "자신의 과정을 보여주도록" 만드는 것이 로봇을 더 똑똑하고 신뢰할 수 있게 만든다는 것입니다. 보는 것(인지)과 말하는 것(캡셔닝)을 분리함으로써, 연구진은 디버깅이 쉽고 속이기 어려운 시스템을 만들었습니다.

하지만 논문은 한계점에 대해서도 솔직하게 밝히고 있습니다. 훈련 데이터가 AI(캡션 기반 방식)에 의해 생성되었기 때문에, 초기 AI가 노트 작성에서 실수를 했다면 그 실수가 로봇에게 그대로 전달될 수 있습니다. 또한, 로봇이 최종 문장을 쓰기 전에 긴 목록의 노트를 먼저 작성해야 하므로 이 방식은 더 많은 시간과 컴퓨터 자원을 소모합니다. 그러나 영상 AI가 단순히 추측하는 것이 아니라 사건의 타임라인과 위치를 실제로 이해하기를 원하는 사람들에게, PercepCap은 매우 유망한 새로운 방향을 제시합니다.