VisionCoach: Reinforcing Grounded Video Reasoning via Visual-Perception Prompting

이 논문은 강화 학습 중 시각적 프롬프트를 활용하여 질문 관련 증거를 증폭시키고 방해 요소를 억제함으로써 시공간적 근거를 강화한 후, 자기 증류 기법을 통해 추론 시 외부 도구 없이도 이러한 능력을 내재화하는 'VisionCoach' 프레임워크를 제안합니다.

핵심

비전코치 (VISIONCOACH): 비디오를 보고 문제를 풀 때 '눈'을 뜨게 해주는 새로운 방법

이 논문은 인공지능 (AI) 이 동영상을 보고 질문에 답할 때, 실제 화면을 제대로 보고 답하는 능력을 기르는 새로운 방법을 소개합니다.

기존의 AI 는 동영상을 볼 때 마치 "눈을 감고 상상"하는 것처럼, 화면에 없는 것을 만들어내거나 (할루시네이션), 중요한 순간을 놓치는 경우가 많았습니다. 이 문제를 해결하기 위해 제안된 **'비전코치 (VISIONCOACH)'**는 마치 유능한 코치가 학생을 가르치는 과정과 비슷합니다.

---

1. 문제: AI 가 "눈을 감고" 추측하는 이유

기존의 AI 모델은 동영상을 볼 때 다음과 같은 실수를 자주 합니다:

• 할루시네이션 (환각): 화면에 없는 물체를 본 것처럼 말함.
• 시간/공간 감각 결여: "헬리콥터가 지나간 후"라는 질문을 받았을 때, 헬리콥터가 언제 지나갔는지, 그 뒤에 어떤 차가 나타났는지 정확히 위치를 못 찾음.
• 도구 의존: 정확한 답을 찾으려면 매번 "화면을 확대해라", "특정 구간만 잘라라" 같은 외부 도구를 호출해야 해서 속도가 느리고 비쌈.

2. 해결책: 비전코치 (VISIONCOACH) 의 등장

이 연구팀은 AI 가 스스로 배우는 과정에서 **시각적 힌트 (Visual Prompt)**를 주는 '코치'를 도입했습니다. 이 과정은 크게 두 단계로 나뉩니다.

🎓 1 단계: 코치가 도와주는 훈련 시간 (Training)

훈련 중에는 AI 가 어려운 문제를 만났을 때, **비전코치 (VP-Selector)**가 나서서 적절한 시각적 힌트를 줍니다.

• 상황: AI 가 "헬리콥터가 지나간 후"라는 질문을 못 풀고 헤매고 있습니다.
• 코치의 개입: 코치는 "이 부분은 헬리콥터가 있는 구간을 어둡게 (Darken) 처리해서 눈에 띄게 해줄게" 혹은 "이 물체를 **빨간 동그라미 (Red Circle)**로 표시해줄게"라고 말합니다.
• 효과: AI 는 이 힌트를 통해 화면에서 중요한 부분 (헬리콥터) 에 집중하고, 그 뒤에 나타나는 차를 정확히 찾아냅니다.
• 핵심: 모든 문제에 힌트를 주는 게 아니라, AI 가 헷갈려하는 '어려운 문제'에만 코치가 개입합니다.

🧠 2 단계: 스스로 체화하는 과정 (Self-Distillation)

이게 가장 중요한 부분입니다. 코치가 도와주면 AI 가 더 잘 풀지만, 실제 시험 (추론) 시간에는 코치가 없어도 똑같이 잘 풀어야 합니다.

• 비유: 축구 코치가 선수에게 "공을 차고 나면 저쪽 골대를 봐"라고 가르쳐 줍니다. 선수 (AI) 는 이 훈련을 통해 코치 없이도 저쪽 골대를 보는 습관 (본능) 을 몸에 익힙니다.
• 결과: 훈련이 끝난 AI 는 더 이상 코치 (시각적 힌트) 가 없어도, 원본 동영상만 보고도 정확한 장소를 찾아내고 답을 할 수 있게 됩니다.

3. 새로운 규칙: "정체성"을 지키는 점수제

이 연구는 AI 가 점수를 받을 때 새로운 규칙을 만들었습니다.

• 이전 방식: "물체 하나만 찾으면 점수 줌." (예: 헬리콥터만 찾으면 됨)
• 새로운 방식 (객체 인식 보상): "찾은 물체가 정말 그 물체인지 확인하고, 여러 물체를 다 찾아야 점수 줌."
  • 예: "헬리콥터"를 찾았는데, AI 가 "비행기"라고 잘못 말하면 감점.
  • 예: 헬리콥터 하나만 찾는 게 아니라, 헬리콥터 뒤에 나타난 '검은색 차'까지 모두 정확히 위치를 잡아야 합니다.
    이 규칙 덕분에 AI 는 화면의 물체들을 더 정확하게 식별하고 기억하게 됩니다.

4. 왜 이 방법이 특별한가요?

1. 빠르고 가볍습니다: 훈련 때는 코치가 도와주지만, 실제 사용 (추론) 때는 코치 없이 한 번에 답을 냅니다. 외부 도구를 부르는 번거로움이 없습니다.
2. 정확도가 압도적입니다: 다양한 벤치마크 (V-STAR, VideoMME 등) 에서 기존 최고의 모델들보다 훨씬 높은 점수를 기록했습니다. 특히 "언제 (When)"와 "어디 (Where)"를 찾는 능력에서 크게 향상되었습니다.
3. 적응형 학습: 모든 문제에 같은 힌트를 주는 게 아니라, AI 가 헷갈리는 문제에만 딱 맞는 힌트를 골라줍니다.

📝 요약: 한 문장으로 설명하면?

"비전코치"는 AI 가 동영상을 볼 때 헷갈리는 순간, 코치가 "여기 봐!"라고 손가락으로 가리켜주며 훈련시키고, AI 가 그 경험을 몸으로 익혀서 나중에 코치 없이도 스스로 정확한 답을 찾아내게 만든 기술입니다.

이 기술은 AI 가 단순히 텍스트를 외우는 게 아니라, 실제 눈으로 보고 이해하는 능력을 키우는 데 큰 진전을 이루었습니다.

기술 요약

VISIONCOACH: 시각적 지각 프롬프팅을 통한 지상화된 비디오 추론 강화

이 논문은 비디오 추론 (Video Reasoning) 작업에서 모델이 프레임 간에 질문과 관련된 증거를 정확하게 위치시키고 추적하는 '지상화 (Grounding)' 능력을 향상시키기 위해 제안된 VISIONCOACH라는 새로운 프레임워크를 소개합니다.

1. 문제 정의 (Problem)

기존의 비디오 추론 모델들은 다음과 같은 한계를 가지고 있습니다:

• 불완전한 지상화: 강화 학습 (RL) 을 통해 정확도는 개선되었으나, 추론 과정에서 공간적 (Spatial) 및 시간적 (Temporal) 지상화가 신뢰할 수 없었습니다.
• 할루시네이션: 텍스트 중심의 모델들은 시각적 관찰보다는 언어적 선입견 (Language Priors) 에 의존하여 사실과 다른 설명을 생성하는 경우가 많았습니다.
• 추론 비용 증가: 지상화를 개선하기 위해 외부 시각 도구 (예: 비디오 자르기, 확대 등) 를 호출하거나 대규모 학습 데이터를 필요로 하는 기존 방법들은 추론 시 계산 오버헤드를 증가시키거나 주석 비용이 많이 듭니다.

2. 방법론 (Methodology)

VISIONCOACH 는 입력 적응형 강화 학습 (Input-adaptive RL) 프레임워크로, 학습 단계에서만 시각적 프롬프팅 (Visual Prompting) 을 사용하여 모델을 훈련시키고, 추론 단계에서는 프롬프팅 없이 원본 비디오만으로 추론할 수 있도록 자기 증류 (Self-distillation) 기법을 적용합니다.

핵심 구성 요소

1. 시각 프롬프팅 선택기 (Visual Prompt Selector, VP-SELECTOR):

   • 입력된 비디오와 질문에 기반하여 가장 적합한 시각적 프롬프팅 유형 (예: 관심 영역 강조, 어둡게 만들기, 프레임 번호 표시 등) 을 예측합니다.
   • 프롬프팅 후보군을 생성하고, 프록시 추론기 (Proxy Reasoner) 를 통해 각 프롬프팅의 효과를 평가하여 최적의 프롬프팅을 선택하는 데이터셋을 구축한 후, 소형 VLM 을 통해 학습됩니다.

2. 공간 - 시간 추론기 (Spatio-Temporal Reasoner, ST-REASONER):

   • 강화 학습 (RL): VP-SELECTOR 가 선택한 시각적 프롬프팅이 적용된 '어려운 샘플 (Hard Samples)'에 대해 RL 을 수행합니다.
   • 지상화 인식 보상 (Grounding-aware Rewards): 단순한 정답 정확도뿐만 아니라, **객체 식별 일관성 (Object Identity Consistency)**과 다중 영역 바운딩 박스 IoU를 고려한 새로운 공간 지상화 보상을 도입했습니다. 이는 모델이 여러 객체를 정확하게 식별하고 위치하도록 유도합니다.
   • 자기 증류 (Self-Distillation): 시각적 프롬프팅이 적용된 입력으로 생성된 고품질 추론 경로 (높은 보상을 받은 경로) 를 사용하여, 프롬프팅이 없는 원본 입력에 대한 추론 능력을 모델 내부에 학습시킵니다. 이를 통해 추론 시 외부 도구나 프롬프팅 없이도 향상된 지상화 능력을 발휘합니다.

학습 프로세스

1. 초기 RL 로울아웃 (Rollout) 을 수행하여 평균 보상을 계산하고, 임계값 이하인 '어려운 샘플'을 식별합니다.
2. VP-SELECTOR 가 해당 샘플에 최적의 시각적 프롬프팅을 적용합니다.
3. 프롬프팅이 적용된 입력으로 다시 추론을 수행하고 보상을 계산합니다.
4. 보상이 향상된 경우, 해당 추론 경로를 타겟으로 자기 증류 손실 (Self-distillation loss) 을 추가하여 정책을 업데이트합니다.

3. 주요 기여 (Key Contributions)

• 학습 시 시각적 프롬프팅과 자기 증류 기반 RL 프레임워크: 추론 시 외부 도구가 필요 없으면서도, 학습 단계에서 적응형 시각적 프롬프팅을 통해 지상화 능력을 내부화 (Internalize) 하는 새로운 접근법을 제안했습니다.
• 객체 인식 공간 지상화 보상: 객체 일관성과 다중 영역 IoU 를 통합한 새로운 보상 함수를 설계하여, 단일 객체뿐만 아니라 복잡한 다중 객체 추론의 정확도를 높였습니다.
• 프롬프팅 선택기 및 데이터 구축 파이프라인: 프록시 추론기를 활용하여 비디오 QA 입력에 적합한 시각적 프롬프팅을 예측하는 선택기 (VP-SELECTOR) 와 이를 학습하기 위한 데이터 구축 방법을 제시했습니다.
• 광범위한 실험 및 SOTA 성능: 다양한 벤치마크에서 기존 모델들을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

VISIONCOACH 는 다음과 같은 벤치마크에서 State-of-the-Art (SOTA) 성능을 달성했습니다:

• V-STAR (시공간 추론 벤치마크): Qwen2.5-VL-7B 대비 mAM(평균 정확도) +15.0%p, mLGM(로그 기하평균) +25.1%p 향상. GPT-4o 보다도 높은 성능을 기록했습니다.
• 일반 비디오 이해 (VideoMME, WorldSense, VideoMMMU, PerceptionTest): 기존 오픈소스 VideoLLM 들과 툴 호출 기반 모델들보다 일관되게 우수한 성능을 보였으며, 특히 지각 중심 (Perception-oriented) 태스크에서 큰 향상을 보였습니다.
• 시간적 지상화 (Charades-STA): 기존 시간적 지상화 전문 모델들보다 높은 정확도를 달성했습니다.
• 효율성: 추론 시 외부 도구를 사용하지 않고 단일 순전파 (Single Forward Pass) 만으로 실행되므로, 툴 호출 기반 모델에 비해 추론 지연 시간 (Latency) 이 현저히 낮습니다.

5. 의의 및 결론 (Significance)

VISIONCOACH 는 비디오 추론 분야에서 **학습 단계의 지시 (Guidance)**를 통해 모델의 내재적 지각 능력을 강화하고, 이를 자기 증류를 통해 추론 단계의 효율성과 일관성을 유지하는 새로운 패러다임을 제시합니다.

• 비용 효율성: 대규모 주석 데이터나 추론 시의 무거운 외부 도구 없이도 높은 수준의 지상화 능력을 달성할 수 있습니다.
• 신뢰성: 할루시네이션을 줄이고 시각적 증거에 기반한 신뢰할 수 있는 추론을 가능하게 합니다.
• 확장성: 제안된 방법론은 다양한 비디오 이해 및 추론 작업에 적용 가능하며, 향후 더 복잡한 비디오 모델 학습에 중요한 기초를 제공합니다.

결론적으로, VISIONCOACH 는 시각적 프롬프팅을 학습 가이드로 활용하고 이를 모델 내부에 내재화함으로써, 효율적이면서도 정확한 비디오 추론을 실현한 획기적인 연구입니다.