VQQA: An Agentic Approach for Video Evaluation and Quality Improvement

이 논문은 기존 비디오 생성 모델의 한계를 극복하기 위해, 시각적 질문 생성과 VLM 비판을 '의미적 기울기'로 활용하여 블랙박스 환경에서도 효율적으로 비디오 품질을 개선하는 다중 에이전트 프레임워크 'VQQA'를 제안합니다.

핵심

VQQA: 비디오를 더 잘 만들게 도와주는 '현명한 비서' 팀

이 논문은 인공지능이 동영상을 만들 때 자주 겪는 실수를 스스로 고쳐서 더 멋진 영상을 만들어내는 새로운 방법, VQQA를 소개합니다.

기존의 AI 비디오 생성 기술은 "원하는 대로 만들어줘"라고 말하면 대충 만들어내는 경우가 많았습니다. 하지만 VQQA 는 단순히 영상을 만들어내는 것을 넘어, 만든 영상을 꼼꼼히 검사하고, 문제점을 찾아내어, 다시 더 잘 만들 수 있도록 지시하는 '현명한 비서 팀' 역할을 합니다.

이 과정을 쉽게 이해할 수 있도록 요리사와 미식가의 비유로 설명해 보겠습니다.

---

🎬 1. 문제점: "맛없는 요리를 계속 만들어내는 요리사"

지금까지의 AI 비디오 생성 모델 (요리사) 은 아주 재능이 있지만, 사용자의 복잡한 주문을 완벽하게 이해하지 못하거나 실수를 자주 합니다.

• 예시: "빨간 차가 빠르게 달리는 영상"을 요청했는데, 차가 움직이지 않거나 바퀴가 뒤틀리는 경우가 많습니다.
• 기존 방식의 한계:
  • 수동적인 점수판: 기존 기술은 영상을 만들고 "점수 60 점"이라고만 알려줍니다. "왜 60 점인가? 바퀴가 이상해서야?"라고 구체적으로 말해주지 않아 고쳐야 할 곳을 모릅니다.
  • 무작위 시도: "100 개를 만들어서 그중 가장 좋은 걸 고르는" 방식은 시간이 너무 많이 걸립니다.

🚀 2. VQQA 의 해결책: "질문하는 미식가 팀"

VQQA 는 이 문제를 해결하기 위해 **세 명의 AI 에이전트 (비서)**로 구성된 팀을 꾸립니다. 이 팀은 영상을 만드는 요리사와 함께 일하며, 질문과 답변을 통해 요리를 완벽하게 다듬습니다.

🕵️‍♂️ 1 단계: 질문 생성 (Question Generation) - "무엇을 물어볼까?"

• 역할: 만들어진 영상을 보고, "이 영상에서 가장 중요한 부분이 뭐지?"라고 생각합니다.
• 비유: 미식가가 "오늘 메뉴가 '빨간 차'인데, 차 색깔이 진짜 빨간지, 바퀴가 둥글게 잘 그려졌는지, 차가 실제로 움직이는지"를 확인하기 위해 **체크리스트 (질문)**를 만듭니다.
  • 예시 질문: "차의 바퀴가 0~100 점 중 몇 점 정도로 자연스럽게 움직였나요?"

🔍 2 단계: 질문 답변 (Question Answering) - "실제 점수 매기기"

• 역할: 만든 질문들을 가지고 영상을 다시 꼼꼼히 살펴보고 점수를 매깁니다.
• 비유: 미식가가 체크리스트를 보며 "바퀴가 20 점 (심하게 뒤틀림), 차 색깔은 90 점 (좋음)"이라고 구체적인 피드백을 남깁니다.
• 핵심: 단순히 "나쁘다"가 아니라, **"어디가, 왜 나쁜지"**를 언어로 설명해 줍니다.

📝 3 단계: 프롬프트 수정 (Prompt Refinement) - "요리사에게 수정 지시"

• 역할: 미식가 (질문 답변 에이전트) 가 남긴 구체적인 피드백을 보고, 요리사 (비디오 생성 AI) 에게 "다음엔 이렇게 해봐"라고 **새로운 주문서 (프롬프트)**를 작성합니다.
• 비유: "바퀴가 뒤틀렸으니, '바퀴가 단단하게 고정된'이라는 표현을 추가해 줘"라고 지시합니다.
• 결과: 요리사는 이 지시를 받아 다시 영상을 만듭니다.

---

🔄 3. 왜 이것이 특별한가요? (닫힌 고리 시스템)

이 과정은 한 번만 하는 것이 아니라, 영상이 완벽해질 때까지 반복됩니다.

1. 영상을 만들고 →
2. 질문을 만들어 →
3. 문제를 찾아 →
4. 지시를 내리고 →
5. 다시 영상을 만듭니다.

이때 중요한 것은 의도 (Intent) 를 잃지 않는 것입니다. VQQA 는 마지막 단계에서 **전체적인 감시자 (Global Selection)**가 "이 영상은 원래 사용자가 원했던 '빨간 차'와 가장 잘 맞는가?"를 최종적으로 확인합니다. 만약 세부적인 수정을 하다가 원래 의도에서 너무 멀어지면, 그 영상은 버리고 가장 좋은 것을 선택합니다.

🌟 4. 실제 효과: "몇 번의 시도만으로 완벽하게"

논문 실험 결과, VQQA 는 기존 방식보다 **훨씬 적은 시도 (약 3~4 번)**로 훨씬 더 높은 품질의 영상을 만들었습니다.

• 숫자 세기, 물리 법칙, 복잡한 상호작용 등 기존 AI 가 가장 힘들어하던 부분에서도 큰 개선을 보였습니다.
• 블랙박스 방식: AI 모델의 내부 코드를 건드리지 않고, 오직 **자연어 (말)**만으로 소통하여 어떤 모델이든 적용 가능합니다.

💡 요약

VQQA 는 **"AI 가 영상을 만들면, AI 가 스스로 질문하고 답하며 문제를 찾아내고, 다시 더 잘 만들도록 지시하는 똑똑한 피드백 시스템"**입니다.

마치 요리사에게 "소금이 부족해"라고 말해주면, 요리사가 다시 소금을 넣고 맛을 본 후 완벽하게 완성하는 과정과 같습니다. 이제는 AI 가 만든 동영상을 단순히 기다리는 것이 아니라, AI 와 대화하며 원하는 대로 다듬을 수 있는 시대가 왔습니다.

기술 요약

1. 문제 정의 (Problem)

최근 확산 모델 (Diffusion) 과 트랜스포머 아키텍처의 발전으로 고해상도 비디오 생성 모델이 비약적으로 발전했습니다. 그러나 복잡한 사용자 의도 (User Intent) 와 생성된 비디오 간의 정렬 (Alignment) 을 맞추는 것은 여전히 큰 과제로 남아 있습니다.

• 현재의 한계:
  • 복잡한 오류: 구성 오류 (Compositional errors), 시간적 불일치 (Temporal inconsistencies), 물리적 환각 (Physical hallucinations) 등이 빈번하게 발생합니다.
  • 비효율적인 평가: 기존 평가 지표 (FVD, IS 등) 는 단순한 분포를 측정할 뿐 복잡한 구성 정렬을 파악하지 못하며, 인간이 해석 가능한 실행 가능한 피드백 (Actionable feedback) 을 제공하지 못합니다.
  • 검증 시간 최적화 (Test-time Optimization) 의 제약: 기존 방법론은 계산 비용이 매우 높거나 (예: VISTA 의 페어위즈 토너먼트), 모델 내부 가중치에 대한 화이트박스 (White-box) 접근이 필요합니다. 이는 상용 API 기반의 블랙박스 모델에는 적용하기 어렵습니다.
  • 수동적 피드백: 기존 VLM 기반 평가는 단순히 점수를 매기는 '수동적 관찰자' 역할을 할 뿐, 생성된 비디오의 결함을 수정하기 위한 구체적인 지시나 프롬프트 수정을 제공하지 못합니다.

2. 방법론 (Methodology)

저자들은 VQQA (Video Quality Question Answering) 라는 새로운 멀티 에이전트 프레임워크를 제안합니다. 이는 비디오 평가를 수동적인 벤치마킹에서 동적인 질문 - 답변 (Question-Answering) 패러다임으로 전환하여, 생성된 비디오의 결함을 식별하고 이를 바탕으로 프롬프트를 반복적으로 최적화하는 폐루프 (Closed-loop) 시스템입니다.

핵심 구성 요소 (3 개 전문 에이전트)

1. 질문 생성 (Question Generation, QG) 에이전트:
   • 입력된 비디오, 프롬프트, 조건 (참조 이미지 등) 을 분석합니다.
   • 비디오 - 프롬프트 정렬, 시각적 품질, 조건 충실도 등 3 가지 차원에 맞춰 동적으로 시각적 질문 (Visual Queries) 세트를 생성합니다.
2. 질문 답변 (Question Answering, QA) 에이전트:
   • 생성된 비디오를 위 질문들에 대해 평가합니다.
   • 각 질문에 대해 0~100 점의 정규화된 점수를 부여하고, 비디오의 주요 시각적 결함을 식별하는 진단 맵 (Diagnostic Map) 을 생성합니다.
3. 프롬프트 정제 (Prompt Refinement, PR) 에이전트:
   • QA 에이전트로부터 받은 낮은 점수의 질문 - 답변 쌍 (VLM 비판) 을 시맨틱 그라디언트 (Semantic Gradient) 로 활용합니다.
   • 이를 통해 시각적 결함을 수정할 수 있는 새로운 프롬프트를 생성하여 다음 반복 (Iteration) 에 적용합니다.

추가 메커니즘

• 글로벌 선택 (Global Selection): 반복적인 정제 과정에서 '시맨틱 드리프트 (Semantic Drift, 원래 의도에서 벗어남)'를 방지하기 위해, 최종 후보 비디오들을 원래 프롬프트와 비교하여 전체적인 정렬 점수 (Global Score) 를 매기는 VLM 평가자를 도입합니다. 최적의 비디오를 선택합니다.
• 수렴 기준 (Convergence Criterion): 목표 품질 달성 또는 일정 기간 동안 점수 향상이 없을 때 (Patience) 반복을 자동으로 종료하여 계산 비용을 최소화합니다.
• 블랙박스 최적화: 모델 가중치 접근 없이 자연어 인터페이스를 통해만 작동하므로, 오픈웨이트 및 상용 (Proprietary) 모델 모두에 적용 가능합니다.

3. 주요 기여 (Key Contributions)

1. 동적 평가에서 실행 가능한 피드백으로의 전환: 비디오 평가를 정적인 벤치마킹에서 동적인 질문 - 답변 기반의 폐루프 정제 프로세스로 변환했습니다.
2. 검증 시간 스케일링의 공식화: 비디오 생성을 이산적인 텍스트 기반 최적화 문제로 공식화했습니다. VLM 비판을 시맨틱 그라디언트로 활용하고, 글로벌 선택 및 동적 정지 메커니즘을 통해 모델 가중치 접근 없이 시각적 결함을 반복적으로 수정합니다.
3. 광범위한 실험적 검증: T2V-CompBench 와 VBench2 등 주요 벤치마크에서 기존 최첨단 (SOTA) 프롬프트 최적화 및 샘플링 기법들을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

논문은 T2V(텍스트 - 비디오) 및 I2V(이미지 - 비디오) 작업에서 VQQA 의 우수성을 입증했습니다.

• T2V-CompBench (CogVideoX-5B 기준):
  • VQQA (Gemini-3-Pro 사용) 는 **평균 점수 53.46%**를 기록하여, 기본 생성 (Vanilla) 대비 +11.57%p의 절대적 개선을 달성했습니다.
  • 기존 최강 베이스라인 (VQAScore) 보다 +4.76%p 더 높은 성능을 보였습니다.
  • 특히 일관된 속성 (Consist-attr), 공간 이해 (Spatial), 수치 능력 (Numeracy) 분야에서 큰 향상을 보였습니다.
• VBench2 (인간 충실도 및 물리 법칙 평가):
  • VQQA 는 총점 **50.41%**를 기록하여 기본 생성 대비 +8.43%p 향상되었으며, 기존 SOTA 기법들을 능가했습니다.
• VBench-I2V (이미지 - 비디오):
  • 고도로 포화된 벤치마크에서도 VQQA 는 모든 평가 항목에서 최고 성능을 보였으며, 평균 1.6 회의 반복만으로 수렴하여 높은 효율성을 입증했습니다.
• 모델 무관성 (Model Agnostic):
  • 오픈소스 모델 (CogVideoX) 뿐만 아니라 Google 의 상용 모델 (Veo 3.1) 에도 적용되어 동일한 성능 향상을 보여주었습니다.

5. 의의 및 결론 (Significance)

VQQA 는 비디오 생성 분야에서 다음과 같은 중요한 의의를 가집니다:

• 블랙박스 최적화의 실현: 모델 내부 구조를 알 필요 없이 자연어 인터페이스만으로 고품질 비디오 생성을 가능하게 하여, 상용 API 기반 생성 모델의 활용도를 극대화합니다.
• 해석 가능성과 제어 가능성: 단순한 점수 매기기를 넘어, "무엇이 잘못되었는지"에 대한 구체적인 질문과 답변을 통해 사용자가 생성 과정을 이해하고 제어할 수 있게 합니다.
• 효율성: 무작위 샘플링 (Best-of-N) 이나 화이트박스 기반의 그라디언트 업데이트보다 적은 계산 비용으로 더 빠르고 정확한 수렴을 달성합니다.

결론적으로, VQQA 는 복잡한 인간 의도와 비디오 생성 모델 간의 간극을 해소하기 위한 확장 가능하고 작업에 구애받지 않는 (Task-agnostic) 솔루션을 제공하며, 더 통제 가능하고 해석 가능한 AI 기반 콘텐츠 생성의 새로운 방향성을 제시합니다.