OSCBench: Benchmarking Object State Change in Text-to-Video Generation

이 논문은 텍스트 기반 비디오 생성 모델의 객체 상태 변화 (OSC) 능력을 평가하기 위해 요리 데이터를 기반으로 한 새로운 벤치마크인 OSCBench 를 제안하고, 기존 모델들이 의미적 정합성은 우수하지만 새로운 및 복합적인 상황에서의 객체 상태 변화 구현에는 여전히 한계가 있음을 밝힙니다.

핵심

1. 왜 이 연구를 했을까요? (배경)

지금까지 AI 영상 생성 기술은 정말 놀라워졌습니다. "해변을 걷는 강아지"라고 입력하면, 강아지가 해변을 걷는 멋진 영상을 만들어냅니다. 하지만 기존 시험지들은 "영상이 예쁜가?", "강아지가 해변에 있는가?" 같은 것만 확인했습니다.

하지만 진짜 중요한 질문이 하나 남았습니다.
"AI 는 '감자를 껍질을 벗기다'라고 했을 때, 껍질이 벗겨진 감자가 실제로 만들어지는 과정을 제대로 이해하고 표현할 수 있을까?"

이것을 **'물체의 상태 변화 (Object State Change)'**라고 합니다.

• 잘못된 예: "감자를 깎아라"라고 했는데, AI 가 만든 영상에서 감자는 여전히 껍질째 있고, 껍질은 공중에 떠 있거나, 감자가 갑자기 사라지는 등 엉뚱한 일이 일어납니다.
• 올바른 예: 칼이 감자에 닿고, 껍질이 벗겨지며, 속살이 드러나는 과정이 자연스럽게 이어져야 합니다.

이 논문은 AI 가 이 **'상태 변화'**를 얼마나 잘 이해하는지 측정하는 새로운 시험지 OSCBench를 만들었습니다.

2. OSCBench 는 어떤 시험지인가요? (방법)

이 시험지는 마치 요리사 훈련용 교재처럼 설계되었습니다. 요리에서는 재료를 자르고, 볶고, 껍질을 벗기는 등 상태 변화가 가장 명확하게 일어나기 때문입니다.

시험지는 크게 세 가지 난이도로 나뉩니다:

1. 일반적인 상황 (Regular): AI 가 자주 봤을 법한 조합.
   • 예: "레몬을 썰다" (AI 가 많이 학습했을 것)
2. 낯선 상황 (Novel): AI 가 잘 모르는, 하지만 가능한 조합.
   • 예: "딸기를 껍질을 벗기다" (보통 껍질을 벗기는 건 감자나 사과인데, AI 가 이걸 어떻게 처리할까?)
3. 복합적인 상황 (Compositional): 여러 행동을 연속해서 해야 하는 상황.
   • 예: "배를 껍질을 벗기고, 그다음 썰다" (한 번에 두 가지 일을 기억하고 순서대로 수행해야 함)

총 1,120 개의 다양한 주문 (프롬프트) 을 만들어 6 가지 최신 AI 모델에게 영상을 만들게 했습니다.

3. 결과는 어땠나요? (발견)

결과를 요약하면 **"표면은 완벽하지만, 속은 엉망"**입니다.

• 잘한 점: AI 는 '누가', '어디서', '무엇을' 하는지 큰 그림은 잘 그립니다. (예: 주방에 있는 요리사가 등장함)
• 못한 점: 물체의 상태 변화에서 완전히 실패했습니다.
  • 비유: 마치 마술사가 "마법을 부려 사과를 반으로 자르라"고 했을 때, 사과가 반으로 갈라진 것처럼 보이지만, 실제로는 사과가 사라지거나, 반으로 잘린 사과가 다시 합쳐지거나, 껍질이 벗겨지지 않은 채로 반으로 갈라지는 기이한 현상이 발생했습니다.

주요 발견:

• AI 는 '의미'는 이해하지만, '물리법칙'과 '시간에 따른 변화'를 이해하는 데는 여전히 서툴러요.
• 특히 '낯선 상황'이나 '복합적인 상황'에서는 AI 가 학습된 데이터만 기억하려는 경향이 강해, 엉뚱한 결과를 만들어냈습니다. (예: 딸기를 껍질 벗기라고 했는데, AI 가 익숙한 '감자'를 만들어냄)

4. 어떻게 평가했나요? (심사위원)

이 시험지를 평가할 때 두 가지 방법을 썼습니다.

1. 사람 심사위원: 실제 사람이 영상을 보고 "이건 상태 변화가 잘못됐다"고 점수를 매겼습니다.
2. AI 심사위원 (MLLM): 최신 대형 언어 모델을 이용해 사람이 보지 못하는 디테일까지 분석하게 했습니다.
   • 단순히 점수만 매기는 게 아니라, "왜 이 점수를 줬는지" 이유를 설명하게 했습니다 (Chain-of-Thought).
   • 예: "레몬을 짜라고 했는데, 레몬 모양이 그대로 유지되면서 주스가 나왔으니 물리적으로 불가능합니다. 점수 3 점."

5. 결론 및 의미

이 논문은 **"AI 가 영상을 만드는 기술은 예쁘게 만드는 건 잘하지만, 사물이 어떻게 변하는지 논리적으로 이해하는 건 아직 멀었다"**는 사실을 증명했습니다.

• OSCBench는 앞으로 AI 개발자들이 "우리 모델이 물체의 상태 변화를 제대로 이해했나?"를 진단할 수 있는 진단 키트 역할을 할 것입니다.
• 이 연구를 통해 AI 가 단순한 영상 생성기를 넘어, 로봇이 물건을 다루거나, 요리법을 가르치는 영상을 만들 때 필요한 '진짜 이해'를 갖추는 데 중요한 발판이 될 것입니다.

한 줄 요약:

"AI 가 영상을 예쁘게 만드는 건 천재지만, '감자를 깎으면 껍질이 벗겨진다'는 단순한 상식을 영상으로 구현하는 건 아직 초보 수준이다. OSCBench 는 이 간극을 측정하고 AI 를 더 똑똑하게 만들자는 새로운 지도입니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 현황: 텍스트-비디오 (T2V) 생성 모델은 시각적 품질과 시간적 일관성 측면에서 괄목할 만한 발전을 이루었습니다. 기존 벤치마크들은 주로 지각적 품질 (perceptual quality), 텍스트 - 비디오 정렬 (text-video alignment), 물리적 타당성 (physical plausibility) 에 초점을 맞추고 있습니다.
• 문제점: 그러나 프롬프트에 명시된 객체 상태 변화 (Object State Change, OSC) 를 정확하게 구현하는 능력은 충분히 평가되지 않았습니다. OSC 는 '감자 껍질 벗기기', '레몬 슬라이스하기'와 같이 특정 행동이 객체의 상태를 초기 상태에서 목표 상태로 변화시키는 것을 의미합니다.
• 핵심 과제: 현재 T2V 모델들은 전반적인 의미론적 정렬 (semantic alignment) 에는 우수하지만, 행동의 결과로 인한 객체의 상태 변화가 시간적으로 일관되게 그리고 정확하게 발생하는지 (예: 레몬이 잘려서 조각이 되는 과정) 를 구현하는 데에는 심각한 한계가 있습니다. 이는 로봇공학, embodied AI, 교육용 비디오 생성 등 하위 응용 분야에서 치명적인 결함으로 작용합니다.

2. 방법론 (Methodology)

가. OSCBench 구축

• 데이터 소스: instructional cooking (요리 교육) 데이터를 기반으로 하여, 상태 변화가 빈번하고 명확하게 정의된 HowToChange 데이터셋을 활용했습니다.
• 추상화 (Abstraction): 데이터 편향을 줄이고 일반화 능력을 평가하기 위해, 20 가지 행동 요소와 134 가지 객체 요소를 인간 전문가와 LLM 을 통해 협력하여 (Human-in-the-loop) 고수준의 개념 카테고리 (예: '절단', '뿌리 채소') 로 재구성했습니다.
• 시나리오 설계: 3 가지 유형의 평가 시나리오를 구성하여 모델의 능력을 다각도로 테스트했습니다.
  1. Regular (정규): 훈련 데이터에 흔한 행동 - 객체 쌍 (예: 레몬 자르기).
  2. Novel (신규): 흔하지 않지만 가능한 행동 - 객체 쌍 (예: 베리 껍질 벗기기) 으로 일반화 능력 평가.
  3. Compositional (구성): 여러 행동을 순차적으로 결합한 시나리오 (예: 감자 껍질 벗기고 자르기) 로 시간적 일관성 평가.
• 규모: 총 140 가지 객체 - 상태 시나리오, 1,120 개의 프롬프트로 구성됨.

나. 평가 체계

• 평가 모델: 6 개의 최신 T2V 모델 (Open-Sora-2.0, HunyuanVideo, Wan-2.2 등 오픈소스 4 개, Kling, Veo 등 상용 2 개) 을 평가했습니다.
• 평가 차원:
  1. 의미론적 준수 (Semantic Adherence): 주체, 객체, 행동의 일치성.
  2. 객체 상태 변화 (OSC): 정확성 (목표 상태 도달 여부) 과 일관성 (시간적 흐름의 자연스러움).
  3. 장면 정렬 (Scene Alignment): 배경 환경의 일치성.
  4. 지각적 품질 (Perceptual Quality): 사실성과 미적 품질.
• 평가 방법:
  • 인간 평가: 140 개의 샘플 비디오에 대해 3 명의 평가자가 5 점 리커트 척도로 평가.
  • 자동 평가 (MLLM): 최신 멀티모달 LLM (Qwen3-VL, GPT-5.2 등) 을 활용. 단순 점수 부여가 아닌 Chain-of-Thought (CoT) 전략을 사용하여, 평가 기준 재정의, 시각적 증거 추출, 근거 기반 점수 결정의 구조화된 추론 과정을 거치게 함.

3. 주요 기여 (Key Contributions)

1. OSCBench 출시: 텍스트-비디오 생성에서 객체 상태 변화 (OSC) 를 정규, 신규, 복합 시나리오에 걸쳐 체계적으로 평가하는 최초의 벤치마크를 제안했습니다.
2. 종합 평가 프레임워크: 의미론적 준수, OSC 성능, 장면 정렬, 지각적 품질을 아우르는 다차원 평가 기준과 인간 평가 및 CoT 기반 MLLM 자동 평가를 결합한 평가 프로토콜을 정립했습니다.
3. 경향성 분석 및 통찰: 6 개의 SOTA 모델을 벤치마크하여, 현재 모델들이 고수준 의미론적 정렬은 잘 수행하지만, 객체 상태 변화의 정확성과 시간적 일관성에서는 심각한 실패를 보임을 규명했습니다. 특히 신규 (Novel) 와 복합 (Compositional) 시나리오에서의 성능 저하가 두드러졌습니다.

4. 실험 결과 (Results)

• 성능 비교: Veo-3.1-Fast 와 Kling-2.5-Turbo 가 상대적으로 가장 좋은 성능을 보였으나, 모든 모델이 OSC 정확도와 일관성에서 낮은 점수를 기록했습니다.
• 주요 발견:
  • 모델들은 주체, 객체, 배경은 잘 생성하지만, 행동에 따른 객체의 상태 변화 (예: 잘려진 조각이 되는 과정) 를 구현하는 데 실패하거나 불일치를 보입니다.
  • Novel 시나리오: 훈련 데이터에 없는 행동 - 객체 조합의 경우 성능이 가장 크게 저하되어, 모델이 단순 암기 (memorization) 에 의존하고 있음을 시사합니다.
  • Compositional 시나리오: 여러 행동을 연속적으로 수행할 때 중간 상태와 최종 상태의 일관성을 유지하는 데 어려움을 겪습니다.
  • MLLM 평가 신뢰도: CoT 전략을 적용한 GPT-5.2 는 인간 평가자와 높은 상관관계를 보였으며, 미세한 상태 변화 오류를 식별하는 데 효과적이었습니다.
• 실패 사례: 레몬을 짜는데 레몬이 변형되지 않거나, 자르는 도중 객체가 갑자기 사라지거나, 잘린 조각이 다시 합쳐지는 등의 물리적으로 불가능한 현상이 빈번하게 관찰되었습니다.

5. 의의 및 결론 (Significance)

• 차별화된 진단 도구: 기존 벤치마크가 놓치고 있던 '행동의 결과 (상태 변화)'에 대한 평가를 가능하게 하여, T2V 모델의 진정한 이해 능력을 진단하는 새로운 기준을 제시했습니다.
• 향후 연구 방향: 현재 T2V 모델의 핵심 병목 현상이 '시각적 품질'이 아닌 '상태 변화의 논리적 일관성'에 있음을 보여주며, 향후 모델 개발 시 행동의 인과관계와 시간적 진화를 더 잘 모델링할 수 있는 아키텍처와 학습 전략이 필요함을 강조합니다.
• 응용 가능성: 로봇 제어, 시뮬레이션, 교육용 콘텐츠 생성 등 정확한 물리적 상태 변화가 필수적인 분야에서 T2V 기술의 신뢰성을 높이는 데 기여할 것입니다.

이 논문은 텍스트-비디오 생성 기술이 단순한 시각적 모방을 넘어, 언어로 지시된 행동의 물리적 결과를 정확히 추론하고 구현하는 단계로 나아가기 위해 반드시 해결해야 할 과제를 명확히 제시했습니다.