기술 요약: 물리 질문 장면 그래프 (Physics Question Scene Graph, PQSG)

문제 정의

텍스트-투-비디오(text-to-video) 생성 모델은 시각적 사실성 측면에서 상당한 진전을 이루었으나, 기본적인 물리 법칙(예: 고체 역학, 유체 역학, 광학)을 준수하는 데 빈번하게 실패합니다. 이러한 모델의 발전을 가로막는 핵심적인 병목 현상은 특정 물리적 위반 사항을 국지화할 수 있는 신뢰할 수 있고, 세밀하며, 자동화된 평가 방법의 부재입니다. 기존의 메트릭들은 물리적 추론에 내재된 논리적 의존성(예: 물리적 상호작용을 판단하기 전에 객체가 존재하고 동작을 수행해야 함)을 포착하지 못하고 대략적인 총합 점수만을 제공하는 경우가 많습니다. 또한, 현재의 방법들은 생성 실패(예: 객체가 누락됨)와 물리적 타당성 실패(예: 객체가 비현실적으로 떨어짐)를 구분하는 데 어려움을 겪으며, 시각적으로는 일관적이지만 물리적으로는 불가능한 영상에 의해 "속아 넘어가는" 경향이 있습니다.

방법론: 물리 질문 장면 그래프 (PQSG)

이러한 한계를 해결하기 위해, 저자들은 계층적, 질문 기반의 평가 파이프라인인 **물리 질문 장면 그래프 (PQSG)**를 도입합니다. PQSG는 텍스트 프롬프트로부터 생성된 원자적 검증 질문들의 유향 비순환 그래프(Directed Acyclic Graph, DAG)로 비디오 평가를 분해합니다.

핵심 구성 요소

1. 계층적 구조: 그래프는 질문들을 세 가지 별도 범주로 조직합니다:
   • 객체 (Object): 프롬프트에 언급된 주요 객체의 존재 여부와 속성을 검증합니다.
   • 동작 (Action): 객체가 프롬프트에 명시된 올바른 동작을 수행하고 있는지 검증합니다.
   • 물리 (Physics): 프서 명시적인 프롬프트 지시사항이라기보다 암묵적인 물리적 상식인 상호작용 및 역학(예: 변형, 흡수, 중력)의 타당성을 평가합니다.
2. 논리적 의존성 (Edges): 그래프는 엄격한 논리적 의존성을 강제합니다. 질문은 선행 부모 노드가 긍정적으로 답변된 경우에만 쿼리됩니다. 예를 들어, "객체" 노드가 "아니오"로 답변되면(객체가 누락된 경우), 해당 객체와 관련된 모든 후속 "동작" 및 "물리" 노드는 쿼리되지 않고 자동으로 "아니오"로 표시됩니다. 이는 환각(hallucination)을 방지하고 문맥적으로 유효한 쿼리를 보장합니다.
3. 2단계 파이프라인:
   • 질문 생성 (Question Generation, QG): 시각-언어 모델(VLM)에 인컨텍스트 예시(in-context examples)를 프롬프트로 제공하여 텍스트 프롬프트로부터 계층적 질문 그래프를 생성합니다.
   • 질문 답변 (Question Answering, QA): 생성된 비디오와 PQSG 그래프를 VLM에 전달합니다. 모델은 추론 근거를 바탕으로 순차적으로 질문에 답하며 이진 판단("예"/"아니오")을 내립니다. 최종 점수는 "예" 응답의 비율이며, 객체, 동작, 물리 범주별로 별도의 점수가 계산됩니다.

데이터셋: FinePhyEval

PQSG를 검증하고 하위 태스크를 벤치마킹하기 위해, 저자들은 다음과 같이 구성된 FinePhyEval 데이터셋을 구축했습니다:

• 195개의 인간 주석 프롬프트-비디오 쌍.
• 프롬프트: 물리적 이해를 테스트하도록 설계된 Physics-IQ에서 가져왔습니다.
• 비디오: 다양한 최첨단 모델인 Sora 2, Veo 3, Wan 2.1, Cosmos-Predict2.5-14B를 통해 생성되었습니다.
• 주석: 네 가지 범주(객체, 동작, 물리, 전체)에 대한 인간의 리커트 척도(Likert-scale) 판단(1-5)과 QG 및 QA 하위 태스크에 대한 정답 주석(444개 QA 쌍)을 포함합니다.

주요 결과

1. 인간 판단과의 상관관계

PQSG는 기존 메트릭(VideoScore, VideoPhy-2, PhyGenEval, DSG)에 비해 인간의 전체 리커트 점수와 우수한 상관관계를 보여줍니다.

• PQSG (w/ GPT-5.5): 피어슨 상관계수 $r$ 값 0.478을 달성하여, 차순위 베이스라인(Direct VQA, 0.382)을 능가했습니다.
• 세분화(Granularity): 총합 메트릭과 달리, PQSG는 어떤 범주(객체, 동작 또는 물리)가 실패를 일으켰는지 정확히 지목하는 세밀한 피드백을 제공합니다.
• 인간 정렬(Human Alignment): 연구 결과, 인간의 "전체" 점수는 물리(Physics) 범주와 가장 강력하게 상관관계($r=0.85$)를 보였으며, 이는 물리적 사실성이 인간의 품질 평가를 결정하는 주요 동인임을 강조합니다.

2. 모델 벤치마킹

PQSG를 사용하여 저자들은 비디오 생성 모델의 순위를 매겼습니다:

• 폐쇄형 vs 오픈 소스: 폐쇄형 모델(Sora 2, Veo 3)은 물리적 사실성 측면에서 오픈 소스 모델(Wan 2.1, Cosmos-14B)을 크게 앞질렀습니다.
• 범주별 성능: 모든 모델은 객체 생성보다 동작 및 물리 생성에서 더 큰 어려움을 겪었습니다. 예를 들어, Wan 2.1은 객체 점수는 0.86인 반면, 동작은 0.53, 물리는 0.46을 기록했습니다.

3. 하위 태스크 평가 (QG 및 QA)

• 질문 생성 (QG): VLM(Gemini-2.5-Pro, GPT-5.5)은 인간 주석과 비교했을 때 높은 정밀도(>92%)와 재현율(>95%)을 달성하며 질문 생성 능력을 입증했습니다.
• 질문 답변 (QA): VLM은 객체 및 동작 범주에서는 잘 수행했으나(정확도 ~88%), 물리 질문에서는 상당히 고전했습니다(정확도 ~64%).
• 실패 모드: QA 모델은 "예(yes)-편향"을 보여, 비디오에서 실제로는 그렇지 않음에도 불구하고 물리적 상호작용(예: 연기가 정상적으로 피어오름)을 환각하는 경우가 잦았습니다. 이는 현재의 VLM이 견고한 시공간적 물리 추론 능력이 부족함을 시사합니다.

4. 반복적 개선 (Iterative Refinement)

저자들은 PQSG를 반복 루프에 통합하여 비디오 생성을 개선할 수 있음을 입증했습니다. PQSG 피드백을 사용하여 프롬프트를 정교화하고(GPT-5.5 활용) 비디오를 재생성함으로써, 단 한 번의 반복만으로 평균 PQSG 점수를 거의 15% 향상시켰으며, 두 번의 반복 후에는 약 82%에서 정체되었습니다. 이는 모델 아키텍처를 수정하거나 재학습시키지 않고도 달성되었습니다.

의의 및 주장

본 논문은 PQSG가 물리적 타당성을 위한 구조화되고, 세밀하며, 자동화된 메트릭을 제공함으로써 비디오 생성 평가의 중요한 공백을 메운다고 주장합니다.

• 진단 능력: "비디오가 좋은가?"라는 질문을 넘어 "왜 물리적으로 불가능한가?"를 묻고, 객체 존재, 동작 실행, 또는 물리 법칙의 실패를 격리하여 분석합니다.
• 의존성 모델링: 질문 그래프에 논리적 의존성을 적용함으로써, PQSG는 평가를 문맥적으로 유효하게 만들고 환각을 줄이며, 이는 기존의 비구조화된 접근 방식에는 없는 특징입니다.
• 벤치마킹 유용성: FinePhyEval의 도입은 비디오 생성 모델과 이를 평가하는 VLM의 물리적 추론 능력을 평가하기 위한 표준화된 벤치마크를 제공합니다.
• 실질적 적용: 이 프레임워크는 모델 재학습 없이도 프롬프트 정교화를 통해 비디오 생성 품질을 개선할 수 있는 실용적인 도구임을 보여주며, 로보틱스 및 체화된 AI(embodied AI)를 위한 고충실도 시뮬레이션으로 가는 경로를 제시합니다.

저자들은 현재 시스템의 성능이 기반이 되는 VLM의 물리적 추론 능력, 특히 QA 단계에서 물리 질문에 대한 정확도가 인간의 성능보다 낮은 점에 의해 제한된다는 점을 언급하며 겸허한 입장을 유지하고 있습니다.