기술 요약: PhyGround – 생성형 세계 모델의 물리적 추론 벤치마킹

1. 문제 제기

생성형 세계 모델은 실제 세계의 역학을 지배하는 물리 법칙을 포착할 것이라는 기대 하에 비디오 생성에 점점 더 많이 활용되고 있습니다. 그러나 현재 모델들은 종종 기본적인 물리 원칙을 위반합니다 (예: 지지 없이 공중에 떠 있는 물체, 사라지는 유체, 광원과 충돌하는 그림자). 이는 신뢰할 수 있는 시뮬레이션이 필요한 분야에서 모델의 진정성과 적용 가능성을 훼손합니다.

기존의 물리학 중심 비디오 벤치마크는 세 가지 중대한 한계에 직면해 있습니다:

1. 거친 평가 프레임워크: 이들은 종종 도메인 수준 (예: 단일 "유체 역학" 점수) 에서 작동하여 구체적인 법칙 수준의 실패를 가리고 경미한 편차와 중대한 위반을 구분하지 못합니다.
2. 주석 편향 및 피로: 인간 평가는 응답 편향, 피로, 순서 효과에 취약하며, 특히 엄격한 실험 설계 없이 소규모 주석자 풀이 사용될 때 더욱 그렇습니다.
3. 불충분한 자동 평가: 표준 지표 (FVD, SSIM) 는 물리적 준수가 아닌 분포 유사성을 측정합니다. 기존 VLM(비전 - 언어 모델) 을 심판으로 활용하는 접근법은 종종 진화하는 아키텍처를 가진 폐쇄형 소스 모델에 의존하여 결과의 재현이나 감사가 어렵고, 세밀한 물리적 진단을 위한 전문성이 부족합니다.

2. 방법론

PhyGround 는 기준 기반 벤치마크 설계, 대규모 품질 관리 인간 연구, 그리고 오픈 소스 특화 심판을 통해 이러한 과제를 해결합니다.

2.1 벤치마크 설계

• 프롬프트 세트: 본 벤치마크는 VideoPhy-2, Physics-IQ, OpenVid, WorldModelBench 의 네 가지 출처에서 파생된 250 개의 선별된 프롬프트로 구성됩니다. 이전 연구들이 암시적 프롬프트를 사용한 것과 달리, PhyGround 는 각 프롬프트에 명시적인 기대 물리 결과 (예: 공이 테이블에서 떨어지도록 명시) 를 추가하여 모델이 점수 매길 수 있는 물리 사건을 시도하도록 합니다.
• 물리 분류 체계: 평가는 세 가지 도메인에 걸쳐 13 가지 고유한 법칙으로 물리 추론을 분해합니다:
  • 고체 역학 (6 가지 법칙): 중력, 관성, 운동량, 불투과성, 충돌, 재료 특성.
  • 유체 역학 (5 가지 법칙): 부력, 변위, 흐름 역학, 경계 상호작용, 연속성.
  • 광학 (2 가지 법칙): 반사, 그림자.
• 점수 산정 메커니즘: 각 법칙은 2~3 개의 관찰 가능한 하위 질문 (예: "지지되지 않은 물체가 위로 뜨는가?") 을 통해 운영화됩니다. 주석자와 심판은 이진 통과/실패 판단이 아닌 위반의 심각성을 포착하기 위해 각 법칙을 1~5 리커트 척도로 점수화합니다.

2.2 대규모 인간 평가

• 규모 및 프로토콜: 본 연구는 8 개 모델이 생성한 2,000 개의 비디오를 평가하기 위해 459 명의 주석자 (물리학 전문가 35 명 포함 및 비전문가) 를 모집했습니다. 이를 통해 5,796 개의 완전한 주석과 37,400 개 이상의 세밀한 레이블이 생성되었습니다.
• 품질 관리: 사회과학 실험 설계를 차용하여 비디오 순서와 주석자 배정을 무작위화하고, 작업량을 제한 (주석자당 약 12.6 개 비디오), 모델 신원을 숨겨 수요 효과를 줄였습니다. 점수 일관성, 차원 변별력, 동료 간 합의, 행동적 참여를 기반으로 저품질 주석을 필터링하는 2 단계 품질 관리 파이프라인을 거쳐 352 명의 주석자를 유지했습니다.
• 신뢰성: 유지된 데이터셋은 높은 분할 - 반 모델 순위 상관관계 (Spearman's $\rho > 0.90$) 를 보여 안정적인 집계 순위를 보장했습니다.

2.3 자동 심판: PhyJudge-9B

• 학습: PhyJudge-9B 는 PhyGround 의 구조화된 인간 주석을 기반으로 감독 미세 조정 (LoRA) 을 통해 미세 조정된 90 억 파라미터 비전 - 언어 모델 (VLM) 입니다.
• 아키텍처: 이 모델은 비디오 프레임, 보강된 프롬프트, 하위 질문이 포함된 기준별 평가 기준에 기반하여 특정 법칙에 대한 점수를 출력하도록 학습됩니다.
• 재현성: 폐쇄형 소스 심판과 달리 PhyJudge-9B 는 고정된 가중치를 갖춘 완전한 오픈 소스로, 독립적인 감사와 재현을 가능하게 합니다.

3. 주요 결과

본 벤치마크는 8 개의 현대식 비디오 생성 모델 (폐쇄형 소스 1 개: Veo-3.1; 오픈 소스 7 개) 을 평가했습니다.

• 전체 성능: 어떤 모델도 강력한 물리적 준수를 달성하지 못했습니다. 가장 높은 "전체" 점수 (일반 및 물리 차원 결합) 는 3.28/5(약 66%) 로, Wan2.2-27B-A14B 와 Veo-3.1 이 공동으로 기록했습니다.
• 도메인 분해: 전체적인 점수는 중요한 도메인 수준의 차이를 가렸습니다:
  • Wan2.2-27B-A14B는 고체 역학 (3.23) 과 시간적 일관성에서 뛰어났으나 유체 (3.18) 에서는 뒤처졌습니다.
  • Veo-3.1은 유체 (3.65) 와 광학 (3.69) 도메인에서 압도적으로 앞섰으나 고체 역학 (3.12) 점수는 낮았습니다.
  • Cosmos-Predict2.5-2B는 "뾰족한" 프로파일을 보였는데, 전체 순위는 7 위였으나 광학 점수는 높게 (3.35) 기록한 반면 유체 (2.77) 에서는 어려움을 겪었습니다.
• 난이도 프로파일: 모델 간 집계 시, 고체 역학 (2.79) 이 가장 어려운 도메임으로 나타났으며, 이어 유체 (3.08) 와 광학 (3.24) 순이었습니다. 고체 역학 내에서는 운동량과 충돌이 가장 어려운 법칙이었으며, 이는 현재 모델들이 접촉 해결 및 반동 역학에서 어려움을 겪고 있음을 시사합니다.
• 심판 성능: PhyJudge-9B 는 폐쇄형 소스 Gemini-3.1-Pro 에 비해 집계 상대 편향이 현저히 낮았습니다 (3.3% 대 16.6%). 또한 다른 베이스라인 (Claude, Qwen) 보다 우수한 성과를 보였으며, 프롬프트에 하위 질문을 추가하는 것이 VLM 심판의 정확도를 크게 향상시켰음을 입증했습니다. 반면, 사고의 사슬 (Chain-of-Thought, CoT) 추론은 일관된 추가 이점을 제공하지는 않았습니다.

4. 기여

1. 기준 기반 법칙별 분류 체계: 물리 추론을 13 가지 구체적인 법칙과 관찰 가능한 하위 질문으로 분해하는 새로운 평가 프레임워크로, 전체적인 점수만으로는 제공할 수 없는 진단적 통찰력을 가능하게 합니다.
2. 대규모 품질 관리 인간 데이터셋: 물리학 중심 비디오 벤치마크를 위한 보고된 최대 규모의 인간 주석자 풀 (459 명) 로, 신뢰성과 안정성 ($\rho > 0.90$) 을 보장하기 위해 사회과학 프로토콜로 설계되었습니다.
3. PhyJudge-9B: 최첨단 폐쇄형 소스 모델보다 현저히 낮은 편향을 달성하고 재현 가능하며 감사 가능한 자동 평가를 지원하는 개방형 물리 특화 VLM 심판입니다.
4. 종합 벤치마크 공개: 250 개의 프롬프트, 인간 주석, 모델 체크포인트, 평가 코드를 전면 공개합니다.

5. 의의

PhyGround 는 거친 전체적 평가에서 세밀한 법칙별 진단으로 전환함으로써 생성형 세계 모델의 평가를 발전시킵니다. 모델이 종종 서로 다른 물리적 제약 조건 (예: 유체 역학은 강하지만 충돌 물리학은 약함) 에서 뚜렷한 강점과 약점을 가진다는 점을 밝혀냄으로써, 이 벤치마크는 표적 모델 개선을 위한 견고한 기반을 제공합니다. 또한 PhyJudge-9B 의 공개는 불투명한 폐쇄형 소스 API 에 대한 의존을 벗어나 재현 가능하고 감사 가능한 자동 평가에 대한 시급한 필요성을 해결합니다. 이 연구는 현재 비디오 생성 모델이 가능성을 보이지만, 특히 접촉 역학 및 유체 연속성 측면에서 복잡한 물리적 상호작용을 시뮬레이션하는 능력에는 여전히 상당한 격차가 있음을 강조합니다.