기술 요약: 각 심판은 자신만의 척도를 갖는다 (JUDGEFIT)

문제 정의

비디오 생성 모델 및 월드 모델의 물리적 일관성 평가가 자동화된 심판으로서 시각-언어 모델(VLM)에 점점 더 의존하고 있습니다. 이러한 모델들은 보상 신호, 순위 결정, 데이터 필터링 기준을 제공합니다. 그러나 현재의 평가 패러다임은 일반적으로 단일한 고정된 글로벌 분류 체계(예: 네 가지 물리 도메인 세트)를 모든 VLM에 동일하게 적용합니다.

이러한 접근 방식은 모든 VLM이 물리적 평가 역량의 축을 공유하며, 단지 그 축을 따라 나타나는 점수의 크기만 다를 것이라고 가정합니다. 본 논문은 이것이 결함이 있다고 주장합니다. 왜냐하면 서로 다른 데이터와 아키텍처로 학습된 VLM들은 서로 다른 내부 표현을 통해 물리적 현상을 인코딩하기 때문입니다. 결과적으로 고정된 스키마는 다음과 같은 문제를 초래합니다:

• 비활성 차원: 서로 다른 VLM의 점수가 특정 축(예: "역학")에만 집중되고 다른 차원은 거의 비활성 상태로 남게 됩니다.
• 해상도 손실: 스키마가 서로 다른 모델 제품군 간의 뚜렷한 강점이나 사각지대를 드러내지 못합니다.
• 불일치: VLM은 물리적 상식에 대해 인간 평가자와 상당한 불일치를 보이며, 위치 편향과 점수 불안정성을 나타냅니다.

핵러 문제는 평가 스키마를 벤치마크의 속성이 아니라 평가자의 속성으로 취급한다는 점입니다. VLM은 자신이 신뢰할 수 있게 인지하고 점수를 매길 수 있는 차원을 따라 평가되어야 합니다.

방법론: JUDGEFIT

저자들은 특정 VLM이 신뢰할 수 있게 점수를 매길 수 있는 것을 진단하여, VLM별 평가 분류 체계를 발견하도록 설계된 2단계 시드-및-정제(seed-and-refine) 파이프라인인 JUDGEFIT를 제안합니다. 이 절차는 심판의 평가 스키마를 특정 VLM이 신뢰할 수 있는 것을 기반으로 교정된 진단을 통해 최적화 가능한 객체로 취급합니다.

1단계: 시드 (자유 형식 주석 및 클러스터링)

1. 자유 형식 유도: 대상 VLM에 사전 정의된 차원 없이, 소수의 비디오($D_{annot}$)에서 관찰되는 물리적 오류를 자유 형식의 자연어로 나열하도록 프롬프트를 제공합니다.
2. 클러스터링: LLM이 이러한 풀링된 설명을 명명된 정의된 카테고리로 클러스터링하여 초기 시드 분류 체계($T_0$)를 형성합니다.
3. 어휘 정렬: $T_0$는 VLM이 보고한 오류만을 바탕으로 구축되므로, 그 차원들은 VLM 자신의 지각적 어휘를 반영합니다. VLM이 언급하지 않은 개념은 시작 단계의 분류 체계에서 누락됩니다.

2단계: 정제 (진단 가이드 편집)

시드 분류 체계는 인간의 평가로부터 도출된 진단 신호를 사용하여 LLM 에디터가 차원을 수정하는 반복 루프를 통해 정제됩니다.

1. 교정: 리지 규제 선형 교정기(ridge-regularized linear calibrator)는 VLM의 차원별 점수를 인간의 물리적 상식 평가($y$)에 매핑합니다.
2. 진단: 교정기는 세 가지 유형의 결함을 드러냅니다:
   • 무정보성(Uninformative): 점수가 인간의 평가와 상관관계가 낮은 차원 ($|\rho_i| < \tau$).
   • 불안정성(Unstable): 교차 검증 폴드 전반에 걸쳐 계수의 부호가 바뀌는 차원 ($\pi_i < \kappa$).
   • 중복성(Redundant): 비디오 순위를 거의 동일하게 매기는 차원 쌍 ($r_{ij} > \gamma$).
   • 커버리지 격차(Coverage Gaps): 인간이 벌점을 준 오류 중 VLM이 놓친 부분으로, VLM 자체의 자유 형식 주석에 대한 잔차(residual) 분석을 통해 식별됩니다.
3. 편집: LLM 에디터는 이러한 결함을 해결하기 위해 로컬 편집(DROP, REDEFINE, MERGE, ADD, SPLIT)을 제안합니다.
4. 선택 목적 함수 ($J$): 후보 분류 체계는 순위 품질과 특이성(평균 점수만을 사용하는 "헤일로(halo)" 베이스라인 대비 이득) 모두에 보상을 주는 선택 목적 함수를 개선할 때만 수락됩니다. 이는 분류 체계가 단일한 "전반적인 나쁨" 점수로 붕괴되는 것을 방지합니다.
5. 수렴: 더 이상 편집이 $J$를 개선하지 않을 때까지 루프가 반복됩니다. 경험적으로, 약 2회 이내에 수렴합니다.

주요 기여

1. JUDGEFIT 파이프라인: VLM별 분류 체계를 발견하는 샘플 효율적인 절차입니다. 수백 번의 반복이 필요한 스칼라 보상 최적화기와 달리, JUDGEFIT은 최종 예측기가 아닌 진단 신호로서 선형 교정기를 사용하여 약 2회 만에 수렴합니다.
2. VLM별 벤치마크 연구: VideoPhy-2 데이터셋을 사용하여 8개 모델 제품군(Qwen, Gemma, GLM, Reka, Gemini, Seed, Nova, MiMo 포함)에 걸친 16개 VLM을 평가했습니다. 이 연구는 정제된 분류 체계와 홀드아웃 평가를 공개합니다.
3. 교차 VLM 분석: 개념 수렴 및 차별에 의한 편향에 대한 유형론입니다. 저자들은 어떤 물리 개념이 VLM 전반에 걸쳐 보편적으로 이해되는지, 그리고 어떤 것이 모델 특이적인 사각지대로 남는지 식별하여, 점수 스타일(엄격함 vs 관대함)이 정렬 정확도와 독립적으로 변한다는 것을 밝혀냈습니다.

결과

• 성능 향상: 정제된 VLM별 분류 체계는 테스트된 모든 VLM에 대해 홀드아웃 비디오에 대한 고정 글로벌 스키마 베이스라인(PhyGenBench)보다 우수한 성능을 보였습니다.
  • 평균 상대적 개선: 약 32% (스피어먼 상관계수가 0.239에서 0.315로 증가).
  • 일관성: 개선 사항은 가장 강력한 심판(예: Gemini-3-Flash-Thinking)부터 가장 약한 심판(예: GLM-4.6V)에 이르기까지 전체 능력 스펙트럼에서 유지되었습니다.
• 수렴: 대부분의 성능 이득은 첫 번째 정제 라운드에서 발생합니다. 이 절차는 반복적인 스칼라 보상 탐색 방법보다 매우 효율적입니다.
• 일반화: 개선 사항이 주석 세트에서 분리된 테스트 세트로 전이되었으며, 이는 분류 체계가 200개의 비디오 훈련 세트에 과적합되지 않았음을 나타냅니다.
• 모델별 프로필:
  • 개념 커버리지: 운동량, 궤적, 강성(rigidity)과 같은 핵심 개념은 보편적이지만, 유체 역학 개념(부력, 표면 장력)은 희소하게 커버되는 롱테일(long tail)을 형성합니다.
  • 사고 모드(Thinking Modes): "사고(thinking)" 변형의 이점은 체계적이기보다는 모델 특이적입니다. 일부 모델은 개선되는 반면, 다른 모델은 저하되거나 변화가 없습니다.
  • 편향 vs 차별: 심판들은 척도 배치에 따라 "엄격함"과 "관대함" 카테고리로 나뉘지만, 이 편향은 정렬 정확도($\rho$)와 상관관계가 없습니다.

의의 및 주장

본 논문은 평가 스키마가 벤치마크의 속성이 아니라 평가자의 속성으로 취급되어야 한다고 주장합니다. 분류 체계를 심판 자신의 오류 어휘에 근거하고 인간의 판단에 따라 정제함으로써, JUDGEFIT은 전반적인 순위로는 예측할 수 없는 모델 특이적 사각지대를 노출합니다.

저자들은 이 접근 방식이 VLM 능력에 대한 더 세밀한 이해를 제공한다고 주장합니다:

• "평균적으로 강한" VLM이 모든 물리 법칙에 대해 균일하게 강한 것은 아님을 밝힙니다.
• 신뢰도 패턴이 모델 제품군마다 현저히 다르다는 것을 입증합니다.
• 특정 VLM이 어떤 물리 법칙을 인간의 판단에 근거할 수 있고 없는지를 발견하는 프레임워크를 제공합니다.

이 연구는 고정된 원사이즈(one-size-fits-all) 루브릭에서 벗어나 적응형 per-model 분류 체계로 이동하는 것이 생성형 비디오 모델의 물리적 일관성을 정확하게 평가하고 개선하는 데 필수적임을 시사합니다.