तकनीकी सारांश: प्रत्येक जज का अपना मापदंड (JUDGEFIT)

समस्या विवरण

वीडियो जनरेटर और वर्ल्ड मॉडल्स की भौतिक निरंतरता (physical consistency) का मूल्यांकन तेजी से विजन-लैंग्वेज मॉडल्स (VLMs) पर निर्भर होता जा रहा है, जो स्वचालित जजों के रूप में कार्य करते हैं। ये मॉडल रिवॉर्ड सिग्नल, रैंकिंग निर्णय और डेटा-फिल्टरिंग मानदंड प्रदान करते हैं। हालाँकि, वर्तमान मूल्यांकन प्रतिमान आमतौर पर सभी VLMs पर एक समान रूप से एक एकल, निश्चित वैश्विक वर्गीकरण (global taxonomy) (जैसे कि चार भौतिक डोमेन का एक सेट) लागू करते हैं।

यह दृष्टिकोण यह मानता है कि सभी VLMs भौतिक-मूल्यांकन क्षमता के अक्षों (axes) को साझा करते हैं और केवल उन अक्षों पर उनके स्कोर के परिमाण में भिन्न होते हैं। यह तर्क त्रुटिपूर्ण है क्योंकि VLMs, जो विशिष्ट डेटा और आर्किटेक्चर पर प्रशिक्षित होते हैं, भौतिक घटनाओं को अलग-अलग आंतरिक निरूपणों (internal representations) के माध्यम से एनकोड करते हैं। फलस्वरूप, एक निश्चित स्कीमा अक्सर निम्नलिखित स्थितियों की ओर ले जाता है:

• निष्क्रिय आयाम (Inactive Dimensions): विभिन्न VLMs के स्कोर एक ही अक्ष (जैसे, "मैकेनिक्स") पर केंद्रित हो जाते हैं जबकि अन्य आयाम लगभग निष्क्रिय रहते हैं।
• रिजोल्यूशन की हानि: स्कीमा विभिन्न मॉडल परिवारों के विशिष्ट गुणों या कमियों (blind spots) को प्रकट करने में विफल रहता है।
• बेमेल होना (Misalignment): VLMs अक्सर भौतिक सामान्य ज्ञान (physical commonsense) के मामले में मानव रेटर्स के साथ काफी भिन्न होते हैं, और उनमें स्थिति पूर्वाग्रह (position bias) तथा स्कोरिंग अस्थिरता देखी जाती है।

मुख्य समस्या यह है कि मूल्यांकन स्कीमा को बेंचमार्क के गुण के बजाय इवैल्यूएटर (evaluator) के गुण के रूप में माना जाता है। एक VLM का मूल्यांकन उन आयामों के आधार पर किया जाना चाहिए जिन्हें वह विश्वसनीय रूप से देख और स्कोर कर सकता है।

कार्यप्रणाली: JUDGEFIT

लेखक JUDGEFIT का प्रस्ताव करते हैं, जो एक दो-चरणीय, 'सीड-एंड-रिफाइन' (seed-and-refine) पाइपलाइन है जिसे एक प्रति-VLM मूल्यांकन वर्गीकरण (per-VLM evaluation taxonomy) खोजने के लिए डिज़ाइन किया गया है। यह प्रक्रिया जज के मूल्यांकन स्कीमा को एक अनुकूलन योग्य वस्तु (optimizable object) मानती है, जो इस बात के कैलिब्रेटेड निदान (calibrated diagnosis) द्वारा संचालित होती है कि विशिष्ट VLM क्या विश्वसनीय रूप से स्कोर कर सकता है।

चरण 1: सीड (मुक्त एनोटेशन और क्लस्टरिंग)

1. मुक्त-रूप उद्दलन (Free-Form Elicitation): लक्षित VLM को वीडियो के एक छोटे सेट ($D_{annot}$) में देखे गए भौतिक दोषों को पूर्व-निर्धारित आयामों के बिना, मुक्त-रूप प्राकृतिक भाषा का उपयोग करके सूचीबद्ध करने के लिए प्रॉम्प्ट दिया जाता है।
2. क्लस्टरिंग: एक LLM इन एकत्रित विवरणों को नामित, परिभाषित श्रेणियों में क्लस्टर करता है ताकि एक प्रारंभिक सीड वर्गीकरण ($T_0$) बनाया जा सके।
3. वोकैब अलाइनमेंट (Vocab Alignment): क्योंकि $T_0$ पूरी तरह से उन त्रुटियों से बना है जो VLM रिपोर्ट करता है, इसके आयाम VLM की अपनी संवेदी शब्दावली (perceptual vocabulary) को दर्शाते हैं। वे अवधारणाएं जिन्हें VLM कभी उल्लेख नहीं करता, शुरुआती वर्गीकरण में अनुपस्थित रहती हैं।

चरण 2: रिफाइन (निदान-निर्देशित संपादन)

सीड वर्गीकरण को एक पुनरावृत्ति लूप के माध्यम से परिष्कृत किया जाता है जहाँ एक LLM एडिटर, मानव रेटिंग से प्राप्त नैदानिक संकेत के आधार पर आयामों को संशोधित करता है।

1. कैलिब्रेशन: एक रिज-रेगुलराइज्ड लीनियर कैलिब्रेटर VLM के प्रति-आयाम स्कोर को मानव भौतिक-सामान्य ज्ञान रेटिंग ($y$) के साथ मैप करता है।
2. निदान (Diagnosis): कैलिब्रेटर तीन प्रकार के दोषों को प्रकट करता है:
   • सूचनात्मक नहीं (Uninformative): वे आयाम जिनके स्कोर मानव रेटिंग के साथ सह-संबंध नहीं रखते ($|\rho_i| < \tau$)।
   • अस्थिर (Unstable): वे आयाम जहाँ क्रॉस-वैलिडेशन फोल्ड्स के बीच गुणांक का चिह्न बदल जाता है ($\pi_i < \kappa$)।
   • अनावश्यक (Redundant): आयामों के जोड़े जो लगभग समान वीडियो को रैंक करते हैं ($r_{ij} > \gamma$)।
   • कवरेज अंतराल (Coverage Gaps): वे त्रुटियां जिन्हें मनुष्यों ने दंडित किया लेकिन VLM ने मिस कर दिया, जिनकी पहचान VLM के अपने मुक्त-रूप एनोटेशन के विरुद्ध अवशेषों (residuals) के विश्लेषण द्वारा की जाती है।
3. संपादन (Editing): एक LLM एडिटर इन दोषों को दूर करने के लिए स्थानीय संपादन (DROP, REDEFINE, MERGE, ADD, SPLIT) प्रस्तावित करता है।
4. चयन उद्देश्य ($J$): एक उम्मीदवार वर्गीकरण तभी स्वीकार किया जाता है यदि वह एक चयन उद्देश्य में सुधार करता है जो रैंकिंग गुणवत्ता और विशिष्टता (केवल औसत स्कोर का उपयोग करने वाले "हेलो" बेसलाइन पर लाभ) को पुरस्कृत करता है। यह वर्गीकरण को केवल एक "कुल मिलाकर बुरापन" (overall badness) स्कोर में ढहने से रोकता है।
5. अभिसरण (Convergence): लूप तब तक दोहराया जाता है जब तक कि कोई भी संपादन $J$ में सुधार न करे। अनुभवजन्य रूप से, अभिसरण लगभग दो राउंड के भीतर होता है।

मुख्य योगदान

1. JUDGEFIT पाइपलाइन: एक सैंपल-एफिशिएंट प्रक्रिया जो प्रति-VLM वर्गीकरण खोजती है। सैकड़ों पुनरावृत्तियों की आवश्यकता वाले स्केलर-रिवॉर्ड ऑप्टिमाइज़र के विपरीत, JUDGEFIT एक अंतिम प्रेडिक्टर के बजाय नैदानिक संकेत के रूप में लीनियर कैलिब्रेटर का उपयोग करके ~2 राउंड में अभिसरित होता है।
2. प्रति-VLM बेंचमार्क अध्ययन: VideoPhy-2 डेटासेट का उपयोग करके आठ मॉडल परिवारों (Qwen, Gemma, GLM, Reka, Gemini, Seed, Nova, MiMo सहित) के 16 VLMs का मूल्यांकन। यह अध्ययन परिष्कृत वर्गीकरण और होल्ड-आउट मूल्यांकन जारी करता है।
3. क्रॉस-VLM विश्लेषण: अवधारणा अभिसरण (concept convergence) और भेदभाव-द्वारा-पूर्वाग्रह (bias-by-discrimination) का एक वर्गीकरण। लेखक पहचानते हैं कि कौन सी भौतिक अवधारणाएं VLMs में सार्वभौमिक रूप से सुपाठ्य (legible) हैं और कौन सी मॉडल-विशिष्ट ब्लाइंड स्पॉट बनी रहती हैं, जिससे पता चलता है कि स्कोरिंग शैलियाँ (सख्त बनाम उदार) एलाइनमेंट सटीकता से स्वतंत्र रूप से भिन्न होती हैं।

परिणाम

• प्रदर्शन में सुधार: परिष्कृत प्रति-VLM वर्गीकरण परीक्षण किए गए प्रत्येक VLM के लिए होल्ड-आउट वीडियो पर फिक्स्ड ग्लोबल-स्कीमा बेसलाइन (PhyGenBench) से बेहतर प्रदर्शन करता है।
  • औसत सापेक्ष सुधार: लगभग 32% (स्पियरमैन सहसंबंध 0.239 से बढ़कर 0.315 हो गया)।
  • निरंतरता: सुधार पूर्ण क्षमता स्पेक्ट्रम में बने रहते हैं, जिसमें सबसे मजबूत जज (जैसे, Gemini-3-Flash-Thinking) से लेकर सबसे कमजोर (जैसे, GLM-4.6V) तक शामिल हैं।
• अभिसरण: अधिकांश प्रदर्शन लाभ पहले रिफाइनमेंट राउंड में होते हैं। यह प्रक्रिया पुनरावृत्ति स्केलर-रिवॉर्ड सर्च विधियों की तुलना में अत्यधिक कुशल है।
• सामान्यीकरण (Generalization): सुधार एनोटेशन सेट से अलग (disjoint) टेस्ट सेट में भी स्थानांतरित होते हैं, जो इंगित करता है कि वर्गीकरण 200-वीडियो प्रशिक्षण सेट पर ओवरफिट नहीं होता है।
• मॉडल-विशिष्ट प्रोफाइल:
  • अवधारणा कवरेज: जबकि अवधारणाओं का एक मुख्य सेट (मोमेंटम, प्रक्षेपवक्र, कठोरता) लगभग सार्वभौमिक है, फ्लूइड मैकेनिक्स अवधारणाएं (उत्प्लावकता, सतह तनाव) एक विरल रूप से कवर किए गए लॉन्ग टेल का हिस्सा हैं।
  • सोचने के मोड (Thinking Modes): "थिंकिंग" वेरिएंट का लाभ मॉडल-विशिष्ट है न कि व्यवस्थित; कुछ मॉडल सुधरते हैं, जबकि अन्य घटते हैं या अपरिवर्तित रहते हैं।
  • पूर्वाग्रह बनाम भेदभाव: जज अपने स्केल प्लेसमेंट के आधार पर "सख्त" और "उदार" श्रेणियों में विभाजित होते हैं, लेकिन यह पूर्वाग्रह उनकी एलाइनमेंट सटीकता (Spearman $\rho$) के साथ सह-संबंध नहीं रखता है।

महत्व और दावे

पेपर का दावा है कि मूल्यांकन स्कीमा को इवैल्यूएटर के गुण के रूप में माना जाना चाहिए, न कि बेंचमार्क के। इसे अपने स्वयं के एरर वोकैबुलरी में ग्राउंड करने और मानव निर्णय के विरुद्ध रिफाइन करके, JUDGEFIT उन मॉडल-विशिष्ट ब्लाइंड स्पॉट्स को उजागर करता है जिनका समग्र रैंकिंग अनुमान नहीं लगा सकती।

लेखक तर्क देते हैं कि यह दृष्टिकोण VLM क्षमताओं की अधिक सूक्ष्म समझ प्रदान करता है:

• यह प्रकट करता है कि "औसत पर मजबूत" VLMs सभी भौतिक नियमों के लिए समान रूप से मजबूत नहीं हैं।
• यह दर्शाता है कि विश्वसनीयता पैटर्न मॉडल परिवारों के अनुसार स्पष्ट रूप से भिन्न होते हैं।
• यह खोजने के लिए एक ढांचा प्रदान करता है कि एक विशिष्ट VLM किन भौतिक नियमों को मानव निर्णय में ग्राउंड कर सकता है और किन को नहीं।

यह कार्य सुझाव देता है कि जेनरेटिव वीडियो मॉडल में भौतिक निरंतरता को सटीक रूप से मूल्यांकन करने और सुधारने के लिए फिक्स्ड, वन-साइज़-फिट्स-ऑल रूब्रिक्स से हटकर एडेप्टिव, प्रति-मॉडल वर्गीकरण की ओर बढ़ना आवश्यक है।