💻 computer science

Analytic Score Optimization for Multi Dimension Video Quality Assessment

यह शोध पत्र UltraVQA प्रस्तुत करता है, जो मानव-एनोटेटेड आयामों और AI-जनरेटेड तर्कों वाला एक बड़े पैमाने का बहु-आयामी वीडियो गुणवत्ता मूल्यांकन डेटासेट है, साथ ही एनालिटिक स्कोर ऑप्टिमाइज़ेशन (ASO) भी प्रस्तुत करता है, जो एक सैद्धांतिक रूप से आधारित पोस्ट-ट्रेनिंग विधि है जो गुणवत्ता मूल्यांकन को एक नियमित (regularized) निर्णय लेने की प्रक्रिया के रूप में पुनर्गठित करके भविष्यवाणी की सटीकता और मानव प्राथमिकताओं के साथ संरेखण में सुधार करती है।

मूल लेखक: Boda Lin, Yongjie Zhu, Wenyu Qin, Meng Wang, Pengfei Wan

प्रकाशित 2026-02-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Boda Lin, Yongjie Zhu, Wenyu Qin, Meng Wang, Pengfei Wan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक नए रेस्टोरेंट के फूड क्रिटिक (खाद्य समीक्षक) हैं। पुराने दिनों में, आप शायद भोजन को केवल एक संख्या दे देते: 10 में से 7। यह मददगार तो है, लेकिन यह बहुत अस्पष्ट भी है। क्या आपने इसे 7 इसलिए दिया क्योंकि स्टेक सख्त था? क्योंकि लाइटिंग खराब थी? या इसलिए क्योंकि डेज़र्ट शानदार था लेकिन सूप ठंडा था? एक अकेली संख्या उस 'क्यों' को छिपा लेती है।

यह पेपर वीडियो के लिए उस फूड क्रिटिक सिस्टम को अपग्रेड करने के बारे में है। केवल एक वीडियो को एक "स्कोर" देने के बजाय, लेखकों ने एक ऐसा सिस्टम बनाया है जो समीक्षा को पांच विशिष्ट श्रेणियों में विभाजित करता है: मोशन (गति), मूवमेंट साइज (आकार), ब्यूटी (सौंदर्य), स्टोरी (कहानी), और क्लैरिटी (स्पष्टता)।

यहाँ उनके तीन बड़े योगदानों का एक सरल विवरण दिया गया है:

1. "UltraVQA" डेटासेट: एक विशाल, विस्तृत स्कोरकार्ड

कल्पना कीजिए कि आप एक रोबोट को यह सिखाना चाहते हैं कि वीडियो का निर्णय कैसे किया जाए। यदि आप उसे केवल 1,000 वीडियो दिखाते हैं और कहते हैं "यह अच्छा है, वह बुरा है," तो रोबोट भ्रमित हो जाएगा। उसे यह नहीं पता चलेगा कि क्या एक वीडियो को अच्छा बनाता है।

लेखकों ने UltraVQA बनाया, जो 40,000 वीडियो का एक विशाल पुस्तकालय है। लेकिन यहाँ एक ट्विस्ट है:

मानवीय पैनल: एक व्यक्ति द्वारा निर्णय लेने के बजाय, उन्होंने 40 प्रशिक्षित विशेषज्ञों की एक टीम का उपयोग किया। प्रत्येक वीडियो को कम से कम तीन अलग-अलग लोगों द्वारा देखा गया।
5-पॉइंट मेनू: एक स्कोर के बजाय, विशेषज्ञों ने प्रत्येक वीडियो को पांच विशिष्ट चीजों पर रेट किया:
1. मोशन क्वालिटी (गति की गुणवत्ता): क्या गति सुचारू है, या यह किसी हिलते हुए फोन कैमरे की तरह झटकेदार है?
2. मोशन एम्प्लीट्यूड (गति का आयाम): क्या इसमें बहुत अधिक एक्शन है, या यह एक स्थिर छवि है?
3. एस्थेटिक क्वालिटी (सौंदर्य गुणवत्ता): क्या यह सुंदर है? अच्छी लाइटिंग? अच्छे रंग?
4. कंटेंट क्वालिटी (सामग्री की गुणवत्ता): क्या कहानी समझ में आती है? क्या विषय स्पष्ट है?
5. क्लैरिटी क्वालिटी (स्पष्टता की गुणवत्ता): क्या यह शार्प है, या यह धुंधला और पिक्सेलेटेड है?
"क्यों" (तर्क): महत्वपूर्ण रूप से, विशेषज्ञों ने केवल नंबर नहीं लिखे। उन्होंने संक्षिप्त स्पष्टीकरण भी लिखे (जैसे, "वीडियो धुंधला है क्योंकि कैमरा हिल गया था")। लेखकों ने फिर इन मानवीय नोट्स को स्पष्ट, संरचित अनुच्छेदों में बदलने के लिए एक AI (GPT) का उपयोग किया। यह रोबोट को न केवल यह सिखाता है कि स्कोर क्या है, बल्कि यह भी कि उसे वह स्कोर क्यों मिला।

2. "एनालिटिक स्कोर ऑप्टिमाइज़ेशन" (ASO): एक स्मार्ट गणितीय ट्रिक

यह इस पेपर का तकनीकी केंद्र है, लेकिन आइए एक उपमा का उपयोग करें।

कल्पना कीजिए कि आप एक कुत्ते को गेंद लाने के लिए प्रशिक्षित कर रहे हैं।

पुराना तरीका (रिग्रेशन): आप कुत्ते से कहते हैं, "गेंद को 7.5 मीटर के निशान तक लाओ।" यदि कुत्ता उसे 7.4 मीटर पर लाता है, तो आप कहते हैं "करीब है, लेकिन नहीं।" यह निराशाजनक है क्योंकि मानवीय राय शायद ही कभी सटीक होती है। एक व्यक्ति सोच सकता है कि एक वीडियो "3.5" है, और दूसरा इसे "4.0" मान सकता है।
नया तरीका (ASO): लेखकों ने महसूस किया कि वीडियो स्कोर एक सीढ़ी की तरह होते हैं, न कि एक रूलर (पैमाने) की तरह। आप पायदान 3, पायदान 3.5, या पायदान 4 पर हो सकते हैं। आप पायदानों के "बीच में" नहीं हो सकते।

उन्होंने एनालिटिक स्कोर ऑप्टिमाइज़ेशन (ASO) नामक एक गणितीय विधि विकसित की।

इसे AI के लिए एक GPS के रूप में सोचें। बिना किसी अंदाजे के सही उत्तर पाने की कोशिश करने के बजाय (जो धीमा और अस्थिर है), ASO उत्तर के लिए परफेक्ट प्रोबेबिलिटी डिस्ट्रीब्यूशन (संभावना वितरण) की गणना करता है।
यह कहता है: "मानवीय डेटा के आधार पर, 60% संभावना है कि स्कोर 3.5 है, 30% संभावना है कि यह 4.0 है, और 10% संभावना है कि यह 3.0 है।"
यह AI को केवल एक संख्या याद करने के बजाय इस प्रोबेबिलिटी मैप को सीखने के लिए मजबूर करता है। यह AI को बहुत अधिक स्थिर और सटीक बनाता है, विशेष रूप से "मोशन" जैसी कठिन चीजों के लिए, जहाँ एक "अच्छे" और "बुरे" वीडियो के बीच का अंतर बहुत सूक्ष्म हो सकता है।

3. परिणाम: एक स्मार्ट, अधिक मानवीय क्रिटिक

जब उन्होंने अपने नए सिस्टम (UltraVQA + ASO) का अन्य शीर्ष AI मॉडलों और यहाँ तक कि महंगे क्लोज्ड-सोर्स API (जैसे GPT-4) के मुकाबले परीक्षण किया:

यह अधिक सटीक था: इसने उन स्कोरों की भविष्यवाणी की जो वास्तव में मनुष्यों के विचारों के करीब थे।
यह समझाने में बेहतर था: क्योंकि इसे "तर्क" (rationale) पर प्रशिक्षित किया गया था, इसलिए यह अपने स्कोर के लिए बेहतर कारण दे सका।
यह अच्छी तरह से सामान्यीकरण (generalize) कर सका: यहाँ तक कि जब इसे उन वीडियो दिखाए गए जिन्हें इसने पहले कभी नहीं देखा था (जैसे स्पोर्ट्स क्लिप या समाचार), तब भी इसने विशेष वीडियो मॉडलों की तुलना में बेहतर प्रदर्शन किया।

बड़ी तस्वीर

इस पेपर से पहले, AI वीडियो जज उस छात्र की तरह थे जिसने गणित समझने के बजाय केवल उत्तर कुंजी (answer key) रट ली थी। वे एक स्कोर का अनुमान लगा सकते थे, लेकिन वे इसे समझा नहीं सकते थे, और वे मानवीय पसंद की बारीकियों के साथ संघर्ष करते थे।

यह पेपर AI को एक विस्तृत पाठ्यपुस्तक (डेटासेट) और एक बेहतर अध्ययन पद्धति (ASO गणित) देता है। परिणाम एक ऐसा वीडियो जज है जो केवल यह नहीं कहता कि "यह 7/10 है," बल्कि यह भी कह सकता है कि "यह 7/10 है क्योंकि कहानी बेहतरीन है, लेकिन कैमरा शेक मोशन क्वालिटी को थोड़ा खराब बनाता है।"

यह उस AI की ओर एक कदम है जो केवल पिक्सेल को नहीं देखता, बल्कि वीडियो देखने के अनुभव को वास्तव में समझता है।

यहाँ शोध पत्र "Analytic Score Optimization for Multi Dimension Video Quality Assessment" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वीडियो गुणवत्ता मूल्यांकन (VQA) एकल-संख्या वाले मीन ओपिनियन स्कोर्स (MOS) से मल्टी-डायमेंशनल मूल्यांकन की ओर बढ़ रहा है। हालाँकि, मौजूदा दृष्टिकोणों के सामने तीन महत्वपूर्ण सीमाएँ हैं:

व्याख्यात्मकता का अभाव (Lack of Interpretability): पारंपरिक तरीके एक एकल स्केलर आउटपुट देते हैं, जिससे यह छिप जाता है कि वीडियो को खराब रेटिंग क्यों मिली (जैसे, मोशन आर्टिफ़ैक्ट्स और सौंदर्य संबंधी मुद्दों के बीच अंतर करने में विफल रहना)।
अपर्याप्त पर्यवेक्षण (Inadequate Supervision): वर्तमान विजन-लैंग्वेज मॉडल (VLMs) अक्सर स्कोरिंग को निरंतर रिग्रेशन या मुक्त-रूप जनरेशन के रूप में देखते हैं। यह मानव रेटिंग की विशिष्ट (discrete), क्रमिक (ordinal) प्रकृति (जैसे, 0.5 के अंतराल में 1.0 से 5.0 तक) को अनदेखा करता है और मानव निर्णय में निहित अनिश्चितता और व्यक्तिपरकता को पकड़ने में विफल रहता है।
प्रशिक्षण अस्थिरता (Training Instability): मानक सुदृढीकरण शिक्षण (Reinforcement Learning - RL) विधियाँ जैसे PPO या GRPO, स्टोकेस्टिक पॉलिसी ग्रेडिएंट्स पर निर्भर करती हैं, जो उच्च विचरण (high variance) और सैंपल अक्षमता से ग्रस्त होती हैं, विशेष रूप से गतिशील वीडियो आयामों (जैसे, मोशन क्वालिटी) में सूक्ष्म क्रमिक अंतरों के साथ मॉडल को संरेखित करते समय।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र दो-आयामी समाधान प्रस्तावित करता है: एक नया बड़े पैमाने का डेटासेट और एक नवीन अनुकूलन एल्गोरिदम।

A. UltraVQA डेटासेट

लेखक UltraVQA पेश करते हैं, जो व्यापक और व्याख्यात्मक VQA के लिए डिज़ाइन किया गया एक बड़े पैमाने का डेटासेट है।

पैमाना और विविधता (Scale & Diversity): इसमें विविध यूजर-जेनरेटेड कंटेंट (UGC) और पेशेवर स्रोतों से लगभग 40,000 वीडियो क्लिप शामिल हैं, जो 16 विषयगत श्रेणियों (जैसे, गेमिंग, व्लॉग्स, स्पोर्ट्स) को कवर करते हैं।
मल्टी-डायमेंशनल टैक्सोनॉमी (Multi-Dimensional Taxonomy): वीडियो को पाँच प्रमुख आयामों में एनोटेट किया गया है:
1. मोशन क्वालिटी (Motion Quality): टेम्पोरल स्मूथनेस और स्थिरता।
2. मोशन एम्प्लीट्यूड (Motion Amplitude): गति की डिग्री और विस्तार।
3. एस्थेटिक क्वालिटी (Aesthetic Quality): संरचना, प्रकाश व्यवस्था और दृश्य अपील।
4. कंटेंट क्वालिटी (Content Quality): सिमेंटिक प्रासंगिकता और सामंजस्य।
5. क्लैरिटी क्वालिटी (Clarity Quality): शार्पनेस, रेजोल्यूशन और कंप्रेशन आर्टिफ़ैक्ट्स।
एनोटेशन प्रोटोकॉल (Annotation Protocol): प्रत्येक वीडियो को कम से कम 3 प्रशिक्षित एनोटेटरों द्वारा 1.0–5.0 के पैमाने पर (0.5 अंतराल के साथ) सूक्ष्म उप-विशेषता टैग (जैसे, "मोशन ब्लर," "खराब लाइटिंग") के साथ रेट किया गया है।
तर्क संश्लेषण (Rationale Synthesis): व्याख्यात्मक पर्यवेक्षण प्रदान करने के लिए, लेखक मानव स्कोर और टैग के आधार पर संक्षिप्त, साक्ष्य-आधारित टेक्स्टुअल तर्क (rationales) संश्लेषित करने के लिए GPT-4.1 का उपयोग करते हैं, जिससे यह सुनिश्चित होता है कि मॉडल अपने भविष्यवाणियों को सही ठहराना सीखता है।

B. एनालिटिक स्कोर ऑप्टिमाइजेशन (ASO)

डेटासेट की विविक्त (discrete) और क्रमिक (ordinal) प्रकृति का लाभ उठाने के लिए, लेखक एक सैद्धांतिक रूप से आधारित पोस्ट-ट्रेनिंग ऑब्जेक्टिव के रूप में ASO का प्रस्ताव करते हैं।

फॉर्मूलेशन (Formulation): ASO विविक्त स्कोरिंग को एक KL-रेगुलराइज्ड वन-स्टेप बैंडिट समस्या के रूप में पुनर्गठित करता है। स्टोकेस्टिक सैंपलिंग के बजाय, यह विविक्त स्कोर स्तरों पर एक क्लोज्ड-फॉर्म ऑप्टिमल पॉलिसी खोजता है।
गणितीय व्युत्पत्ति (Mathematical Derivation):
- ऑब्जेक्टिव एक रेफरेंस पॉलिसी $\pi_{ref}$ (SFT मॉडल) के विरुद्ध KL-डाइवर्जेंस बाधा के अधीन अपेक्षित रिवॉर्ड $R(s, s^*)$ को अधिकतम करता है।
- इस कॉनवेक्स ऑप्टिमाइज़ेशन समस्या के लैग्रेंजियन को हल करके, लेखक एक क्लोज्ड-फॉर्म ऑप्टिमल पॉलिसी प्राप्त करते हैं:
  $\pi^*(s|x) = \frac{1}{Z(x)} \pi_{ref}(s|x) \exp\left(\frac{1}{\lambda} R(s, s^*)\right)$
- यहाँ, $R(s, s^*)$ एक रिवॉर्ड फंक्शन है (जैसे, नेगेटिव एब्सोल्यूट एरर), और $\lambda$ रेगुलराइजेशन स्ट्रेंथ को नियंत्रित करता है।
प्रशिक्षण रणनीति (Training Strategy):
1. SFT: एक VLM (जैसे, Qwen2.5-VL) को स्ट्रक्चर्ड स्कोर और तर्क (rationales) आउटपुट करने के लिए फाइन-ट्यून करें।
2. ASO अलाइनमेंट: प्राप्त क्लोज्ड-फॉर्म डिस्ट्रीब्यूशन $\pi^*$ को एक "सॉफ्ट टारगेट" (टीचर) के रूप में मानें। मॉडल को अपने वर्तमान पॉलिसी $\pi_\theta$ और $\pi^*$ के बीच KL डाइवर्जेंस को कम करने के लिए प्रशिक्षित किया जाता है।
- लाभ: GRPO के विपरीत, जो हाई-वेरिएंस सैंपलिंग पर निर्भर करता है, ASO सीधे संपूर्ण प्रोबेबिलिटी मास को ऑप्टिमाइज़ करता है, जो विविक्त क्रमिक कार्यों के लिए एक स्थिर, सैंपल-एफिशिएंट और सैद्धांतिक रूप से इष्टतम अलाइनमेंट प्रदान करता है।

3. मुख्य योगदान (Key Contributions)

UltraVQA डेटासेट: एक उच्च-गुणवत्ता वाला, मल्टी-डायमेंशनल बेंचमार्क जिसमें 5 क्वालिटी डायमेंशन, सूक्ष्म उप-विशेषताएं और मानव-सत्यापित तर्क स्पष्टीकरण शामिल हैं, जो व्याख्यात्मक VQA डेटा की कमी को दूर करता है।
एनालिटिक स्कोर ऑप्टिमाइजेशन (ASO): एक नया, RL-प्रेरित ऑब्जेक्टिव जो विविक्त स्कोर अलाइनमेंट के लिए क्लोज्ड-फॉर्म समाधान निकालता है। यह ऑनलाइन RL की अस्थिरता के बिना मानव रेटिंग अनिश्चितता और क्रमिक संबंधों को प्रभावी ढंग से मॉडल करता है।
तर्क पर्यवेक्षण (Rationale Supervision): यह प्रदर्शित करता है कि संश्लेषित, साक्ष्य-आधारित तर्कों के साथ प्रशिक्षण से स्कोर भविष्यवाणी की सटीकता और मॉडल की व्याख्यात्मकता दोनों में सुधार होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन UltraVQA और कई सार्वजनिक बेंचमार्क (LSVQ, KoNViD-1k, VideoPhy2, MJ-Video) पर किया गया।

UltraVQA पर प्रदर्शन:
- ASO-प्रशिक्षित मॉडल ने मजबूत बेसलाइन्स, जिनमें क्लोज्ड-सोर्स API (GPT-4.1, Gemini-2.5Pro) और विशिष्ट VQA मॉडल (FineVQ, Q-Align) शामिल हैं, को काफी पीछे छोड़ दिया।
- मेट्रिक्स: सभी पांच आयामों में सटीकता (Acc@0.5), स्पियरमैन रैंक कोरिलेशन (SRCC), और मीन एब्सोल्यूट एरर (MAE) में स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त किए। उदाहरण के लिए, मोशन क्वालिटी पर, ASO ने 81.5% Acc और 0.430 MAE प्राप्त किया, जो सर्वश्रेष्ठ बेसलाइन (VideoScoreV2) से बेहतर था जिसने 69.8% Acc प्राप्त किया था।
सामान्यीकरण (Generalization):
- ASO ने मजबूत क्रॉस-बेंचमार्क सामान्यीकरण प्रदर्शित किया, जो फिजिकल रीजनिंग (VideoPhy2) और प्रेफरेंस टास्क (MJ-Video) पर जनरलिस्ट VLMs से बेहतर प्रदर्शन करता है।
एब्लेशन अध्ययन (Ablation Studies):
- ASO बनाम GRPO: ASO ने लगातार GRPO से बेहतर प्रदर्शन किया, विशेष रूप से मोशन क्वालिटी जैसे गतिशील आयामों पर। यह पुष्टि करता है कि एनालिटिक, क्लोज्ड-फॉर्म दृष्टिकोण स्टोकेस्टिक पॉलिसी ग्रेडिएंट्स की तुलना में सूक्ष्म क्रमिक अंतरों को बेहतर ढंग से कैप्चर करता है।
- अलाइनमेंट की आवश्यकता: SFT से ASO की ओर बढ़ने से प्रदर्शन में महत्वपूर्ण उछाल आया, जो यह सिद्ध करता है कि मानक टीचर-फोर्सिंग क्रमिक गुणवत्ता अंशांकन (ordinal quality calibration) के लिए अपर्याप्त है।

5. महत्व (Significance)

यह कार्य VQA को "ब्लैक-बॉक्स" रिग्रेशन से हटाकर व्याख्यात्मक, मल्टी-डायमेंशनल मूल्यांकन की ओर ले जाकर एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है।

सैद्धांतिक योगदान: यह विविक्त, क्रमिक मानव प्राथमिकताओं के साथ LLMs को संरेखित करने के लिए एक गणितीय रूप से कठोर समाधान प्रदान करता है, जो स्कोरिंग कार्यों के लिए सामान्य RLHF में होने वाली अस्थिरता की समस्याओं को हल करता है।
व्यावहारिक प्रभाव: UltraVQA डेटासेट और ASO विधि ऐसे VQA सिस्टम विकसित करने में सक्षम बनाती है जो न केवल यह अनुमान लगाते हैं कि वीडियो कितना अच्छा है, बल्कि यह भी बताते हैं कि क्यों, जो कंटेंट मॉडरेशन, रिकमेंडेशन सिस्टम और जनरेटिव वीडियो मूल्यांकन के लिए महत्वपूर्ण है।
भविष्य की दिशा: यह शोध पत्र मल्टीमॉडल समझ को आगे बढ़ाने के लिए उच्च-गुणवत्ता वाले मानव एनोटेशन को सैद्धांतिक रूप से ठोस अनुकूलन उद्देश्यों के साथ जोड़ने के महत्व पर प्रकाश डालता है।