Q-Hawkeye: Reliable Visual Policy Optimization for Image Quality Assessment

यहाँ शोध पत्र "Q-Hawkeye: Reliable Visual Policy Optimization for Image Quality Assessment" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

इमेज क्वालिटी असेसमेंट (IQA) का लक्ष्य ऐसे धारणात्मक गुणवत्ता स्कोर (perceptual quality scores) की भविष्यवाणी करना है जो मानवीय निर्णयों के अनुरूप हों। जबकि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) और रीइन्फोर्समेंट लर्निंग (RL) का लाभ उठाने वाले हालिया तरीकों ने आशाजनक परिणाम दिखाए हैं, लेखक मौजूदा RL-आधारित दृष्टिकोणों (विशेष रूप से ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन, या GRPO का उपयोग करने वाले) में दो महत्वपूर्ण विश्वसनीयता सीमाओं की पहचान करते हैं:

1. अनिश्चितता को अनदेखा करने वाला समान एडवांटेज वेटिंग (Uniform Advantage Weighting Ignoring Uncertainty): मौजूदा GRPO-आधारित विधियाँ सभी प्रशिक्षण नमूनों पर समान अपडेट स्ट्रेंथ लागू करती हैं। हालाँकि, मॉडल की भविष्यवाणात्मक स्थिरता काफी भिन्न होती है; कुछ छवियां सुसंगत स्कोर देती हैं, जबकि अन्य व्यापक, अस्थिर वितरण उत्पन्न करती हैं। इन अस्थिर नमूनों के साथ समान व्यवहार करने से अनुकूलन प्रक्रिया में शोर युक्त ग्रेडिएंट्स (noisy gradients) इंजेक्ट होते हैं, जो प्रशिक्षण की विश्वसनीयता को कम कर देते हैं।
2. पाठ्य तर्क (Textual Reasoning) पर अत्यधिक निर्भरता: वर्तमान विधियाँ वास्तविक दृश्य धारणा (visual perception) के बजाय टेक्स्ट-आधारित तर्क और विवरण पीढ़ी को प्राथमिकता देती हैं। इसके परिणामस्वरूप, मॉडल वास्तविक दृश्य साक्ष्यों के बजाय डेटासेट की नियमितताओं या भाषाई पूर्वग्रहों (language priors) पर निर्भर हो सकते हैं, जिससे स्कोर वास्तव में छवि सामग्री पर आधारित नहीं होते (उदाहरण के लिए, यदि टेक्स्ट विवरण तर्कसंगत है, तो खराब छवियों को उच्च स्कोर देना)।

2. कार्यप्रणाली: Q-Hawkeye (Methodology: Q-Hawkeye)

लेखक Q-Hawkeye प्रस्तावित करते हैं, जो Qwen2.5-VL-7B मॉडल पर निर्मित एक विश्वसनीय विजुअल पॉलिसी ऑप्टिमाइज़ेशन फ्रेमवर्क है। यह दो मुख्य रणनीतियों के माध्यम से RL लर्निंग सिग्नल को पुनर्गठित करता है: अनिश्चितता-जागरूक गतिशील अनुकूलन (Uncertainty-Aware Dynamic Optimization) और धारणा-जागरूक अनुकूलन (Perception-Aware Optimization)।

A. अनिश्चितता-जागरूक गतिशील अनुकूलन (Uncertainty-Aware Dynamic Optimization)

अस्थिर नमूनों की समस्या को हल करने के लिए, Q-Hawkeye भविष्यवाणात्मक अनिश्चितता का अनुमान लगाने और उसे कम करने के लिए एक तंत्र पेश करता है।

• अनिश्चितता अनुमान (Uncertainty Estimation): प्रत्येक इनपुट छवि के लिए, मॉडल $K$ रोलआउट (K तर्क प्रक्षेपवक्र और स्कोर उत्पन्न करना) करता है। अनिश्चितता ($u$) को समूह के भीतर इन अनुमानित स्कोर के विचरण (variance) के रूप में अनुमानित किया जाता है।
• गतिशील पुनर्वितरण (Dynamic Reweighting): सामान्यीकृत अनिश्चितता के आधार पर एक नमूना-विशिष्ट भार $w(u) = \exp(-\tau \tilde{u})$ की गणना की जाती है।
  • कम अनिश्चितता (स्थिर नमूने): इन्हें उच्च भार प्राप्त होता है, जो विश्वसनीय निर्णयों को सुदृढ़ करता है।
  • उच्च अनिश्चितता (अस्थिर नमूने): इन्हें कम भार प्राप्त होता है, जो शोर युक्त अपडेट को रोकने के लिए उनके ग्रेडिएंट योगदान को दबा देता है।
• एकीकरण (Integration): यह भार GRPO ऑब्जेक्टिव में एडवांटेज टर्म ($\tilde{A}_k = w \cdot A_k$) पर लागू किया जाता है, जो पॉलिसी अपडेट के दौरान प्रभावी रूप से शोर वाले संकेतों को फ़िल्टर करता है।

B. धारणा-जागरूक अनुकूलन (Perception-Aware Optimization)

यह सुनिश्चित करने के लिए कि मॉडल दृश्य साक्ष्यों के बजाय भाषाई पूर्वग्रहों पर निर्भर न रहे, लेखक एक लॉस फंक्शन पेश करते हैं जो दृश्य गिरावट (visual degradations) के प्रति संवेदनशीलता को स्पष्ट रूप से लागू करता है।

• पेयर्ड डेटा निर्माण (Paired Data Construction): प्रत्येक प्रशिक्षण छवि के लिए, विशिष्ट विकृतियों (Noise, Blur, JPEG, Darken) का उपयोग करके एक विकृत संस्करण ($I_{deg}$) बनाया जाता है। एक "डबल-चेक फ़िल्टर" (एक MLLM और मानव विशेषज्ञों का उपयोग करके) यह सुनिश्चित करता है कि गिरावट प्रत्यक्ष रूप से बोधगम्य (perceptible) हो।
• निहित धारणा हानि (Implicit Perception Loss): मॉडल को मूल छवि ($I$) और विकृत छवि ($I_{deg}$) के लिए अलग-अलग आउटपुट वितरण उत्पन्न करने के लिए प्रशिक्षित किया जाता है।
  • KL डाइवर्जेंस मैक्सिमाइजेशन (KL Divergence Maximization): ऑब्जेक्टिव पॉलिसी डिस्ट्रीब्यूशन $\pi_\theta(\cdot|I, q)$ और $\pi_\theta(\cdot|I_{deg}, q)$ के बीच KL डाइवर्जेंस को अधिकतम करता है। यह मॉडल को दृश्य परिवर्तनों के प्रति प्रतिक्रिया करने के लिए मजबूर करता है।
  • डबल एंट्रॉपी रेगुलाइजेशन (Double Entropy Regularization): मॉडल को केवल KL टर्म को अधिकतम करने के लिए यादृच्छिकता (randomness) बढ़ाने से रोकने के लिए, दोनों स्थितियों के तहत आउटपुट वितरण को नियंत्रित करने के लिए एक एंट्रॉपी रेगुलाइजेशन टर्म जोड़ा जाता है, जिससे तीक्ष्ण और स्थिर भविष्यवाणियाँ सुनिश्चित होती हैं।

C. समग्र उद्देश्य (Overall Objective)

कुल लॉस फंक्शन मानक GRPO ऑब्जेक्टिव (अनिश्चितता-पुनः भारित एडवांटेज के साथ), एक रेफरेंस पॉलिसी के विरुद्ध KL रेगुलाइजेशन, और इम्पलिसिट परसेप्शन लॉस (मूल-विकृत इनपुट के बीच KL डाइवर्जेंस को अधिकतम करना), और एंट्रॉपी रेगुलाइजेशन टर्म्स को जोड़ता है।

3. मुख्य योगदान (Key Contributions)

1. एकीकृत ढांचा (Unified Framework): Q-Hawkeye प्रस्तावित करता है, जो पहला RL-आधारित IQA फ्रेमवर्क है जो एक साथ भविष्यवाणात्मक अनिश्चितता और दृश्य धारणा ग्राउंडिंग को संबोधित करता है।
2. अनिश्चितता-जागरूक पुनर्वितरण (Uncertainty-Aware Reweighting): रोलआउट स्कोर वेरिएंस के आधार पर एक डायनेमिक एडवांटेज रीवेटिंग रणनीति पेश करता है, जो अस्पष्ट नमूनों को कम भार देकर प्रशिक्षण को स्थिर करता है।
3. धारणा-जागरूक अनुकूलन (Perception-Aware Optimization): मूल-विकृत छवि युग्मों का उपयोग करके एक 'इम्प्लिसिट परसेप्शन लॉस' विकसित करता है ताकि मॉडल को भाषाई पूर्वग्रहों के बजाय दृश्य साक्ष्यों में अपने गुणवत्ता निर्णयों को स्थापित करने के लिए मजबूर किया जा सके।
4. डेटा-कुशल सामान्यीकरण (Data-Efficient Generalization): प्रदर्शित करता है कि लर्निंग सिग्नल को अनुकूलित करके, विशाल मल्टी-डेटासेट प्रशिक्षण पर निर्भर रहने के बजाय, सिंगल-डेटासेट ट्रेनिंग (KonIQ) के साथ उच्च प्रदर्शन प्राप्त किया जा सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने आठ IQA बेंचमार्क पर Q-Hawkeye का मूल्यांकन किया, जिसमें इन-द-वाइल्ड डेटासेट (SPAQ, LIVE-Wild), सिंथेटिक डिस्टॉर्शन (KADID, CSIQ), और AI-जेनरेटेड इमेज (AGIQA-3K) शामिल हैं।

• प्रदर्शन (Performance): Q-Hawkeye ने स्टेट-ऑफ-द-आर्ट (SOTA) परिणाम प्राप्त किए, जो पारंपरिक डीप लर्निंग मॉडल्स (जैसे MUSIQ, ManIQA) और हालिया MLLM-आधारित तरीकों (जैसे Q-Align, Q-Insight, VisualQuality-R1) दोनों से बेहतर प्रदर्शन करते हैं।
  • औसत PLCC/SRCC: सभी डेटासेट्स पर 80.0 / 76.2 प्राप्त किया, जो पिछले सर्वश्रेष्ठ (VisualQuality-R1 75.8/72.0) से अधिक है।
• सामान्यीकरण (Generalization): विशेष रूप से, Q-Hawkeye को केवल KonIQ डेटासेट पर प्रशिक्षित किया गया था, फिर भी इसने कई डेटासेट्स पर प्रशिक्षित तरीकों (जैसे DeQA-Score जो 3-4 डेटासेट्स पर प्रशिक्षित है) से बेहतर प्रदर्शन किया। यह प्रस्तावित विश्वसनीयता तंत्र की प्रभावशीलता को उजागर करता है।
• एब्लेशन स्टडीज (Ablation Studies):
  • अनिश्चितता या धारणा मॉड्यूल में से किसी एक को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई।
  • "रिवर्स" वेटिंग (उच्च अनिश्चितता को अधिक भार देना) ने प्रदर्शन को कम कर दिया, जो अस्थिर नमूनों को कम भार देने की आवश्यकता की पुष्टि करता है।
  • यह दिखाया गया कि परसेप्शन-अवेयर मॉड्यूल विकृत छवियों के लिए मॉडल के स्कोर वितरण को प्रभावी ढंग से बदल देता है, जबकि इसके बिना वाले मॉडल मूल और विकृत छवियों के लिए समान स्कोर देने की प्रवृत्ति रखते हैं।

5. महत्व (Significance)

Q-Hawkeye विजुअल कार्यों पर RL के अनुप्रयोग में एक महत्वपूर्ण बदलाव का प्रतिनिधित्व करता है। सरल रिवॉर्ड मैक्सिमाइजेशन से आगे बढ़कर विश्वसनीय पॉलिसी ऑप्टिमाइज़ेशन की ओर बढ़ते हुए, यह MLLMs में सामान्य "हैलुसिनेशन" और अस्थिरता की समस्याओं को संबोधित करता है।

• विश्वसनीयता (Reliability): यह सुनिश्चित करता है कि प्रशिक्षण के दौरान मॉडल के आत्मविश्वास (अनिश्चितता) का सम्मान किया जाए, जिससे शोर युक्त डेटा को पॉलिसी को दूषित करने से रोका जा सके।
• ग्राउंडिंग (Grounding): यह एक "विजुअल-फर्स्ट" दृष्टिकोण को लागू करता है, यह सुनिश्चित करता है कि गुणवत्ता मूल्यांकन वास्तविक छवि सामग्री से प्राप्त हों, न कि टेक्स्टुअल शॉर्टकट से।
• दक्षता (Efficiency): यह प्रदर्शित करता है कि परिष्कृत RL रणनीतियाँ केवल प्रशिक्षण डेटा को स्केल करने की तुलना में बेहतर सामान्यीकरण प्रदान कर सकती हैं, जो मजबूत IQA मॉडलों को प्रशिक्षित करने के लिए एक अधिक कुशल मार्ग प्रदान करती है।

कोड और डेटासेट ओपन-सोर्स हैं, जो विश्वसनीय विजुअल पॉलिसी ऑप्टिमाइज़ेशन में आगे के शोध को सुगम बनाते हैं।