QAQ: Bidirectional Semantic Coherence for Selecting High-Quality Synthetic Code Instructions

यहाँ शोध पत्र "QAQ: Bidirectional Semantic Coherence for Selecting High-Quality Synthetic Code Instructions" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

सिंथेटिक डेटा (Synthetic data) कोड जनरेशन मॉडल (जैसे कि Magpie और WarriorCoder जैसे seedless तरीकों के माध्यम से) को प्रशिक्षित करने के लिए एक प्रमुख प्रतिमान (paradigm) बन गया है। हालाँकि, ये विधियाँ महत्वपूर्ण शोर (noise) और मतिभ्रम (hallucinations) पेश करती हैं जिन्हें वर्तमान मेट्रिक्स के साथ पहचानना कठिन है।

• मौजूदा मेट्रिक्स की सीमाएँ: पारंपरिक चयन विधियाँ जैसे कि इन्स्ट्रक्शन-फॉलोइंग डिफिकल्टी (IFD), यह मापती हैं कि किसी क्वेरी के दिए जाने पर मॉडल के लिए उत्तर उत्पन्न करना कितना कठिन है ($P(A|Q)$)। लेखक तर्क देते हैं कि शोर वाले सिंथेटिक डेटा पर यह संदिग्ध है क्योंकि कम संभाव्यता (low probability) या तो अंतर्निहित कार्य की जटिलता से उत्पन्न हो सकती है या मॉडल द्वारा उत्पन्न मतिभ्रम (hallucinations) से।
• मुख्य मुद्दा: सिंथेटिक पाइपलाइन अक्सर क्वेरी की गुणवत्ता (query quality) की अनदेखी करती है। एक खराब रूप से निर्दिष्ट या अर्थहीन क्वेरी (जैसे कि निर्मित शब्दावली या अप्रासंगिक अभिवादन युक्त) जो तकनीकी रूप से सही उत्तर के साथ जुड़ी हो, बहुत कम सीखने का संकेत (learning signal) प्रदान करती है। मौजूदा मेट्रिक्स "सिमेंटिक मिसअलाइनमेंट" (semantic misalignment) या "शॉर्टकट पैटर्न" (जैसे कीवर्ड इकोइंग) का पता लगाने में विफल रहते हैं जहाँ उत्तर स्पष्ट रूप से क्वेरी की भविष्यवाणी कर देता है।

2. कार्यप्रणाली: QAQ फ्रेमवर्क (Methodology: The QAQ Framework)

लेखक QAQ (Query, Answer-Query) प्रस्तावित करते हैं, जो एक डेटा चयन फ्रेमवर्क है जो विपरीत दिशा से डेटा की गुणवत्ता का मूल्यांकन करता है: उत्तर कितनी अच्छी तरह से क्वेरी की भविष्यवाणी करता है ($P(Q|A)$)।

A. रिवर्स म्यूचुअल इंफॉर्मेशन (Reverse Mutual Information - RMI)

मुख्य मीट्रिक रिवर्स म्यूचुअल इंफॉर्मेशन (RMI) है, जिसे उत्तर की स्थिति में क्वेरी के बारे में सूचना लाभ (information gain) के रूप में परिभाषित किया गया है:
$$\text{RMI}(Q, A) = \log \text{PPL}(Q) - \log \text{PPL}(Q|A)$$

• $\text{PPL}(Q)$: केवल प्रश्न की पर्प्लेक्सिटी (Perplexity)।
• $\text{PPL}(Q|A)$: उत्तर की स्थिति में प्रश्न की पर्प्लेक्सिटी (इसे एक "रिवर्स जनरेशन" प्रॉम्प्ट के माध्यम से कंप्यूट किया जाता है जहाँ मॉडल उत्तर से प्रश्न का अनुमान लगाता है)।
• व्याख्या:
  • कम RMI (Low RMI): सिमेंटिक मिसअलाइनमेंट का संकेत देता है (उत्तर क्वेरी को पुनर्गठित करने के लिए कोई जानकारी प्रदान नहीं करता है)।
  • अत्यधिक उच्च RMI (Excessively High RMI): दोषपूर्ण पैटर्न का संकेत देता है जहाँ उत्तर क्वेरी को स्पष्ट रूप से पूर्वानुमेय बना देता है (जैसे कि पैराफ्रेसिंग, कीवर्ड इकोइंग, या पुनरावृत्ति), जो वास्तविक सीखने का संकेत नहीं देता है।
  • इष्टतम रेंज (Optimal Range): बीच की रेंज में एक "स्वीट स्पॉट" (sweet spot) मजबूत सिमेंटिक सुसंगतता (semantic coherence) को दर्शाता है बिना किसी सरल शॉर्टकट के।

B. स्ट्रैटिफाइड RMI (Stratified RMI)

RMI का सीधा वैश्विक रैंकिंग (global ranking) प्रश्न की जटिलता से पक्षपाती होता है। सरल प्रश्नों की पर्प्लेक्सिटी स्वाभाविक रूप से कम होती है, जिससे उत्तर की गुणवत्ता की परवाह किए बिना कम RMI स्कोर प्राप्त होता है।

• समाधान: डेटासेट को $\text{PPL}(Q)$ (प्रश्न की जटिलता) के आधार पर $K=10$ बिनों (bins) में विभाजित किया गया है। समान कठिनाई वाले नमूनों के बीच निष्पक्ष तुलना सुनिश्चित करने के लिए RMI रैंकिंग स्वतंत्र रूप से प्रत्येक बिन के भीतर कंप्यूट की जाती है।

C. मॉडल डिसएग्रीमेंट (मॉडल असहमति/कॉग्निटिव गैप)

लेखक एक मजबूत मॉडल ($M_s$) और एक कमजोर मॉडल ($M_w$) के बीच असहमति का लाभ उठाते हैं ताकि उच्च-मूल्य वाले नमूनों की पहचान की जा सके।

• परिकल्पना: वे नमूने जहाँ मजबूत मॉडल उच्च RMI रैंक (गुणवत्ता को प्रमाणित करता है) देता है, लेकिन कमजोर मॉडल निम्न रैंक (कठिनाई का संकेत) देता है, वे "कॉग्निटिव गैप" (Cognitive Gap) का प्रतिनिधित्व करते हैं। ये नमूने वैध लेकिन चुनौतीपूर्ण हैं, जो सबसे मजबूत सीखने का संकेत प्रदान करते हैं।
• चयन रणनीति: सामान्यीकृत रैंकों के अंतर की गणना करें: $\text{Diff} = r_s - r_w$। जिन नमूनों के लिए $\text{Diff} > \tau$ (जहाँ $\tau \approx 0.1$) है, उन्हें रखा जाता है। यह उन नमूनों को फ़िल्टर करता है जहाँ दोनों मॉडल कम गुणवत्ता पर सहमत हैं (करप्टेड) या दोनों उच्च गुणवत्ता पर सहमत हैं (तुच्छ/पुनरावृत्ति)।

3. मुख्य योगदान (Key Contributions)

1. रिवर्स डायरेक्शन विश्लेषण: QAQ पेश किया, जिसने ध्यान "जनरेशन डिफिकल्टी" ($A|Q$) से हटाकर "आंसर एक्सप्लेनेटरी पावर" ($Q|A$) पर केंद्रित किया, ताकि सिमेंटिक मिसअलाइनमेंट और सिंथेटिक दोषों को बेहतर ढंग से पहचाना जा सके।
2. गुणवत्ता संकेतक के रूप में RMI: अनुभवजन्य रूप से सिद्ध किया कि RMI के चरम (बहुत कम या बहुत अधिक) डेटा गुणवत्ता के मुद्दों का संकेत देते हैं, जबकि मध्यम रेंज इष्टतम प्रशिक्षण डेटा का प्रतिनिधित्व करती है।
3. मॉडल डिसएग्रीमेंट सिग्नल: एक मजबूत और कमजोर मॉडल के बीच "कॉग्निटिव गैप" का उपयोग करने का प्रस्ताव दिया, जो उच्च-मूल्य वाले नमूनों के एक अद्वितीय सेट की पहचान करता है जिसे सहमति-आधारित (consensus-based) विधियाँ छोड़ देती हैं।
4. दक्षता (Efficiency): यह प्रदर्शित किया कि इस विधि का उपयोग करके केवल 25% डेटा का चयन करने से पूर्ण डेटासेट पर प्रशिक्षण के बराबर प्रदर्शन प्राप्त होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग WarriorCoder डेटासेट (310K सिंथेटिक कोड नमूने) पर DeepSeek-Coder-6.7B-Base को फाइन-ट्यून करने के लिए किए गए।

• पूर्ण डेटा बनाम प्रदर्शन: RMI 50-75% उपसमूह (25% डेटा) ने HumanEval+ (72.56 बनाम 72.56) और MBPP+ (58.47 बनाम 59.52) पर पूर्ण-डेटा प्रशिक्षण के बराबर प्रदर्शन प्राप्त किया।
• बेसलाइन के साथ तुलना:
  • इसने IFD (इन्स्ट्रक्शन-फॉलोइंग डिफिकल्टी) को काफी पीछे छोड़ दिया (जैसे, HumanEval+ पर 72.56 बनाम 66.46)।
  • इसने Random सैंपलिंग और SCAR तथा RDS+ जैसी अन्य चयन विधियों को भी पछाड़ दिया।
• चरम सीमाओं का विश्लेषण:
  • Top 25% RMI: इसने कम प्रदर्शन किया, जिससे पुष्टि हुई कि अत्यधिक उच्च RMI दोषपूर्ण पैटर्न (जैसे कि क्वेरी कीवर्ड्स को केवल दोहराने वाले उत्तर) से संबंधित है।
  • Bottom 25% RMI: इसने कम प्रदर्शन किया, जिससे पुष्टि हुई कि कम RMI सिमेंटिक मिसअलाइनमेंट का संकेत देता है।
• डिसएग्रीमेंट बनाम कंसेंसस (Disagreement vs. Consensus):
  • Diff-High (डिसएग्रीमेंट रणनीति) ने 71.95 प्राप्त किया।
  • Sum-High (कंसेंसस रणनीति, जहाँ दोनों मॉडल उच्च गुणवत्ता पर सहमत हैं) ने 68.90 प्राप्त किया।
  • Diff-High और Sum-High चयन के बीच ओवरलैप केवल 13.85% था, जो यह सिद्ध करता है कि डिसएग्रीमेंट सिग्नल एक अद्वितीय, मूल्यवान डेटा उपसमूह को कैप्चर करता है जिसे सहमति विधियाँ फ़िल्टर कर देती हैं।

5. महत्व और प्रभाव (Significance and Impact)

• कंप्यूटेशनल दक्षता: यह विधि पूर्ण-डेटा प्रदर्शन बनाए रखते हुए केवल 25% सिंथेटिक डेटा पर प्रशिक्षण लेने की अनुमति देती है, जिससे कंप्यूटिंग लागत (प्रशिक्षण समय और ऊर्जा) में भारी कमी आती है।
• डेटा क्यूरेशन प्रतिमान: द्विदिश सिमेंटिक सुसंगतता (bidirectional semantic coherence) के महत्व को रेखांकित करता है। यह सुझाव देता है कि उच्च-गुणवत्ता वाले सिंथेटिक डेटा को न केवल कठिन ($A|Q$) होना चाहिए, बल्कि तार्किक रूप से व्याख्यात्मक ($Q|A$) भी होना चाहिए।
• स्केलेबिलिटी: बिना मानवीय हस्तक्षेप के विशाल सिंथेटिक डेटासेट को क्यूरेट करने के लिए एक स्केलेबल मार्ग प्रदान करता है, जो सीडलेस डेटा में निहित "शोर" की समस्या को संबोधित करता है।
• सामान्यीकरण (Generalizability): हालांकि कोड पर परीक्षण किया गया है, रिवर्स पर्प्लेक्सिटी और मॉडल डिसएग्रीमेंट का उपयोग करने का QAQ फ्रेमवर्क अन्य डोमेन के इंस्ट्रक्शन ट्यूनिंग के लिए भी लागू किया जा सकता है।

निष्कर्ष (Conclusion)

यह शोध पत्र स्थापित करता है कि QAQ सिंथेटिक कोड डेटा को फ़िल्टर करने के लिए एक बेहतर विधि है। यह मापकर कि एक उत्तर एक प्रश्न की कितनी अच्छी तरह व्याख्या करता है और मॉडलों के बीच "कॉग्निटिव गैप" का लाभ उठाकर, यह प्रभावी रूप से शोर और तुच्छ पैटर्न को हटा देता है, जिससे उच्च-प्रदर्शन वाले कोड जनरेशन मॉडल के कुशल प्रशिक्षण को सक्षम बनाया जा सके।