🤖 AI

Optimsyn: Influence-Guided Rubrics Optimization for Synthetic Data Generation

ऑप्टिमाइज़सिन (Optimsyn) एक अनुकूलन-आधारित ढांचा है जो सिंथेटिक डेटा की प्रशिक्षण उपयोगिता को मापने के लिए प्रभाव अनुमान (influence estimation) का लाभ उठाता है, जिससे विविध ज्ञान-गहन डोमेन में कार्य-विशिष्ट ट्यूनिंग की आवश्यकता के बिना डाउनस्ट्रीम मॉडल प्रदर्शन को सुधारने के लिए जनरेशन रूब्रिक्स के सुदृढीकरण शिक्षण (reinforcement learning) आधारित अनुकूलन को निर्देशित किया जा सके।

मूल लेखक: Zhiting Fan, Ruizhe Chen, Tianxiang Hu, Ru Peng, Zenan Huang, Haokai Xu, Yixin Chen, Jian Wu, Junbo Zhao, Zuozhu Liu

प्रकाशित 2026-04-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhiting Fan, Ruizhe Chen, Tianxiang Hu, Ru Peng, Zenan Huang, Haokai Xu, Yixin Chen, Jian Wu, Junbo Zhao, Zuozhu Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ OPTIMSYN पेपर का सरल अवधारणाओं और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

बड़ी समस्या: "विशेषज्ञ" की बाधा (The "Expert" Bottleneck)

कल्पना कीजिए कि आप एक प्रतिभाशाली छात्र (AI मॉडल) को एक शीर्ष-स्तरीय डॉक्टर या इतिहास विशेषज्ञ बनने के लिए सिखाना चाहते हैं। ऐसा करने के लिए, आपको उन्हें अभ्यास परीक्षा (डेटा) देनी होगी।

वास्तविकता: चिकित्सा, कानून या इतिहास जैसे क्षेत्रों में, उच्च-गुणवत्ता वाली अभ्यास परीक्षाएँ ढूँढना अविश्वसनीय रूप से कठिन है। असली विशेषज्ञ व्यस्त होते हैं, महंगे होते हैं, और कभी-कभी निजी रोगी रिकॉर्ड साझा नहीं कर सकते।
वर्तमान समाधान: लोग छात्र को सिखाने के लिए AI का उपयोग इन अभ्यास परीक्षाओं को लिखने के लिए करते हैं। लेकिन AI को यह बताने के लिए कि एक अच्छी परीक्षा कैसे लिखी जाए, मनुष्यों को एक सख्त नियम पुस्तिका (जिसे रूब्रिक/Rubric कहा जाता है) लिखनी पड़ती है।
दोष: इन नियम पुस्तिकाओं को लिखना एक केक का सही नुस्खा (recipe) खोजने की कोशिश करने जैसा है, बिना उसे चखे। मनुष्य अनुमान लगाते हैं, AI लिखता है, छात्र अध्ययन करता है, और फिर... हम देखते हैं कि क्या छात्र अंतिम परीक्षा पास करता है। यदि वे असफल होते हैं, तो हमें फिर से अनुमान लगाना पड़ता है कि नियम पुस्तिका में कौन सा नियम गलत था और फिर से प्रयास करना पड़ता है। यह धीमा, महंगा और अक्सर गलत होता है।

समाधान: OPTIMSYN (एक "स्मार्ट कोच")

इस पेपर के लेखकों ने OPTIMSYN नामक एक प्रणाली बनाई है। अनुमान लगाने के बजाय कि कौन से नियम काम करेंगे, वे छात्र के अपने प्रदर्शन को यह बताने देते हैं कि बेहतर नियम कैसे लिखे जाएँ।

इसे एक वीडियो गेम की तरह समझें जहाँ AI लेवल डिज़ाइनर है, और छात्र खिलाड़ी है।

पुराना तरीका: डिज़ाइनर अनुमान लगाता है कि कौन सा लेवल पर्याप्त कठिन है। खिलाड़ी इसे आज़माता है। यदि वह हार जाता है, तो डिज़ाइनर बदलने के लिए अनुमान लगाता है।
OPTIMSYN का तरीका: डिज़ाइनर एक लेवल बनाता है। खिलाड़ी इसे आज़माता है। सिस्टम तुरंत मापता है कि उस विशिष्ट लेवल ने खिलाड़ी को मजबूत बनाने में कितनी मदद की। यदि लेवल बेकार था, तो सिस्टम डिज़ाइनर को बताता है, "इस तरह के लेवल न बनाएँ।" यदि यह शानदार था, तो सिस्टम कहता है, "ऐसा और बनाएँ!"

गुप्त मंत्र: "इन्फ्लुएंस स्कोर" (The "Influence Scores" - एक क्रिस्टल बॉल)

सिस्टम को कैसे पता चलता है कि एक अभ्यास प्रश्न वास्तव में अच्छा है? वे इन्फ्लुएंस एस्टीमेशन (Influence Estimation) नामक एक गणितीय ट्रिक का उपयोग करते हैं।

उपमा: कल्पना कीजिए कि आपके पास एक क्रिस्टल बॉल है। आप एक एकल अभ्यास प्रश्न को देख सकते हैं और पूछ सकते हैं: "यदि मैं इस विशिष्ट प्रश्न को छात्र को दूँ, तो उनके अंतिम ग्रेड में कितना सुधार होगा?"
जादू: आमतौर पर, लोग प्रश्नों का निर्णय इस आधार पर लगाते हैं कि वे कैसे दिखते हैं (क्या वे बुद्धिमान लगते? क्या वे बड़े शब्दों का उपयोग करते हैं?)। OPTIMSYN "दिखावे" को अनदेखा करता है और गणित को देखता है। यह "ग्रेडिएंट" (वह दिशा जिसमें छात्र के मस्तिष्क को सीखने के लिए आगे बढ़ने की आवश्यकता है) की गणना करता है।
खोज: पेपर में पाया गया कि एक प्रश्न एकदम सटीक दिख सकता है (जैसे एक चमकदार, महंगी खिलौना) लेकिन वास्तव में छात्र को कुछ भी नहीं सिखाता। इसके विपरीत, एक उबाऊ दिखने वाला प्रश्न एक नए कौशल को अनलॉक करने की कुंजी हो सकता है। OPTIMSYN उन्हीं उबाऊ लेकिन शक्तिशाली प्रश्नों को खोज निकालता है।

यह कैसे काम करता है: सुदृढीकरण सीखना (The Reinforcement Learning Loop)

यह सिस्टम सुदृढीकरण सीखना (Reinforcement Learning) नामक एक तकनीक का उपयोग करता है (जैसे इनाम देकर कुत्ते को प्रशिक्षित करना)।

प्रॉम्प्टर (नियम लिखने वाला): एक AI मॉडल को प्रश्नों को उत्पन्न करने के लिए "रूब्रिक" (नियम पुस्तिका) लिखने का कार्य सौंपा जाता है।
जेनरेटर (प्रश्न लिखने वाला): दूसरा AI उन नियमों का उपयोग करके एक प्रश्न और उत्तर लिखता है।
टारगेट मॉडल (छात्र): छात्र AI उस प्रश्न से सीखने का प्रयास करता है।
रिवॉर्ड (इनाम/ट्रीट): सिस्टम इन्फ्लुएंस स्कोर की गणना करता है।
- क्या प्रश्न ने छात्र को बेहतर बनाने में मदद की? उच्च स्कोर = बड़ा इनाम।
- क्या प्रश्न ने छात्र को भ्रमित किया या कुछ नहीं किया? कम स्कोर = कोई इनाम नहीं।
अपडेट: "नियम लिखने वाला" AI इनाम प्राप्त करता है और सीखता है: "ठीक है, जब मैं ऐसे नियम लिखता हूँ जिनसे उच्च स्कोर मिलते हैं, तो मुझे पुरस्कृत किया जाता है। मैं अगली बार ऐसे ही और नियम लिखूँगा।"

समय के साथ, AI अस्पष्ट नियम लिखना बंद कर देता है जैसे "इसे दिलचस्प बनाएँ" और विशिष्ट, शक्तिशाली नियम लिखना शुरू कर देता है जैसे "चिकित्सा इतिहास में कारण और प्रभाव के बीच तार्किक संबंध पर ध्यान केंद्रित करें," क्योंकि वे ही नियम हैं जो वास्तव में छात्र को स्मार्ट बनाते हैं।

यह क्यों महत्वपूर्ण है (परिणाम)

इस पेपर का परीक्षण दो बहुत कठिन क्षेत्रों में किया गया: मानविकी/सामाजिक विज्ञान (जैसे इतिहास और अर्थशास्त्र) और चिकित्सा (Medicine)।

परिणाम: OPTIMSYN के डेटा के साथ प्रशिक्षित AI, मनुष्यों या अन्य AI विधियों द्वारा लिखे गए विशाल डेटासेट पर प्रशिक्षित मॉडलों की तुलना में बेहतर प्रदर्शन करता है।
पोर्टेबिलिटी: सबसे अच्छी बात? AI ने किसी भी विषय के लिए अच्छे नियम लिखने का तरीका सीख लिया। आपको AI को चिकित्सा नियम सिखाने के लिए किसी मानव डॉक्टर की आवश्यकता नहीं है; AI छात्र को सीखते हुए देखकर खुद ही इसे समझ लेता है।

एक वाक्य में सारांश

OPTIMSYN मानवीय अनुमान को एक गणितीय "क्रिस्टल बॉल" से बदल देता है जो AI को ठीक-ठीक बताता है कि कौन से अभ्यास प्रश्न एक छात्र को सबसे अधिक सीखने में मदद करते हैं, जिससे AI किसी भी कठिन विषय के लिए पूर्ण अध्ययन मार्गदर्शिका (study guides) स्वचालित रूप से लिख सकता है।

यहाँ शोध पत्र "OPTIMSYN: INFLUENCE-GUIDED RUBRICS OPTIMIZATION FOR SYNTHETIC DATA GENERATION" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को समस्या-समाधान क्षमताएं प्राप्त करने के लिए उच्च गुणवत्ता वाले सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) डेटा पर बहुत अधिक निर्भर रहना पड़ता है। हालाँकि, ज्ञान-गहन क्षेत्रों (जैसे चिकित्सा, कानून, मानविकी) में, उच्च गुणवत्ता वाले वास्तविक दुनिया के डेटा की कमी है क्योंकि:

लागत और विशेषज्ञता: विशेषज्ञ क्यूरेशन महंगा और समय लेने वाला है।
गोपनीयता: सख्त प्रतिबंध संवेदनशील डेटा के उपयोग को रोकते हैं।
निरंतरता: बड़े पैमाने पर मैनुअल एनोटेशन को मानकीकृत करना कठिन है।

सिंथेटिक डेटा की वर्तमान सीमाएँ:
मौजूदा सिंथेटिक डेटा पाइपलाइन आमतौर पर एक "हैंडक्राफ्टेड रूब्रिक" (handcrafted rubric) दृष्टिकोण का उपयोग करती हैं:

विशेषज्ञ निर्भरता: रूब्रिक्स (नियम/प्रॉम्प्ट्स) मनुष्यों द्वारा डिज़ाइन किए जाते हैं और अक्सर डोमेन-विशिष्ट होते हैं, जो विभिन्न कार्यों या डोमेन में स्थानांतरित होने में विफल रहते हैं।
भंगुर अनुकूलन लूप (Brittle Optimization Loop): यह प्रक्रिया एक ह्यूरिस्टिक लूप का अनुसरण करती है: रूब्रिक लिखें → डेटा सिंथेसाइज करें → मॉडल को ट्रेन करें → निरीक्षण करें → सुधार के लिए अनुमान लगाएं। इसमें मात्रात्मक फीडबैक का अभाव है, जिससे डाउनस्ट्रीम प्रदर्शन लाभों को विशिष्ट रूब्रिक विकल्पों के साथ विश्वसनीय रूप से जोड़ना असंभव हो जाता है।
प्रतिनिधित्व बनाम उपयोगिता अंतराल (Representation vs. Utility Gap): हाल के कार्यों से पता चलता है कि सिंथेटिक डेटा एम्बेडिंग स्पेस में वास्तविक डेटा के सेमेंटिक रूप से करीब हो सकता है, लेकिन यह मॉडल के प्रदर्शन में सुधार करने में विफल रहता है क्योंकि यह अनुकूलन को उप-इष्टतम दिशाओं में मोड़ देता है।

2. कार्यप्रणाली: OptimSyn फ्रेमवर्क (Methodology: OptimSyn Framework)

लेखक OptimSyn का प्रस्ताव करते हैं, जो ह्यूरिस्टिक रूब्रिक इंजीनियरिंग को ऑप्टिमाइज़र-अवेयर इन्फ्लुएंस एस्टीमेशन (optimizer-aware influence estimation) द्वारा संचालित एक मॉडल-केंद्रित अनुकूलन लूप से बदल देता है।

A. मुख्य अंतर्दृष्टि: एम्बेडिंग के ऊपर प्रभाव (Influence over Embeddings)

यह शोध पत्र प्रदर्शित करता है कि एम्बेडिंग निकटता (embedding proximity) प्रशिक्षण उपयोगिता के साथ अच्छी तरह से सह-संबंधित नहीं होती है। इसके बजाय, वे यह मापने के लिए इन्फ्लुएंस फंक्शन्स (Influence Functions) का उपयोग करते हैं कि एक विशिष्ट सिंथेटिक नमूना $(Q, A)$ लक्षित मॉडल के वैलिडेशन लॉस को कैसे प्रभावित करता है।

मेट्रिक: वे एक Adam-compatible influence estimator ( $IF_{Adam}$ ) का उपयोग करते हैं।
फॉर्मूला: एक ट्रेनिंग सैंपल $z$ का वैलिडेशन सैंपल $z'$ पर प्रभाव को Adam ऑप्टिमाइज़र मोमेंट स्टैटिस्टिक्स के लिए समायोजित करके, उनके ग्रेडिएंट्स के डॉट प्रोडक्ट द्वारा अनुमानित किया जाता है:
$Inf_{Adam}(z, z') = \sum_{i=1}^{T} \bar{\eta}_i \cos(\nabla_\theta \ell(z'; \theta_i), \Gamma(z, \theta_i))$
जहाँ $\Gamma$ Adam अपडेट दिशा का प्रतिनिधित्व करता है।
वैलिडेशन: प्रयोगों से पता चलता है कि डेटासेट के कुल प्रभाव स्कोर (aggregate influence score) और डाउनस्ट्रीम सटीकता के बीच एक मजबूत सकारात्मक सहसंबंध है, जो इसे एक विश्वसनीय प्रॉक्सी के रूप में मान्य करता है।

B. अनुकूलन लूप (RL फ्रेमवर्क) (The Optimization Loop: RL Framework)

OptimSyn रूब्रिक जनरेशन को एक स्थिर डिज़ाइन कार्य के बजाय एक सीखने योग्य पॉलिसी समस्या के रूप में मानता है।

घटक (Components):
- सीड डेटा ( $S$ ): कच्चे डोमेन दस्तावेज़।
- प्रॉम्प्टर (पॉलिसी $\pi_\theta$ ): एक मॉडल जो दिए गए $S$ के लिए एक विशिष्ट रूब्रिक $B$ उत्पन्न करता है।
- जेनेरेटर (टीचर): एक शक्तिशाली LLM (जैसे Qwen-235B) जो $(S, B)$ की स्थिति में $(Q, A)$ को सिंथेसाइज करता है।
- टारगेट मॉडल: वह मॉडल जिसे फाइन-ट्यून किया जा रहा है (जैसे Qwen-8B)।
रिवॉर्ड फंक्शन (Reward Function):
एक ट्राजेक्टरी $\tau = \{S, B, (Q, A)\}$ के लिए रिवॉर्ड $R(\tau)$ निम्नलिखित को जोड़ता है:
- वैलिडिटी चेक: फॉर्मेट, सुरक्षा और गैर-तुच्छता सुनिश्चित करने वाला एक हल्का वर्िफायर ( $Valid \in \{0, 1\}$ )।
- इन्फ्लुएंस स्कोर: लक्षित मॉडल के ऑब्जेक्टिव में अनुमानित योगदान।
- पेनल्टी: अमान्य जनरेशन के लिए एक पेनल्टी $\lambda$ ।
  $R(\tau) = Valid(Q, A) \cdot IF(Q, A) - \lambda(1 - Valid(Q, A))$
ट्रेनिंग एल्गोरिदम (Training Algorithm):
- प्रॉम्प्टर को GRPO (Group Relative Policy Optimization) का उपयोग करके अनुकूलित किया जाता है।
- प्रत्येक सीड के लिए, पॉलिसी $G$ कैंडिडेट रूब्रिक्स उत्पन्न करती है।
- वेरिएंस को कम करने के लिए ग्रुप नॉर्मलाइजेशन के माध्यम से एडवांटेज की गणना की जाती है।
- पॉलिसी को अपेक्षित प्रभाव स्कोर को अधिकतम करने के लिए अपडेट किया जाता है, जो प्रभावी रूप से ऐसे रूब्रिक्स बनाना सीखती है जो लक्षित मॉडल के विशिष्ट अनुकूलन पथ के लिए सबसे अधिक लाभकारी डेटा उत्पन्न करते हैं।

3. प्रमुख योगदान (Key Contributions)

ऑप्टिमाइज़र-अवेयर इन्फ्लुएंस एस्टीमेशन: आधुनिक LLM पाइपलाइनों के लिए क्लासिकल इन्फ्लुएंस फंक्शन्स को Adam-compatible एस्टिमेटर्स का उपयोग करके अनुकूलित किया गया। यह सिंथेटिक डेटा उपयोगिता का आकलन करने के लिए एक सिद्धांत आधारित, ग्रेडिएंट-आधारित सिग्नल प्रदान करता है, जो सेमेंटिक समानता और प्रशिक्षण प्रभाव के बीच के अंतर को उजागर करता है।
ह्यूरिस्टिक्स से सुपरविजन तक: रूब्रिक डिज़ाइन को मैनुअल, विशेषज्ञ-संचालित ह्यूरिस्टिक्स से एक सीखने योग्य पॉलिसी में बदल दिया गया जिसे रीइन्फोर्समेंट लर्निंग (RL) के माध्यम से अनुकूलित किया जाता है। रूब्रिक जनरेटर सीधे डाउनस्ट्रीम मॉडल सुधार को अधिकतम करने के लिए रूब्रिक्स बनाना सीखता है।
व्यापक सामान्यीकरण और पोर्टेबिलिटी: इस फ्रेमवर्क के लिए किसी टास्क-विशिष्ट ट्यूनिंग की आवश्यकता नहीं है। यह विभिन्न डोमेन (मानविकी/सामाजिक विज्ञान, चिकित्सा), टारगेट मॉडल परिवारों (Qwen, Llama), और जेनेरेटर मॉडल्स (Qwen, GPT, Gemini) में सफलतापूर्वक स्थानांतरित होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन मानविकी और सामाजिक विज्ञान (HSS) और चिकित्सा और स्वास्थ्य (Medical & Health) डोमेन पर किया गया।

प्रदर्शन लाभ (Performance Gains):
- HSS डोमेन: OptimSyn ने Qwen3-8B-Base मॉडल को मजबूत ओपन SFT बेसलाइन्स (जैसे MAGACorpus, Bonito) से बेहतर प्रदर्शन करने और यहाँ तक कि Qwen3-8B-Instruct मॉडल का मुकाबला करने के लिए अपग्रेड किया। उल्लेखनीय लाभों में Humanity's Last Exam (HLE) बेंचमार्क पर +27.2% सापेक्ष सुधार शामिल था।
- मेडिकल डोमेन: इसने HealthBench और HLE जैसे बेंचमार्क पर विशेष मेडिकल डेटासेट्स (ChatDoctor, MedQA, Medical-o1) को पछाड़ दिया, जिससे इंस्ट्रक्शन-ट्यून्ड मॉडल्स के साथ अंतर कम हो गया।
सामान्यीकरण (Generalization):
- मॉडल एग्नॉस्टिक: Qwen वेरिएंट्स (4B, 8B, 14B) और Llama3-8B में निरंतर सुधार देखे गए।
- जेनेरेटर रोबस्ट: विधि प्रभावी रही चाहे जेनेरेटर Qwen-235B हो, GPT-4.1 हो, या Gemini-2.5-Pro हो।
डेटा दक्षता (Data Efficiency):
- इन्फ्लुएंस कोरिलेशन: सिंथेटिक सबसेट्स में उच्च प्रभाव स्कोर सीधे उच्च डाउनस्ट्रीम सटीकता के साथ सह-संबंधित थे, भले ही ट्रेनिंग बजट सीमित (2K–4K सैंपल्स) हो।
- मात्रा से अधिक गुणवत्ता: विधि ने काफी बड़े टोकन काउंट वाले बेसलाइन्स की तुलना में ~25k सैंपल्स के साथ श्रेष्ठ परिणाम प्राप्त किए, जो यह सिद्ध करता है कि "इन्फ्लुएंस-अलाइन्ड" डेटा कच्चे स्केल (raw scale) की तुलना में अधिक कुशल है।

5. महत्व और प्रभाव (Significance and Impact)

पैराडाइम शिफ्ट: OptimSyn सिंथेटिक डेटा जनरेशन को "अनुमान और जाँच" (guess-and-check) की ह्यूरिस्टिक प्रक्रिया से एक क्लोज्ड-लूप, ग्रेडिएंट-अलाइन्ड ऑप्टिमाइज़ेशन समस्या में बदल देता है।
डेटा-दुर्लभ डोमेन में स्केलेबिलिटी: यह उच्च-दांव वाले क्षेत्रों (चिकित्सा, कानून) के लिए एक व्यवहार्य समाधान प्रदान करता है जहाँ डेटा निजी या महंगा है, जिससे मॉडल को ऐसे सिंथेटिक डेटा से सीखने की अनुमति मिलती है जो गणितीय रूप से विशिष्ट लक्षित आर्किटेक्चर के लिए उपयोगी है।
स्वचालन (Automation): RL के माध्यम से रूब्रिक डिज़ाइन को स्वचालित करके, यह डेटा क्यूरेशन के लिए डोमेन विशेषज्ञों पर निर्भरता को कम करता है, जिससे उच्च गुणवत्ता वाला SFT डेटा जनरेशन विविध कार्यों के लिए अधिक सुलभ और पोर्टेबल बनता है।

निष्कर्षतः, OptimSyn यह प्रदर्शित करता है कि लक्षित मॉडल के वास्तविक अनुकूलन गतिकी (influence functions के माध्यम से) के साथ डेटा सिंथेसिस को संरेखित करके, हम ऐसा सिंथेटिक डेटा उत्पन्न कर सकते हैं जो न केवल सेमेंटिक रूप से प्रशंसनीय है बल्कि कार्यात्मक रूप से श्रेष्ठ भी है।