🤖 machine learning

Greedy Information Projection for LLM Data Selection

यह शोध पत्र ग्रीडी इंफॉर्मेशन प्रोजेक्शन (GIP) को प्रस्तुत करता है, जो एक सिद्धांतपूर्ण ढांचा है जो एक तेज़ ग्रीडी ऑप्टिमाइज़ेशन प्रक्रिया के माध्यम से डेटा और कार्य-विशिष्ट क्वेरी संकेतों के बीच म्यूचुअल इंफॉर्मेशन को अधिकतम करके लार्ज लैंग्वेज मॉडल फाइन-ट्यूनिंग के लिए विविध और उच्च-गुणवत्ता वाले प्रशिक्षण उदाहरणों को कुशलतापूर्वक चुनता है।

मूल लेखक: Victor Ye Dong, Kuan-Yun Lee, Jiamei Shuai, Shengfei Liu, Yi Liu, Jian Jiao

प्रकाशित 2026-03-17

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Victor Ye Dong, Kuan-Yun Lee, Jiamei Shuai, Shengfei Liu, Yi Liu, Jian Jiao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप दुनिया का सबसे बेहतरीन सूप बनाने की कोशिश कर रहे एक शेफ हैं। आपके पास 52,000 अलग-अलग सामग्रियों (डेटा पॉइंट्स) से भरा एक विशाल गोदाम है। अतीत में, नियम सरल था: "आप जितनी अधिक सामग्रियां उपयोग करेंगे, सूप उतना ही बेहतर होगा।" लेकिन आपने महसूस किया है कि बर्तन में सब कुछ डाल देने से सूप धुंधला और बेस्वाद हो जाता है, और आपके पास इसे पकाने के लिए पर्याप्त समय या ईंधन (कंप्यूटिंग पावर) भी नहीं है।

आपको उन परफेक्ट 1,000 सामग्रियों को चुनना है जो आपके सूप को अद्भुत बना देंगी, बिना खराब या उबाऊ चीजों पर समय बर्बाद किए।

यह पेपर GIP (Greedy Information Projection) नामक एक नई विधि पेश करता है ताकि AI के लिए ठीक यही समस्या हल की जा सके। यह कैसे काम करता है, यहाँ सरल भाषा में समझाया गया है:

1. समस्या: बहुत अधिक शोर, बहुत कम संकेत (Too Much Noise, Not Enough Signal)

जब हम AI (जैसे वे चैटबॉट्स जिनसे आप बात करते हैं) को प्रशिक्षित (train) करते हैं, तो हम आमतौर पर उन्हें बहुत सारा टेक्स्ट खिलाते हैं। लेकिन सभी टेक्स्ट एक समान नहीं होते। कुछ शानदार होते हैं, कुछ बकवास होते हैं, और कुछ वही होते हैं जो पहले से मौजूद किसी चीज़ की नकल हैं।

पुराना तरीका: लोग "डुप्लिकेट हटाएं" या "केवल लंबे वाक्यों को रखें" जैसे सरल नियमों का उपयोग करके डेटा को फ़िल्टर करने की कोशिश करते थे। यह एक शेफ के ऐसा कहने जैसा है कि, "मैं केवल लाल सब्जियां ही लूंगा।" यह थोड़ा मदद तो करता है, लेकिन यह बहुत स्मार्ट नहीं है।
लक्ष्य: हमें कुछ चुनिले, विविध और उच्च गुणवत्ता वाले उदाहरणों को चुनने का एक तरीका चाहिए जो पूरे गोदाम जितना ही अच्छा सबक सिखा सकें।

2. समाधान: "शैडो प्रोजेक्शन" (छाया प्रक्षेपण) का कमाल

लेखकों ने एक चतुर गणितीय विचार निकाला जिसे Greedy Information Projection कहा जाता है।

कल्पना कीजिए कि आपके पास एक विशाल, अंधेरा कमरा (डेटा) है और एक टॉर्च (टास्क) है।

डेटा फर्श पर बिखरी हुई यादृच्छिक वस्तुओं का ढेर है।
टास्क वह विशिष्ट आकार है जिसे आप दीवार पर स्पष्ट रूप से देखना चाहते हैं (जैसे कि एक पूर्ण वृत्त)।

यदि आप केवल टॉर्च जला देते हैं, तो आपको सब कुछ का एक अस्त-व्यस्त साया (shadow) दिखाई देगा। GIP का लक्ष्य उन कुछ विशिष्ट वस्तुओं को चुनना है जो, जब उन पर रोशनी पड़ती है, तो दीवार पर उस आकार का सबसे स्पष्ट और पूर्ण छाया बनाती हैं।

यह वस्तुओं को कैसे चुनता है?
यह एक साथ दो नियमों का उपयोग करता है:

गुणवत्ता (Quality): क्या यह वस्तु अच्छी दिखती है? (क्या यह एक उच्च-गुणवत्ता वाला उदाहरण है?)
विविधता (Diversity): क्या यह एक नया कोण दिखाती है? (यदि मैंने पहले ही एक लाल सेब चुन लिया है, तो दूसरा लाल सेब न चुनें। एक हरा नाशपाती चुनें ताकि छाया पूरी हो सके।)

3. "ग्रीडी" शेफ (एल्गोरिदम)

पेपर इस विधि को "Greedy" कहता है, लेकिन एक अच्छे अर्थ में। कल्पना कीजिए कि आप एक पहेली (puzzle) बना रहे हैं, लेकिन आप एक बार में केवल एक ही टुकड़ा चुन सकते हैं।

चरण 1: आप टुकड़ों के पूरे डिब्बे को देखते हैं। आप उस टुकड़े को चुनते हैं जो अभी इस क्षण आपकी तस्वीर में सबसे बड़ा अंतर (gap) भरता है।
चरण 2: आप फिर से देखते हैं। आप अगला टुकड़ा चुनते हैं जो अगले सबसे बड़े अंतर को भरता है।
चरण 3: आप तब तक करते रहते हैं जब तक कि आपकी तस्वीर पूरी न हो जाए।

यह Greedy Matching Pursuit है। पूरी पहेली को एक साथ हल करने के बजाय (जिसमें बहुत समय लगता है), यह हर एक कदम पर सबसे अच्छा निर्णय लेता है। क्योंकि यह इतना कुशल है, यह एक सामान्य कंप्यूटर पर मिनटों में लाखों डेटा पॉइंट्स को स्कैन कर सकता है, जिसके लिए सुपरकंप्यूटर की आवश्यकता नहीं होती।

4. "अच्छाई" को परखने के दो तरीके

पेपर दिखाता है कि "अच्छा" डेटा तय करने के दो तरीके हैं:

विधि A (विशेषज्ञ निर्णायक): एक सुपर-स्मार्ट AI (जैसे GPT-4) का उपयोग करें जो हर डेटा के टुकड़े को पढ़े और इस आधार पर उसे स्कोर दे कि वह कितना मददगार, सटीक और स्पष्ट है। यह एक खाद्य समीक्षक (food critic) को हर सामग्री को खरीदने से पहले चखने के लिए नियुक्त करने जैसा है।
विधि B (ज्यामिति का कमाल): यदि आपके पास समीक्षक नहीं है, तो आप डेटा के "आकार" को देख सकते हैं। यदि कोई डेटा का टुकड़ा भीड़ के बिल्कुल बीच में स्थित है, तो वह संभवतः एक अच्छा, प्रतिनिधि उदाहरण है। यदि वह एक आउटलायर (outlier) है, तो वह अजीब हो सकता है। यह विधि उस डेटा को चुनती है जो स्वाभाविक रूप से समूह के "केंद्र" का प्रतिनिधित्व करता है।

5. परिणाम: छोटा बर्तन, बड़ा स्वाद

शोधकर्ताओं ने गणितीय समस्याओं और लेखन कार्यों पर इसका परीक्षण किया।

आश्चर्य: उन्होंने AI मॉडल को मूल डेटा के केवल 1% से 20% का उपयोग करके प्रशिक्षित किया।
परिणाम: इन छोटे मॉडलों ने मूल डेटा के 100% डेटा के मुकाबले समान रूप से (और कभी-कभी बेहतर!) प्रदर्शन किया।
उपमा: यह महसूस करने जैसा है कि एक स्वादिष्ट सूप बनाने के लिए आपको 52,000-सामग्री वाले पूरे गोदाम को खाने की ज़रूरत नहीं है। आपको बस 1,000 सर्वश्रेष्ठ सामग्रियां चाहिए, जिन्हें एक स्मार्ट शेफ द्वारा चुना गया हो।

यह क्यों महत्वपूर्ण है?

पैसा बचाता है: AI को प्रशिक्षित करना महंगा है। यदि आपको 100 गुना कम डेटा की आवश्यकता है, तो आप बिजली और हार्डवेयर पर भारी बचत करते हैं।
समय बचाता है: आप मॉडलों को बहुत तेज़ी से प्रशिक्षित कर सकते हैं।
बेहतर AI: "कचरा" डेटा को हटाकर, AI अधिक साफ और सटीक सबक सीखता है।

संक्षेप में: GIP, AI प्रशिक्षण के लिए "सर्वश्रेष्ठ में से सर्वश्रेष्ठ" को क्यूरेट करने का एक स्मार्ट, तेज़ और गणितीय रूप से सुदृढ़ तरीका है, जो यह सुनिश्चित करता है कि डेटा का हर एक टुकड़ा मायने रखे, ताकि हम कम बर्बादी के साथ स्मार्ट AI बना सकें।

यहाँ पेपर "Greedy Information Projection for LLM Data Selection" (GIP) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह पेपर लार्ज लैंग्वेज मॉडल्स (LLMs) को फाइन-ट्यून करने के लिए डेटा चयन (data selection) की महत्वपूर्ण चुनौती को संबोधित करता है। जबकि स्केलिंग लॉ (scaling laws) यह सुझाव देते हैं कि डेटा की मात्रा बढ़ाने से प्रदर्शन में सुधार होता है, अभ्यासकर्ता तेजी से पाते हैं कि एक पर्याप्त मात्रा प्राप्त होने के बाद डेटा की गुणवत्ता (data quality) ही सीमित कारक बन जाती है।

मुख्य चुनौती: प्रशिक्षण उदाहरणों के एक छोटे उपसमूह (subset) का चयन करना जो कंप्यूटेशनल और स्टोरेज सीमाओं का सम्मान करते हुए डाउनस्ट्रीम प्रदर्शन को अधिकतम करे।
अंतराल (The Gap): मौजूदा विधियाँ अक्सर तदर्थ ह्यूरिस्टिक्स (ad-hoc heuristics) (जैसे, परप्लेक्सिटी थ्रेशोल्ड, डीडुप्लिकेशन) या गुणवत्ता (जैसे, LLM रेटिंग्स) और विविधता (जैसे, क्लस्टरिंग) को संभालने के लिए अलग-अलग प्रक्रियाओं पर निर्भर करती हैं। एक एकल उद्देश्य (single objective) के तहत उच्च-गुणवत्ता और विविध डेटा दोनों को एक साथ अनुकूलित करने के लिए एक एकीकृत सैद्धांतिक ढांचे का अभाव है।

2. कार्यप्रणाली: ग्रीडी इंफॉर्मेशन प्रोजेक्शन (GIP)

लेखक GIP प्रस्तावित करते हैं, जो एक सिद्धांत आधारित ढांचा है जो डेटा चयन को एक म्युचुअल इंफॉर्मेशन (Mutual Information - MI) मैक्सिमाइजेशन समस्या के रूप में प्रस्तुत करता है।

A. सैद्धांतिक सूत्रीकरण (Theoretical Formulation)

यह ढांचा डेटा एम्बेडिंग्स और कार्य-विशिष्ट "क्वेरी" संकेतों (स्कोर) के बीच संबंध को मॉडल करता है।

इनपुट:
- $F \in \mathbb{R}^{d \times m}$ : डेटा एम्बेडिंग मैट्रिक्स (m उम्मीदवारों के फीचर्स)।
- $G \in \mathbb{R}^{m \times n}$ : स्कोर मैट्रिक्स (n गुणवत्ता आयामों पर m उम्मीदवारों का मूल्यांकन, जैसे, उपयोगिता, सटीकता)।
- $Q \in \mathbb{R}^{d \times n}$ : एक "क्वेरी एम्बेडिंग" मैट्रिक्स जिसे इस तरह बनाया गया है कि $F^\top Q \approx G$ हो। यह फीचर स्पेस (विविधता) को स्कोर स्पेस (गुणवत्ता) से जोड़ता है।
उद्देश्य: लक्ष्य आकार $k$ का एक उपसमूह $S$ चुनना है जो क्वेरी संकेतों ( $Z_Q$ ) और चयनित डेटा प्रोजेक्शन्स ( $Z_{F_S}$ ) के बीच म्युचुअल इंफॉर्मेशन को अधिकतम करता है, यह मानते हुए कि वितरण गॉसियन (Gaussian) है।
$\max_S I(Z_Q; Z_{F_S})$
ज्यामितिक व्याख्या (Geometric Interpretation): इस MI को अधिकतम करना गणितीय रूप से चयनित डेटा के नुल स्पेस (null space) पर क्वेरी एम्बेडिंग्स के वॉल्यूम (डिटरमिनेंट) को कम करने के बराबर है।
- गुणवत्ता: यह सुनिश्चित करता है कि चयनित डेटा उच्च-स्कोर दिशाओं के साथ संरेखित (align) हो।
  क विविधता: यह सुनिश्चित करता है कि चयनित डेटा एम्बेडिंग स्पेस में नई दिशाओं को कवर करे (नुल स्पेस वॉल्यूम को कम करना)।

B. कुशल सन्निकटन एल्गोरिदम (Efficient Approximation Algorithm - Greedy Matching Pursuit)

बड़े डेटासेट के लिए सीधे MI उद्देश्य को अनुकूलित करना गणनात्मक रूप से कठिन (intractable) है। लेखक एक ग्रीडी मैचिंग पर्स्यूट (Greedy Matching Pursuit - MP) एल्गोरिदम विकसित करते हैं:

रिलैक्सेशन (Relaxation): वे डिटरमिनेंट मिनिमाइजेशन को ट्रेस मिनिमाइजेशन समस्या में बदलने के लिए अरिथमेटिक मीन-ज्यामितिक मीन (AM-GM) असमानता का उपयोग करते हैं, जो रैखिक है और अनुकूलित करने में आसान है।
डुअल फॉर्मूलेशन (Dual Formulation): समस्या को चयनित सेट के नुल स्पेस पर प्रोजेक्ट किए गए क्वेरी एम्बेडिंग्स के रेसिडुअल गेन (residual gain) को कम करने में बदल दिया जाता है।
एल्गोरिदम (Algorithm 1):
- प्रीडकंप्यूटेड ग्रैम मैट्रिक्स ( $\Phi = F^\top F$ ) को स्टोर करने के लिए कंप्यूट करें।
- एक रेसिडुअल स्कोर मैट्रिक्स $W$ बनाए रखें।
- पुनरावृत्ति चयन (Iterative Selection): प्रत्येक चरण में, उस डेटा पॉइंट को चुनें जो उम्मीदवार पर रेसिडुअल्स के स्क्वेर्ड प्रोजेक्शन्स के योग को अधिकतम करता है।
- अपडेट: बिना स्क्रैच से प्रोजेक्शन को पुन: कंप्यूट किए, प्रीडकंप्यूटेड इनर प्रोडक्ट्स का उपयोग करके रेसिडुअल मैट्रिक्स $W$ को कुशलतापूर्वक अपडेट करें।
जटिलता (Complexity): यह एल्गोरिदम $O(m^2d + mnk)$ समय में चलता है। प्रारंभिक $O(m^2d)$ प्रीकंप्यूटेशन के बाद, चयन चरण डेटासेट के आकार $m$ के साथ लगभग रैखिक रूप से स्केल करता है, जिससे यह बड़े पैमाने के डेटा के लिए व्यवहार्य हो जाता है।

C. स्कोरिंग के दो वेरिएंट्स

यह ढांचा स्कोर मैट्रिक्स $G$ उत्पन्न करने के दो तरीके प्रदान करता है:

MP+MA (Multi-Attribute): डेटा को कई आयामों (सुसंगतता, सटीकता, उपयोगिता) पर स्कोर करने के लिए बाहरी LLM मूल्यांकनों (जैसे, GPT-4o) का उपयोग करता है।
MP+SC (Self-Compression): एक आंतरिक ज्यामितिक सिग्नल का उपयोग करता है। यह गणना करता है कि एक सैंपल डेटासेट वितरण के प्रति कितना "केंद्रीय" है (इसके सभी अन्य सैंपल्स के साथ डॉट प्रोडक्ट को जोड़कर $g_i = \sum_j f_i^\top f_j$ )। इसके लिए किसी बाहरी पर्यवेक्षण (supervision) की आवश्यकता नहीं होती है।

3. मुख्य योगदान

एकीकृत सैद्धांतिक ढांचा: एक एकल म्युचुअल इंफॉर्मेशन उद्देश्य पेश करता है जो स्वाभाविक रूप से गुणवत्ता (स्कोर के साथ संरेखण) और विविधता (फीचर स्पेस को कवर करना) को संतुलित करता है, जिससे अलग-अलग ह्यूरिस्टिक्स की आवश्यकता समाप्त हो जाती है।
कुशल एल्गोरिदम: कुशल प्रोजेक्शन-आधारित अपडेट के साथ एक ग्रीडी मैचिंग पर्स्यूट एल्गोरिदम विकसित करता है। यह LESS या DSIR जैसी विधियों के विपरीत, ग्रेडिएंट गणना या बाहरी वैलिडेशन सेट की आवश्यकता को रोकता है।
मजबूत अनुभवजन्य प्रदर्शन: विभिन्न बेंचमार्क और मॉडल आकारों में केवल 1% से 20% प्रशिक्षण डेटा का उपयोग करके फुल-डेटासेट फाइन-ट्यूनिंग प्रदर्शन के बराबर या उससे बेहतर प्रदर्शन करना प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने विभिन्न मॉडल्स जैसे Mistral-7B, Qwen3-4B/8B/32B का उपयोग करके इंस्ट्रक्शन फॉलोइंग (MT-Bench, BBH, Alpaca-Eval-V2) और गणितीय तर्क (GSM8K) पर GIP का मूल्यांकन किया।

डेटा दक्षता (Data Efficiency):
- GSM8K पर, GIP (MP+MA) ने केवल 20% डेटा के साथ 83.24% सटीकता प्राप्त की, जो फुल डेटासेट के प्रदर्शन (83.24%) के बराबर है।
- MT-Bench पर, Alpaca-52k डेटासेट के मात्र 1% (512 सैंपल्स) के साथ GIP (MP+MA) ने Qwen3-8B पर फुल-डेटा ट्रेनिंग के बराबर या उससे बेहतर स्कोर प्राप्त किया (8.26 बनाम 7.74)।
बेसलाइन के साथ तुलना:
- GIP ने लगातार Random सिलेक्शन, LIMA (लेंथ-बेस्ड), Alpagasus (क्वालिटी-बेस्ड), CaR (क्लस्टरिंग), DSIR (इम्पॉर्टेंस रीसैंपलिंग), और LESS (ग्रेडिएंट-बेस्ड) को पछाड़ दिया।
- विशेष रूप से, GIP ने इन परिणामों को प्राप्त करने के लिए ग्रेडिएंट्स के लिए प्रशिक्षित मॉडल (LESS के विपरीत) या होल्ड-आउट वैलिडेशन सेट (DSIR/LESS के विपरीत) की आवश्यकता के बिना किया।
मजबूती (Robustness):
- यह विधि एम्बेडिंग शोर (noise) के तहत स्थिर रही (हल्के शोर के लिए IoU > 85%)।
- इसने विभिन्न मॉडल स्केल्स (7B से 32B) और कार्य प्रकारों (रीजनिंग बनाम क्रिएटिव राइटिंग) में अच्छा प्रदर्शन किया।

5. महत्व और भविष्य का कार्य

व्यावहारिक प्रभाव: GIP डेटा क्यूरेशन के लिए एक कंप्यूटेशनल रूप से कुशल, सैद्धांतिक रूप से सुदृढ़ तरीका प्रदान करता है। यह महंगे ग्रेडिएंट गणनाओं या बाहरी वैलिडेशन सेट्स की आवश्यकता को समाप्त करता है, जिससे संसाधन-बाधित वातावरण के लिए उच्च-गुणवत्ता वाला डेटा चयन सुलभ हो जाता है।
सैद्धांतिक अंतर्दृष्टि: MI मैक्सिमाइजेशन की ज्यामितिक व्याख्या यह स्पष्ट करती है कि "गुणवत्ता" और "विविधता" कैसे एक साथ उभरते हैं: क्वेरी प्रोजेक्शन के वॉल्यूम को कम करने वाले डेटा का चयन करना स्वाभाविक रूप से उच्च-मूल्य वाली दिशाओं को कवर करने के लिए मजबूर करता है और रेडंडेंसी (redundancy) से बचता है।
भविष्य की दिशाएं: लेखक स्ट्रीमिंग वेरिएंट के माध्यम से प्री-ट्रेनिंग स्केल डेटासेट तक ढांचे को विस्तारित करने, गैर-गॉसियन शोर को संभालने, और मल्टीमॉडल और निरंतर सीखने (continual learning) की स्थितियों को अनुकूलित करने का सुझाव देते हैं।

संक्षेप में, GIP गुणवत्ता और विविधता को एक एकल, कुशलता से हल की जाने वाली अनुकूलन समस्या में एकीकृत करके LLM डेटा चयन के क्षेत्र में एक महत्वपूर्ण कदम है, जो नाटकीय रूप से कम डेटा आवश्यकताओं के साथ उच्च-प्रदर्शन फाइन-ट्यूनिंग को सक्षम बनाता है।