🤖 machine learning

Diagnosing Capability Gaps in Fine-Tuning Data

यह शोध पत्र GoalCover को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो इंटरैक्टिव लक्ष्य अपघटन (goal decomposition) और स्वचालित कवरेज मूल्यांकन के माध्यम से फाइन-ट्यूनिंग डेटासेट में क्षमता अंतराल (capability gaps) को व्यवस्थित रूप से पहचानने में सक्षम बनाता है, जिससे डेटा को फ़िल्टर करने और लक्षित सिंथेटिक नमूने उत्पन्न करने द्वारा डाउनस्ट्रीम मॉडल प्रदर्शन में सुधार होता है।

मूल लेखक: Saeid Asgari Taghanaki, Rakshanda Agarwal, Bruce Sun, Rohan Jha, Elias Stengel-Eskin, Sara Malvar, Rui Ying, Yifei Xu, Guilherme Potje, Tusher Chakraborty, Leonardo de Oliveira Nunes, Ranveer Chandra

प्रकाशित 2026-05-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Saeid Asgari Taghanaki, Rakshanda Agarwal, Bruce Sun, Rohan Jha, Elias Stengel-Eskin, Sara Malvar, Rui Ying, Yifei Xu, Guilherme Potje, Tusher Chakraborty, Leonardo de Oliveira Nunes, Ranveer Chandra, Emre Kiciman

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मुख्य शेफ (head chef) हैं जो एक बहुत बड़े, हाई-स्टेक्स डिनर सर्विस की तैयारी कर रहे हैं। आपके पास सामग्री का एक विशाल ढेर है (आपका ट्रेनिंग डेटा) और एक विशिष्ट मेनू है जिसे आप परोसना चाहते हैं (आपका लक्ष्य, जैसे कि "एक बेहतरीन सीफूड डिनर")।

समस्या यह है कि आपको नहीं पता कि आपके सामग्री के ढेर में वास्तव में पर्याप्त ताज़ा साल्मन (salmon) है या यह ज्यादातर आलू और गाजरों से भरा हुआ है। आमतौर पर, यह जानने का एकमात्र तरीका यह है कि आप पूरा भोजन पका लें, ग्राहकों को परोसें, और उम्मीद करें कि वे शिकायत न करें जब साल्मन की डिश सूखी निकले या पूरी तरह से गायब हो। तब तक बहुत देर हो चुकी होगी, और आपने बहुत सारा पैसा और समय बर्बाद कर दिया होगा।

GOALCOVER एक नया टूल है जो आपको चूल्हा जलाने से पहले ही आपकी सामग्री के ढेर का निरीक्षण करने की अनुमति देता है। यह एक सुपर-स्मार्ट, हाइपर-ऑर्गनाइज्ड 'सू-शेफ' (sous-chef) की तरह काम करता है जो आपके बड़े लक्ष्य को छोटे, विशिष्ट जांचों में तोड़ने में आपकी मदद करता है।

यह इस प्रकार काम करता है, चरण-दर-चरण:

1. लक्ष्य को तोड़ना (रेसिपी चेक)

केवल "सीफूड डिनर बनाएं" कहने के बजाय, यह टूल आपसे विशिष्ट प्रश्न पूछता है ताकि आपके लक्ष्य को छोटे, परमाणु (atomic) टुकड़ों में तोड़ा जा सके।

मूल लक्ष्य: "सीफूड डिनर बनाएं।"
तोड़ा गया रूप: "क्या हमारे पास ताज़ा साल्मन है?" "क्या हमारे पास केकड़ा (crab) है?" "क्या हमारे पास सीफूड बॉइल के लिए सही मसाले हैं?" "क्या मछली सुरक्षा के लिए पर्याप्त ताज़ा है?"

यह सुनिश्चित करता है कि आप केवल आपकी सामग्रियों की "औसत" गुणवत्ता को नहीं देख रहे हैं। आपके पास 1,000 आलू हो सकते हैं (उच्च औसत गुणवत्ता), लेकिन शून्य केकड़ा (एक महत्वपूर्ण कमी) हो सकता है।

2. "टेस्ट टेस्ट" (डेटा को स्कोर देना)

टूल एक बहुत ही स्मार्ट AI ("LLM जज") का उपयोग करता है जो आपकी सामग्री के हर एक आइटम को देखता है और इस बात पर रेटिंग देता है कि वह रेसिपी के प्रत्येक छोटे हिस्से में कितनी अच्छी तरह फिट बैठता है।

यह प्रत्येक आइटम को प्रत्येक उप-लक्ष्य (sub-goal) के विरुद्ध 0 से 1 तक का स्कोर देता है।
यह एक छोटा नोट भी लिखता है जो बताता है कि किसी आइटम को कम स्कोर क्यों मिला (जैसे, "इस रेसिपी में 'केकड़ा' का उल्लेख है, लेकिन सामग्री सूची में केवल 'आलू' है")।

3. कमियों को खोजना (लापता सामग्रियां)

टूल फिर सभी कम स्कोर और नोट्स को इकट्ठा करता है ताकि आपको ठीक-ठीक बताया जा सके कि क्या गायब है।

परिणाम: "हे, आपके पास पर्याप्त सामान्य सीफूड है, लेकिन यदि आप एक मेडिकल AI बना रहे हैं, तो आपके पास 'कार्डियोलॉजी' (हृदय) के मामलों की पूरी तरह से कमी है, या यदि आप एक लीगल AI बना रहे हैं, तो आपके पास 'मौद्रिक विवरण' (monetary details) की कमी है।"

4. प्रमाण: क्या यह काम करता है?

शोधकर्ताओं ने केवल यह अनुमान नहीं लगाया कि यह काम करेगा; उन्होंने इसे एक वैज्ञानिक की तरह लैब में टेस्ट किया।

"सबोटैज" (Sabotage) टेस्ट: उन्होंने तीन अलग-अलग प्रकार के डेटा (मेडिकल प्रश्न, कानूनी सारांश, और कंप्यूटर कोड) को लिया और गुप्त रूप से उनके विशिष्ट हिस्सों को हटा दिया (जैसे, मेडिकल डेटा से "हृदय" के सभी उल्लेखों को हटा देना)।
- परिणाम: टूल ने तुरंत गायब "हृदय" सामग्री का पता लगा लिया और इसे कम स्कोर दिया, जबकि उन हिस्सों को अनदेखा कर दिया जो अभी भी वहां मौजूद थे। यह एक मेटल डिटेक्टर की तरह था जो केवल तभी बीप करता था जब उसे खोई हुई धातु मिलती थी, न कि प्लास्टिक मिलने पर।
- संख्या: जब उन्होंने उस विशिष्ट सामग्री को हटा दिया जिसे वे ढूंढ रहे थे, तो टूल का स्कोर 25.6% गिर गया। जब उन्होंने यादृच्छिक (random), असंबंधित सामग्री को हटाया, तो स्कोर में बहुत कम बदलाव आया (केवल 2.1%)। यह साबित करता है कि टूल जानता है कि वह वास्तव में क्या खोज रहा है।
"कुकिंग" (Cooking) टेस्ट: उन्होंने एक वित्तीय सारांश कार्य के लिए डेटासेट को फ़िल्टर करने के लिए इस टूल का उपयोग किया।
- टूल के बिना: AI का स्कोर 5 में से 3.77 था।
- टूल के साथ (खराब डेटा को फ़िल्टर करने के बाद): स्कोर बढ़कर 4.12 हो गया।
- टूल + कमियों को भरने के लिए नया, परफेक्ट डेटा बनाने के साथ: स्कोर 4.20 तक पहुंच गया।

यह क्यों मायने रखता है

अतीत में, यदि आप किसी ऐसे मॉडल को ठीक करना चाहते थे जो किसी विशिष्ट कार्य में खराब था, तो आपको उसे ट्रेन करना पड़ता था, उसे विफल होते देखना पड़ता था, अनुमान लगाना पड़ता था कि वह क्यों विफल हुआ, और फिर से प्रयास करना पड़ता था। यह महंगा और धीमा है।

GOALCOVER आपके AI के लिए एक प्री-फ्लाइट चेकलिस्ट की तरह है। यह आपको बताता है, "आपको इस विशिष्ट उड़ान के लिए सही ईंधन की कमी है," इससे पहले कि आप जेट ईंधन पर पैसा खर्च करें। यह आपको महंगे प्रशिक्षण प्रक्रिया शुरू करने से पहले अपना डेटा ठीक करने में मदद करता है, जिससे समय बचता है और अंतिम AI बहुत अधिक विश्वसनीय बनता है।

संक्षेप में: यह एक अस्पष्ट लक्ष्य को एक विशिष्ट शॉपिंग लिस्ट में बदल देता है, आपकी पेंट्री (pantry) को उस लिस्ट के विरुद्ध जांचता है, और आपको बताता है कि खाना पकाना शुरू करने से पहले आपको क्या खरीदना (या बनाना) है।

यहाँ शोध पत्र "Diagnosing Capability Gaps in Fine-Tuning Data" (Asgari Taghanaki et al. द्वारा) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डोमेन-विशिष्ट कार्यों (जैसे, मेडिकल QA, लीगल समराइजेशन, कोड जनरेशन) के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) को फाइन-ट्यून करने के लिए ऐसे प्रशिक्षण डेटासेट की आवश्यकता होती है जो आवश्यक विशिष्ट क्षमताओं को व्यापक रूप से कवर करें। हालाँकि, वर्तमान में अभ्यासकर्ताओं (practitioners) के पास एक व्यवस्थित तरीका नहीं है जिससे वे एक महंगे फाइन-ट्यूनिंग रन के लिए प्रतिबद्ध होने से पहले यह निर्धारित कर सकें कि क्या कोई डेटासेट एक उच्च-स्तरीय लक्ष्य का समर्थन करता है।

मौजूदा विधियाँ समग्र मेट्रिक्स (perplexity, BLEU) या पोस्ट-हॉक प्रदर्शन विश्लेषण पर निर्भर करती हैं, जो निम्नलिखित में विफल रहती हैं:

विशिष्ट क्षमता अंतराल (capability gaps) को स्थानीयकृत करना (जैसे, एक मॉडल सामान्य रूप से सारांश तो अच्छी तरह बना सकता है लेकिन लीगल बिलों में मौद्रिक विवरणों पर विफल हो सकता है)।
उत्पादन (production) विफलताओं के होने तक अनसमर्थित उप-लक्ष्यों (sub-goals) की पहचान न कर पाना।
डेटा क्यूरेशन या सिंथेटिक डेटा जनरेशन के लिए कार्रवाई योग्य संकेत प्रदान करने में असमर्थता।

2. कार्यप्रणाली: GOALCOVER फ्रेमवर्क (Methodology: The GOALCOVER Framework)

लेखक GOALCOVER नामक एक चार-चरणीय फ्रेमवर्क पेश करते हैं, जिसे इंटरैक्टिव लक्ष्य अपघटन (goal decomposition) और स्वचालित कवरेज मूल्यांकन के माध्यम से क्षमता अंतराल का सक्रिय रूप से पता लगाने के लिए डिज़ाइन किया गया है।

चरण 1: इंटरैक्टिव लक्ष्य स्पष्टीकरण (Interactive Goal Clarification)

एक अस्पष्ट उच्च-स्तरीय लक्ष्य को स्वीकार करने के बजाय, यह फ्रेमवर्क एक संरचित निष्कर्षण प्रोटोकॉल के माध्यम से अभ्यासकर्ता का मार्गदर्शन करता है:

अपघटन (Decomposition): सिस्टम एक उच्च-स्तरीय लक्ष्य $G$ को परमाणु (atomic), स्वतंत्र रूप से मूल्यांकनीय उप-लक्ष्यों के एक सेट $S = \{s_1, ..., s_k\}$ में तोड़ता है।
प्रतिबंध (Constraints): अपघटन परमाणुता (प्रत्येक उप-लक्ष्य एक एकल क्षमता है) और विभिन्नता (उप-लक्ष्य ओवरलैप नहीं होते हैं) को लागू करता है।
प्रक्रिया: स्पष्टीकरण प्रश्नों और अभ्यासकर्ता की प्रतिक्रियाओं का एक पुनरावृत्ति लूप यह सुनिश्चित करता है कि उप-लक्ष्य विशिष्ट मॉडल क्षमताओं (जैसे, "कार्डियोलॉजी विशेषज्ञता" बनाम "सामान्य क्लिनिकल रीजनिंग") से मेल खाते हों।

चरण 2: कवरेज मूल्यांकन (Coverage Assessment)

एलाइनमेंट स्कोरिंग: एक LLM-आधारित मूल्यांकनकर्ता ( $f_{eval}$ ) प्रत्येक प्रशिक्षण नमूने $(x_i, y_i)$ को प्रत्येक उप-लक्ष्य $s$ के विरुद्ध स्कोर करता है।
रूब्रिक (Rubric): मूल्यांकनकर्ता एक एंकोर्ड-रूब्रिक प्रॉम्प्ट (0.0 से 1.0 स्केल) का उपयोग करके एक मात्रात्मक एलाइनमेंट स्कोर और स्कोर को न्यायसंगत ठहराने वाला एक संरचित प्राकृतिक भाषा स्पष्टीकरण ( $r_i$ ) उत्पन्न करता है।
एकत्रीकरण (Aggregation): सिस्टम प्रत्येक उप-लक्ष्य के लिए पूरे डेटासेट में औसत एलाइनमेंट स्कोर $\bar{A}(s)$ की गणना करता है।

चरण 3: गैप विश्लेषण (Gap Analysis)

पहचान (Identification): कम औसत स्कोर ( $\bar{A}(s) < \tau$ ) वाले उप-लक्ष्यों को क्षमता अंतराल (capability gaps) के रूप में चिह्नित किया जाता है।
संश्लेषण (Synthesis): सिस्टम कम स्कोर वाले नमूनों से प्राप्त संरचित स्पष्टीकरणों को एकत्रित करता है ताकि बार-बार होने वाली लुप्त क्षमताओं (जैसे, "ड्रग इंटरेक्शन चेतावनियों की कमी") की पहचान की जा सके।

चरण 4: अनुशंसा और उपचार (Recommendation & Remediation)

कार्रवाई योग्य फीडबैक: सिस्टम विशिष्ट क्यूरेशन सुझाव प्रदान करता है (जैसे, "कार्डियोलॉजी-विशिष्ट उदाहरण जोड़ें")।
सिंथेटिक डेटा जनरेशन: यह लक्ष्य-सशर्त सिंथेटिक नमूने बनाने के लिए एक जेनेरेटर-डिस्क्रिमिनेटर पाइपलाइन का उपयोग करता है। जेनेरेटर पहचाने गए अंतरालों को लक्षित करने वाला डेटा बनाता है, और डिस्क्रिमिनेटर विशिष्ट उप-लक्ष्य के साथ एलाइनमेंट के आधार पर उन्हें फ़िल्टर करता है।

3. मुख्य योगदान (Key Contributions)

संरचित लक्ष्य अपघटन: एक निश्चित निष्कर्षण प्रोटोकॉल के माध्यम से जटिल लक्ष्यों को परमाणु, विभिन्न उप-लक्ष्यों में तोड़ने की एक व्यवस्थित पद्धति।
LLM-आधारित एलाइनमेंट मूल्यांकन: एक स्कोरिंग फ्रेमवर्क जो मात्रात्मक स्कोर और इस बात के गुणात्मक स्पष्टीकरण दोनों को उत्पन्न करता है कि कोई नमूना किसी विशिष्ट क्षमता में क्यों विफल रहता है।
एडवर्सरियल वैलिडेशन (Adversarial Validation): एक नियंत्रित भ्रष्टाचार प्रोटोकॉल (डेटा एब्लेशन) जो चुनिकी रूप से सामग्री को हटाकर और यह सत्यापित करके डिटेक्शन मैकेनिज्म को मान्य करता है कि केवल लक्षित उप-लक्ष्य का स्कोर ही महत्वपूर्ण रूप से गिरता है।
क्रॉस-डोमेन अनुभवजन्य सत्यापन: मेडिकल QA, लीगल समराइजेशन और कोड जनरेशन में प्रभावशीलता का प्रदर्शन।
डाउनस्ट्रीम उपयोगिता: फ़िल्टर किए गए और सिंथेटिक डेटा का उपयोग करके सुदृढीकरण फाइन-ट्यूनिंग (RFT) परिणामों में सुधार सिद्ध हुआ।
व्यावहारिक पाइपलाइन: डेटा अंतराल को भरने के लिए विशिष्ट, कार्रवाई योग्य सिफारिशें प्रदान करने वाला एक एंड-टू-एंड वर्कफ़्लो।

4. प्रयोगात्मक परिणाम (Experimental Results)

सत्यापन 1: नियंत्रित भ्रष्टाचार (Controlled Corruption - Detection Validity)

लेखकों ने डेटासेट से विशिष्ट सामग्री प्रकारों (जैसे, मेडिकल QA से "कार्डियक" शब्दों को हटाना) को हटाकर क्षमता अंतराल का अनुकरण किया।

लक्ष्य बनाम गैर-लक्ष्य पृथक्करण: जब किसी विशिष्ट उप-लक्ष्य का समर्थन करने वाली सामग्री को हटाया गया, तो उस उप-लक्ष्य का एलाइनमेंट स्कोर औसतन 25.6% गिर गया, जबकि गैर-लक्ष्य उप-लक्ष्यों में केवल 2.1% की गिरावट आई।
सांख्यिकीय सार्थकता: पृथक्करण सांख्यिकीय रूप से महत्वपूर्ण ( $p < 0.001$ ) है और प्रभाव का आकार बड़ा है (Cohen's $d = 1.24$ )।
डोमेन विशिष्टता:
- लीगल: वित्तीय सामग्री हटाने से "मौद्रिक संरक्षण" (Monetary preservation) स्कोर में 30.75% की गिरावट आई।
- मेडिकल: कार्डियोलॉजी सामग्री हटाने से "कार्डियोलॉजी विशेषज्ञता" (Cardiology expertise) में 26.28% की गिरावट आई।
- कोड: ML लाइब्रेरी संदर्भों को हटाने से "ML लाइब्रेरीज" (ML libraries) में 15.53% की गिरावट आई।

सत्यापन 2: डाउनस्ट्रीम उपयोगिता (Downstream Utility - RFT Experiments)

फ्रेमवर्क का परीक्षण Qwen-3-14B और GRPO (Group Relative Policy Optimization) का उपयोग करके एक वित्तीय सारांश कार्य (Financial Summarization task) पर किया गया।

बेसलाइन: अनफिल्टर्ड डेटा ने LLM-जज रिवॉर्ड का 3.77 प्राप्त किया।
GOALCOVER फ़िल्टर्ड: उप-लक्ष्यों के साथ संरेखित डेटा का उपयोग करने से (कम नमूनों के बावजूद) स्कोर बढ़कर 4.12 हो गया।
सिंथेटिक डेटा: केवल लक्ष्य-सशर्त सिंथेटिक डेटा ने 4.02 प्राप्त किया।
सर्वश्रेष्ठ परिणाम: फ़िल्टर्ड वास्तविक डेटा और लक्ष्य-सशर्त सिंथेटिक डेटा को मिलाने से उच्चतम स्कोर 4.20 प्राप्त हुआ।
उप-लक्ष्य निरंतरता: सुधार 10 अलग-अलग इनपुट वितरण उप-लक्ष्यों (जैसे, लंबे दस्तावेज़, शोर वाले इनपुट, विशिष्ट पॉलिसी प्रकार) में सुसंगत थे, और कोई प्रतिगमन (regression) नहीं देखा गया।

5. महत्व और प्रभाव (Significance and Impact)

प्रतिक्रियाशील बनाम सक्रिय (Proactive vs. Reactive): GOALCOVER डेटासेट मूल्यांकन को एक रिएक्टिव पोस्ट-ट्रेनिंग विश्लेषण से बदलकर एक प्रोएक्टिव प्री-ट्रेनिंग डायग्नोस्टिक में बदल देता है, जिससे विफल फाइन-ट्यूनिंग रन को रोककर महत्वपूर्ण कंप्यूटेशनल संसाधन बचते हैं।
सूक्ष्म दृश्यता (Granular Visibility): यह समग्र मेट्रिक्स से आगे बढ़कर उप-लक्ष्य स्तर की दृश्यता प्रदान करता है, जिससे अभ्यासकर्ता यह सटीक रूप से पहचान सकते हैं कि कौन सी क्षमताएं गायब हैं (जैसे, "मॉडल कानून जानता है लेकिन पैसा नहीं")।
क्लोज्ड-लूप ऑप्टिमाइज़ेशन: गैप डिटेक्शन को सीधे सिंथेटिक डेटा जनरेशन से जोड़कर, यह फ्रेमवर्क न केवल अंतराल खोजने के लिए बल्कि उन्हें ठीक करने के लिए भी एक पूर्ण समाधान प्रदान करता है।
विश्वसनीयता: नियंत्रित भ्रष्टाचार प्रयोग इस बात का पुख्ता प्रमाण देते हैं कि LLM-आधारित मूल्यांकनकर्ता यादृच्छिक शोर के बजाय वास्तविक क्षमता निर्भरता का पता लगा रहे हैं।

निष्कर्षतः, GOALCOVER एक मजबूत, इंटरैक्टिव फ्रेमवर्क प्रदान करता है जो फाइन-ट्यूनिंग डेटासेट को विशिष्ट, उच्च-जोखिम वाले डोमेन लक्ष्यों के साथ संरेखित करने के लिए डिज़ाइन किया गया है, जिससे तैनाती से पहले मॉडल की विश्वसनीयता और सुरक्षा में उल्लेखनीय सुधार होता है।