Large Language Models for Imbalanced Classification: Diversity makes the difference
यह शोध पत्र एक नवीन लार्ज लैंग्वेज मॉडल-आधारित ओवरसैंपलिंग पद्धति प्रस्तावित करता है जो एक कंडीशनल जनरेशन स्ट्रैटेजी, एक नए परम्यूटेशन-आधारित फाइन-ट्यूनिंग दृष्टिकोण और इंटरपोलेशन के माध्यम से सिंथेटिक माइनॉरिटी सैंपल्स की विविधता और यथार्थता को बढ़ाता है, जिससे यह इम्बैलेंस्ड क्लासिफिकेशन कार्यों में मौजूदा स्टेट-ऑफ-द-आर्ट तकनीकों से काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Large Language Models for Imbalanced Classification: Diversity makes the difference" शोध पत्र का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।
समस्या: "दुर्लभ बीमारी" वाली कक्षा (The "Rare Disease" Classroom)
कल्पना कीजिए कि एक शिक्षक दो प्रकार के छात्रों के बारे में एक कक्षा को पढ़ाने की कोशिश कर रहा है: "नियमित छात्र" (जो कक्षा का 90% हिस्सा हैं) और "दुर्लभ छात्र" (जो केवल 10% हिस्सा हैं)।
यदि शिक्षक केवल 90% बहुमत पर ध्यान देता है, तो वह "नियमित छात्रों" के बारे में सब कुछ सीख जाएगा लेकिन "दुर्लभ छात्रों" के बारे में वह लगभग कुछ भी नहीं जान पाएगा। जब परीक्षा आती है, तो शिक्षक संभवतः यह अनुमान लगाएगा कि सभी "नियमित छात्र" हैं क्योंकि उसने सबसे अधिक बार यही देखा है। वह अल्पसंख्यक समूह के अनूठे गुणों को पहचानने में विफल रहता है।
डेटा साइंस में, इसे इम्बैलेंस्ड क्लासिफिकेशन (Imbalanced Classification) कहा जाता है। लक्ष्य कंप्यूटर को दुर्लभ समूह को सामान्य समूह की तरह ही अच्छी तरह से पहचानना सिखाना है।
पुराना समाधान: "कॉपी-पेस्ट" की गलती (The "Copy-Paste" Mistake)
इसे ठीक करने के लिए, डेटा वैज्ञानिक आमतौर पर "दुर्लभ छात्रों" के अधिक उदाहरण बनाने की कोशिश करते हैं ताकि कक्षा संतुलित हो सके।
- पुराना तरीका (SMOTE): कल्पना कीजिए कि दो वास्तविक "दुर्लभ छात्रों" को लिया जाता है, उन्हें मापा जाता है, और उनके ठीक बीच में एक नया छात्र बना दिया जाता है। यह एक फोटोकॉपी की फोटोकॉपी बनाने जैसा है।
- समस्या: यदि डेटा में श्रेणियाँ (जैसे "पद" या "शिक्षा का स्तर") हैं, तो आप केवल "डॉक्टर" और "शिक्षक" के बीच एक रेखा नहीं खींच सकते ताकि एक नया पेशा मिल सके। इसके लिए आपको पहले उन शब्दों को संख्याओं में बदलना पड़ता है, जिससे अक्सर महत्वपूर्ण विवरण खो जाते हैं। यह एक पेंटिंग को केवल स्प्रेडशीट का उपयोग करके वर्णित करने जैसा है।
नया विचार: "AI कहानीकार" (The "AI Storyteller")
हाल ही में, वैज्ञानिकों ने लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करना शुरू किया—वही प्रकार का AI जो निबंध लिखता है या आपसे चैट करता है—इन लापता "दुर्लभ छात्रों" को उत्पन्न करने के लिए। शब्दों को संख्याओं में बदलने के बजाय, AI डेटा को एक कहानी के रूप में पढ़ता है (जैसे, "जॉन एक डॉक्टर है, 40 घंटे काम करता है, और $200k कमाता है")।
हालाँकि, शोध पत्र ने पाया कि इन AI कहानीकारों के उपयोग में एक बड़ी खामी थी:
वे बहुत दोहराव वाले (repetitive) थे। यदि आप AI से पूछते, "मुझे एक दुर्लभ छात्र के बारे में एक कहानी सुनाओ," और वह आपको वही कहानी 1,000 बार देता है, तो वह शिक्षक को कुछ भी नया सीखने में मदद नहीं करेगा। AI केवल उन्हीं कुछ पैटर्नों को दोहरा रहा था, जिससे एक विविध कक्षा के बजाय "दर्पणों का हॉल" (hall of mirrors) बन गया।
समाधान: ImbLLM (The "Diverse Storyteller")
लेखकों ने एक नया तरीका प्रस्तावित किया जिसे ImbLLM कहा जाता है। उन्होंने नए "छात्रों" को विविध और यथार्थवादी सुनिश्चित करने के लिए तीन चतुर तरकीबों के साथ AI की कहानी कहने की आदतों को ठीक किया।
1. "विशिष्ट प्रॉम्प्ट" की तरकीब (Sampling)
- पुराना तरीका: AI से पूछा जाता था, "मुझे एक दुर्लभ छात्र के बारे में एक कहानी सुनाओ।" यह सबसे संभावित शब्दों को चुनता और बार-बार एक ही कहानी दोहराता।
- ImbLLM का तरीका: लेखक AI को कहते हैं, "मुझे एक दुर्लभ छात्र के बारे में एक कहानी सुनाओ जिसमें एक विशिष्ट विशेषता भी हो, जैसे कि एक विशिष्ट नौकरी या आय।"
- उपमा: बजाय इसके कि एक शेफ से पूछें, "मेरे लिए एक मिठाई बनाओ," और हर बार एक ही चॉकलेट केक मिले, आप कहते हैं, "मेरे लिए एक मिठाई बनाओ, लेकिन इसमें स्ट्रॉबेरी होनी चाहिए।" फिर, अगली बार, आप कहते हैं, "मेरे लिए एक मिठाई बनाओ, लेकिन इसमें नींबू होना चाहिए।" यह AI को एक सुरक्षित रेसिपी पर टिके रहने के बजाय अलग-अलग स्वादों (विशेषताओं) को खोजने के लिए मजबूर करता है।
2. "पहली पंक्ति की सीट" की तरकीब (Permutation)
- पुराना तरीका: AI को प्रशिक्षित करते समय, शोधकर्ता कहानी के क्रम को उलट देते थे। कभी-कभी "दुर्लभ छात्र" का लेबल वाक्य के अंत में होता था। क्योंकि इन AI मॉडल्स के काम करने का तरीका (जो बाएँ-से-दाएँ पढ़ते हैं) ऐसा है, AI वाक्य के अंत तक पहुँचते-पहुँचते "दुर्लभ" लेबल को भूल जाता था, जिससे लेबल और विशेषताओं के बीच का संबंध टूट जाता था।
- ImbLLm का तरीका: वे "दुर्लभ छात्र" लेबल को वाक्य के बिल्कुल शुरुआत में रखते हैं, जैसे कि एक शीर्षक, और बाकी विवरणों को उलट-पुलट (shuffle) देते हैं।
- उपमा: कल्पना कीजिए कि एक जासूस केस सुलझाने की कोशिश कर रहा है। यदि सुराग "संदिग्ध एक डॉक्टर है" एक लंबी रिपोर्ट के नीचे दबा हुआ है, तो जासूस उसे मिस कर सकता है। ImbLLM इस सुराग को पेज के ऊपर बड़े, बोल्ड अक्षरों में रखता है ताकि AI कभी न भूले कि उसे किसका वर्णन करना है।
3. "अभ्यास सत्र" की तरकीब (Fine-Tuning & Interpolation)
- पुराना तरीका: AI को "सामान्य छात्रों" और "दुर्लभ छात्रों" दोनों पर प्रशिक्षित किया जाता था। इसने AI को भ्रमित कर दिया; यह "दुर्लभ छात्रों" को "सामान्य छात्रों" जैसा बनाने की कोशिश करने लगा। साथ ही, कुछ तरीकों ने यह जाँचने के लिए एक कमजोर परीक्षण का उपयोग किया कि क्या नई कहानियाँ "वास्तविक" हैं, जो अक्सर विफल रहा।
- ImbLLM का तरीका: उन्होंने AI को केवल "दुर्लभ छात्रों" (और उनके गणितीय रूप से मिश्रित संस्करणों) पर प्रशिक्षित किया।
- उपमा: एक बास्केटबॉल खिलाड़ी को NBA सितारों और छोटे बच्चों दोनों को दिखाकर सिखाने के बजाय, आप उन्हें केवल NBA सितारों को दिखाते हैं। आप चाहते हैं कि वे प्रोफेशनल्स की विशिष्ट चालों को सीखें।
- "इंटरपोलेशन" बोनस: चूंकि उनके पास सीखने के लिए बहुत कम "दुर्लभ छात्र" हैं, इसलिए AI को सभी संभावित विविधताओं का ज्ञान नहीं हो सकता है। लेखकों ने "अभ्यास छात्र" बनाकर अंतराल को भरा, जिसमें दो वास्तविक दुर्लभ छात्रों के निरंतर गुणों (जैसे आयु या वेतन) को गणितीय रूप से मिलाकर एक नया, थोड़ा अलग छात्र बनाया गया। यह खाली जगहों को भरता है, यह सुनिश्चित करता है कि AI प्रशिक्षण डेटा में देखे गए उदाहरणों के बजाय संभावनाओं की पूरी श्रृंखला को सीखे।
परिणाम: एक बेहतर कक्षा
लेखकों ने 10 अलग-अलग वास्तविक दुनिया के डेटासेट (जैसे मेडिकल रिकॉर्ड या क्रेडिट कार्ड डेटा) पर इस नए तरीके का परीक्षण किया।
- प्रदर्शन: ImbLLM ने 8 अन्य शीर्ष तरीकों को पछाड़ दिया। यह 5 मामलों में सर्वश्रेष्ठ था और 3 मामलों में दूसरे स्थान पर था।
- गुणवत्ता: ImbLLM द्वारा बनाए गए नकली "दुर्लभ छात्र" न केवल यथार्थवादी (वे वास्तविक डेटा की तरह दिखते थे) थे, बल्कि विविध (उन्होंने कई अलग-अलग दुर्लभ परिदृश्यों को कवर किया) भी थे।
- यह क्यों मायने रखता है: क्योंकि AI ने विविध उदाहरणों के सेट से सीखा, अंतिम क्लासिफायर ("शिक्षक") उन दुर्लभ मामलों को पहचानने में बहुत बेहतर हो गया जिन्हें उसने पहले अनदेखा कर दिया था।
सारांश
यह शोध पत्र तर्क देता है कि केवल AI का उपयोग डेटा उत्पन्न करने के लिए करना पर्याप्त नहीं है; आपको AI को यह सिखाना होगा कि वह रचनात्मक और केंद्रित कैसे बने। विशिष्ट विशेषताओं को देखने के लिए AI को मजबूर करके, मुख्य लक्ष्य को स्पष्ट दृष्टि में रखकर, और इसे विशेष रूप से दुर्लभ उदाहरणों पर प्रशिक्षित करके, उन्होंने एक ऐसा तरीका बनाया जो पिछले प्रयासों की तुलना में "इम्बैलेंस्ड डेटा" की समस्या को बहुत बेहतर तरीके से हल करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।