🧬 biology

Information-Theoretic Requirements for Gradient-Based Task Affinity Estimation in Multi-Task Learning

यह शोध पत्र यह स्थापित करता है कि मल्टी-टास्क लर्निंग में ग्रेडिएंट-आधारित टास्क एफिनिटी एस्टीमेशन तब तक मौलिक रूप से अविश्वसनीय है जब तक कि कार्यों के बीच कम से कम 30-40% प्रशिक्षण उदाहरण साझा न हों, जो एक महत्वपूर्ण सीमा है जिसे मॉलिक्यूलनेट (MoleculeNet) और टीडीसी (TDC) जैसे मानक बेंचमार्क पूरा करने में विफल रहते हैं, जिससे क्षेत्र में वर्षों के असंगत परिणामों की व्याख्या होती है।

मूल लेखक: Jasper Zhang, Bryan Cheng

प्रकाशित 2026-04-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jasper Zhang, Bryan Cheng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ⚕️ यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

मुख्य विचार: क्यों AI में "टीमवर्क" कभी-कभी विफल हो जाता है

कल्पना कीजिए कि आप एक छात्र (AI मॉडल) को एक साथ दो काम करना सिखाने की कोशिश कर रहे हैं: स्टेक पकाना (steak cook करना) और कार का इंजन ठीक करना।

"मल्टी-टास्क लर्निंग" (MTL) की दुनिया में, शोधकर्ता इस उम्मीद में रहते हैं कि इन कौशलों को एक साथ सिखाने से छात्र तेजी से और बेहतर सीखेगा, क्योंकि इन कौशलों के पीछे कुछ साझा तर्क (जैसे गर्मी या मैकेनिक्स की समझ) हो सकते हैं। कभी-कभी, यह अद्भुत काम करता है। अन्य समय में, छात्र भ्रमित हो जाता है, स्टेक जल जाता है, और इंजन टूट जाता है।

सात वर्षों से, वैज्ञानिक इस विसंगति से हैरान थे। क्यों टीमवर्क कभी काम करता है और कभी विफल हो जाता है?

यह शोध पत्र, जिसे दो हाई स्कूल के छात्रों ने लिखा है, इस रहस्य को सुलझाता है। उन्होंने पाया कि समस्या सिखाने के तरीके में नहीं है; बल्कि इसमें है कि छात्र का अभ्यास किस पर किया जा रहा है।

मुख्य खोज: "साझा अभ्यास" का नियम (The "Shared Practice" Rule)

लेखकों ने एक सरल, स्वर्णिम नियम खोजा जिसे हर कोई भूल गया था: यह जानने के लिए कि क्या दो कार्य एक-दूसरे की मदद करते हैं, छात्र को दोनों कार्यों का अभ्यास बिल्कुल एक ही उदाहरणों के सेट पर करना चाहिए।

उपमा: दो शिक्षक

कल्पना कीजिए कि दो शिक्षक यह पता लगाने की कोशिश कर रहे हैं कि उनके विषय आपस में संबंधित हैं या नहीं:

शिक्षक A गणित (Math) पढ़ाते हैं।
शिक्षक B संगीत (Music) पढ़ाते हैं।

परिदृश्य 1: साझा कक्षा (अच्छा)
दोनों शिक्षक उसी 100 छात्रों के समूह को परीक्षा देते हैं।

यदि गणित में अच्छे छात्र संगीत में भी अच्छे हैं, तो शिक्षक महसूस करते हैं, "अरे, ये कौशल आपस में जुड़े हुए हैं! शायद हमें उन्हें एक साथ पढ़ाना चाहिए।"
यदि गणित के जीनियस संगीत में बहुत खराब हैं, तो वे समझते हैं, "ये कौशल पूरी तरह से अलग हैं। चलिए इन्हें अलग-अलग पढ़ाते हैं।"
परिणाम: शिक्षकों को एक स्पष्ट, ईमानदार उत्तर मिलता है।

परिदृश्य 2: अलग-अलग कक्षाएं (गलती)
शिक्षक A गणित क्लब के 100 छात्रों का परीक्षण करते हैं। शिक्षक B ड्रामा क्लब के 100 अलग छात्रों का परीक्षण करते हैं।

शिक्षक A देखते हैं कि गणित क्लब बुद्धिमान है। शिक्षक B देखते हैं कि ड्रामा क्लब रचनात्मक है।
वे अपने परिणामों की तुलना करने की कोशिश करते हैं। लेकिन रुकिए! वे गणित बनाम संगीत की तुलना नहीं कर रहे हैं। वे गणित क्लब बनाम ड्रामा क्लब की तुलना कर रहे हैं।
हो सकता है कि ड्रामा वाले बच्चे स्वाभाविक रूप से गणित वाले बच्चों से अधिक स्मार्ट हों, या शायद वे छोटे हों। शिक्षक निष्कर्ष निकाल सकते हैं, "संगीत गणित से कठिन है!" या "वे पूरी तरह से असंबंधित हैं!"
परिणाम: निष्कर्ष फर्जी है। यह दो अलग-अलग समूहों की तुलना करने से पैदा हुआ एक भ्रम है।

शोध पत्र का निष्कर्ष:
अधिकांश मानक AI बेंचमार्क (जैसे MoleculeNet) परिदृश्य 2 की तरह हैं। वे कार्य A को अणुओं (molecules) के एक सेट पर टेस्ट करते हैं और कार्य B को पूरी तरह से अलग सेट पर। क्योंकि "छात्र" (अणु) अलग हैं, इसलिए AI के "ग्रेडिएंट्स" (सीखने के बारे में उसके आंतरिक संकेत) केवल सेब की तुलना संतरों से कर रहे हैं। सिग्नल शोर (noise) में खो जाता है।

"30% थ्रेशोल्ड": निर्णायक मोड़

शोधकर्ताओं ने केवल यह नहीं कहा कि "आपको ओवरलैप की आवश्यकता है।" उन्होंने सटीक टिपिंग पॉइंट खोजने के लिए गणित लगाया।

उन्होंने एक फेज ट्रांजिशन (Phase Transition) की खोज की, जैसे पानी बर्फ में बदलना:

30% से कम ओवरलैप: यदि दो कार्यों में एक ही उदाहरणों का 30% से कम साझा हिस्सा है, तो AI के संकेत रैंडम शोर (random noise) के समान होते हैं। यह तूफान में फुसफुसाहट सुनने की कोशिश करने जैसा है। आप यह नहीं बता सकते कि कार्य संबंधित हैं या नहीं।
40% से अधिक ओवरलैप: एक बार जब वे 40% से अधिक उदाहरण साझा करते हैं, तो सिग्नल एकदम स्पष्ट हो जाता है। AI विश्वसनीय रूप से कह सकता है, "हाँ, ये कार्य एक-दूसरे की मदद करते हैं," या "नहीं, ये एक-दूसरे से टकराते हैं।"

स्वीट स्पॉट (Sweet Spot): शोध पत्र सुझाव देता है कि किसी भी AI सिस्टम के लिए यह सटीक भविष्यवाणी करने के लिए कि क्या कार्यों को एक साथ सीखा जाना चाहिए, उनके प्रशिक्षण डेटा में कम से कम 40% ओवरलैप होना चाहिए।

यह क्यों मायने रखता है: "टूटे हुए" बेंचमार्क को ठीक करना

लेखकों ने ड्रग डिस्कवरी (दवा की खोज) में परीक्षण के लिए उपयोग किए जाने वाले सबसे प्रसिद्ध डेटासेट्स (जैसे MoleculeNet और TDC) को देखा। उन्होंने एक चौंकाने वाला सच पाया:

इन डेटासेट्स में आमतौर पर 5% से 14% से कम ओवरलैप होता है।
वे "शोर क्षेत्र" (30% थ्रेशोल्ड से नीचे) में काम कर रहे हैं।

निष्कर्ष:
पिछले सात वर्षों से मल्टी-टास्क लर्निंग में विसंगति का कारण एल्गोरिदम खराब होना नहीं है। बल्कि यह है कि टेस्ट ही गलत (rigged) हैं। वैज्ञानिक ऐसे डेटा का उपयोग करके कार्यों के बीच संबंध को मापने की कोशिश कर रहे हैं जो निष्पक्ष तुलना की अनुमति ही नहीं देता।

जब आप इसे ठीक करते हैं तो क्या होता है?

जब शोधकर्ताओं ने उच्च ओवरलैप वाले डेटासेट्स (जैसे SIDER डेटासेट, जिसमें 100% ओवरलैप था) के साथ परीक्षण दोबारा किया:

सिग्नल काम करने लगे: AI सटीक रूप से अनुमान लगा सका कि कौन से कार्य संबंधित हैं।
जैविक सत्य (Biological Truth): AI ने सही ढंग से पहचाना कि जो दवाएं लिवर को प्रभावित करती हैं, वे पित्ताशय (gallbladder) को भी प्रभावित करती हैं (क्योंकि वे जैविक रूप से जुड़ी हुई हैं), और जो दवाएं एक प्रकार के प्रोटीन को लक्षित करती हैं, वे अक्सर दूसरे, असंबंधित प्रोटीन को प्रभावित नहीं करती हैं।
बेहतर परिणाम: समान कार्यों को समूहबद्ध करने के लिए AI के "ग्रेडिएंट सिग्नल्स" का उपयोग करके, उन्होंने ड्रग डिस्कवरी मॉडल के अंतिम प्रदर्शन में 3% से 4% का सुधार किया। AI की दुनिया में, यह एक बड़ी जीत है।

आम आदमी के लिए सारांश

इस शोध पत्र को AI अनुसंधान के लिए एक क्वालिटी कंट्रोल इंस्पेक्टर के रूप में देखें।

वर्षों से, शोधकर्ता ऐसे "स्विस आर्मी नाइफ" (बहुउद्देशीय चाकू) AI मॉडल बनाने की कोशिश कर रहे हैं जो एक साथ सब कुछ कर सके। कभी यह काम करता था; कभी यह विफल हो जाता था। यह पेपर कहता है: "चाकू को दोष देना बंद करें। आप ब्लेड की धार को लकड़ी के टुकड़े पर टेस्ट कर रहे हैं, फिर कांच के टुकड़े पर, और फिर हैरान हैं कि धार का परीक्षण असंगत क्यों है।"

यदि आप जानना चाहते हैं कि क्या दो कौशल एक साथ चलते हैं, तो आपको उन्हें एक ही व्यक्ति (या एक ही अणु) पर टेस्ट करना होगा। यदि आपके पास कम से कम 40% साझा अभ्यास सामग्री नहीं है, तो आपके परिणाम केवल एक अनुमान हैं।

मुख्य बात: AI को कई चीजें करने में स्मार्ट बनाने के लिए, हमें अलग-थलग (disjointed) डेटा पर इसका परीक्षण करना बंद करना होगा और यह सुनिश्चित करना शुरू करना होगा कि यह साझा, ओवरलैपिंग उदाहरणों पर अभ्यास करे।

यहाँ शोध पत्र "Information-Theoretic Requirements for Gradient-Based Task Affinity Estimation in Multi-Task Learning" (Workshop @ ICLR 2026) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मल्टी-टास्क लर्निंग (MTL) ऐतिहासिक रूप से असंगत परिणाम देता रहा है: जॉइंट ट्रेनिंग कभी प्रदर्शन में काफी सुधार करती है, तो कभी यह नकारात्मक हस्तांतरण (negative transfer) के माध्यम से सटीकता को सक्रिय रूप से नुकसान पहुँचाती है। मौजूदा ग्रेडिएंट-आधारित विधियाँ (जैसे, PCGrad, GradNorm) ग्रेडिएंट संघर्षों को हल किए जाने वाले अनुकूलन (optimization) समस्याओं के रूप में देखती हैं, न कि व्याख्या योग्य संकेतों के रूप में। इसके अलावा, मानक बेंचमार्क (जैसे MoleculeNet और TDC) महंगी ट्रेनिंग से पहले कार्य संबंधों (task relationships) की भविष्यवाणी करने के लिए एक सिद्धांतपूर्ण ढांचे का अभाव रखते हैं।

पहचाना गया मुख्य मुद्दा ग्रेडिएंट-आधारित टास्क विश्लेषण में एक मौलिक, अनकहा अनुमान है: कार्यों के लिए ग्रेडिएंट संघर्षों के माध्यम से वास्तविक यांत्रिक संबंधों को प्रकट करने के लिए प्रशिक्षण उदाहरणों (training instances) को साझा करना चाहिए। जब कार्यों को इनपुट के विलगित (disjoint) सेटों पर मापा जाता है, तो ग्रेडिएंट संरेखण (alignment) वास्तविक कार्य संरचना के बजाय वितरण संबंधी बदलावों (distributional shifts) को दर्शाता है, जिससे मानक बेंचमार्क टास्क एफिनिटी (कार्य आत्मीयता) के विश्लेषण के लिए अविश्वसनीय हो जाते हैं।

2. कार्यप्रणाली (Methodology)

मुख्य अंतर्दृष्टि: सूचना-सैद्धांतिक आवश्यकता के रूप में सैंपल ओवरलैप (Sample Overlap)

लेखक प्रस्तावित करते हैं कि दो कार्यों $i$ और $j$ के बीच ग्रेडिएंट समानता ( $G_{ij}$ ) केवल तभी व्याख्या योग्य है यदि कार्य प्रशिक्षण उदाहरणों (samples) का पर्याप्त हिस्सा साझा करते हैं।

ग्रेडिएंट परिभाषा: एक साझा एनकोडर $f_\theta$ और टास्क-विशिष्ट हेड्स के लिए, ग्रेडिएंट $g_k = \nabla_\theta L_k$ कार्य $k$ के लिए लॉस को कम करने की दिशा का प्रतिनिधित्व करता है।
संघर्ष (The Conflict): यदि कार्य $i$ और $j$ अणुओं के विलगित सेटों ( $C_i \cap C_j = \emptyset$ ) पर मापे जाते हैं, तो ग्रेडिएंट अलग-अलग वितरणों पर गणना किए जाते हैं। कोई भी देखा गया सहसंबंध स्प्यूरियस (spurious) होता है, जो साझा अंतर्निहित तंत्र के बजाय वितरण संबंधी आर्टिफैक्ट्स को दर्शाता है।
मीट्रिक: टास्क एफिनिटी को ग्रेडिएंट्स के कोसाइन सिमिलरिटी (cosine similarity) के माध्यम से मापा जाता है: $G_{ij} = \frac{g_i \cdot g_j}{\|g_i\|\|g_j\|}$ ।
ग्राउंड ट्रुथ (Ground Truth): सह-मापे गए यौगिकों (co-measured compounds) पर मापे गए गुणों के मानों से सीधे एम्पिरिकल सहसंबंध ( $E_{ij}$ ) की गणना की जाती है ताकि इसे वस्तुनिष्ठ मानक के रूप में उपयोग किया जा सके।

फेज ट्रांजिशन की खोज (The Phase Transition Discovery)

लेखकों ने ग्रेडिएंट समानता और एम्पिरिकल सहसंबंध के बीच संबंध को देखने के लिए व्यवस्थित रूप से कार्यों के बीच सैंपल ओवरलैप को कम किया (100% से घटाकर 10% तक)।

अविश्वसनीय शासन (Unreliable Regime <30% overlap): ग्रेडिएंट-टास्क सहसंबंध सांख्यिकीय रूप से शोर (noise) से अलग नहीं किए जा सकते ( $r < 0.25$ )।
विश्वसनीय शासन (Reliable Regime >40% overlap): सहसंबंध मजबूत और सांख्यिकीय रूप से महत्वपूर्ण हो जाते हैं ( $r > 0.65, p < 10^{-9}$ )।
थ्रेशोल्ड (Threshold): 29.7% ओवरलैप पर एक तीव्र फेज ट्रांजिशन होता है, जिसे सिग्मॉइड फंक्शन द्वारा मॉडल किया गया है ( $R^2 = 0.94$ )। लेखक विश्वसनीय विश्लेषण के लिए $\ge$ 40% ओवरलैप की सिफारिश करते हैं।

प्रयोगात्मक सेटअप (Experimental Setup)

डेटासेट: विषाक्तता (toxicity), दवा सुरक्षा (drug safety), चयनात्मकता (selectivity) और क्वांटम केमिस्ट्री को कवर करने वाले 7 डेटासेट्स (Tox21, ToxCast, SIDER, Tox21+ADME, Kinase Panel, JAK Family, QM9) में मान्य किया गया।
आर्किटेक्चर: साझा-एनकोडर आर्किटेक्चर (Graph Convolutional Networks - GCN) के साथ टास्क-विशिष्ट MLP हेड्स।
वैलिडेशन: ग्रेडिएंट मैट्रिसेस ( $G$ ) की तुलना पीयरसन/स्पीयरमैन सहसंबंध और बायोलॉजिकल पाथवे रिकवरी के लिए एडजस्टेड रैंड इंडेक्स (ARI) का उपयोग करके एम्पिरिकल सहसंबंध मैट्रिसेस ( $E$ ) से की गई।

3. मुख्य योगदान (Key Contributions)

सूचना-सैद्धांतिक आवश्यकता: सिद्ध किया कि ग्रेडिएंट संघर्ष कार्य संबंधों को प्रकट करते हैं यदि और केवल यदि कार्य प्रशिक्षण उदाहरणों को साझा करते हैं। यह ग्रेडिएंट विश्लेषण के लिए पहला मात्रात्मक थ्रेशोल्ड (लगभग 30–40% ओवरलैप) है।
ऐतिहासिक विसंगति की व्याख्या: सात वर्षों के असंगत MTL परिणामों के लिए एक सिद्धांतपूर्ण स्पष्टीकरण प्रदान किया। मानक बेंचमार्क (MoleculeNet: <5% ओवरलैप; TDC: 8–14% ओवरलैप) "अविश्वसनीय शासन" में कार्य करते हैं, जिससे ग्रेडिएंट विश्लेषण अर्थहीन हो जाता है।
व्यापक सत्यापन: ओवरलैप आवश्यकताओं को पूरा करने पर 105 कार्यों और 949 जोड़ों में मजबूत ग्रेडिएंट-एम्पिरिकल सहसंबंध ( $r = 0.65–0.94$ ) प्रदर्शित किया। सफलतापूर्वक बायोलॉजिकल पाथवे संरचनाओं को रिकवर किया (फाइन-ग्रेन्ड स्तर पर ARI=0.65)।
व्यावहारिक उपयोगिता: दिखाया कि ग्रेडिएंट समानता MTL लाभ की भविष्यवाणी करती है ( $r=0.71$ ) और ग्रेडिएंट-आधारित टास्क ग्रुपिंग रैंडम असाइनमेंट की तुलना में प्रदर्शन में 3–4% सुधार करती है।

4. मुख्य परिणाम (Key Results)

फेज ट्रांजिशन: शोर से सिग्नल की ओर एक तीव्र संक्रमण ~30% ओवरलैप पर होता है। इससे नीचे, $r(G, E) < 0.25$ ; इसके ऊपर, $r(G, E) > 0.65$ ।
बेंचमार्क विफलता: मानक बेंचमार्क ओवरलैप आवश्यकता का उल्लंघन करते हैं:
- MoleculeNet: <5% ओवरलैप।
- TDC: 8–14% ओवरलैप।
- ChEMBL: विलगित कंपाउंड लाइब्रेरी।
क्रॉस-डोमेन वैलिडेशन: Tox21+ADME डेटासेट में, विदिन-डोमेन जोड़ों ने उच्च सहसंबंध दिखाया (विषाक्तता के लिए $r=0.95$ , ADME के लिए $r=0.66$ ), जबकि क्रॉस-डोमेन जोड़ों ने शून्य के करीब सहसंबंध दिखाया ( $r=0.23$ , गैर-महत्वपूर्ण), जो पुष्टि करता है कि विधि पदानुक्रमित संरचना (hierarchical structure) को कैप्चर करती है।
प्रतिरोधी संबंध (Antagonistic Relationships): किनेज चयनात्मकता (Kinase Selectivity) डेटा में (जहाँ 53% जोड़ों में नकारात्मक एम्पिरिकल सहसंबंध हैं), ग्रेडिएंट पैटर्न अभी भी ग्राउंड ट्र truth के साथ सहसंबद्ध थे ( $r=0.67$ ), बशर्ते उच्च-ओवरलैप उपसमुच्चय (subsets) पर विचार किया गया हो।
स्थिरता (Stability): ग्रेडिएंट पैटर्न जल्दी स्थिर हो जाते हैं (लगभग 20 एपोक तक), जिससे टास्क संबंधों का शीघ्र अनुमान लगाया जा सकता है।
आर्किटेक्चर मजबूती: सीखे गए रिप्रजेंटेशन (GCN, GAT, CNN) सुसंगत पैटर्न देते हैं ( $r=0.71–0.81$ ), जबकि फिक्स्ड फिंगरप्रिंट्स (ECFP) काफी भिन्न होते हैं ( $r=0.38–0.46$ )।

5. महत्व और निहितार्थ (Significance and Implications)

MTL बेंचमार्क को पुनर्परिभाषित करना: यह शोध पत्र तर्क देता है कि वर्तमान बेंचमार्क टास्क एफिनिटी के अध्ययन के लिए मौलिक रूप से त्रुटिपूर्ण हैं क्योंकि उनमें आवश्यक सैंपल ओवरलैप की कमी है। भविष्य के बेंचमर्क्स को ग्रेडिएंट-आधारित विश्लेषण के लिए वैध होने हेतु $\ge$ 40% इंस्टेंस ओवरलैप सुनिश्चित करना चाहिए।
व्यावहारिक वर्कफ़्लो: लेखक MTL के लिए एक नया वर्कफ़्लो प्रस्तावित करते हैं:
1. लगभग 20 एपोक के लिए एक प्रारंभिक मॉडल को प्रशिक्षित करें।
2. ग्रेडिएंट समानता मैट्रिक्स निकालें।
3. समानता के आधार पर कार्यों को क्लस्टर करें।
4. इन पहचाने गए समूहों पर अंतिम मॉडल प्रशिक्षित करें।
  यह दृष्टिकोण नकारात्मक हस्तांतरण से बचता है और महंगे कॉम्बिनेटरियल सर्च के बिना प्रदर्शन में सुधार करता है।
सैद्धांतिक आधार: यह ग्रेडिएंट संघर्षों के दृष्टिकोण को "ऑप्टिमाइजेशन नॉइज़" से बदलकर "व्याख्या योग्य संकेतों" में बदल देता है, बशर्ते डेटा की स्थितियाँ (सैंपल ओवरलैप) पूरी हों।
सीमाएँ और भविष्य का कार्य: 40% ओवरलैप की आवश्यकता पैनल एसेज़ (panel assays) या मैच किए गए डेटासेट्स की प्रयोज्यता को सीमित करती है। भविष्य के कार्य उन डोमेन अनुकूलन तकनीकों का पता लगाने के लिए हो सकते हैं जो वास्तविक दुनिया की ड्रग डिस्कवरी में सामान्य विलगित (disjoint) डेटासेट्स को संभाल सकें।

निष्कर्षतः, यह शोध पत्र स्थापित करता है कि अर्थपूर्ण ग्रेडिएंट-आधारित टास्क विश्लेषण के लिए सैंपल ओवरलैप एक पूर्व शर्त है। इसके बिना, ग्रेडिएंट सिग्नल स्प्यूरियस हैं; इसके साथ, वे MTL सफलता और संरचनात्मक समूहीकरण (grouping) की भविष्यवाणी करने के लिए एक मजबूत, अर्ली-स्टॉपिंग तंत्र प्रदान करते हैं।