Rotation, rescaling, or replacement? Decomposing organ adaptation in single-cell transformer representations

कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि एक सुपर-स्मार्ट रोबोट दुनिया को समझने के लिए कैसे सीखता है। जीव विज्ञान के क्षेत्र में, वैज्ञानिक इन रोबोटों को बना रहे हैं जिन्हें "ट्रांसफॉर्मर" कहा जाता है ताकि वे हमारी कोशिकाओं के भीतर मौजूद निर्देश पुस्तिकाओं (manuals) को पढ़ सकें। ये मैनुअल जीन की भाषा में लिखे गए हैं, और इन रोबोटों को शरीर के विभिन्न हिस्सों के काम करने के तरीके को समझने के लिए सेल डेटा के विशाल पुस्तकालयों पर प्रशिक्षित किया गया है। बड़ा सवाल यह है कि जब हम एक रोबोट को किसी विशिष्ट अंग, जैसे कि मस्तिष्क या गुर्दे (किडनी) के बारे में सिखाते हैं, तो क्या वह केवल पुराने तथ्यों को एक नए कोण से देखना सीखता है, या वह अपनी समझ को पूरी तरह से फिर से लिख देता है? यह इसलिए महत्वपूर्ण है क्योंकि यदि रोबोट केवल अपने दृष्टिकोण को "घुमाता" (rotate) है, तो हम मस्तिष्क के बारे में सीखी गई बातों को किडनी को समझने में आसानी से अनुवादित कर सकते हैं। लेकिन अगर वह अपने पूरे विश्वदृष्टिकोण को "बदल" (replace) देता है, तो हमें हर बार अंग बदलने पर फिर से शुरुआत करनी होगी।

यह शोध पत्र ठीक इसी रहस्य की जांच करता है, जिसका उपयोग scGPT प्रोजेक्ट द्वारा बनाए गए तीन 'रोबोट दिमागों' के एक विशेष सेट के साथ किया गया है। शोधकर्ताओं के पास एक अनूठा लाभ था: उनके पास एक ही ब्लूप्रिंट और संख्याओं के एक ही यादृच्छिक "सीड" (seed) से बने एक ही रोबोट के तीन संस्करण थे। एकमात्र अंतर उनकी प्रशिक्षण लाइब्रेरी थी: एक ने मानव शरीर के हर हिस्से को कवर करने वाले 33 मिलियन सेल्स को पढ़ा, एक ने 13.2 मिलियन ब्रेन सेल्स को पढ़ा, और एक ने 814,000 किडनी सेल्स को पढ़ा। इन तीनों की तुलना करके, लेखक देख सकता था कि डेटा ने रोबोट को क्या सिखाया और क्या यह केवल जन्म के समय बचा हुआ यादृच्छिक शोर (random noise) था।

महान "तुमने क्या सीखा?" प्रयोग

इन तीन AI मॉडलों को तीन छात्रों के रूप में सोचें जिन्होंने एक ही दिन स्कूल शुरू किया, एक ही सीट पर बैठे, एक ही खाली नोटबुक और हाशिए में एक ही यादृच्छिक रेखाचित्रों (initialization) के साथ।

• छात्र A ने मानव शरीर के हर हिस्से को कवर करने वाला 33 मिलियन पृष्ठों का एक विशाल विश्वकोश पढ़ा।
• छात्र B ने 13.2 मिलियन पृष्ठों की एक मोटी पाठ्यपुस्तक पढ़ी, लेकिन केवल मस्तिष्क के बारे में।
• छात्र C ने 814,000 पृष्ठों का एक पतला पर्चा पढ़ा, लेकिन केवल किडनी के बारे में।

शोधकर्ता जानना चाहते थे कि: जब छात्र B और C ने अपनी पढ़ाई पूरी की, तो क्या उन्होंने केवल तथ्यों को अलग तरह से देखने के लिए अपना सिर झुकाया (रोटेशन/rotation), या उन्होंने शब्दों के आकार को बदला (रीस्केलिंग/rescaling)? या, क्या उन्होंने पुराने तथ्यों को फेंक दिया और पूरी तरह से नए तथ्य लिखे (रिप्लेसमेंट/replacement)?

मशीन में "भूत" (The Ghost in the Machine)

बड़े सवाल का जवाब देने से पहले, शोधकर्ताओं को एक डरावना सुराग मिला। उन्होंने देखा कि तीनों छात्रों की नोटबुक्स में हजारों विशिष्ट लाइनें बिट-दर-बिट (bit-for-bit) समान थीं। ये वे लाइनें थीं जिन्हें किसी भी छात्र ने वास्तव में कभी पढ़ा या सीखा नहीं था। चूंकि उनकी नोटबुक यादृच्छिक रेखाचित्रों के साथ शुरू हुई थीं, और ये लाइनें कभी नहीं बदलीं, इसलिए शोधकर्ताओं ने महसूस किया: "आहा! तीनों छात्र एक ही यादृच्छिक रेखाचित्रों के साथ शुरू हुए थे!"

यह एक गेम-चेंजर था। इसका मतलब था कि शोधकर्ता जानते थे कि "शोर" (noise) कैसा दिखता है। वे एक रेखा खींच सकते थे: उस रेखा से नीचे कुछ भी केवल शुरुआती यादृच्छिक रेखाचित्र था; उस रेखा से ऊपर का कुछ भी वास्तविक सीखना था।

चौंकाने वाले परिणाम: यह रोटेशन नहीं, बल्कि एक पुनलेखन (Rewrite) है

एक बार जब उन्होंने यादृच्छिक रेखाचित्रों को फ़िल्टर कर दिया, तो उनके मुख्य प्रश्न का उत्तर स्पष्ट और आश्चर्यजनक था।

1. "किडनी" वाले छात्र ने वास्तव में बहुत कम सीखा
जिस छात्र ने केवल किडनी का पर्चा (814,000 सेल्स) पढ़ा था, उसने अपनी नोटबुक में बहुत कम बदलाव किए। 512 संभावित दिशाओं में से, केवल 12 ही वास्तव में नई थीं। बाकी सब केवल मूल यादृच्छिक रेखाचित्र थे। यह एक कॉमिक बुक पढ़कर नई भाषा सीखने की कोशिश करने जैसा है; आप अभी तक भाषा को वास्तव में नहीं जानते हैं। शोधकर्ताओं ने पाया कि इस छात्र के लिए, "सीखना" इतना कमजोर था कि यह ज्यादातर शोर ही था।

2. "ब्रेन" वाले छात्र ने मानचित्र को नहीं, बल्कि रास्ता बदला
जिस छात्र ने मस्तिष्क की पाठ्यपुस्तक (13.2 मिलियन सेल्स) पढ़ी थी, उसने अधिक सीखा—लगभग 104 नई दिशाएँ। लेकिन यहाँ एक मोड़ है: उन्होंने केवल मानचित्र को घुमाया या मौजूदा सड़कों को बड़ा नहीं किया। उन्होंने सड़कों को बदल (replace) दिया।

शोधकर्ताओं ने मस्तिष्क वाले छात्र के मानचित्र को पूरे-शरीर वाले छात्र के मानचित्र पर एक "रोटेशन" (मानचित्र को घुमाना) या "रीस्केलिंग" (मानचित्र को फैलाना) का उपयोग करके फिट करने की कोशिश की। यह अच्छी तरह से काम नहीं किया।

• एक साधारण रोटेशन ने परिवर्तनों के 30% से भी कम हिस्से को समझाया।
• यहाँ तक कि हर सड़क के लिए एक "स्ट्रेच" जोड़ने से भी बहुत कम सुधार हुआ।
• मानचित्रों को मिलाने के लिए, उन्हें एक जटिल, अव्यवस्थित लीनियर मैप का उपयोग करना पड़ा जिसने परिवर्तनों का केवल लगभग 57% हिस्सा ही समझाया।

इसका अर्थ यह है कि जब रोबोट किसी विशिष्ट अंग के बारे में सीखता है, तो वह केवल एक अलग कोण से उन्हीं जैविक तथ्यों को नहीं देखता। वह अपने पुराने "एक्सिस" (सूचना को व्यवस्थित करने के मुख्य तरीके) को त्याग देता है और नए बनाता है। ब्रेन स्टूडेंट और किडनी स्टूडेंट एक ही भाषा की अलग-अलग बोलियाँ बोल रहे हैं, न कि केवल एक ही बोली जिसमें अलग लहजा हो।

3. "मध्य" वह जगह है जहाँ जादू होता है
शोधकर्ताओं ने यह भी देखा कि रोबोट के मस्तिष्क में कहाँ सीखना हुआ। उन्होंने पाया कि सीखना रोबोट के नेटवर्क की मध्य परतों में केंद्रित था, विशेष रूप से उन हिस्सों में जो कनेक्शन (अटेंशन) पर ध्यान देते हैं और उन हिस्सों में जो सूचना को प्रोसेस (फीड-फॉरवर्ड) करते हैं। "नॉर्मलाइजेशन" वाले हिस्से (जो रोबोट को स्थिर रखते हैं) में बहुत कम बदलाव आया। यह ऐसा है जैसे छात्र ने अपनी पाठ्यपुस्तक के बीच के अध्यायों को फिर से लिखा हो लेकिन परिचय और निष्कर्ष को बिल्कुल वैसा ही छोड़ दिया हो जैसा कि शुरुआत में था।

4. आकार से अधिक दिशा मायने रखती है
जब रोबोट ने मस्तिष्क बनाम किडनी के बारे में सीखा, तो परिवर्तन का आकार उन्हें यह नहीं बता सका कि वह कौन सा अंग था। एक जीन जो बहुत अधिक बदल गया, वह कहीं से भी हो सकता था। लेकिन परिवर्तन की दिशा एक बड़ा सुराग थी। यदि कोई जीन एक विशिष्ट दिशा में चला गया, तो वह लगभग निश्चित रूप से ब्रेन जीन था। यदि वह विपरीत दिशा में गया, तो वह किडनी जीन था। रोबोट ने अंगों को पहचानने के लिए यह सीखा कि सूचना किस दिशा में शिफ्ट हुई, न कि यह कि वह कितनी शिफ्ट हुई।

भविष्य के खोजकर्ताओं के लिए सीख

यह शोध पत्र उन सभी के लिए कुछ बहुत ही व्यावहारिक नियम प्रदान करता है जो इन AI रोबोटों का उपयोग जीव विज्ञान को समझने के लिए करना चाहते हैं:

• जनरलिस्ट (Generalist) के साथ टिके रहें: यदि आप जीव विज्ञान को समझना चाहते हैं, तो उस मॉडल का उपयोग करें जिसे पूरे मानव शरीर (33 मिलियन सेल्स मॉडल) पर प्रशिक्षित किया गया है। इसमें सबसे अधिक "सीखे हुए" दिशाएँ और स्पष्ट संरचना है।
• स्थानांतरणशीलता (Transferability) को मानकर न चलें: आप केवल एक बटन घुमाकर "ब्रेन" मॉडल में की गई खोज को "किडनी" मॉडल पर लागू नहीं कर सकते। आंतरिक मानचित्र बहुत अलग हैं। यदि आप किडनी के लिए ब्रेन मॉडल के निष्कर्षों का उपयोग करना चाहते हैं, तो आपको उन्हें शून्य से फिर से सीखना होगा।
• छोटे डेटासेट से सावधान रहें: यदि किसी मॉडल को लगभग 10 मिलियन सेल्स से कम (इस अध्ययन में किडनी मॉडल की तरह) पर प्रशिक्षित किया जाता है, तो हो सकता है कि उसने वास्तव में कुछ सीखा ही न हो। वह केवल अपने यादृच्छिक शुरुआती रेखाचित्रों को ही दोहरा रहा हो सकता है। एक छोटे अंग-विशिष्ट मॉडल पर भरोसा करने से पहले, आपको यह जांच लेना चाहिए कि क्या उसने शोर से परे वास्तव में कुछ सीखा है।

संक्षेप में, रोबोट केवल एक नया अंग देखने के लिए अपना सिर नहीं "घुमाता" है; उसे एक नया सिर उगाना पड़ता है। और यदि उसके पास पढ़ने के लिए पर्याप्त समय (पर्याप्त डेटा) नहीं है, तो वह नया सिर नहीं उगा पाएगा—वह बस अपने शुरुआती यादृच्छिक रेखाचित्रों को खाली नजरों से देखता रहेगा।