The Complex Geometry of Biological Knowledge in Artificial Intelligence: Manifolds, Spectra, and Concept Structure in Foundation-Model Representations

कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक विशाल पुस्तकालय अपनी किताबों को कैसे व्यवस्थित करता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, कुछ "फाउंडेशन मॉडल्स" होते हैं—विशाल कंप्यूटर प्रोग्राम जिन्हें किसी विशिष्ट विषय के नियमों को सीखने के लिए डेटा के महासागरों पर प्रशिक्षित किया गया है। इनमें से एक लोकप्रिय प्रकार के मॉडल को जैविक डेटा (biological data) पर प्रशिक्षित किया जाता है, जैसे कि कोशिकाओं का जेनेटिक कोड या प्रोटीन के अनुक्रम (sequences)। वैज्ञानिकों ने हाल ही में खोजा है कि कुछ मॉडल, विशेष रूप से जो सेल डेटा पर प्रशिक्षित हैं, उनके पास एक बहुत ही शानदार आंतरिक मानचित्र होता है। वे जानकारी को चिकनी, घुमावदार पगडंडियों (जिन्हें "मैनिफोल्ड्स" कहा जाता है) के साथ व्यवस्थित करते हुए प्रतीत होते हैं और उनकी एक जटिल, बहु-स्तरीय संरचना है जो एक सुंदर, जटिल मूर्ति की तरह दिखती है। यह रोमांचक है क्योंकि यदि कोई कंप्यूटर ज्ञान को एक जटिल मूर्ति की तरह व्यवस्थित करता है, तो यह हमारे लिए यह समझना आसान हो सकता है कि वह कैसे सोचता है और यहाँ तक कि उस संरचना का उपयोग नई जीव विज्ञान की खोज करने के लिए भी किया जा सकता है।

लेकिन यहाँ एक बड़ा सवाल है: क्या सभी जैविक एआई मॉडल ज्ञान को इसी तरह व्यवस्थित करते हैं? विशेष रूप से, उन मॉडल्स का क्या जो प्रोटीन पर प्रशिक्षित हैं? प्रोटीन हमारे शरीर के भीतर अधिकांश काम करने वाली नन्ही मशीनें हैं, और उनकी "भाषा" अमीनो एसिड की एक लंबी स्ट्रिंग है। यदि इन प्रोटीन मॉडल्स के पास भी वही शानदार, जटिल ज्यामिति (geometry) है, तो यह वैज्ञानिकों के लिए एक बड़ी जीत होगी जो उन्हें डिकोड करने की कोशिश कर रहे हैं। यदि उनके पास ऐसा नहीं है, तो इसका मतलब है कि हम एक ऐसे खजाने के नक्शे की तलाश कर रहे हैं जहाँ केवल एक सपाट, खुला मैदान है। यह शोध पत्र इन प्रोटीन मॉडल्स पर एक आवर्धक लेंस (magnifying glass) रखकर यह देखने के लिए बनाया गया है कि क्या वे वास्तव में अपने सेल-केंद्रित चचेरे भाइयों की तरह ही एक गुप्त, जटिल वास्तुकला रखते हैं, या उनका आंतरिक संसार पूरी तरह से अलग तरह के तर्क पर बना है।

---

द ग्रेट प्रोटीन मैप हंट: कर्व्स बनाम क्लाउड्स की एक कहानी

प्रोटीन लैंग्वेज मॉडल्स (pLMs) से मिलिए। इन्हें सुपर-स्मार्ट शेफ के रूप में सोचें जिन्होंने ब्रह्मांड की हर रेसिपी का स्वाद चखा है (करोड़ों प्रोटीन अनुक्रमों में से) और बिना कभी भी एक तैयार व्यंजन देखे, खाना पकाने के नियमों को सीख लिया है। वे इतने अच्छे हैं कि वे भविष्यवाणी कर सकते हैं कि एक प्रोटीन 3D आकार में कैसे मुड़ेगा या शरीर में क्या करेगा। वैज्ञानिक पूछ रहे हैं: "यह शेफ अपने मस्तिष्क में अपने ज्ञान को कैसे व्यवस्थित करता है?"

कुछ समय के लिए, उत्तर यह लग रहा था कि "एक जटिल, घुमावदार भूलभुलैया में।" अन्य जैविक एआई मॉडल्स (जो सिंगल सेल्स पर प्रशिक्षित थे) के बारे में पाया गया था कि उनका ज्ञान चिकनी, कम-आयामी वक्रों (low-dimensional curves) में संग्रहीत है, जैसे कि एक उच्च-आयामी कमरे में घूमता हुआ एक रिबन। उनमें "स्पेक्ट्रल" संरचनाएं (इंद्रधनुष में रंग की अलग-अलग पट्टियों की तरह) और "कॉन्सेप्ट पदानुक्रम" (एक फैमिली ट्री की तरह जहाँ विचार करीने से शाखाओं में बँटे होते हैं) थीं। इससे एक बड़ा परिकल्पना (hypothesis) बनी: शायद सभी जैविक एआई शानदार, जटिल ज्यामितीय आकृतियों में ज्ञान को व्यवस्थित करते हैं।

लियू चेन नामक शोधकर्ता के नेतृत्व में इस शोध पत्र ने उस परिकल्पना का परीक्षण करने का निर्णय लिया। उन्होंने आठ अलग-अलग प्रोटीन मॉडल्स के "मस्तिष्क" का निरीक्षण करने के लिए एक "थ्री-लेंस बैटरी" बनाई, जिसमें प्रसिद्ध ESM-2 परिवार (8-मिलियन पैरामीटर वाले छोटे मॉडल्स से लेकर 3-बिलियन पैरामीटर वाले विशालकाय मॉडल्स तक) और ProtBERT एवं Ankh जैसे अन्य शामिल हैं। उन्होंने केवल देखा ही नहीं; उन्होंने तीन विशिष्ट चीजों को मापने के लिए कठोर उपकरणों का उपयोग किया:

1. आकार (Manifold): क्या डेटा एक चिकनी, घुमावदार सतह पर व्यवस्थित है?
2. स्पेक्ट्रम (Spectrum): क्या डेटा में इंद्रधनुष की तरह सूचना की स्पष्ट, अलग-अलग पट्टियाँ हैं?
3. अवधारणाएँ (Concepts): क्या विचार एक व्यवस्थित पदानुक्रम या फैमिली ट्री में व्यवस्थित हैं?

उन्होंने ये परीक्षण "सिंथेटिक कंट्रोल्स" पर भी चलाए—नकली डेटा जिसे उन्होंने स्वयं बनाया था और जिसके बारे में ज्ञात था कि उसमें जटिल आकार (जैसे एक मुड़ा हुआ डोनट या स्पाइरल) हैं। यदि उनके उपकरण काम करते, तो उन्हें नकली डेटा में जटिल आकार मिलना चाहिए था।

निर्णय: यह एक फ्लैट, लीनियर क्लाउड है, न कि एक घुमावदार भूलभुलैया

परिणाम थोड़े आश्चर्यजनक थे, लेकिन बहुत स्पष्ट थे। शोधकर्ताओं ने पाया कि प्रोटीन लैंग्वेज मॉडल्स में वह जटिल, घुमावदार ज्यामिति नहीं है जो सेल मॉडल्स में होती है। इसके बजाय, उनका आंतरिक ज्ञान "वास्तविक लेकिन सरल" है।

1. आकार: एक रिबन नहीं, बल्कि एक क्लाउड (बादल)
जब शोधकर्ताओं ने एक चिकनी, घुमावदार सतह (मैनिफोल्ड) खोजने की कोशिश की जहाँ प्रोटीन डेटा रहता है, तो उन्हें खाली हाथ लौटना पड़ा।

• निष्कर्ष: हालांकि डेटा ऐसा दिखता है जैसे कि वह एक कम-आयामी वक्र पर हो सकता है (बड़े मॉडल्स के लिए "नॉनलीनियर इंट्रिंसिक डायमेंशन" लगभग 26 था), वास्तविकता अलग है। डेटा वास्तव में एक विशाल, उच्च-आयामी स्थान में फैला हुआ है (लीनियर डायमेंशन लगभग 131)।
• उपमा: एक मुड़े हुए कागज को सीधा करने की कोशिश करने की कल्पना करें। यदि वह एक चिकनी रिबन होती, तो आप उसे आसानी से सीधा कर सकते थे। लेकिन ये प्रोटीन मॉडल्स कॉटन कैंडी के एक विशाल, फूला हुआ बादल की तरह हैं। यह दूर से छोटा दिखता है, लेकिन यदि आप इसे एक सपाट आकार में दबाने की कोशिश करेंगे, तो यह बस फैल जाएगा।
• प्रमाण: जब शोधकर्ताओं ने डेटा को विज़ुअलाइज़ करने के लिए फैंसी, घुमावदार गणित (जैसे UMAP, जो सुंदर 2D चित्र बनाने के लिए लोकप्रिय है) का उपयोग करने की कोशिश की, तो परिणाम बहुत खराब रहे। मॉडल्स ने प्रोटीन गुणों की भविष्यवाणी करने की अपनी क्षमता खो दी। हालाँकि, सरल, सीधी रेखा वाले गणित (लीनियर प्रोब्स) ने पूरी तरह से काम किया। लेखक निष्कर्ष निकालते हैं कि प्रोटीन ज्ञान की "ज्यामिति" एक चिकनी, घुमावदार सतह नहीं है, बल्कि एक "निकट-रैखिक, उच्च-आयामी क्लाउड" है।

2. स्पेक्ट्रम: एक रंगीन इंद्रधनुष नहीं, बल्कि एक स्मूथ स्लाइड
इसके बाद, उन्होंने डेटा के "स्पेक्ट्रम" को देखा, जो एक गाने में ध्वनि की आवृत्तियों (frequencies) को देखने जैसा है।

• निष्कर्ष: उन्होंने डेटा की एक एकल, चिकनी स्लाइड पाई जो एक पावर लॉ (एक विशिष्ट गणितीय वक्र जहाँ घातांक 1 के करीब है) का पालन करती है। अलग-अलग जैविक अवधारणाओं को अलग करने वाली कोई स्पष्ट "पट्टियाँ" या अंतराल नहीं थे।
• उपमा: यदि सेल मॉडल्स एक इंद्रधनुष की तरह थे जिसमें लाल, नारंगी और नीली अलग-अलग पट्टियाँ थीं, तो प्रोटीन मॉडल्स ग्रे (धूसर) रंग के एक सिंगल, स्मूथ ग्रेडिएंट की तरह हैं। डेटा की आंतरिक संरचना में एक प्रकार के प्रोटीन को दूसरे से अलग करने वाली कोई स्पष्ट रेखा नहीं है।
• बारीकी: हालांकि कोई जटिल संरचना नहीं थी, लेकिन उस स्मूथ स्लाइड की "तीव्रता" (exponent) वास्तव में बहुत उपयोगी थी। इसने एक "क्वालिटी स्कोर" की तरह काम किया। स्लाइड जितनी अधिक सपाट होगी (घातांक 1 के जितना करीब होगा), मॉडल वास्तविक दुनिया के कार्यों पर उतना ही बेहतर प्रदर्शन करेगा। इसलिए, हालांकि संरचना जटिल नहीं थी, लेकिन यह एक विश्वसनीय संकेतक था कि मॉडल कितना अच्छा है।

3. अवधारणाएँ: पदानुक्रमित नहीं, बल्कि फ्लैट
अंत में, उन्होंने जांचा कि मॉडल "क्या यह एक मेम्ब्रेन प्रोटीन है?" या "इसकी सेकेंडरी स्ट्रक्चर क्या है?" जैसी अवधारणाओं को कैसे व्यवस्थित करता है।

• निष्कर्ष: मॉडल इन सवालों के जवाब देने में सरल, सीधी रेखाओं का उपयोग करके बहुत कुशल थे। यदि आपने लीनियर प्रोब से पूछा, "क्या यह एक मेम्ब्रेन प्रोटीन है?" तो उसने उच्च सटीकता के साथ कहा "हाँ"। हालाँकि, इन अवधारणाओं के बीच के संबंध "फ्लैट" थे।
• उपमा: एक लाइब्रेरी की कल्पना करें। एक जटिल पदानुक्रम में, किताबें महाद्वीप, फिर देश, फिर शहर, फिर सड़क के आधार पर व्यवस्थित होती हैं। इन प्रोटीन मॉडल्स में, किताबें बस एक विशाल, सपाट मेज पर बिखरी हुई हैं। आप सही किताब आसानी से ढूंढ सकते हैं (लीनियर डिकोडेबिलिटी), लेकिन उन्हें जोड़ने वाला कोई व्यवस्थित फैमिली ट्री नहीं है। "एनालॉजी" टेस्ट (यह जांचना कि क्या मॉडल समझता है कि "A का B से संबंध C के D से है") भी विफल रहा; संबंध कमजोर थे और वे पैरेलल दिशाओं में संरेखित नहीं थे जैसा कि लैंग्वेज मॉडल्स में होता है।
• कन्फाउंड (Confound): लेखकों ने यह भी पाया कि कुछ दिखने वाली संरचना वास्तव में मॉडल की प्रोटीन की लंबाई या कुछ अमीनो एसिड की मात्रा जैसी बुनियादी विशेषताओं के प्रति प्रतिक्रिया मात्र थी, न कि गहरा जैविक अर्थ।

अंतर क्यों? डेटा की प्रकृति

यह शोध पत्र एक दिलचस्प कारण देता है कि प्रोटीन मॉडल्स अलग क्यों हैं।

• सेल डेटा: कोशिकाएं निरंतर बदलती हैं। एक स्टेम सेल धीरे-धीरे रक्त कोशिका में बदल जाती है। यह डेटा में एक चिकना, घूमता हुआ रास्ता (मैनिफोल्ड) बनाता है।
• प्रोटीन डेटा: प्रोटीन असतत (discrete) होते हैं। वे 20 संभावित अमीनो एसिड की एक स्ट्रिंग से बने होते हैं। सभी संभावित प्रोटीनों का स्थान विशाल और "चंकी" (खंडों में विभाजित) है, जो स्मूथ ट्रांज़िशन के बजाय विकासवादी इतिहास (homology) द्वारा व्यवस्थित है।
• निष्कर्ष: क्योंकि डेटा स्वयं असतत और क्लस्टर्स में बिखरा हुआ है, इसलिए एआई मॉडल को एक चिकनी, घुमावदार मैप बनाने की आवश्यकता नहीं है। वह बस अपने ज्ञान को एक उच्च-आयामी, लीनियर क्लाउड में फैला देता है। सेल मॉडल्स में देखी गई "जटिल ज्यामिति" प्रोटीन मॉडल्स पर लागू नहीं होती क्योंकि अंतर्निहित वास्तविकता अलग है।

मुख्य निष्कर्ष (The Takeaway)

लेखक निष्कर्ष निकालते हैं कि प्रोटीन मॉडल्स में जैविक ज्ञान वास्तविक और सुलभ है, लेकिन ज्यामितीय रूप से सरल है।

• क्या काम करता है: सरल, लीनियर टूल्स (जैसे सीधी रेखा वाले प्रोब्स और PCA) इन मॉडल्स को पढ़ने का सबसे अच्छा तरीका हैं।
• क्या काम नहीं करता: इन मॉडल्स को जटिल, घुमावदार आकृतियों में फिट करने की कोशिश करना या उनकी आंतरिक संरचना में गहरे, पदानुक्रमित फैमिली ट्री की तलाश करना एक निरर्थक प्रयास है।
• सकारात्मक पक्ष: यह तथ्य कि ज्ञान लीनियर और सरल है, वास्तव में एक अच्छी बात है। इसका मतलब है कि हम इन मॉडल्स पर सीधे उत्तर देने के लिए भरोसा कर सकते हैं, बिना किसी रहस्यमय, घुमावदार भूलभुलैया को डिकोड किए। "जटिल ज्यामिति" की परिकल्पना, जो सेल मॉडल्स के लिए सुंदर है, प्रोटीन की दुनिया में फिट नहीं बैठती है। यह शोध पत्र पुष्टि करता है कि प्रोटीनों के लिए, नक्शा एक घूमती हुई रिबन नहीं, बल्कि एक विशाल, खुला और आश्चर्यजनक रूप से सीधा मैदान है।