⚡ electrical engineering

Platonic Transformers: A Solid Choice For Equivariance

प्लेटोनिक ट्रांसफॉर्मर (Platonic Transformer) एक नवीन आर्किटेक्चर पेश करता है जो प्लेटोनिक सॉलिड संदर्भ ढांचों (Platonic solid reference frames) के सापेक्ष अटेंशन को परिभाषित करके निरंतर अनुवाद (continuous translations) और प्लेटोनिक समरूपताओं (Platonic symmetries) के संयुक्त इक्विवेरिएंस (equivariance) को प्राप्त करता है, जिससे यह मानक ट्रांसफॉर्मर की सटीक कम्प्यूटेशनल दक्षता के साथ विविध वैज्ञानिक और विजन बेंचमार्क में प्रतिस्पर्धी प्रदर्शन प्रदान करता है।

मूल लेखक: Mohammad Mohaiminul Islam, Rishabh Anand, David R. Wessels, Friso de Kruiff, Thijs P. Kuipers, Rex Ying, Clara I. Sánchez, Sharvaree Vadgama, Georg Bökman, Erik J. Bekkers

प्रकाशित 2026-06-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mohammad Mohaiminul Islam, Rishabh Anand, David R. Wessels, Friso de Kruiff, Thijs P. Kuipers, Rex Ying, Clara I. Sánchez, Sharvaree Vadgama, Georg Bökman, Erik J. Bekkers

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को वस्तुओं को पहचानना सिखा रहे हैं, चाहे वे 3D अणु हों, फर्नीचर के पॉइंट क्लाउड हों, या बिल्लियों की तस्वीरें हों। AI का वर्तमान "सुपरस्टार", ट्रांसफॉर्मर (Transformer), अविश्वसनीय रूप से स्मार्ट और तेज़ है, लेकिन इसकी एक कमजोरी है: यह स्वाभाविक रूप से ज्यामिति (geometry) को नहीं समझता है।

यदि आप एक मानक ट्रांसफॉर्मर को बिल्ली की तस्वीर दिखाते हैं, तो वह सीख जाता है कि बिल्ली कैसी दिखती है। लेकिन यदि आप उस बिल्ली को 90 डिग्री घुमा देते हैं, तो ट्रांसफॉर्मर को इसे फिर से शुरू से सीखना पड़ता है क्योंकि वह घूम चुकी बिल्ली को एक पूरी तरह से नई और असंबंधित चीज़ मानता है। इसमें "इंडक्टिव बायस" (inductive bias) की कमी है—जिसका एक फैंसी तरीका यह कहना है कि इसके पास दुनिया कैसे काम करती है, इसकी सहज समझ (जैसे कि एक बिल्ली अभी भी बिल्ली ही रहती है, भले ही आप उसे उल्टा कर दें) नहीं है।

मौजूदा समाधान इस समस्या को ठीक करने की कोशिश करते हैं, लेकिन वे AI के भीतर जटिल, भारी मशीनरी का निर्माण करते हैं ताकि उसे इन नियमों का पालन करने के लिए मजबूर किया जा सके। लेकिन इससे AI धीमा और बोझिल हो जाता है, जिससे वह गति खो देता है जिसने ट्रांसफॉर्मर को महान बनाया था।

प्रवेश होता है: प्लेटोनिक ट्रांसफॉर्मर (Platonic Transformer)।

इस शोध पत्र के लेखक एक चतुर तरकीब का प्रस्ताव करते हैं जिससे वे AI को बिना उसकी गति कम किए या उसके मस्तिष्क की संरचना बदले, ज्यामितीय सामान्य समझ (geometric common sense) दे सकें। उन्होंने इसे कैसे किया है, यहाँ कुछ रोज़मर्रा के उदाहरणों के माध्यम से बताया गया है:

1. "रेफरेंस फ्रेम" (Reference Frame) की तरकीब

कल्पना कीजिए कि आप एक भीड़ भरे कमरे में अपने दोस्त की स्थिति का वर्णन करने की कोशिश कर रहे हैं।

मानक AI: आप कहते हैं, "वे निर्देशांक (5, 10) पर हैं।" यदि कमरा घूम जाता है, तो वे नंबर बदल जाते हैं, और AI भ्रमित हो जाता है।
प्लेटोनिक ट्रांसफॉर्मर: एक निश्चित सेट ऑफ कोऑर्डिनेट्स के बजाय, AI एक साथ कई कोणों से कमरे की कल्पना करता है। वह पूछता है, "यदि मैं उत्तर से देखूँ तो मेरा दोस्त कहाँ है? पूर्व से? कोने से?"

प्लेटोनिक ट्रांसफॉर्मर इन कोणों को परिभाषित करने के लिए प्लेटोनिक सॉलिड्स (Platonic solids) (टेट्राहेड्रॉन, ऑक्टाहेड्रोन या आइकोसाहेड्रॉन जैसे पूर्ण आकार) का उपयोग करता है। इन आकारों को सोचिए जैसे कि AI ने पहने हुए "जादुई चश्मे" का एक सेट है। प्रत्येक लेंस एक अलग रोटेशन (घूर्णन) का प्रतिनिधित्व करता है। AI इस डेटा को इन सभी लेंसों के माध्यम से एक साथ प्रोसेस करता है।

2. "वेट-शेयरिंग" (Weight-Sharing) का गुप्त मंत्र

आमतौर पर, यदि आप चाहते हैं कि एक AI किसी चीज़ को 12 अलग-अलग कोणों से देखे, तो आपको लग सकता है कि आपको एक साथ काम करने वाले 12 अलग-अलग दिमागों की आवश्यकता होगी, जो धीमा और महंगा होगा।

प्लेटोनिक ट्रांसफॉर्मर अधिक स्मार्ट है। यह वेट-शेयरिंग (weight-sharing) नामक तकनीक का उपयोग करता है।

उपमा: कल्पना कीजिए कि एक शेफ के पास "स्पैगेटी" की एक रेसिपी है। वह "उत्तर से देखी गई स्पैगेटी", "पूर्व से देखी गई स्पैगेटी" आदि के लिए नई रेसिपी लिखने के बजाय, बस यह कहता है, "उसी स्पैगेटी रेसिपी का उपयोग करें, लेकिन कोण के आधार पर सामग्री को समायोजित करें।"
तकनीकी शब्दों में, AI हर कोण के लिए बिल्कुल एक ही गणितीय "वेट्स" (पैरामीटर्स जो उसने सीखे हैं) का पुन: उपयोग करता है। उसे नए हिस्सों की आवश्यकता नहीं है; उसे बस मौजूदा हिस्सों का उपयोग करने के तरीके को व्यवस्थित करने की आवश्यकता है।

परिणाम: AI को 12 अलग-अलग कोणों को समझने का लाभ मिलता है, लेकिन इसके लिए कंप्यूटिंग पावर उतनी ही लगती है जितनी केवल एक कोण से देखने में लगती है। यह मूल ट्रांसफॉर्मर की गति को बनाए रखता है लेकिन एक विशेष रोबोट की ज्यामितीय बुद्धिमत्ता प्राप्त करता है।

3. "डायनेमिक फिल्टर" (Dynamic Filter) की खोज

लेखकों ने यह भी खोजा कि यह कैसे काम करता है। उन्होंने दिखाया कि यह अटेंशन मैकेनिज्म गणितीय रूप से एक डायनेमिक फिल्टर के समान है।

उपमा: कल्पना कीजिए कि एक कैमरा लेंस जो वह देख रहा है उसके आधार पर तुरंत अपना फोकस और आकार बदल लेता है। यदि वह एक वृत्त देखता है, तो लेंस गोल हो जाता; यदि वह एक वर्ग देखता है, तो वह वर्गाकार हो जाता है।
प्लेटोनिक ट्रांसफॉर्मर इन "ज्यामितीय फिल्टरों" को चलते-फिरते (on the fly) सीखता है। यह केवल पैटर्न को याद नहीं करता; यह ज्यामिति के नियमों को सीखता है ताकि वह जो कुछ भी नया देखता है उस पर उन्हें लागू कर सके।

उन्होंने क्या परीक्षण किया?

टीम ने इस "जादुई लेंस" प्रणाली का तीन बहुत अलग प्रकार की समस्याओं पर परीक्षण किया:

2D चित्र (CIFAR-10): सरल छवियों को पहचानना। भले ही चित्रों का आमतौर पर एक "ऊपर" और "नीचे" होता है, AI ने बेहतर प्रदर्शन किया जब उसने रोटेशन को समझा, जिससे सिद्ध हुआ कि ज्यामितीय बायस तब भी मदद करता है जब इसकी सख्त आवश्यकता न हो।
3D पॉइंट क्लाउड्स (ScanObjectNN): कुर्सियों या विमानों जैसी 3D वस्तुओं की पहचान करना जो झुकी हुई या टूटी हुई हो सकती हैं। AI ने मानक मॉडलों की तुलना में इन रोटेशन को बहुत बेहतर तरीके से संभाला।
अणु (QM9, OMol25, ProteinMD): यहाँ इसने अपनी चमक बिखेरी। अणुओं का कोई "ऊपर" या "नीचे" नहीं होता; वे बस अंतरिक्ष में तैरते हुए परमाणु होते हैं। प्लेटोनिक ट्रांसफॉर्मर ने पिछले अत्याधुनिक मॉडलों की तुलना में आणविक गुणों की भविष्यवाणी की और नए, स्थिर अणु बनाए, और वह भी तेज़ गति से।

निचोड़

शोध पत्र का दावा है कि प्लेटोनिक ट्रांसफॉर्मर एक लंबे समय से चली आ रही समस्या को हल करता है: आमतौर पर आपको एक तेज़, लचीले AI (जैसे मानक ट्रांसफॉर्मर) और एक स्मार्ट, ज्यामिति-जागरूक AI (जैसे विशेष इक्विवेरिएंट नेटवर्क) के बीच किसी एक को चुनना पड़ता है।

यह नया मॉडल कहता है, "क्यों चुनें?" पूर्ण आकारों (प्लेटोनिक सॉलिड्स) की समरूपता का उपयोग करके यह व्यवस्थित करता है कि AI डेटा को कैसे देखता है, यह बिना किसी अतिरिक्त लागत के ज्यामितीय बुद्धिमत्ता प्राप्त करता है। यह एक सुपर-फास्ट स्पोर्ट्स कार को एक ऐसे बिल्ट-इन GPS देने जैसा है जो इलाके को समझता है, बिना इंजन में कोई अतिरिक्त वजन जोड़े।

तकनीकी सारांश: प्लैटोनिक ट्रांसफॉर्मर: इक्विवैरिएंस (Equivariance) के लिए एक ठोस विकल्प

समस्या विवरण

यद्यपि ट्रांसफॉर्मर अपनी लचीलेपन और दक्षता के कारण डीप लर्निंग में व्यापक सफलता प्राप्त कर चुके हैं, लेकिन उनमें उन ज्यामितीय समरूपताओं (geometric symmetries) के लिए अंतर्निहित इंडक्टिव बायस (inductive biases) की कमी है जो वैज्ञानिक डोमेन (भौतिकी, रसायन विज्ञान) और कंप्यूटर विज़न (3D पॉइंट क्लाउड्स) में प्रचलित हैं। मौजूदा इक्विवैरिएंट विधियाँ, जो इन समरूपताओं का सम्मान करती हैं, अक्सर ग्रुप कॉन्वोल्यूशन या क्लेबश-गोर्डन (Clebsch-Gordan) टेंसर उत्पादों जैसे जटिल ऑपरेशनों पर निर्भर करती हैं। ये दृष्टिकोण महत्वपूर्ण कम्प्यूटेशनल ओवरहेड और आर्किटेक्चरल जटिलता पेश करते हैं, जो मानक ट्रांसफॉर्मर आर्किटेक्चर की तुलना में उनकी स्केलेबिलिटी और लचीलेपन में बाधा डालते हैं। केंद्रीय चुनौती मानक ट्रांसफॉर्मर आर्किटेक्चर की गति, लचीलापन और कम्प्यूटेशनल दक्षता से समझौता किए बिना, शक्तिशाली ज्यामितीय इंडक्टिव बायस को ट्रांसफॉर्मर फ्रेमवर्क में शामिल करना है।

कार्यप्रणाली: प्लैटोनिक ट्रांसफॉर्मर

लेखक प्लैटोनिक ट्रांसफॉर्मर प्रस्तावित करते हैं, जो एक ऐसा फ्रेमवर्क है जो मानक ट्रांसफॉर्मर के अंडरलाइंग अटेंशन मैकेनिज्म या कम्प्यूटेशन ग्राफ को बदले बिना निरंतर ट्रांसलेशन (translations) और असतत रोटो-रिफ्लेक्शन (Platonic solids की समरूपता) के प्रति इक्विवैरिएंस प्राप्त करता है।

मुख्य तंत्र (Core Mechanisms)

रेफरेंस फ्रेम लिफ्टिंग (Reference Frame Lifting): इनपुट फीचर्स को एक एकल ग्लोबल कोऑर्डिनेट सिस्टम में प्रोसेस करने के बजाय, यह विधि इन फीचर्स को एक असतत सिमेट्री ग्रुप $G \subset O(n)$ (जैसे, टेट्राहेड्रोन, ऑक्टाहेड्रोन, या आइकोसाहेड्रोन के रोटेशनल सिमेट्री ग्रुप्स) पर फंक्शन के रूप में लिफ्ट करती है। फीचर्स को $G$ के तत्वों द्वारा परिभाषित संदर्भ ढांचों (reference frames) के संग्रह के सापेक्ष दर्शाया जाता है।
फ्रेम-डिपेंडेंट RoPE: यह विधि रोटरी पोजीशनल एम्बेडिंग्स (RoPE) का सामान्यीकरण करती है। जबकि मानक RoPE ट्रांसलेशन इक्विवैरिएंस सुनिश्चित करता है, प्लैटोनिक ट्रांसफॉर्मर प्रत्येक संदर्भ ढांचे $R \in G$ के सापेक्ष पोजीशनल एनकोडिंग को पुनरपरिभाषित करता है। एक टोकन के स्थान $p_i$ के लिए, स्थिति को प्रत्येक फ्रेम के सापेक्ष इस प्रकार प्रोजेक्ट किया जाता है: $p_i(R) = R^{-1}p_i$ । इसके बाद इन सापेक्ष स्थितियों पर RoPE ऑपरेटर लागू किया जाता है।
वेट-शेयरिंग स्कीम (Weight-Sharing Scheme): सभी लीनियर लेयर्स (Query, Key, Value प्रोजेक्शन और MLPs) को ग्रुप $G$ के सापेक्ष इक्विवैरिएंट होने के लिए बाध्य किया गया है। गणितीय रूप से, यह लीनियर लेयर्स को ग्रुप कॉन्वोल्यूशन में बदल देता है। फ्लैटन किए गए वेक्टर रिप्रेजेंटेशन में, यह एक स्ट्रक्चर्ड वेट-शेयरिंग स्कीम के रूप में दिखाई देता है जहाँ वेट मैट्रिक्स एक लर्न करने योग्य कर्नेल (kernel) द्वारा निर्धारित एक ब्लॉक मैट्रिक्स होता है। यह अनकन्स्ट्रेंड लेयर की तुलना में पैरामीटर काउंट को $|G|$ के कारक से कम कर देता है, जबकि समान कम्प्यूटेशनल ग्राफ संरचना बनाए रखता है।
पैरेलल अटेंशन हेड्स (Parallel Attention Heads): अटेंशन मैकेनिज्म सभी संदर्भ ढांचों में समानांतर रूप से कार्य करता है। प्रत्येक फ्रेम प्रभावी रूप से एक अलग अटेंशन हेड के रूप में कार्य करता है। रॉ अटेंशन स्कोर की गणना $s_{ij}(R) = q_i(R)^\top \rho_\Omega(p_j(R) - p_i(R)) k_j(R)$ के रूप में की जाती है, जहाँ $\rho_\Omega$ RoPE रोटेशन मैट्रिक्स है। सॉफ्टमैक्स को प्रति फ्रेम लागू किया जाता है, जिससे मॉडल ओरिएंटेशन-डिपेंडेंट अटेंशन पैटर्न सीखने में सक्षम होता है।

सैद्धांतिक अंतर्दृष्टि

डायनेमिक ग्रुप कॉन्वोल्यूशन: लेखक स्थापित करते हैं कि RoPE-आधारित अटेंशन (जब सॉफ्टमैक्स को छोड़ दिया जाता है या लीनियर अटेंशन सेटिंग में होता है) और डायनेमिक ग्रुप कॉन्वोल्यूशन के बीच एक औपचारिक समानता है। क्वेरी वेक्टर्स एक स्पार्स फूरियर बेसिस एक्सपेंशन के लिए गुणांक (coefficients) के रूप में कार्य करते हैं, जो ऑन-द-फ्लाई एक कंटेंट-अवेयर ज्यामितीय फिल्टर का संश्लेषण करते हैं।
लीनियर कॉम्प्लेक्सिटी: यह कॉन्वोल्यूशनल परिप्रेक्ष्य दर्शाता है कि इस मैकेनिज्म को $O(N)$ समय में (टोकन्स की संख्या के रैखिक रूप से) कंप्यूट किया जा सकता है, जो मानक $O(N^2)$ जटिलता वाले अटेंशन के लिए एक स्केलेबल विकल्प प्रदान करता है।

मुख्य योगदान

आर्किटेक्चर: प्लैटोनिक ट्रांसफॉर्मर का परिचय, जो प्लैटोनिक सॉलिड्स की सिमेट्री ग्रुप्स के माध्यम से एक सिद्धांत आधारित वेट-शेयरिंग स्कीम का उपयोग करके मानक ट्रांसफॉर्मर्स में ज्यामितीय इक्विवैरिएंस को एकीकृत करता है, जिससे बेसलाइन का सटीक आर्किटेक्चर और कम्प्यूटेशनल लागत बनी रहती है।
सैद्धांतिक एकीकरण: यह प्रदर्शन करना कि RoPE-आधारित अटेंशन, डायनेमिक ग्रुप कॉन्वोल्यूशन के समान है, जो मॉडल की अनुकूलनीय ज्यामितीय फिल्टर सीखने की क्षमता को प्रकट करता है।
स्केलेबिलिटी: एक लीनियर-टाइम कॉन्वोल्यूशनल वेरिएंट प्रदान करना जो बड़े पैमाने के 3D डेटा के लिए कुशलतापूर्वक स्केल करता है।
अनुभवजन्य सत्यापन (Empirical Validation): विविध बेंचमार्क पर व्यापक मूल्यांकन दिखाता है कि ज्यामितीय बाधाएं अतिरिक्त कम्प्यूटेशनल लागत के बिना प्रदर्शन में सुधार करती हैं।

प्रयोगात्मक परिणाम

पेपर मॉडल का मूल्यांकन दोनों "नॉन-इक्विवैरिएंट टास्क" (जहाँ डेटा का एक कैनोनिकल ओरिएंटेशन होता है) और "इक्विवैरिएंट टास्क" (जहाँ डेटा का ओरिएंटेशन मनमाना होता है) पर करता है।

CIFAR-10 (2D विजन): 2D रोटेशनल सिमेट्रीज़ (जैसे $C_6, D_3$ ) को शामिल करने से ट्रांसलेशन-ओनली बेसलाइन (RoS के साथ ViT) की तुलना में सटीकता में सुधार हुआ। विशेष रूप से, सबसे अधिक पैरामीटर-कुशल कॉन्फ़िगरेशन (वेट शेयरिंग के कारण छोटे पैरामीटर काउंट के साथ) ने सर्वश्रेष्ठ प्रदर्शन किया, जो यह सुझाव देता है कि लाभ बढ़ी हुई क्षमता के बजाय सिमेट्री-प्रेरित रेगुलराइजेशन (regularization) से आता है।
ScanObjectNN (3D पॉइंट क्लाउड्स): ओरिएंटेशन परिवर्तनशीलता और ओक्लूजन (occlusions) वाले कार्य पर, टेट्राहेड्रल ग्रुप वेरिएंट ने अटेंशन में 2.43% और कॉन्वोल्यूशन में 1.54% बेहतर प्रदर्शन किया। लीनियर-टाइम कॉवेल्यूशनल वेरिएंट ने प्रतिस्पर्धी सटीकता बनाए रखते हुए महत्वपूर्ण स्पीडअप दिखाया।
QM9 (मॉलिक्यूल जनरेशन और प्रॉपर्टी प्रेडिक्शन):
- जनरेशन: डिफ्यूजन ट्रांसफॉर्मर (DiT) में मानक ट्रांसफॉर्मर को प्लैटोनिक ट्रांसफॉर्मर (DiP) से बदलने पर ADiT, GeoLDM और EDM जैसे बेसलाइन्स की तुलना में उच्च वैधता और काफी बेहतर मॉलिक्यूलर स्टेबिलिटी वाले मॉलिक्यूल्स प्राप्त हुए। इक्विवैरिएंट वेरिएंट (DiP-Tetrahedron) ने सख्त ज्यामितइक सैनिटी चेक (PoseBusters) पर लगभग पूर्ण पास रेट हासिल किया।
- प्रॉपर्टी प्रेडिक्शन: मानक QM9 प्रॉपर्टी प्रेडिक्शन कार्यों पर प्रतिस्पर्धी परिणाम प्राप्त किए गए।
OMol25 (लार्ज-स्केल फोर्स/एनर्जी प्रेडिक्शन): 4M स्ट्रक्चर डेटासेट पर, प्लैटोनिक ट्रांसफॉर्मर्स (टेट्राहेड्रोन और ऑक्टाहेड्रोन वेरिएंट) फोर्स और एनर्जी प्रेडिक्शन सटीकता (MAE) में स्टेट-ऑफ-द-आर्ट eSEN-sm बेसलाइन से काफी बेहतर रहे, जबकि 2.6 $\times$ उच्च ट्रेनिंग थ्रूपुट प्राप्त किया। सिमेट्री ग्रुप के आकार को बढ़ाने (टेट्राहेड्रोन से ऑक्टाहेड्रोन) से न्यूनतम प्रदर्शन हानि के साथ पैरामीटर्स आधे रह गए, जो वेट-शेयरिंग स्कीम की दक्षता की पुष्टि करता है।
ProteinMD: मॉडल ने प्रोटीन डायनेमिक्स फोर्सेस की भविष्यवाणी करने में पिछले स्टेट-ऑफ-द-आर्ट तरीकों (G-Hyena और EGNN सहित) को पछाड़ दिया।

महत्व और दावे

पेपर का दावा है कि प्लैटोनिक ट्रांसफॉर्मर सिमेट्री-अवेयरनेस और स्केलेबिलिटी के बीच लंबे समय से चले आ रहे ट्रेड-ऑफ को हल करता है। प्लैटोनिक सॉलिड्स की ज्यामितीय संरचना का लाभ उठाकर, यह विधि ट्रांसफॉर्मर के मूल कम्प्यूटेशनल ग्राफ को बदले बिना या कम्प्यूटेशनल लागत बढ़ाए बिना अनुमानित $E(n)$ इक्विवैरिएंस प्राप्त करती है।

लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण यह सिद्ध करता है कि सिद्धांत आधारित इक्विवैरिएंस और आधुनिक स्केलेबिलिटी परस्पर अनन्य (mutually exclusive) नहीं हैं। इसके अलावा, डायनेमिक ग्रुप कॉन्वोल्यूशन के साथ औपचारिक संबंध मॉडल की अनुकूलनीय ज्यामितीय फिल्टर सीखने की क्षमता के लिए एक सैद्धांतिक आधार प्रदान करता है, जो इसके अत्यधिक स्केलेबल, लीनियर-टाइम वेरिएंट को सक्षम बनाता है। परिणाम बताते हैं कि भौतिक नियमों द्वारा संचालित वैज्ञानिक डोमेन के लिए (जहाँ इक्विवैरिएंस एक "प्लैटोनिक आदर्श" है), इन बाधाओं को प्लैटोनिक ट्रांसफॉर्मर के माध्यम से लागू करना मानक आर्किटेक्चर या जटिल इक्विवैरिएंट विकल्पों की तुलना में अधिक डेटा-कुशल, मजबूत और भौतिक रूप से प्रशंसनीय मॉडल की ओर ले जाता है।