🤖 machine learning

ChainzRule: Sample-Efficient, Robust Deep Learning Across Tabular, NLP, and Vision Tasks

ChainzRule एक नवीन न्यूरल आर्किटेक्चर है जो मानक एक्टिवेशन्स को डिफरेंशियल रेगुलराइजेशन द्वारा नियंत्रित सीखने योग्य पॉलीनोमियल लेयर्स से बदल देता है ताकि लो-फ्रीक्वेंसी, स्थिर रिप्रजेंटेशन्स को लागू किया जा सके, जिससे विविध टैबुलर, एनएलपी और विजन कार्यों में मानक मॉडलों के समान इन्फरेंस लागत बनाए रखते हुए सैंपल एफिशिएंसी, रोबस्टनेस और इंटरप्रिटेबिलिटी में सांख्यिकीय रूप से महत्वपूर्ण सुधार प्राप्त किया जा सके।

मूल लेखक: Rowan Martnishn

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Rowan Martnishn

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को पैटर्न पहचानना सिखाने की कोशिश कर रहे हैं, जैसे कि मेडिकल चार्ट से किसी बीमार मरीज को पहचानना, यह अंदाजा लगाना कि कोई ट्वीट खुश है या दुखी, या किसी धुंधली फोटो की पहचान करना। आमतौर पर, इसे अच्छी तरह से करने के लिए, आपको तीन चीजों की आवश्यकता होती है: लेबल किए गए उदाहरणों का एक विशाल ढेर (जो महंगा है), बहुत अधिक कंप्यूटर पावर (जो धीमा है), और इस बात की गारंटी कि नया कुछ देखते ही रोबोट पागल नहीं हो जाएगा।

अधिकांश वर्तमान AI मॉडल अति-उत्साही छात्रों की तरह हैं। वे पाठ्यपुस्तक को पूरी तरह से याद कर लेते हैं लेकिन थोड़ा अलग सवाल पूछे जाने पर घबरा जाते हैं। वे "छटपटाने वाले" भी हैं—जब वे किसी नए इनपुट का सामना करते हैं, तो उनका आंतरिक गणित बेतहाशा बढ़ सकता है, जिससे वे अविश्वसनीय हो जाते हैं।

यह शोध पत्र ChainzRule (CR) नामक एक नया AI आर्किटेक्चर पेश करता है। इसे एक शांत, अनुशासित इंजीनियर के रूप में सोचें जो उन्हीं समस्याओं को हल करता है लेकिन एक अलग दृष्टिकोण के साथ। यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. "चिकनी सड़क" बनाम "खड़ी ढलान" (The "Smooth Road" vs. The "Cliff")

समस्या: मानक AI मॉडल "एक्टिवेशन फंक्शन्स" का उपयोग करते हैं जो एक स्विच की तरह काम करते हैं। कल्पना कीजिए कि आप एक ऐसी कार चला रहे हैं जो हर बार मोड़ लेने पर अचानक 90-डिग्री की सीधी खड़ी ढलान से टकरा जाती है। कार (AI) को रुकना पड़ता है, गणना करनी पड़ती है और कूदना पड़ता है। यह गणित में "स्पाइक्स" (उछाल) पैदा करता है, जिससे मॉडल अस्थिर हो जाता है और डेटा कम होने पर त्रुटियों के प्रति संवेदनशील हो जाता है।
ChainzRule का समाधान: ChainzRule उन तीखे स्विचों को चिकने, सीखने योग्य कर्व्स (पॉलीनोमियल्स) से बदल देता है। एक खड़ी ढलान के बजाय, सड़क एक हल्की, लहरदार पहाड़ी की तरह है। AI बिना अटके या झटके के नए डेटा पर आसानी से फिसल सकता है। क्योंकि गणित चिकना है, कंप्यूटर वास्तविक समय में ट्रैक कर सकता है कि मॉडल बदलावों के प्रति कितना संवेदनशील है।

2. "स्पीड गवर्नर" (The "Speed Governor" - DREG)

समस्या: जब AI बहुत कम डेटा से सीखता है, तो वह अति-प्रतिक्रिया देने लगता है। वह यह तय कर सकता है कि वाक्य के एक शब्द से पूरे पैराग्राफ का अर्थ बदल जाता है, जिससे गलत अनुमान लग सकते हैं।
ChainzRule का समाधान: यह पेपर डिफरेंशियल रेगुलराइजेशन (DREG) नामक एक नियम पेश करता है। इसे एक रेस कार के स्पीड गवर्नर के रूप में सोचें। यह कार को तेज चलने से नहीं रोकता; यह बस इंजन को इतना तेज़ घूमने से रोकता है कि पहिए नियंत्रण खो दें।
- यह AI के हर लेयर की "संवेदनशीलता" की लगातार जांच करता है।
- यदि AI इनपुट में छोटे से बदलाव के प्रति बहुत अधिक उत्साहित (बहुत संवेदनशील) होने लगता है, तो गवर्नर उसे धीरे से वापस एक स्थिर स्थिति में धकेलता है।
- यह प्रक्रिया स्वचालित रूप से सामान्य प्रक्रिया के दौरान होती है, इसलिए यह कंप्यूटर को धीमा नहीं करती है।

3. यह क्यों महत्वपूर्ण है: "तीन महाशक्तियाँ" (The "Three Superpowers")

पेपर का दावा है कि यह नया डिज़ाइन AI को "अति-उत्साही छात्रों" की तुलना में तीन प्रमुख लाभ देता है:

महाशक्ति 1: कम में सीखना (Sample Efficiency)
- उपमा: एक सामान्य छात्र को परीक्षा पास करने के लिए 100 इतिहास की किताबें पढ़ने की आवश्यकता होती है। ChainzRule एक ऐसे छात्र की तरह है जो केवल 5 किताबें पढ़कर भी बेहतर ग्रेड प्राप्त कर सकता है।
- दावा: मेडिकल डेटा (Pima Diabetes) और सेंटिमेंट एनालिसिस (SST-5) पर परीक्षणों में, ChainzRule ने अपने प्रतिस्पर्धियों (जैसे XGBoost या RNTN) की तुलना में केवल 5% से 25% डेटा का उपयोग करके बेहतर परिणाम प्राप्त किए। इससे कंपनियों के डेटा लेबलिंग पर हजारों डॉलर की बचत होती है।
महाशक्ति 2: अराजकता में शांत रहना (Robustness)
- उपमा: यदि आप एक सामान्य AI पर पत्थर फेंकते हैं, तो वह क्रैश हो सकता है। यदि आप ChainzRule पर पत्थर फेंकते हैं, तो वह बस थोड़ा डगमगाता है और चलता रहता है।
- दावा: जब AI का परीक्षण "शोरयुक्त" या खराब छवियों (CIFAR-10-C) पर किया गया, तो इसने मानक मॉडलों की तुलना में बहुत बेहतर तरीके से काम किया। इसे शोर को संभालने के लिए विशेष प्रशिक्षण की आवश्यकता नहीं थी; इसके चिकने गणित ने इसे स्वाभाविक रूप से मजबूत बना दिया।
महाशक्ति 3: "विश्वसनीयता डैशबोर्ड" (The "Reliability Dashboard" - Interpretability)
- उपमा: आमतौर पर, जब AI कोई गलती करता है, तो हमें अनुमान लगाना पड़ता है कि क्यों। ChainzRule में एक अंतर्निर्मित डैशबोर्ड लाइट है जिसे ग्रेडिएंट टेल रेश्यो ( $\tau$ ) कहा जाता है।
- दावा: यह संख्या आपको तुरंत बताती है कि AI "शांत" है (लगभग 1.01) या "घबराया हुआ" है (लगभग 1.09)। यदि संख्या कम रहती है, तो आप जानते हैं कि मॉडल विश्वसनीय है। यदि यह स्पाइक करती है, तो आप जानते हैं कि मॉडल गलत अनुमान लगाने वाला है। यह कंपनियों को बाद में महंगे और धीमे स्पष्टीकरणों की आवश्यकता के बिना AI पर भरोसा करने की अनुमति देता है।

4. वास्तविक दुनिया का प्रमाण

पेपर उल्लेख करता है कि Sentivity AI, एक कंपनी जो सोशल मीडिया और मार्केट सेंटिमेंट का विश्लेषण करती है, पहले से ही अपने लाइव सिस्टम में ChainzRule का उपयोग कर रही है।

वे सामान्य कंप्यूटर हार्डवेयर पर रीयल-टाइम में टेक्स्ट को प्रोसेस करने के लिए इसका उपयोग करते हैं (किसी विशाल सुपरकंप्यूटर की आवश्यकता नहीं है)।
वे यह सुनिश्चित करने के लिए "विश्वसनीयता डैशबोर्ड" ( $\tau$ ) की निगरानी करते हैं कि सिस्टम पागल न हो जाए, जिसके लिए अतिरिक्त सुरक्षा फिल्टर जोड़ने की आवश्यकता नहीं होती।

सारांश

ChainzRule AI बनाने का एक नया तरीका है जो तीखे, झटकेदार गणित को चिकने, नियंत्रित गणित से बदल देता है।

यह तेजी से सीखता है (कम डेटा की आवश्यकता होती है)।
यह सुरक्षित है (बुरे डेटा को बेहतर तरीके से संभालता है)।
यह सस्ता है (सामान्य कंप्यूटरों पर चलता है)।
यह विश्वसनीय है (इसके पास अस्थिर होने पर एक अंतर्निर्मित अलार्म सिस्टम है)।

यह पेपर तर्क देता है कि उन व्यवसायों के लिए जो लाखों उदाहरण लेबल करने या विशाल सर्वर चलाने का खर्च नहीं उठा सकते, यह एक व्यावहारिक, उपयोग के लिए तैयार समाधान है जो मेडिकल चार्ट, टेक्स्ट और इमेज में काम करता है।

तकनीकी सारांश: चेनज़रूल (ChainzRule - CR)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र अकादमिक डीप लर्निंग बेंचमार्क और एंटरप्राइज प्रोडक्शन वातावरण के बीच एक "डिप्लॉयमेंट गैप" (तैनाती अंतराल) की पहचान करता है। जबकि अकादमिक अनुसंधान प्रचुर डेटा, इलास्टिक कंप्यूट और स्थिर बेंचमार्क को मानता है, प्रोडक्शन सिस्टम तीन संरचनात्मक बाधाओं का सामना करते हैं:

डेटा की कमी (Data Scarcity): विशिष्ट डोमेन (जैसे मेडिकल रिकॉर्ड, डोमेन-विशिष्ट NLP) में लेबल किया गया डेटा प्राप्त करना महंगा और धीमा है। मॉडल्स को फाइन-ट्यून करने के लिए अक्सर हजारों उदाहरणों की आवश्यकता होती है, जबकि अभ्यासकर्ताओं के पास केवल सैकड़ों उदाहरण हो सकते हैं।
विश्वसनीयता और विश्वास (Reliability and Trust): मॉडल्स को व्याख्या योग्य (interpretable) और स्थिर होना चाहिए। मानक बेंचमार्क यह नहीं मापते कि मॉडल नए इनपुट या वितरण बदलावों (distribution shifts) पर कैसा व्यवहार करते हैं। एक मॉडल जिसकी टेस्ट सटीकता उच्च है लेकिन आउटपुट अप्रत्याशित है, वह परिचालन रूप से असुरक्षित है।
कंप्यूट और इन्फरेंस लागत (Compute and Inference Cost): निरंतर रिट्रेनिंग के लिए बड़े मॉडल्स को प्रशिक्षित करना वित्तीय रूप से अस्थिर है, और कमोडिटी हार्डवेयर पर रियल-टाइम इन्फरेंस हर कार्य के लिए ट्रांसफार्मर-स्केल मॉडल्स का समर्थन नहीं कर सकता है।

मौजूदा रेगुलराइजेशन तकनीकें (Dropout, Weight Decay, Spectral Normalization) इन बाधाओं को संयुक्त रूप से संबोधित करने में विफल रहती हैं। वे या तो जैकोबियन (Jacobian) को अनकन्स्ट्रेंड छोड़ देती हैं, या महंगी डबल बैकप्रोपैगेशन की आवश्यकता होती है, या एकरूप रूप से रिप्रेजेंटेशनल क्षमता को कम कर देती हैं, जिससे सटीकता में गिरावट आती है।

2. कार्यप्रणाली: चेनज़रूल (ChainzRule - CR)

चेनज़रूल एक न्यूरल आर्किटेक्चर है जिसे एक एकल इंडक्टिव बायस (inductive bias) के माध्यम से सैंपल एफिशिएंसी, रोबस्टनेस और इन्फरेंस कॉस्ट में सुधार करने के लिए डिज़ाइन किया गया है: डिफरेंशियल रेगुलराइजेशन (DREG)।

2.1 आर्किटेक्चर: पॉलीलेयर (PolyLayer)

CR मानक फिक्स्ड एक्टिवेशन फंक्शन्स के स्थान पर लर्न करने योग्य क्यूबिक पॉलीनोमियल लेयर्स (learnable cubic polynomial layers) का उपयोग करता है।

एक हार्डकोडेड नॉन-लिनियरिटी (जैसे ReLU) के माध्यम से प्री-एक्टिवेशंस को पास करने के बजाय, प्रत्येक न्यूरॉन अपने स्वयं के पॉलीनोमियल कोएफिशिएंट्स सीखता है।
स्मूथनेस (Smoothness): पीसवाइज-लीनियर एक्टिवेशन के विपरीत जिनमें "किंक्स" (जीरो पर अनडिफाइंड डेरिवेटिव) होते हैं जो ग्रेडिएंट क्लिफ का कारण बनते हैं, पॉलीनोमियल एक्टिवेशन $C^\infty$ (इन्फिनिटली डिफरेंशिएबल) होते हैं। यह न्यूमेरिकल इंस्टेबिलिटी के बिना विश्लेषणात्मक रूप से जैकोबियन को ट्रैक करने की अनुमति देता है।
दक्षता (Efficiency): क्यूबिक डिग्री पूर्व ग्रिड सर्च के आधार पर फिक्स्ड है, जिससे नेटवर्क कम लेयर्स और पैरामीटर्स के साथ स्मूथ, हाई-ऑर्डर फंक्शन्स को अनुमानित कर सकता है।

2.2 डुअल-स्ट्रीम फॉरवर्ड पास और DREG

CR एक डुअल-स्ट्रीम फॉरवर्ड पास का उपयोग करता है:

वैल्यू स्ट्रीम (Value Stream): मानक भविष्यवाणियां उत्पन्न करता है।
डेरिवेटिव स्ट्रीम (Derivative Stream): चेन रूल का उपयोग करके मूल इनपुट के प्रति प्रत्येक लेयर के आउटपुट की संवेदनशीलता को ट्रैक करता है। इसे फॉरवर्ड पास के दौरान विश्लेषणात्मक रूप से अपडेट किया जाता है, जिसके लिए दूसरे बैकवर्ड पास या दूसरे सेकंड-ऑर्डर कंप्यूटेशनल ग्राफ की आवश्यकता नहीं होती है।

डिफरेंशियल रेगुलराइजेशन (DREG) प्रशिक्षण के दौरान प्रत्येक लेयर के जैकोबियन के फ्रोबेनियस नॉर्म (Frobenius norm) को दंडित करता है।

तंत्र (Mechanism): यह प्रति-लेयर "सेंसिटिविटी बजट" लागू करता है, जो भारी-पूंछ वाले संवेदनशीलता पैटर्न (heavy-tailed sensitivity patterns) को हतोत्साहित करता है जो कम डेटा के तहत लर्निंग को अस्थिर करते हैं।
चयनात्मकता (Selectivity): स्पेक्ट्रल नॉर्मलाइजेशन के विपरीत (जो एक सख्त ग्लोबल लिप्सचिट्ज बाउंड लागू करता है), DREG डिस्क्रिमिनेटिव सटीकता के लिए आवश्यक फीचर्स को सपाट किए बिना चुनिले तौर पर टेल इवेंट्स को दबाता है।
लागत (Cost): कम्प्यूटेशनल ओवरहेड इनपुट डाइमेंशनलिटी और एक सिंगल फॉरवर्ड पास के गुणनफल के समान है ( $O(d \cdot C_f)$ ), जो डबल बैकप्रोपैगेशन (जैसे Input Gradient Penalty) की आवश्यकता वाले तरीकों की तुलना में काफी सस्ता है।

3. मुख्य योगदान

नया आर्किटेक्चर: लर्न करने योग्य क्यूबिक पॉलीनोमियल लेयर्स को फॉरवर्ड पास के दौरान विश्लेषणात्मक रूप से कंप्यूट किए गए लेयर-वाइज जैकोबियन पेनल्टी (DREG) के साथ एकीकृत करना।
क्रॉस-डोमेन जनरलाइजेशन: यह प्रदर्शन करना कि पॉलीनोमियल-DREG इंडक्टिव बायस बिना किसी आर्किटेक्चरल संशोधन के टेबुलर, NLP और विजन कार्यों में प्रदर्शन में सुधार करता है।
सैंपल एफिशिएंसी: CR काफी कम लेबल किए गए डेटा का उपयोग करके स्टेट-ऑफ-द-आर्ट या प्रतिस्पर्धी परिणाम प्राप्त करता है (उदाहरण के लिए, विशिष्ट NLP कार्यों में पिछले बेंचमार्क द्वारा उपयोग किए गए डेटा का ~5%)।
स्ट्रक्चरल इनवेरिएंट (ग्रेडिएंट टेल रेश्यो): पेपर में ग्रेडिएंट टेल रेश्यो $\tau$ (जिसे प्रति-सैंपल इनपुट ग्रेडिएंट नॉर्म्स के $p99/\text{mean}$ के रूप में परिभाषित किया गया है) पेश किया गया है, जो एक मापने योग्य, डिप्लॉयमेंट-टाइम प्रॉक्सी है जो मॉडल की विश्वसनीयता को दर्शाता है। CR $\tau \in [1.01, 1.02]$ बनाए रखता है, जबकि विशिष्ट एक्टिवेशन बेसलाइन्स $1.07 $से$ 1.09$ तक रेंज करते हैं।
प्रोडक्शन वैलिडेशन: मार्केट सेंटीमेंट एनालिसिस के लिए सेंटिविटी AI (Sentivity AI) में CR के डिप्लॉयमेंट के प्रमाण, जो बेंचमार्क से ऑपरेशनल सेटिंग्स में इन गुणों के हस्तांतरण की पुष्टि करते हैं।

4. प्रयोगात्मक परिणाम

प्रयोगों में CR की तुलना वैनिला MLP, MLP + Dropout, और MLP + Weight Decay के साथ-साथ प्रकाशित बेसलाइन्स से की गई। सभी रिपोर्ट किए गए p-मान बोनफेरोनी करेक्शन ( $\alpha = 0.05$ ) के बाद महत्वपूर्ण थे।

टेबुलर (Pima Diabetes): CR ने 85.71% ± 2.01% प्राप्त किया, जो XGBoost/RF (82.35%) और SVM (82.20%) से सांख्यिकीय रूप से बेहतर था। यह हर डेटा फ्रैक्शन (5%–100%) पर सभी बेसलाइन्स में सबसे आगे रहा, जिसमें सबसे बड़ा लाभ 10% डेटा पर (+3.25%) देखा गया।
NLP (SST-5, फ्रोजन एनकोडर): CR ने 46.20% ± 0.37% प्राप्त किया, जिसने RNTN (45.7%) को पछाड़ दिया जबकि इसने RNTN के प्रशिक्षण डेटा का लगभग 5% ही उपयोग किया (एक ~20× डेटा-एफिशिएंसी रेश्यो)।
NLP (SST-5, फाइन-ट्यून्ड BERT): एक फाइन-ट्यून्ड BERT बैकबोन के साथ, CR ने 54.9% पर BERT-बेस लीनियर हेड के मुकाबले 55.79% प्राप्त किया (जिसे 18× अधिक डेटा पर प्रशिक्षित किया गया था)। यह परिणाम एक सिंगल रन से है और इसे दिशात्मक रूप से सकारात्मक नोट किया गया है लेकिन अभी तक सांख्यिकीय रूप से पुष्ट नहीं किया गया है।
NLP (Yelp Full, ऑर्डिनल रिग्रेशन): CR ने 3.22M पैरामीटर्स के साथ 70.17% प्राप्त किया, जो दस प्रकाशित फिक्स्ड-एम्बेडिंग सिस्टम के औसत (66.35%) से अधिक है। उल्लेखनीय रूप से, विशिष्ट एक्टिवेशन्स DREG के साथ 58.98% तक गिर गए, जो सुझाव देते हैं कि पॉलीनोमियल सबस्ट्रेट की स्मूथनेस हाई-डायमेंशनल कंटीन्यूअस सेंटीमेंट मैनिफोल्ड्स के लिए महत्वपूर्ण है।
विज़न (CIFAR-10-C): CR ने एक मैचड वैनिला MLP हेड के ऊपर +2.32% मीन करप्शन एक्यूरेसी प्राप्त की। गेन्स (Gains) हाई-फ्रीक्वेंसी नॉइज़ करप्शन पर सबसे अधिक थे (इम्पल्स +5.80%, गौसियन +4.96%)। रोबस्टनेस डेरिवेटिव कंट्रोल का एक स्ट्रक्चरल उपोत्पाद (byproduct) था, न कि डेटा ऑग्मेंटेशन।

5. महत्व और दावे

पेपर का दावा है कि चेनज़रूल उन डोमेन के लिए प्रतिस्पर्धी सटीकता के लिए एक डिप्लॉयबल पाथ प्रदान करता है जो एनोटेशन लागत, मॉडल विश्वसनीयता और इन्फरेंस बजट से बाधित हैं।

मैकेनिस्टिक ड्राइवर (Mechanistic Driver): ग्रेडिएंट टेल इवेंट्स के दमन (लो $\tau$ ) को सैंपल एफिशिएंसी के मैकेनिस्टिक ड्राइवर के रूप में पहचाना गया है। इंटरमीडिएट डेरिवेटिव्स को बाउंड करके, नेटवर्क को लो-फ्रीक्वेंसी, स्ट्रक्चरली स्टेबल रिप्रेजेंटेशन की ओर बढ़ने के लिए मजबूर किया जाता है।
डिप्लॉयमेंट सिग्नल (Deployment Signal): ग्रेडिएंट टेल रेश्यो $\tau$ को एक "लाइव रिलायबिलिटी सिग्नल" के रूप में दावा किया गया है जिसे अतिरिक्त इंस्ट्रुमेंटेशन के बिना इन्फरेंस टाइम पर कंप्यूट किया जा सकता है। एक मॉडल जिसका $\tau \approx 1.01$ है, वह एक ऐसे मॉडल की तुलना में जो $\tau \approx 1.09$ है, इनपुट पर व्यवधानों (perturbations) के प्रति स्ट्रक्चरली कम संवेदनशील है, जो संभावित रूप से बिना रिट्रेनिंग के नए इनपुट पर फॉल्स पॉजिटिव्स को कम कर सकता है।
आर्थिक प्रभाव (Economic Impact): डेटा के 25% के साथ समान सटीकता प्राप्त करने की आर्किटेक्चर की क्षमता एंटरप्राइज सेटिंग्स में प्रति ट्रेनिंग रन $7,500–$ 37,500 की एनोटेशन लागत में कमी लाती है।
दक्षता (Efficiency): ~3.2M पैरामीटर्स और इन्फरेंस-कॉस्ट डेरिवेटिव ट्रैकिंग के फुटप्रिंट के साथ, CR CPU-ओनली इंफ्रास्ट्रक्चर के लिए व्यवहार्य है, जो ऊर्जा-गहन GPU क्लस्टर्स की "ग्रीन AI" चिंता को संबोधित करता है।

स्वीकृत सीमाएं (Limitations Acknowledged):
लेखकों ने उल्लेख किया है कि BERT फाइन-ट्यूनिंग परिणाम के लिए मल्टी-सीड वैलिडेशन की आवश्यकता है, Yelp Full तुलना में अलग-अलग एम्बेडिंग प्रोटोकॉल (फिक्स्ड बनाम फाइन-ट्यून्ड) शामिल हैं, और विज़न परिणाम एक पूर्ण कनवोल्यूशनल बैकबोन के बजाय एक MLP हेड का उपयोग करते हैं। ट्रांसफार्मर अटेंशन लेयर्स में सीधे DREG का एकीकरण एक खुला प्रश्न बना हुआ है।