🤖 AI

Teacher Supervision over Representation Equivalence Classes

यह शोध पत्र नॉलेज डिस्टिलेशन (knowledge distillation) को पूर्ण विशेषताओं के बजाय शिक्षक प्रतिनिधित्व तुल्यता वर्गों (teacher representation equivalence classes) को मिलाने की एक ज्यामितीय समस्या के रूप में पुनर्गठित करता है, यह प्रदर्शित करते हुए कि जहाँ हिडन रिप्रेजेंटेशन (hidden representations) का संरेखण मॉडल की ज्यामिति को पुनः प्राप्त करता है, वहीं केवल लॉजिट मिलान (logit matching) ही कार्यात्मक क्षमता को पुनर्स्थापित करता है।

मूल लेखक: Sang Il Han

प्रकाशित 2026-07-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sang Il Han

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र का सरल भाषा, उपमाओं और रूपकों के साथ विवरण दिया गया है।

मुख्य पहेली: "कॉपी" करना काम क्यों नहीं करता

कल्पना कीजिए कि आपके पास एक मास्टर शेफ (शिक्षक) और एक प्रशिक्षु (छात्र) है। आप चाहते हैं कि प्रशिक्षु बिल्कुल मास्टर की तरह खाना बनाए।

AI की दुनिया में, शोधकर्ता आमतौर पर प्रशिक्षु को मास्टर के आंतरिक नोट्स (कंप्यूटर के "मस्तिष्क" के भीतर छिपी विशेषताएं) दिखाकर सिखाने की कोशिश करते हैं। वे कहते हैं, "प्रक्रिया के बीच में इन नंबरों को देखो; अपने नंबरों को बिल्कुल मेरे जैसे बना लो।"

शोध पत्र की बड़ी खोज: यह दृष्टिकोण टूटा हुआ है। आप प्रशिक्षु के आंतरिक नोट्स को मास्टर के बिल्कुल समान बनाने के लिए मजबूर कर सकते हैं, फिर भी प्रशिक्षु बहुत खराब खाना बनाएगा। यह शोध पत्र सिद्ध करता है कि "नोट्स" (आंतरिक विशेषताओं) को मिलाना (match करना) "भोजन" (अंतिम आउटपुट/क्षमता) की गारंटी नहीं देता है।

बड़ा विचार: "अनुवाद" की समस्या

ऐसा क्यों होता है? शोध पत्र एक ज्यामितीय (geometric) स्पष्टीकरण का उपयोग करता है जो आश्चर्यजनक रूप से सरल है।

उपमा: मानचित्र और दिशा-सूचक यंत्र (Map and Compass)
कल्पना कीजिए कि शिक्षक के आंतरिक नोट्स कागज के एक टुकड़े पर बना एक मानचित्र (map) हैं।

समस्या: शिक्षक का मानचित्र एक विशिष्ट दिशा (उत्तर ऊपर की ओर) का उपयोग करके बनाया गया है। लेकिन छात्र का मानचित्र उत्तर पूर्व की ओर इशारा करते हुए बनाया गया है।
गलती: यदि आप दिशा-सूचक यंत्र (compass) को ठीक किए बिना शिक्षक के मानचित्र की रेखा-दर-रेखा नकल करने की कोशिश करते हैं, तो आप गलत दिशाओं की नकल कर रहे हैं। भले ही रेखाएं एक जैसी दिखें, वे अलग-अलग जगहों की ओर इशारा करती हैं।
वास्तविकता: शिक्षक के आंतरिक "मस्तिष्क" में कोई निश्चित दिशा-सूचक यंत्र नहीं होता। यह अपने आंतरिक नोट्स को तब तक घुमा सकता है, पलट सकता है या खींच (stretch) सकता है जब तक कि अंतिम परिणाम (आउटपुट) समान रहता है। शोध पत्र इसे एक इक्विवेलेंस क्लास (Equivalence Class) कहता है। इसका अर्थ है कि एक ही "विचार" को लिखने के अनंत तरीके हो सकते हैं, लेकिन अंतिम उत्तर देने का केवल एक ही तरीका होता है।

शोध पत्र का समाधान:
आंतरिक नोट्स (मानचित्र) को मिलाने की कोशिश न करें। अंतिम उत्तर को मिलाएं।
यदि आप छात्र को शिक्षक जैसा बिल्कुल वही अंतिम व्यंजन (आउटपुट) बनाने के लिए मजबूर करते हैं, तो छात्र स्वाभाविक रूप से अपने स्वयं के आंतरिक नोट्स को व्यवस्थित करना सीख जाएगा ताकि वह ऐसा कर सके। शोध पत्र इसे आउटपुट फंक्शन मैचिंग (Output Function Matching) कहता है।

सिखाने के तीन तरीके (और दो क्यों विफल होते हैं)

शोध पत्र सिखाने के तरीकों को तीन समूहों में वर्गीकृत करता है:

"आंतरिक नोट" मिलान (Feature Distillation):
- यह क्या करता है: यह कोशिश करता है कि छात्र के छिपे हुए नंबर शिक्षक के नंबरों से मेल खाएं।
- दोष: यह उस वाक्य की नकल करने जैसा है जो किसी ऐसी भाषा में लिखा गया है जिसे आप नहीं जानते, अक्षर-दर-अक्षर, बिना वर्णमाला को जाने। क्योंकि "वर्णमाला" (कोऑर्डिनेट सिस्टम) बदल सकती है, इसलिए आप गलत चीज़ की नकल कर सकते हैं। शोध पत्र दिखाता है कि आप आंतरिक नोट्स में 99% मिलान प्राप्त कर सकते हैं, लेकिन मॉडल फिर भी काम करने में विफल रहता है।
- निर्णय: क्षमता हस्तांतरित करने में विफल।
"संबंध" मिलान (Relational Distillation):
- यह क्या क्या करता है: नंबरों की नकल करने के बजाय, यह इस बात की नकल करता है कि नंबर एक-दूसरे से कैसे संबंधित हैं (जैसे, "वाक्य A, B के अधिक समान है बजाय C के")।
- दोष: यह बेहतर है क्योंकि यह विशिष्ट "वर्णमाला" को अनदेखा करता है और डेटा के आकार (shape) को देखता है। हालाँकि, यह अभी भी गारंटी नहीं देता कि अंतिम उत्तर सही होगा। यह मस्तिष्क के आकार को ठीक करता है, लेकिन मस्तिष्क की आवाज़ को नहीं।
- निर्णय: ज्यामिति (geometry) को ठीक करता है, लेकिन फंक्शन को ठीक नहीं करता।
"अंतिम उत्तर" मिलान (Logit Distillation):
- यह क्या करता है: यह आंतरिक नोट्स को पूरी तरह से अनदेखा कर देता है। यह बस इतना कहता है, "जब शिक्षक 'Apple' कहता है, तो आपको भी उतनी ही सटीकता के साथ 'Apple' कहना चाहिए।"
- सफलता: यह पूरी तरह से काम करता है। क्योंकि अंतिम उत्तर ही एकमात्र चीज़ है जिसे आंतरिक नोट्स के घूमने या बदलने के बावजूद समान रहना चाहिए, इसलिए छात्र को अंतिम उत्तर से मेल खाने के लिए मजबूर करने से पूरा सिस्टम सही ढंग से संरेखित (align) हो जाता है।
- निर्णय: क्षमता हस्तांतरित करता है।

"पुनर्स्थापना" (Restoration) प्रयोग

इसे सिद्ध करने के लिए, शोधकर्ताओं ने एक नाटकीय प्रयोग किया:

उन्होंने एक काम करने वाले AI मॉडल को लिया और उसके आंतरिक मस्तिष्क को "बिखेर" (scramble) दिया (आंतरिक नोट्स नष्ट कर दिए)।
उन्होंने मूल शिक्षक के नोट्स से मेल खाने के लिए मजबूर करके इसे ठीक करने की कोशिश की।
- परिणाम: आंतरिक नोट्स एकदम सही दिखे (99% मिलान), लेकिन मॉडल अभी भी टूटा हुआ था और बात नहीं कर पा रहा था।
उन्होंने मॉडल को शिक्षक के अंतिम उत्तरों से मिलाने के लिए मजबूर करके इसे ठीक करने की कोशिश की (बिखरे हुए नोट्स को अनदेखा करते हुए)।
- परिणाम: मॉडल तुरंत फिर से काम करने लगा, भले ही उसके आंतरिक नोट्स अभी भी अस्त-व्यस्त थे।

सबक: आपके पास शून्य क्षमता के साथ एक आदर्श आंतरिक संरचना हो सकती है, लेकिन सही आउटपुट फंक्शन के बिना क्षमता नहीं हो सकती।

"ग्राफ्टिंग" (Grafting) की उपमा: अंग प्रत्यारोपण

शोध पत्र ग्राफ्टिंग (एक मॉडल के हिस्से को दूसरे में डालना) को भी देखता है।

नियम: आप किसी मस्तिष्क के हिस्से को तभी प्रत्यारोपित कर सकते हैं जब दोनों मस्तिष्क की "भाषा" ओवरलैप होती हो।
उपमा: कल्पना कीजिए कि आप USB-C केबल को USB-A पोर्ट में लगाने की कोशिश कर रहे हैं। भले ही केबल उच्च गुणवत्ता वाली हो, यह तब तक काम नहीं करेगी जब तक आपके पास एक एडॉप्टर न हो।
निष्कर्ष: यदि दोनों मॉडल अलग-अलग "भाषाएं" बोलते हैं (उनके आंतरिक सबस्पेस ओवरलैप नहीं होते हैं), तो प्रत्यारोपण विफल हो जाता है। लेकिन यदि वे पर्याप्त साझा आधार रखते हैं, तो प्रत्यारोपण सफल होता है। शोध पत्र सफलता की भविष्यवाणी उनके कच्चे नंबरों की समानता के आधार पर नहीं, बल्कि उनकी "भाषाओं" के ओवरलैप के आधार पर करता है।

सारांश: हमें क्या करना चाहिए?

शोध पत्र किसी भी AI को प्रशिक्षित करने वाले व्यक्ति के लिए एक सरल नियम के साथ समाप्त होता है:

"विचारों" (छिपी हुई परतों) को सीधे कॉपी करने की कोशिश छोड़ दें। वे केवल मनमाने कोऑर्डिनेट्स हैं जो बदल सकते हैं।
"भाषण" (अंतिम आउटपुट) को कॉपी करना शुरू करें।
स्वर्ण नियम: यदि आप यह हस्तांतरित करना चाहते हैं कि एक मॉडल क्या कर सकता है, तो आपको वह मिलाना होगा जो वह कहता है। आंतरिक तंत्र खुद को व्यवस्थित कर लेगा जब तक कि अंतिम आउटपुट सही है।

एक वाक्य में: एक शिक्षक का ज्ञान उसके विशिष्ट आंतरिक नंबरों में संग्रहीत नहीं होता; यह उसके इनपुट और उसके अंतिम उत्तरों के बीच के संबंध में संग्रहीत होता है। एक शिक्षक से सीखने के लिए, आपको उत्तरों को मिलाना होगा, नोट्स को नहीं।

तकनीकी सारांश: प्रतिनिधित्व समतुल्यता वर्गों (Representation Equivalence Classes) पर शिक्षक पर्यवेक्षण

1. समस्या विवरण

ज्ञान आसवन (Knowledge distillation) पारंपरिक रूप से इस रूप में फ्रेम किया जाता है कि एक शिक्षक मॉडल के भीतर क्या मिलान करना है: लॉजिट्स (आउटपुट वितरण), हिडन फीचर्स, या सैंपल संबंध। यह ढांचा यह पूर्वधारणा रखता है कि एक शिक्षक का प्रतिनिधित्व "पूर्ण निर्देशांकों" (absolute coordinates) को धारण करता है जिसे एक छात्र सीधे मैच कर सकता है।

यह शोध पत्र तर्क देता है कि यह धारणा मौलिक रूप से त्रुटिपूर्ण है। एक प्री-ट्रेन्ड प्रतिनिधित्व एक स्थिर मैट्रिक्स नहीं है, बल्कि यह केवल एक ऑर्थोगोनल-एंड-आइसोट्रोपिक-स्केलिंग समतुल्यता वर्ग (orthogonal-and-isotropic-scaling equivalence class) तक ही पहचाना जा सकता है। क्योंकि डाउनस्ट्रीम "रीडर" (वेट्स) प्रतिनिधित्व के किसी भी रोटेशन या रिस्केलिंग को अवशोषित कर सकता है बिना नेटवर्क के आउटपुट फंक्शन को बदले, इसलिए एक फीचर वेक्टर के विशिष्ट निर्देशांकों का कोई आंतरिक अर्थ नहीं होता। फलस्वरूप, एक शिक्षक के फीचर्स को "आधार-दर-आधार" (basis-for-basis) मिलाने का प्रयास एक इल-पोज़्ड (ill-posed) उद्देश्य है। यह शोध पत्र प्रतिपादित करता है कि क्षमता (जैसे, परप्लेक्सिटी, टॉप-1 एक्यूरेसी) प्रतिनिधित्व का गुण नहीं है, बल्कि उसके प्रतिनिधित्व के समतुल्यता वर्ग का एक इनवेरिएंट (invariant) है—विशेष रूप से, आउटपुट फंक्शन।

2. कार्यप्रणाली और सैद्धांतिक ढांचा

2.1 प्रतिनिधित्व एक समतुल्यता वर्ग के रूप में

लेखक एक प्रतिनिधित्व $H$ (लेयर एक्टिवेशन्स) को एक निश्चित मैट्रिक्स के रूप में नहीं, बल्कि समूह $G = O(d) \times \mathbb{R}^+$ (ऑर्थोगोनल रोटेशन और आइसोट्रोपिक स्केलिंग) के तहत एक ऑर्बिट के रूप में परिभाषित करते हैं।

धारणा 2.1 (अवशोषणीय पुनर्रचना/Absorbable Reparametrization): प्रतिनिधित्व में कोई भी कोआर्डिनेट परिवर्तन $h \mapsto c h Q$ डाउनस्ट्रीम वेट्स $W_{in} \mapsto c^{-1} Q^\top W_{in}$ में एक संगत परिवर्तन द्वारा निष्प्रभावी किया जा सकता है, जिससे नेटवर्क फंक्शन $f$ अपरिवर्तित रहता है।
प्रपोजिशन 2.1 (पूर्ण मिलान की त्रुटिपूर्ण प्रकृति/Ill-posedness of Absolute Matching): चूंकि फंक्शन इस ग्रुप एक्शन के तहत इनवेरिएंट है, इसलिए एक लॉस फंक्शन जो पूर्ण निर्देशांकों के बीच की दूरी को कम करता है (जैसे, $\|H_T - H_S\|_F$ ), वह इल-पोज़्ड है। यह फंक्शन-संरक्षण करने वाली पुनर्रचनाओं को दंडित करता है और इसका मिनीमाइज़र समतुल्यता वर्ग के भीतर एक मनमाने चुनाव पर निर्भर करता है।

2.2 कोटिएंट स्पेस और क्षमता

शोध पत्र दो कोटिएंट स्पेस के बीच अंतर करता है:

प्रतिनिधित्व कोटिएंट ( $\pi_{rep}$ ): प्रतिनिधित्व $H$ को उसके समतुल्यता वर्ग $[H]$ तक संकुचित करता है। यहाँ के इनवेरिएंट्स में ग्राम मैट्रिक्स, CKA (सेंटर्ड कर्नल एलाइनमेंट), और प्रिंसिपल एंगल्स शामिल हैं। ये ज्यामितीय समानता को मापते हैं लेकिन आउटपुट फंक्शन को निर्धारित नहीं करते।
संयुक्त कोटिएंट ( $\pi_{joint}$ ): जोड़े $(H, \theta_{downstream})$ को एक साथ संकुचित करता है। आउटपुट फंक्शन $f$ इस संयुक्त कोटिएंट पर एक सुपरिभाषित फंक्शन है।

प्रपोजिशन 3.2 स्थापित करता है कि क्षमता एक क्लास इनवेरिएंट है जो संयुक्त कोटिएंट पर परिभाषित है। इसलिए, एक डिस्टिलेशन ऑब्जेक्टिव केवल तभी क्षमता स्थानांतरित कर सकता है जब वह इस कोटिएंट पर आउटपुट-फंक्शन इनवेरिएंट को लक्षित करता है।

2.3 डिस्टिलेशन उद्देश्यों का वर्गीकरण

कोटिएंट ढांचे के आधार पर, शोध पत्र डिस्टिलेशन लॉस को तीन परिवारों में वर्गीकृत करता है:

(A) रिलेशनल मैचिंग (Relational Matching): प्रतिनिधित्व कोटिएंट को लक्षित करता है (जैसे, CKA, नॉर्मलाइज्ड ग्राम)। ये बेसिस-इनवेरिएंट हैं लेकिन अपने आप में क्षमता स्थानांतरित नहीं करते क्योंकि वे रीडर के कोआर्डिनेट फ्रेम को अनदेखा करते हैं।
(B) अलाइन-देन-मैच (Align-then-Match): क्लास के भीतर एक प्रतिनिधि को फिक्स करने के लिए एक एलाइनमेंट मैप (जैसे, प्रोक्रस्टेस रोटेशन या लो-कैपेसिटी लीनियर मैप $W$ ) का अनुमान लगाता है, और फिर पूर्ण निर्देशांकों को मिलाता है। यह उन कार्यों के लिए आवश्यक है जिनमें कोआर्डिनेट-विशिष्ट फीचर कंजम्प्शन (जैसे, ग्राफ्टिंग) की आवश्यकता होती है, लेकिन यह एलाइनमेंट नॉइज़ पेश करता है।
(C) लॉजिट डिस्टिलेशन (Logit Distillation): आउटपुट डिस्ट्रीब्यूशन को मैच करके सीधे संयुक्त कोटिएंट को लक्षित करता है। चूंकि आउटपुट पहले से ही संयुक्त क्लास का एक फंक्शन है, इसलिए यह ऑब्जेक्टिव स्वाभाविक रूप से सही कोटिएंट पर परिभाषित है और इसके लिए किसी एलाइनमेंट स्टेप की आवश्यकता नहीं है।

3. मुख्य योगदान

ज्यामितीय पुनर्गठन (Geometric Reframing): शोध पत्र शिक्षक पर्यवेक्षण को "फीचर्स को मिलाने" से बदलकर "प्रतिनिध्यता समतुल्यता वर्ग को स्थानांतरित करने" के रूप में पुनर्गठित करता है। यह क्षमता को एक विशिष्ट फीचर मैट्रिक्स के गुण के बजाय एक क्लास इनवेरिएंट (आउटपुट फंक्शन) के रूप में पहचानता है।
इल-पोज़्डनेस का प्रमाण: यह औपचारिक रूप से सिद्ध करता है कि पूर्ण फीचर मैचिंग इल-पोज़्ड है क्योंकि यह एक ही फंक्शनल फाइबर के भीतर बिंदुओं को अलग करती है, जिससे वैध पुनर्रचनाओं को दंडित किया जाता है।
लॉस वर्गीकरण: यह फीचर मैचिंग, रिलेशनल डिस्टिलेशन, एलाइनमेंट और ग्राफ्टिंग के लिए एक एकीकृत ज्यामितीय विवरण प्रदान करता है, और उन्हें क्लास स्ट्रक्चर के विभिन्न हिस्सों को फिक्स करने के आधार पर अलग करता है।
प्रायोगिक सत्यापन: Qwen2.5 और Llama-3.1 पर नियंत्रित रेस्टोरेशन और क्रॉस-विड्थ डिस्टिलेशन प्रयोगों के माध्यम से, यह क्षमता हस्तांतरण के तंत्र को अलग करता है।

4. प्रायोगिक परिणाम

4.1 रेस्टोरेशन स्टडी (Qwen2.5, Llama-3.1)

लेखकों ने एक शिक्षक मॉडल के कुछ लेयर्स को री-इनिशियलाइज़ करके उसे दूषित किया और विभिन्न उद्देश्यों का उपयोग करके उसे बहाल करने का प्रयास किया।

परिणाम 1: केवल एक बेसिस-इनवेरिएंट रिलेशनल लॉस ( $L_{CKA}$ ) के साथ ट्रेनिंग करने से प्रतिनिधित्व की ज्यामिति सफलतापूर्वक बहाल हो गई (CKA $\approx$ 0.99) लेकिन क्षमता बहाल करने में विफल रही (परप्लेक्सिटी रेशियो $10^2$ – $10^4$ खराब, टॉप-1 $\approx$ 0)।
परिणाम 2: केवल लॉजिट लॉस ( $L_{logit}$ ) के साथ ट्रेनिंग करने से क्षमता लगभग पूरी तरह से बहाल हो गई (परप्लेक्सिटी रेशियो $\approx$ 1.01, टॉप-1 $\approx$ 0.98) बिना हिडन रिप्रेजेंटेशन को अलाइन किए (CKA कम रहा)।
निष्कर्ष: रिप्रेजेंटेशन को अलाइन करना और फंक्शन को बहाल करना लगभग ऑर्थोगोनल कार्य हैं। क्षमता विशेष रूप से आउटपुट-फंक्शन टर्म द्वारा संचालित होती है।

4.2 वेट टायिंग की भूमिका

उन मॉडल्स में जिनमें टाइड इनपुट/आउटपुट एम्बेडिंग्स हैं (Qwen2.5-0.5B), आउटपुट हेड फिक्स्ड है, इसलिए केवल लॉजिट मैचिंग ही फंक्शन को बहाल करने के लिए पर्याप्त है।
अनटाइड हेड्स वाले मॉडल्स में (Qwen2.5-7B, Llama-3.1-8B), क्षमता को बहाल करने के लिए लॉजिट लॉस के साथ स्पष्ट रूप से आउटपुट हेड को ट्रेन करना आवश्यक था। यह पुष्टि करता है कि "रीडर" को नए प्रतिनिधित्व के कोआर्डिनेट फ्रेम के साथ अलाइन होना चाहिए।

4.3 क्रॉस-विड्थ डिस्टिलेशन

एक वास्तविक क्रॉस-विड्थ डिस्टिलेशन सेटिंग में (शिक्षक: 1.5B, छात्र: 0.5B):

केवल फीचर मैचिंग (एक सीखे गए प्रोजेक्शन $W$ के साथ भी) के कारण छात्र मॉडल कोलैप्स हो गया (परप्लेक्सिटी $> 10^6$ )।
केवल लॉजिट मैचिंग ने छात्र के प्रदर्शन को सुरक्षित रखा और थोड़ा सुधारा।
लॉजिट मैचिंग में फीचर टर्म जोड़ने से कोई लाभ नहीं हुआ और अक्सर यह थोड़ा हानिकारक भी रहा।
एक सरोगेट एक्सपेरिमेंट ने, जिसमें एक ऑप्टिमली सॉल्व्ड एलाइनमेंट मैप का उपयोग किया गया था, यह पुष्टि की कि केवल फीचर पर्यवेक्षण संरचनात्मक रूप से विफल होता है, न कि ऑप्टिमाइजेशन की कठिनाइयों के कारण।

4.4 ग्राफ्टिंग और सबस्पेस ओवरलैप

यह शोध पत्र प्रमाणित करता है कि मॉड्यूल ग्राफ्टिंग की सफलता डोनर और होस्ट के बीच बाउंड्री सबस्पेस के ओवरलैप (जिसे CKA या प्रोक्रस्टेस रेसिडुअल द्वारा मापा जाता है) द्वारा नियंत्रित होती है। उच्च ओवरलैप आवश्यक है लेकिन पर्याप्त नहीं है; आउटपुट लेयर के पास के ग्राफ्ट्स उच्च ओवरलैप के बावजूद विफल हो जाते हैं क्योंकि वे छोटे मिसमैच के प्रति संवेदनशील होते हैं।

5. महत्व और दावे

शोध पत्र का दावा है कि यह अंतर्ज्ञान कि डिस्टिलेशन "बेसिस में" होता है, "भावना में सही है लेकिन अक्षरशः गलत है।"

मुख्य दावा: शिक्षक पर्यवेक्षण को समतुल्यता वर्ग को लक्षित करना चाहिए, न कि निर्देशांकों को। क्षमता, आउटपुट-फंक्शन इनवेरिएंट के माध्यम से स्थानांतरित होती है।
व्यावहारिक निहितार्थ: क्षमता हस्तांतरण के लिए, लॉजिट मैचिंग ही एकमात्र ऑब्जेक्टिव है जो सही कोटिएंट पर स्वाभाविक रूप से परिभाषित है। फीचर मैचिंग (भले ही रिलेशनल या अलाइन हो) क्षमता हस्तांतरण के लिए अपर्याप्त है और केवल ज्यामितीय संरचना या ग्राफ्टिंग जैसे विशिष्ट कार्यों के लिए उपयोगी है जहाँ कोआर्डिनेट एलाइनमेंट स्पष्ट रूप से आवश्यक है।
दायरा सीमा (Scope Limitation): शोध पत्र इस बात पर जोर देता है कि डिस्टिलेशन रेप्लिकेशन (प्रतिलिपि बनाना), क्रिएशन (निर्माण) नहीं है। यह प्रशिक्षण कॉर्पस द्वारा कवर किए गए सबस्पेस पर शिक्षक के आउटपुट फंक्शन को स्थानांतरित करता है। यह शिक्षक के मौजूदा फंक्शन से परे नई क्षमताएं उत्पन्न करने या मिसमैच्ड टोकनाइजर वाले क्रॉस-फैमिली ट्रांसफर को हल करने का दावा नहीं करता है।

शोध पत्र निष्कर्ष निकालता है कि "शिक्षक क्या जानता है वह क्लास में रहता है; जो स्थानांतरित होता है वह उस क्लास का वह हिस्सा है जिसे ऑब्जेक्टिव और कॉर्पस वास्तव में लक्षित करते हैं।"