🤖 machine learning

SAGE: Shaping Anchors for Guided Exploration in RLVR of LLMs

यह शोध पत्र SAGE का प्रस्ताव करता है, जो एक ऐसा फ्रेमवर्क है जो एक गाइड फंक्शन के माध्यम से रिवर्स-KL एंकर डिस्ट्रीब्यूशन को नया रूप देकर LLMs में मानक RLVR की अन्वेषण सीमाओं को दूर करता है, जिससे गणितीय तर्क कार्यों पर pass@1 और pass@k दोनों में एक साथ सुधार प्राप्त होता है।

मूल लेखक: Chanuk Lee, Minki Kang, Sung Ju Hwang

प्रकाशित 2026-05-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chanuk Lee, Minki Kang, Sung Ju Hwang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "SAGE: Shaping Anchors for Guided Exploration in RLVR of LLMs" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी समस्या: "सुरक्षित पथ" का जाल (The "Safe Path" Trap)

कल्पना कीजिए कि आप एक बड़े लैंग्वेज मॉडल (LLM) को कठिन गणित के सवाल हल करने के लिए प्रशिक्षित कर रहे हैं। आप Reinforcement Learning with Verifiable Rewards (RLVR) नामक विधि का उपयोग करते हैं। इसे ऐसे समझें जैसे कोई छात्र अभ्यास परीक्षा दे रहा हो जहाँ उसे 'गोल्ड स्टार' तभी मिलता है जब उसका उत्तर बिल्कुल सही हो।

पेपर इस बात की ओर इशारा करता है कि ये छात्र कैसे सीखते हैं, इसमें एक निराशाजनक समस्या है:

"सुरक्षित पथ" की आदत (The "Safe Path" Habit): एक बार जब छात्र को 'गोल्ड स्टार' पाने का एक तरीका मिल जाता है, तो वे उसी सटीक तरीके पर टिके रहते हैं। वे समस्या को हल करने के नए तरीके आज़माना बंद कर देते हैं।
परिणाम: यदि आप छात्र से सवाल एक बार हल करने को कहें, तो वह आमतौर पर सही होता है (उच्च pass@1)। लेकिन यदि आप उन्हें 256 अलग-अलग बार कोशिश करने को कहें यह देखने के लिए कि क्या वे कोई अन्य सही तरीका खोज सकते हैं, तो वे नए समाधान खोजने में विफल रहते हैं (कम pass@k)।

पेपर इसे "Mode Collapse" कहता है। मॉडल एक ही ढर्रे में फंस जाता है, वह उन्हीं कुछ ज्ञात तर्क पैटर्न (reasoning patterns) को दोहराता रहता है, बजाय इसके कि वह नए और चतुर तरीके खोज सके।

यह क्यों होता है? "लंगर वाली रस्सी" (The "Anchored Rope")

छात्र को पूरी तरह से पटरी से उतरने (बेतुकी बातें करने या hallucinating) से बचाने के लिए, शोधकर्ता उन्हें एक "रेफरेंस मॉडल" (एक स्मार्ट लेकिन बुनियादी शिक्षक) से Reverse-KL Regularization नामक एक गणितीय पट्टे (leash) के माध्यम से बांधकर रखते हैं।

उपमा: कल्पना कीजिए कि छात्र एक कुत्ता है, और रेफरेंस मॉडल ज़मीन में गड़ा हुआ एक खंभा है। पट्टा (Reverse-KL) कुत्ते को बहुत दूर जाने से रोकता है।
समस्या: पट्टा बहुत मज़बूत है। यह कुत्ते को खंभे के बिल्कुल पास रहने के लिए मजबूर करता है। भले ही झाड़ियों में 10 फीट दूर कहीं एक स्वादिष्ट हड्डी (एक सही समाधान) छिपी हो, कुत्ता वहां तक नहीं पहुँच पाता क्योंकि पट्टा उसे हर बार वापस खंभे की ओर खींच लेता है। कुत्ता केवल खंभे के आस-पास के क्षेत्र में ही सूंघना सीख पाता है।

असफल प्रयास (The Failed Fixes)

शोधकर्ताओं ने दो स्पष्ट सुधारों की कोशिश की, लेकिन दोनों विफल रहे:

पट्टा काट देना (Cut the Leash): यदि आप पट्टा पूरी तरह हटा देते हैं, तो कुत्ता बेकाबू हो जाता है। वह हड्डी तो ढूंढ सकता है, लेकिन वह ट्रैफ़िक में भी जा सकता है (hallucinates) और अपना व्यवहार भूल सकता है। वह "रिवॉर्ड हैकिंग" (परीक्षा में नकल करना) करने लगता है।
पट्टे का प्रकार बदलना (Change the Leash Type): कुछ लोगों ने एक अलग प्रकार के पट्टे (Forward-KL) का उपयोग करने की कोशिश की जो कुत्ते को अधिक घूमने देता है। लेकिन इससे अक्सर कुत्ता उन बेकार मैदानों में भटक जाता है जहाँ कोई हड्डी नहीं होती, जिससे उसकी ऊर्जा बर्बाद होती है।

समाधान: SAGE (Shaping Anchors for Guided Exploration)

लेखक एक नया तरीका प्रस्तावित करते हैं जिसे SAGE कहा जाता है। पट्टा काटने या उसका प्रकार बदलने के बजाय, वे खंभे के आस-पास की ज़मीन को नया आकार देते हैं।

उपमा: कल्पना कीजिए कि खंभा अभी भी वहीं है, लेकिन SAGE विधि झाड़ियों में एक "चुंबक" या "मार्गदर्शक" रखती है।
यह कैसे काम करता है: सिस्टम छात्र की सोचने की प्रक्रिया को देखता है। यदि छात्र हिचकिचाता है या भ्रमित होता है (उच्च "entropy" या अनिश्चितता), तो SAGE कहता है, "हे, यह एक ब्रांचिंग पॉइंट (विभाजन बिंदु) है! यहाँ एक नया रास्ता हो सकता है।" यह छात्र को धीरे से उन अनिश्चित, अनछुए क्षेत्रों की ओर धकेलता है—बिना उसे शिक्षक से पूरी तरह दूर जाने दिए।

यह एक कोच की तरह है जो झाड़ियों में खड़ा होकर झंडा लहरा रहा है और कह रहा है, "इस रास्ते को आज़माओ! यह जोखिम भरा लग सकता है, लेकिन यह तुम्हें गोल्ड स्टार तक ले जा सकता है," जबकि वह अभी भी सुरक्षा के लिए छात्र को मुख्य शिक्षक से बांधे हुए है।

वे इसे कैसे करते हैं (The "Guide Function")

पेपर यह सुझाव देता है कि मॉडल के अपने मस्तिष्क से प्राप्त सरल संकेतों का उपयोग यह तय करने के लिए किया जाए कि कहाँ धकेलना है:

आश्चर्य (Surprise): यदि मॉडल उस शब्द से हैरान है जिसे वह बोलने वाला है, तो वह कुछ नया खोज रहा हो सकता है।
भ्रम/अनिश्चितता (Confusion/Uncertainty): यदि मॉडल अगला शब्द चुनने में अनिश्चित है (उच्च entropy), तो वह एक "ब्रांचिंग पॉइंट" है जहाँ कई समाधान मौजूद हो सकते हैं।

SAGE इन संकेतों का उपयोग करके एक Guide Function बनाता है। यह प्रभावी रूप से कहता है: "जब आप ऐसे चौराहे पर हों जहाँ आप अनिश्चित हों, तो उस रास्ते की ओर थोड़ा अधिक झुकाव रखें जिसे आपने पहले नहीं लिया है।"

परिणाम: एक प्रयास में बेहतर, और कई प्रयासों में भी बेहतर

पेपर ने कठिन गणित प्रतियोगिताओं (जैसे AIME और AMC) पर इसका परीक्षण किया।

मानक प्रशिक्षण (The Rut): मॉडल पहली बार में समस्या हल करने में बेहतर होता है, लेकिन यह नए तरीके खोजने में रुक जाता है।
SAGE प्रशिक्षण: मॉडल पहली बार समस्या हल करने में बेहतर होता है और यह कई प्रयासों में कई अलग-अलग सही समाधान खोजने में भी बहुत बेहतर होता है।

मुख्य निष्कर्ष:
SAGE सिद्ध करता है कि आपको "स्थिरता" (सुरक्षित पथ पर रहना) और "अन्वेषण" (नए रास्ते खोजना) के बीच किसी एक को चुनने की आवश्यकता नहीं है। एंकर (पट्टे) को बुद्धिमानी से नया आकार देकर, आप मॉडल को उन "झाड़ियों" की ओर निर्देशित कर सकते हैं जहाँ नए तर्क मोड (reasoning modes) मौजूद हैं, बिना उसे ट्रैफ़िक में भागने दिए।

एक वाक्य में सारांश

SAGE एक नया प्रशिक्षण तरीका है जो AI मॉडलों को सुरक्षित और स्थिर रखता है, जबकि उन्हें समस्याओं को हल करने के अनछुए और रचनात्मक तरीकों को खोजने के लिए धीरे से प्रोत्साहित करता है, जिससे उन्हें एक दोहराव वाले लूप में फंसने से रोका जा सके।

तकनीकी सारांश: SAGE – LLMs के RLVR में निर्देशित अन्वेषण के लिए एंकर्स को आकार देना (Shaping Anchors for Guided Exploration in RLVR of LLMs)

1. समस्या विवरण (Problem Statement)

सत्यापनीय पुरस्कारों के साथ सुदृढीकरण शिक्षण (Reinforcement Learning with Verifiable Rewards - RLVR) में हालिया प्रगति ने तर्क संबंधी कार्यों (reasoning tasks) पर लार्ज लैंग्वेज मॉडल्स (LLMs) की pass@1 सटीकता को सुधारने की क्षमता प्रदर्शित की है। हालाँकि, एक महत्वपूर्ण सीमा उभर कर आई है: जबकि RLVR अक्सर सिंगल-सैंपल सफलता दर (single-sample success rates) को बढ़ाता है, यह अक्सर pass@k (k नमूनों में से एक सही उत्तर खोजने की संभावना) में तुलनीय लाभ प्राप्त करने में विफल रहता है।

पूर्व विश्लेषण सुझाव देते हैं कि यह विसंगति इसलिए उत्पन्न होती है क्योंकि मानक RLVR मोड कोलैप्स (mode collapse या "support shrinkage") को प्रेरित करता है। नए तर्क संबंधी रणनीतियों की खोज करने के बजाय, पॉलिसी बेस रेफरेंस मॉडल में मौजूद उच्च-घनत्व वाले मौजूदा तर्क संबंधी मोड के एक संकीर्ण उपसमूह पर केंद्रित हो जाती है। यह व्यवहार मानक रिवर्स-कुल्बैक-लीब्लर (reverse-KL) रेगुलराइजेशन टर्म के संरचनात्मक प्रतिबंधों के कारण होता है। जबकि रिवर्स-KL, पॉलिसी को एक रेफरेंस डिस्ट्रीब्यूशन ( $\pi_{ref}$ ) से बांधकर आवश्यक प्रशिक्षण स्थिरता प्रदान करता है, यह स्वाभाविक रूप से कम-घनत्व वाले ट्राजेक्टरीज (trajectories) को दबा देता है, जिससे मॉडल प्रभावी रूप से उन वैकल्पिक, वैध तर्क पथों की खोज करने से रुक जाता है जो रेफरेंस मॉडल के तत्काल सपोर्ट के बाहर स्थित हैं।

KL टर्म को हटाने या उसे फॉरवर्ड-KL से बदलने के प्रयासों ने उप-इष्टतम (suboptimal) परिणाम दिए हैं। KL टर्म को हटाने से अक्सर रिवॉर्ड हैकिंग और अस्थिरता पैदा होती है, जबकि फॉरवर्ड-KL, हालांकि सपोर्ट का विस्तार करता है, अक्सर रिवॉर्ड-अप्रासंगिक क्षेत्रों में प्रोबेबिलिटी मास आवंटित करता है, जिससे pass@1 में सुधार नहीं हो पाता। केंद्रीय चुनौती रिवर्स-KL द्वारा प्रदान की जाने वाली स्थिरता के लाभों को बनाए रखते हुए नियंत्रित अनुभवजन्य समर्थन विस्तार (controlled empirical support expansion) को सक्षम करना है।

2. कार्यप्रणाली: SAGE फ्रेमवर्क (Methodology: SAGE Framework)

लेखक SAGE (Shaping Anchors for Guided Exploration) प्रस्तावित करते हैं, जो एक ऐसा फ्रेमवर्क है जो रिवर्स-KL रेगुलराइजेशन को एक स्थिर बाधा के रूप में नहीं, बल्कि एक डायनेमिक एंकर के रूप में पुनर्व्याख्या करता है जिसका लक्ष्य वितरण (target distribution) अन्वेषण को निर्देशित करने के लिए पुनर्गठित किया जा सकता है।

मुख्य तंत्र (Core Mechanism)

मानक रिवर्स-KL RLVR अनुकूलित करता है:
$J(\theta) = \mathbb{E}_{x,y \sim \pi_\theta} [r(x, y) - \beta D_{KL}(\pi_\theta \parallel \pi_{ref})]$
यह एक स्थिर समाधान की ओर ले जाता है जहाँ पॉलिसी रेफरेंस का एक एक्सपोनेंशियल टिल्ट (exponential tilt) होती है: $\pi_\theta \propto \pi_{ref} \exp(r/\beta)$ । यह मल्टीप्लिकेटिव अपडेट $\pi_{ref}$ के उच्च-घनत्व वाले क्षेत्रों को बढ़ाता है जबकि निम्न-घनत्व वाले क्षेत्रों को दबा देता है।

SAGE इसे एक गाइड फंक्शन $q(x, y) > 0$ पेश करके संशोधित करता है जो स्वयं एंकर डिस्ट्रीब्यूशन को नया आकार देता है। नया उद्देश्य बनता है:
$J'(\theta) = \mathbb{E}_{x,y \sim \pi_\theta} [r(x, y) - \beta \tilde{D}_{KL}(\pi_\theta \parallel q \cdot \pi_{ref})]$
यहाँ, $\tilde{D}_{KL}$ अननॉर्मलाइज्ड फंक्शन्स के लिए परिभाषित एक स्यूडो-KL डाइवर्जेंस (pseudo-KL divergence) है। स्थिर समाधान बनता है:
$\pi_\theta(y | x) \propto q(x, y) \pi_{ref}(y | x) \exp\left(\frac{1}{\beta} r(x, y)\right)$
$q(x, y)$ को उन अनवेक्षित लेकिन संभावित रूप से वैध तर्क संबंधी मोड के लिए बड़ा बनाकर, जो SAGE $\pi_{ref}$ द्वारा प्रदान की गई स्थिरता को तोड़े बिना उनके प्रोबेबिलिटी मास को बढ़ाता है।

अंतर्निहित संकेतों के माध्यम से इंस्टेंटिएशन (Instantiation via Intrinsic Signals)

गाइड निर्माण के दौरान स्पष्ट रिवॉर्ड जानकारी की आवश्यकता के बिना $q(x, y)$ को व्यावहारिक बनाने के लिए, लेखक तर्क प्रक्रिया से प्राप्त अंतर्निहित संकेतों (intrinsic signals) का उपयोग करने का प्रस्ताव करते हैं:

रैंडम एक्सप्लोरेशन (Random Exploration): स्टोकेस्टिक परम्यूटेशन का उपयोग करने वाला एक बेसलाइन।
टोकन-लेवल एक्सप्लोरेशन (Token-Level Exploration): दुर्लभ लेक्सिकल चॉइस की ओर पक्षपाती होने के लिए सरप्राइज़ल ( $-\log p$ ) का उपयोग करता है। लेखक नोट करते हैं कि यह सतही विचलन को पकड़ता है लेकिन संरचनात्मक तर्क अंतर को प्रतिबिंबित नहीं कर सकता है।
ब्रांच-लेवल एक्सप्लोरेशन (SAGE-Branch): प्राथमिक प्रस्तावित वेरिएंट। यह तर्क संबंधी ब्रांचिंग के संकेत के रूप में एन्ट्रॉपी ( $H_t$ ) का उपयोग करता है। गाइड फंक्शन को इस प्रकार परिभाषित किया गया है:
$q_{Branch}(y_t | x, y_{<t}) = 1 + \gamma (H_t - \tau)_+$
जहाँ $H_t$ टोकन-लेवल एन्ट्रॉपी है, $\tau$ एक एक्टिवेशन थ्रेशोल्ड है, और $\gamma$ परिमाण को नियंत्रित करता है। यह उच्च-अनिश्चितता वाले निर्णय बिंदुओं (ब्रांचिंग नोड्स) पर अन्वेषण को चुनिंदा रूप से बढ़ाता है, जबकि नियत (deterministic) सिम्बोलिक स्टेप्स में शोर को दबा देता है।

सैद्धांतिक गारंटी (Theoretical Guarantees)

पेपर एक सैद्धांतिक विश्लेषण (थ्योरम 4.3) प्रदान करता है जो यह दर्शाता है कि, मानक RLVR के विपरीत जो रेफरेंस मॉडल के अनुभवजन्य सपोर्ट (empirical support) द्वारा सीमित है, SAGE सैद्धांतिक रूप से अनुभवजन्य सपोर्ट का विस्तार कर सकता है। विशेष रूप से, यदि गाइड फंक्शन $q$ , एक रिवॉर्ड-वैध समाधान $y^*$ के लिए पर्याप्त बड़ा है जो वर्तमान में रेफरेंस पॉलिसी के अनुभवजन्य सपोर्ट के बाहर है, तो SAGE इसे एक गैर-नगण्य प्रोबेबिलिटी असाइन कर सकता है, जिससे "छिपे हुए" तर्क संबंधी मोड को प्रभावी रूप से रिकवर किया जा सकता है।

3. प्रमुख योगदान (Key Contributions)

RLVR सीमाओं का विश्लेषण: लेखक पहचानते हैं कि रिवर्स-KL एंकर, स्थिर होने के बावजूद, RLVR में मोड कोलैप्स का प्राथमिक संरचनात्मक कारण है। उनका तर्क है कि केवल KL टर्म को हटाना या बदलना पर्याप्त नहीं है, क्योंकि यह दक्षता-कवरेज ट्रेड-ऑफ को बाधित करता है।
SAGE फ्रेमवर्क: वे एक गाइड फंक्शन $q(x, y)$ के माध्यम से KL एंकर डिस्ट्रीब्यूशन को पुनर्गठित करके नियंत्रित अनुभवजन्य समर्थन विस्तार को सक्षम करने के लिए एक सिद्धांत आधारित तरीका प्रस्तावित करते हैं।
इंट्रिन्सिक सिग्नल इंटीग्रेशन: वे प्रदर्शित करते हैं कि कैसे हल्के, अंतर्निहित संकेतों (विशेष रूप से एन्ट्रॉपी और सरप्राइज़ल) का उपयोग प्रभावी गाइड फंक्शन बनाने के लिए किया जा सकता है, जिन्हें अतिरिक्त फॉरवर्ड पास या बाहरी डेटा की आवश्यकता नहीं होती है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग दिखाते हैं कि SAGE वेरिएंट, विशेष रूप से ब्रांच-लेवल एक्सप्लोरेशन, विविध गणितीय तर्क बेंचमार्क पर pass@1 और pass@k दोनों में लगातार सुधार करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Qwen2.5-Math-7B-Base मॉडल और GRPO एल्गोरिदम का उपयोग करके AIME 2024-2025, AMC23, और MATH-500 डेटासेट्स पर SAGE का मूल्यांकन किया।

प्रदर्शन लाभ (Performance Gains): GRPO + Branch वेरिएंट ने सबसे मजबूत औसत प्रदर्शन प्राप्त किया, जिससे pass@1 0.266 (वैनिला GRPO) से बढ़कर 0.284 और pass@256 0.714 से बढ़कर 0.729 हो गया। इसने सभी तीन डेटासेट्स पर बेसलाइन्स को पछाड़ दिया।
विकल्पों के साथ तुलना:
- GRPO w/o KL: उच्च प्रशिक्षण रिवॉर्ड दिखाया लेकिन काफी खराब टेस्ट-टाइम प्रदर्शन (pass@1 और pass@256) दिखाया, जो बिना KL एंकर के रिवॉर्ड हैकिंग के जोखिम की पुष्टि करता है।
- Forward-KL: pass@256 में थोड़ा सुधार किया लेकिन pass@1 के लाभों में SAGE का मुकाबला करने में विफल रहा, जो इंगित करता है कि यह ऑफ-टारगेट क्षेत्रों में मास आवंटित करता है।
- अन्य RL एल्गोरिदम: SAGE को BNPO और DAPO के साथ सफलतापूर्वक एकीकृत किया गया, जो लगातार उस ट्रेड-ऑफ को हल करता है जहाँ ये विधियाँ आमतौर पर pass@k की कीमत पर pass@1 में सुधार करती हैं।
तर्क पैटर्न विश्लेषण (Reasoning Pattern Analysis): गुणात्मक विश्लेषण से पता चला कि जबकि मानक RLVR "कन्स्ट्रेंट सेटअप" जैसे प्रमुख पैटर्न को सुदृढ़ करता है, SAGE ने प्रूफ बाय कॉन्ट्राडिक्शन (GRPO में 0.8% से GRPO+Branch में 3.3% तक) की आवृत्ति को महत्वपूर्ण रूप से बढ़ाया, जो एक दुर्लभ लेकिन वैध तर्क मोड है।
मजबूती (Robustness): आउट-ऑफ-डिस्ट्रीब्यूशन मूल्यांकन (Knights and Knaves बेंचमार्क) में, SAGE-प्रशिक्षित मॉडल्स ने डिस्ट्रीब्यूशन शिफ्ट के तहत प्रदर्शन बनाए रखा, जबकि मानक GRPO मॉडल्स ने महत्वपूर्ण गिरावट प्रदर्शित की, जो सुझाव देता है कि SAGE मोड कोलैप्स को कम करता है।
सामान्यीकरण (Generalization): यह विधि लॉन्ग-रीजनिंग मॉडल्स (DeepSeek-R1-Distill-Qwen-7B) और छोटे मॉडल्स (Qwen2.5-1.5B/3B) पर भी प्रभावी थी, जो विभिन्न मॉडल स्केल और तर्क प्रतिमानों में मजबूती प्रदर्शित करती है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि SAGE रिवर्स-KL RLVR में मोड शार्पनिंग (mode sharpening) को कम करने के लिए एक व्यावहारिक और सिद्धांत आधारित दृष्टिकोण प्रदान करता है। एक गाइड फंक्शन $q(x, y)$ के माध्यम से अपने एंकर डिस्ट्रीशन को आकार देकर, SAGE LLMs को उन विविध तर्क पथों की खोज करने और उपयोग करने में सक्षम बनाता है जो वैध हैं लेकिन बेस मॉडल में कम प्रतिनिधित्व वाले हैं।

लेखक इस बात पर जोर देते हैं कि SAGE मॉड्यूलर है और मौजूदा तकनीकों (जैसे एडवांटेज शेपिंग या डायनेमिक सैंपलिंग) के प्रति ऑर्थोगोनल है, क्योंकि यह ऑप्टिमाइजेशन स्ट्रक्चर के बजाय स्वयं एंकर डिस्ट्रीशन को संशोधित करता है। वे इसे स्थिर, KL-संगत अनुभवजन्य समर्थन विस्तार के लिए एक सामान्य फ्रेमवर्क के रूप में देखते हैं।

सीमाएं और दायरा (Limitations and Scope):
लेखक विनम्रतापूर्वक स्वीकार करते हैं कि SAGE फिक्स्ड रेफरेंस पॉलिसी के सपोर्ट के भीतर काम करता है। यह उन ट्राजेक्टरीज के बीच प्रोबेबिलिटी मास को पुनर्वितरित करता है जिनका $\pi_{ref}$ के तहत पहले से ही गैर-शून्य लाइकलीहुड है; यह पूरी तरह से नए तर्क पैटर्न उत्पन्न नहीं कर सकता जो बेस मॉडल के लिए बनाना असंभव है। वे नोट करते हैं कि जबकि स्ट्रॉन्गर टीचर मॉडल्स से डिस्टिलेशन तर्क की सीमा को बढ़ा सकता है, SAGE उस सीमा के भीतर स्थिर अन्वेषण को सक्षम करके इसकी पूरक भूमिका निभाता है। वर्तमान इंस्टेंटिएशन हल्के अंतर्निहित संकेतों पर निर्भर करता है, और लेखक सुझाव देते हैं कि अधिक एक्सप्रेसिव गाइड फंक्शन्स को स्ट्रॉन्गर मॉडल्स से सीखना भविष्य के कार्य के लिए एक आशाजनक दिशा है।