When Context Returns: Toward Robust Internalization in On-Policy Distillation
यह शोध पत्र "संदर्भ-प्रेरित क्षरण" (context-induced degradation) की पहचान करता है और उसे संबोधित करता है, जो एक ऐसी घटना है जहाँ एक डिस्टिल्ड स्टूडेंट मॉडल में विशेषाधिकार प्राप्त संदर्भ को पुन: पेश करने से उसके प्रदर्शन को नुकसान पहुँचता है, और एक हल्के निरंतरता रेगुलराइज़र (consistency regularizer) का प्रस्ताव देता है जो विविध डोमेन में सुदृढ़ आंतरिककरण और संदर्भ हटाने की क्षमता सुनिश्चित करता है।