Induction Signatures Are Not Enough: A Matched-Compute Study of Load-Bearing Structure in In-Context Learning
यह अध्ययन प्रदर्शित करता है कि जबकि Bi-Induct जैसे सिंथेटिक डेटा हस्तक्षेप विशिष्ट इंडक्शन हस्ताक्षरों (induction signatures) को सफलतापूर्वक प्रवर्धित करते हैं, वे इन-कॉन्टेक्स्ट लर्निंग प्रदर्शन में सुधार करने में विफल रहते हैं क्योंकि वे प्राकृतिक-मात्र प्रशिक्षण में पाए जाने वाले केंद्रीकृत, भार-वहन करने वाले सर्किट के बजाय वितरित, अतिरेकपूर्ण तंत्र (redundant mechanisms) निर्मित करते हैं, जो यह सिद्ध करता है कि किसी तंत्र को उद्दीप्त करना तब तक अपर्याप्त है जब तक कि यह सुनिश्चित न किया जाए कि वह गणना के लिए कारणत्मक रूप से आवश्यक बन जाए।