🤖 machine learning
In-Context Learning Operates as Concept Subspace Learning
यह शोध पत्र इन-कॉन्टेक्स्ट लर्निंग (in-context learning) के लिए एक "कॉन्सेप्ट सबस्पेस" (concept subspace) ढांचे का प्रस्ताव और सत्यापन करता है, जो यह प्रदर्शित करता है कि संरचित प्रदर्शन (structured demonstrations) मुख्य रूप से उच्च-आयामी परिवेशी निरूपणों (high-dimensional ambient representations) के बजाय निम्न-आयामी, कार्य-संरेखित सक्रियता उप-क्षेत्रों (low-dimensional, task-aligned activation subspaces) के माध्यम से भविष्यवाणियां प्रेरित करते हैं, जैसा कि उन प्रयोगों से प्रमाणित होता है जो दिखाते हैं कि इन विशिष्ट उप-क्षेत्रों में हेरफेर करना शेष सक्रियताओं की उपेक्षा करते हुए प्रभावी रूप से कार्य प्रदर्शन को पुनः प्राप्त करता है।