Emergent Capabilities Arise Randomly from Learning Sparse Attention Patterns
यह शोध पत्र प्रदर्शित करता है कि ट्रांसफॉर्मर मॉडलों में उभरती हुई क्षमताएं प्रशिक्षण के दौरान कार्य-प्रासंगिक, विरल अटेंशन पैटर्न (sparse attention patterns) के अचानक सीखने के परिणामस्वरूप स्टोकेस्टिक रूप से उत्पन्न होती हैं, जिसमें बड़े मॉडल बेहतर शिक्षण दक्षता के कारण इन पैटर्न को पहले प्राप्त कर लेते हैं।