Learning Pseudorandom Numbers with Transformers: Permuted Congruential Generators, Curricula, and Interpretability
यह शोध पत्र प्रदर्शित करता है कि ट्रांसफॉर्मर मॉडल करिकुलम लर्निंग और बिटवाइज़ रोटेशनली-इनवेरिएंट (bitwise rotationally-invariant) निरूपणों की खोज के माध्यम से जटिल परम्यूटेड कॉन्ग्रुएंशियल जनरेटर्स (PCGs) से अनुक्रमों को सफलतापूर्वक सीख सकते हैं और उनका पूर्वानुमान लगा सकते हैं, जो एक ऐसे स्केलिंग लॉ (scaling law) को प्रकट करता है जहाँ आवश्यक संदर्भ लंबाई (context length) मॉडुलस के वर्गमूल के रूप में बढ़ती है।