Asymptotic Signal Subspace Recovery in Softmax Attention Models
यह शोध पत्र एक कठोर सैद्धांतिक आधार प्रदान करता है जो यह प्रदर्शित करता है कि, उच्च-आयामी स्केलिंग (high-dimensional scaling) के तहत, स्टोकेस्टिक ग्रेडिएंट एसेंट (stochastic gradient ascent) के माध्यम से प्रशिक्षित एक सॉफ्टमैक्स अटेंशन मॉडल लगभग निश्चित रूप से लेटेंट सिग्नल सबस्पेस (latent signal subspace) की ओर अभिसरित होता है, जो शोर युक्त टोकन संग्रहों से प्रासंगिक जानकारी को प्रभावी ढंग से पुनर्प्राप्त करता है।