The Generalization Ridge: Information Flow in Natural Language Generation
यह शोध पत्र InfoRidge को प्रस्तुत करता है, जो एक सूचना-सैद्धांतिक ढांचा है जो ट्रांसफॉर्मर-आधारित भाषा मॉडलों में एक सुसंगत "जनरलाइजेशन रिज" (सामान्यीकरण शिखा) को प्रकट करता है जहाँ भविष्य कहने वाली सूचना अंतिम परतों में घटने से पहले मध्यवर्ती परतों में चरम पर होती है, जिससे प्राकृतिक भाषा निर्माण के दौरान सामान्यीकरण और स्मृति (मेमोराइजेशन) के बीच संतुलन बनाने में इन मध्य परतों की महत्वपूर्ण भूमिका स्पष्ट होती है।