Learning State-Tracking from Code Using Linear RNNs
यह शोध पत्र क्रमपरिवर्तन संयोजन (permutation composition) को कोड-आधारित REPL ट्रेसेस में परिवर्तित करके स्टेट-ट्रैकिंग अनुसंधान और नेक्स्ट-टोकन प्रेडिक्शन के बीच के अंतर को पाटता है, यह प्रदर्शित करते हुए कि जबकि लीनियर RNNs इस कार्य में ट्रांसफॉर्मर्स की तुलना में उत्कृष्ट हैं, वे नॉन-लीनियर RNNs की तुलना में खराब प्रदर्शन कर सकते हैं जब स्टेट रिवील्स (state reveals) नियतात्मक होते हैं लेकिन एक्शन्स पूरी तरह से अवलोकन योग्य नहीं होते हैं।