Relational reasoning and inductive bias in transformers and large language models
यह शोध पत्र इस बात की जांच करता है कि ट्रांसफॉर्मर ट्रांजिटिव इन्फरेंस (transitive inference) कैसे करते हैं, यह प्रकट करते हुए कि जहाँ इन-वेट्स लर्निंग (in-weights learning) स्वाभाविक रूप से मजबूत सामान्यीकरण के लिए लीनियर एम्बेडिंग्स (linear embeddings) विकसित करता है, वहीं इन-कॉन्टेक्स्ट लर्निंग (in-context learning) आमतौर पर कॉपी रणनीतियों पर निर्भर करती है जब तक कि इसे लीनियर कार्यों पर प्री-ट्रेन न किया गया हो या लीनियर मेंटल मैप्स बनाने के लिए स्पष्ट रूप से प्रॉम्प्ट न किया गया हो, जो इस बात पर प्रकाश डालता है कि दोनों प्रशिक्षण व्यवस्थाएं और प्रतिनिधित्व ज्यामिति (representation geometry) संबंधपरक तर्क क्षमताओं को महत्वपूर्ण रूप से निर्धारित करते हैं।