🧬 biology
Relational reasoning and inductive bias in transformers and large language models
تتقصى هذه الورقة كيفية أداء النماذج المحولة (transformers) للاستدلال المتعدي، كاشفةً أنه في حين أن التعلم عبر الأوزان (in-weights learning) يطور طبيعيًا تمثيلات خطية للتعميم القوي، فإن التعلم داخل السياق (in-context learning) يعتمد عادةً على استراتيجيات النسخ ما لم يتم التدريب مسبقًا على مهام خطية أو الحث صراحةً على بناء خرائط ذهنية خطية، مما يسلط الض heavy الضوء على أن كلاً من أنظمة التدريب وهندسة التمثيلات يحددان بشكل حاسم قدرات الاستدلال العلاقاتي.