Do Language Models Consistently Encode the Current Year?
تكشف هذه الورقة أن النماذج اللغوية ترمز السنة الحالية بشكل غير متسق، حيث تحافظ على مفهوم "ترابطي" قائم على مرحلة ما قبل التدريب من خلال آليات الاستدعاء الحقائقي التي تقاوم التعديل، بينما يتم تحديث المفهوم "التصريحي" الناتج عن مرحلة ما بعد التدريب بسهولة عبر التلقين، مما يخلق تباعداً جوهرياً يمنع التصحيح المتزامن لكلا المفهومين الزمنيّين.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
أصبحت الحواسيب الحديثة التي تقرأ وتكتب اللغة بارعة بشكل مذهل في محاكاة المحادثة البشرية؛ إذ يمكنها تلخيص الأخبار، وكتابة القصص، والإجابة على أسئلة حول التاريخ. ومع ذلك، فإن هذه الآلات لديها نقطة عمياء يصعب إصلاحها: فهي لا تعرف حقاً ما هو الوقت الحالي. وبينما يمكنها استرجاع حقائق عن الماضي، فإن إحساسها الداخلي بـ "الآن" غالباً ما يكون صدىً مشوشاً للبيانات التي غُذيت بها أثناء التدريب، بدلاً من كونه وعياً حياً باللحظة الراهنة. وهذا الارتباك أمر مهم، لأنه إذا اعتقدت الآلة أن السنة الحالية هي قبل عشر سنوات، فقد ترفض الإجابة على أسئلة حول أحداث حديثة، أو والأسوأ من ذلك، قد تخترع بثقة حقائق عن مستقبل لم يحدث بعد. وقد تساءل الباحثون طويلاً كيف تخزن هذه العقول الرقمية مفهوم الزمن، مفترضين أنه إذا عرف النموذج التاريخ، فلا بد أن لديه ساعة واحدة موحدة تدق داخل شفرته البرمجية.
تتحدى دراسة جديدة هذا الافتراض، حيث كشفت أن النماذج اللغوية لا تمتلك ساعة واحدة متسقة. بدلاً من ذلك، هي تحمل فكرتين منفصلتين ومتعارضتين عن السنة الحالية. إحداهما عميقة وبنيوية، منسوجة في صلب القواعد اللغوية التي تعلمها النموذج أثناء قراءة الإنترنت. والأخرى سطحية وظاهرية، وهي مجرد حقيقة بسيطة تعلمها النموذج عندما تم تعليمه كيفية اتباع التعليمات. وجد الباحثون أنه بينما تتفق هاتان الفكرتان غالاً بشأن التاريخ، إلا أنهما مبنيتان على آليات داخلية مختلفة تماماً. هذا الانقسام يخلق مشكلة مستعصية: فعندما يحاول العلماء تحديث معرفة النموذج لتعكس السنة الحالية، يمكنهم بسهولة إصلاح الحقيقة السطحية، لكن الإحساس العميق والقواعدي بالزمن يرفض التزحزح.
ولكشف هذه الثنائية الخفية، صمم الباحثون طريقتين متميزتين لسؤال النموذج عما يعتقد أنه السنة الحالية. الطريقة الأولى، التي يسمونها "المهمة الترابطية"، لا تطلب التاريخ بشكل مباشر، بل تقدم للنموذج جزءاً من جملة مثل "في عام 1960..." وتسأله عن الكلمة التالية. إذا توقع النموذج فعلاً في صيغة الماضي مثل "كان"، فهذا يعني أن النموذج يعتقد أن عام 1960 في الماضي. أما إذا توقع صيغة مضارع أو مستقبل مثل "يكون" أو "سوف يكون"، فهذا يشير إلى أن النموذج يعتقد أن ذلك العام لا يزال يحدث أو لم يأتِ بعد. هذه الطريقة تستهدف استحضار فهم النموذج الحدسي للقواعد، وهي مهارة امتصها أثناء قراءة مليارات الجمل خلال تدريبه الأولي. أما الطريقة الثانية، وهي "المهمة التقريرية"، فهي أكثر مباشرة؛ فهي ببسا ج تسأل النموذج "ما هي السنة الحالية؟" أو تطلب منه كتابة قصة تبدأ بهذا العام. هذا يختبر قدرة النموذج على ذكر حقيقة، وهي مهارة تُصقل عادةً خلال مرحلة لاحقة من التدريب حيث يتعلم كيفية اتباع تعليمات البشر.
وعندما اختبر الفريق هذه الطرق على مجموعة واسعة من النماذج، ظهر نمط واضح. أنتجت كلتا الطريقتين إجابات قريبة بشكل مدهش من التاريخ الذي توقفت عنده بيانات تدريب النموذج. بالنسبة للاختبار القواعدي العميق، خمنت النماذج باستمرار سنة تبعد حوالي عشرة أشهر فقط عن تاريخ انقطاع تدريبها. يشير هذا إلى أن إحساس النموذج الداخلي بالزمن مرتبط ارتباطاً وثيقاً بآخر تاريخ رآه في بيانات تدريبه. ومع ذلك، لم تكن الطريقتان تقيسان الشيء نفسه بطرق مختلفة فحسب، بل كانتا تقيسان شيئين مختلفين. اكتشف الباحثون أن الإحساس القواعدي العميق بالزمن يعتمد على مسار محدد ومنظم داخل "دماغ" النموذج، بشكل يشبه كيفية استرجاعه للحقائق عن العالم. في المقابل، فإن القدرة على مجرد ذكر السنة بصوت عالٍ لا تعتمد على مسار واحد ثابت؛ بل هي سلوك سطحي مرن يمكن تحفيزه من أجزاء مختلفة من النموذج اعتماداً على كيفية طرح السؤال.
ولهذا الاختلاف في كيفية تخزين المعلومات عواقب عميقة على محاولة إصلاح النماذج. حاول الباحثون تحديث إحساس النماذج بالزمن باستخدام ثلاث تقنيات شائعة: إعطاء النموذج تلميحاً في المحادثة، وإعادة تدريبه على بيانات جديدة، والتعديل الجراحي لأوزانه الداخلية. وعندما حاولوا تحديث السنة التقريرية السطحية — تلك التي يذكرها النموذج عند سؤاله — نجحت الطرق بشكل مثالي. فبمجرد إخبار النموذج في "أمر نظام" (system prompt) أن السنة هي 2025، أو من خلال إظهار بيانات جديدة من عام 2025، بدأ النموذج فوراً في ذكر السنة الصحيحة بدقة عالية. كان الأمر كما لو أنهم يغيرون ملصقاً على خزانة ملفات.
ومع ذلك، فشلت نفس التقنيات تماماً عند تطبيقها على السنة الترابطية العميقة. فحتى عندما قيل للنموذج صراحةً إن السنة هي 2025، ظلت قواعده الداخلية عالقة في الماضي. فعند سؤاله عن إكمال الجملة "في عام 2025..."، ظل النموذج يتوقع أفعالاً في صيغة الماضي، كما لو كان عام 2025 حدثاً تاريخياً. ولم يساعد إعادة تدريب النموذج على بيانات جديدة إلا قليلاً، وفقط للسنوات القريبة جداً من تاريخ انقطاع تدريبه الأصلي. الطريقة الوحيدة التي استطاعت تغيير الإحساس العميق بالزمن كانت تعديلاً جراحياً معقداً لاتصالات النموذج الداخلية. ولكن هنا تكمن المفاجأة الأخيرة: فعندما استخدم الباحثون هذا الأسلوب الجراحي لإصلاح السنة القواعدية العميقة، ظلت قدرة النموذج على ذكر السنة بصوت عالٍ دون تغيير. لم يكن من الممكن مزامنة الساعتين.
تخلص الدراسة إلى أن السنة الحالية ليست مفهوماً واحداً داخل هذه الآلات. فالإدراك القواعدي العميق للزمن هو جزء أساسي من بنية اللغة التي تعلمها النموذج خلال تدريبه الأولي، وهو مقاوم للتغيير بشكل لا يصدق. إنه منسوج في الطريقة التي يربط بها النموذج السنوات بالأفعال، وهو نمط متجذر لدرجة أن التحديثات القياسية لا يمكنها محوه. أما الإدراك التقريري السطحي فهو طبقة منفصلة، تعلمت لاحقاً عندما تم تعليم النموذج كيفية التحدث إلى البشر، وهي سهلة الاستبدال. وهذا يعني أن مجرد إخبار النموذج بالتاريخ أو إعادة تدريبه على نص جديد ليس كافياً لمنحه إحساساً حقيقياً ومتسقاً بالحاضر. يمكن للآلة أن تقول السنة الصحيمة، لكنها لا تزال تعتقد أن العالم أقدم مما هو عليه في الواقع. هذا الانفصال يشير إلى أن تحديث هذه النماذج لمواكبة العالم الحقيقي أصعب بكثير مما كان يُعتقد سابقاً، لأن إصلاح نسخة واحدة من الحقيقة يترك النسخة الأخرى خلفه بعناد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.