Shortcut Before Circuit: Document Statistics Time In-Context Conflict Resolution
تُظهر هذه الورقة أنه عندما يكون الارتباط بين مؤشرات الحداثة والندرة تاماً في بيانات التدريب، فإن الشبكات العصبية تتعلم استراتيجيات غير متمايزة لحل الصراعات داخل السياق، مما يكشف أن العزو الآلي غير متاح جوهرياً حتى يتم تجاوز عتبة تكرار محددة، والتي عندها يهرب النموذج من الاختصارات الموضعية ويصبح الآلية الكامنة قابلة للتحديد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في دراسة الذكاء الاصطناعي، يهتم الباحثون بشكل متزايد بكيفية تعلم الآلات لحل المشكلات، ليس فقط عبر حفظ الإجابات، بل عبر اكتشاف القواعد الأساسية التي تحكم المهمة. تخيل طالباً يتعلم حل المسائل الرياضية من خلال التعرف على نمط في الأرقام بدلاً من استرجاع صيغة محددة. في عالم النماذج اللغوية الكبيرة، غالباً ما تُسمى هذه الأنماط "إشارات" (cues). عندما يقرأ الحاسوب نصاً طويلاً، يجب عليه أن يقرر أي قطعة من المعلومات يثق بها إذا كان النص يحتوي على حقائق متضاربة. على سبيل المثال، إذا ذكر مستند ما أن شخصية ما طويلة في الفقرة الأولى وقصيرة في الفقرة الأخيرة، فعلى النموذج أن يقرر ما إذا كان سيعتمد على البيان الأحدث أم ربما على عدد المرات التي تكرر فيها تفصيل معين. في العالم الفوضوي والطبيعي للكتابة البشرية، عادة ما تتفق هذه الإشارات؛ فالحقيقة الأحدث هي غالباً أيضاً الحقيقة الأكثر ذكراً. هذا الاتفاق يجعل من المستحيل تقريباً على العلماء معرفة القاعدة التي يستخدمها الجهاز بالفعل، لأن الجهاز سيصل إلى الإجابة الصحيحة بأي من الطريقتين.
لقد وضع فريق من الباحثين حداً لهذا اللغز من خلال إنشاء بيئة محكومة حيث كانت قواعد اللعبة واضحة تماماً، ومع ذلك كانت هناك استراتيجيتان مختلفتان لحلها متطابقتين رياضياً. لقد بنوا لغة اصطناعية حيث كانت المعلومة الأحدث هي دائماً المعلومة الأقل تكراراً، والمعلومة الأكثر تكراراً هي دائماً الأقدم. في هذا الإعداد، يمكن للنموذج حل المهمة إما بالبحث عن أحدث حقيقة، أو بالبحث عن الحقيقة التي ظهرت مرة واحدة فقط، وكلا الاستراتيجيتين ستؤديان إلى الإجابة الصحيحة. ولأن بيانات التدريب لم تجبر النموذج أبداً على الاختيار بين هذين المسارين، أراد الباحثون معرفة أي مسار اتخذه الجهاز بالفعل. قاموا بتدريب شبكة عصبية اصطناعية ضخمة على هذه اللغة، ثم أجروا تجربة دقيقة: أخذوا مستنداً مكتملاً وعدلوه ببراعة، مغيرين عدد المرات التي ظهرت فيها حقيقة معينة دون تغيير معنى النص أو الإجابة الصحيحة. ومن خلال مراقبة كيفية تغير ثقة النموذج استجابة لهذا التغيير الطفيف، استطاعوا معرفة ما إذا كان يتبع قاعدة "الأحدث" أم قاعدة "الأندر".
كشفت النتائج عن حقيقة مذهلة حول كيفية تعلم هذه الآلات. فعندما نظر الباحثون في الأداء النهائي للنماذج، وجدوا أن كل نموذج منها قد أتقن المهمة بدقة تقارب الكمال. ومع ذلك، عندما فحصوا المنطق الداخلي للنماذج، اكتشفوا أن القاعدة المحددة التي استخدمها كل نموذج لم تكن محددة بالبيانات نفسها. بدلاً من ذلك، كان اختيار القاعدة يتحدد من خلال مسار عملية التحسين (optimization process) الخاص بكل دورة تدريبية. وعبر عشرات الدورات التدريبية، تعلمت بعض النماذج إعطاء الأولوية للمعلومات الأحدث، بينما تعلمت نماذج أخرى إعطاء الأولوية للمعلومات الأندر. والأهم من ذلك، وجد الباحثون أن البيانات التي قدموها لم تكن تحتوي على أي إشارة من شأنها أن تدفع النموذج نحو قاعدة دون الأخرى. فالدالة الهدفية (objective function)، وهي الهدف الرياضي الذي يحاول النموذج تحقيقه، كانت محايدة تماماً بين الاستراتيجيتين. ولأن بيانات التدريب عاملت كلتا القاعدتين كخيارات صالحة بالتساوي، فقد استقر النموذج ببساال على إحداهما بناءً على النقطة التي توقف عندها مسار التحسين الخاص به ضمن اتجاه لم تفرضه الدالة الهدفية، بدلاً من اختيار قاعدة بشكل عشوائي.
يتحدى هذا الاكتشاف افتراضاً شائعاً في أبحاث الذكاء الاصطناعي: وهو أنه يمكننا النظر إلى سلوك النموذج والقول بثقة إنه تعلم قاعدة معينة لأن البيانات تطلبت ذلك. تظهر الدراسة أنه عندما تؤدي قاعدتان إلى نفس النتيجة في كل مثال تدريبي، فإن اختيار النموذج بينهما ليس انعكاساً لهيكل البيانات، بل هو انعكاس لمسار التحسين المحدد لتلك الدورة التدريبية. وقد أثبت الباحثون ذلك من خلال إظهار أنه إذا أعادوا تدريب نفس النموذج بنفس البيانات ولكن باستخدام بذرة عشوائية (random seed) مختلفة، فقد يختار النموذج القاعدة المعاكسة، رغم أن أداءه النهائي ظل متطابقاً. وهذا يعني أنه بالنسبة لأنواع معينة من المشكلات، فإن "الآلية" داخل النموذج — أي الدائرة المحددة التي تستخدمها لحل المهمة — ليست خاصية ثابتة للبيانات، بل هي نتيجة متغيرة لعملية التدريب.
كما كشفت الدراسة عن مرحلة متميزة في كيفية تعلم هذه النماذج. فقبل أن تكتشف القواعد الصحيحة، غالباً ما تعتمد على طريق مختصر بسيط. في هذه المهمة المحددة، تعلمت النماذج في البداية تجاهل محتوى النص تماماً، وبدلاً من ذلك، التخمين بناءً على موقعه. فقد وجدت أن الإجابة الصحيحة تظهر دائماً على مسافة محددة من نهاية الجملة. كان هذا الطريق المختصر المعتمد على الموقع فعالاً للغاية وسمح للنماذج بتحقيق مستوى متوسط من الدقة بسرعة. ومع ذلك، كان لهذا الطريق المختصر حد صارم؛ إذ لا يمكنه العمل إلا إذا كانت المسافة إلى الإجابة ثابتة. ومع استمرار تدريب النماذج، تخلت في النهاية عن هذا الطريق المختصر وتعلمت قراءة وفهم النص فعلياً، وهي عملية انتقال حدثت في أوقات مختلفة اعتماداً على تعقيد المهمة. وجد الباحثون أن توقيت هذا الانتقال كان قابلاً للتنبؤ به ومتسقاً، لكن القاعدة المحددة التي تبناها النموذج بعد الانتقال لم تكن كذلك.
في الختام، يقدم هذا العمل معياراً جديداً لفهم متى يمكننا حقاً معرفة ما تعلمته الآلة. إنه يشير إلى أنه لا يمكننا عزو قاعدة استدلال محددة لنموذج ما بثقة إلا عندما تجبر البيانات على الاختيار بين البدائل. فعندما تسمح البيانات بوجود حلول متعددة متساوية الجودة، يصبح المنطق الداخلي للنموذج مسألة تتعلق بالمكان الذي توقفت عنده دورة تدريبه المحددة على طول اتجاه غير مقيد، وليس ضرورة تمليها البيانات. هذا لا يعني أن النماذج معطلة أو أن إجاباتها خاطئة؛ بل يعني أن "السبب" وراء إجاباتها غالباً ما يكون مخفياً في تفاصيل مسار تدريبها، وليس في هيكل المعلومات التي قُدمت لها. وبالنسبة للعلماء الذين يحاولون تفسير هذه الأنظمة، فإن هذا يعد تذكيراً بأن نجاح النموذج لا يضمن عملية داخلية فريدة أو قابلة للتنبؤ. إن المسار الذي يسلكه الجهاز للوصول إلى الحل لا يقل أهمية عن الحل نفسه، وأحياناً، يتم تحديد ذلك المسار من خلال الديناميكيات المحددة لتدريبه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.