Testing History Dependence Between In-Context and In-Weights Learning
تُظهر هذه الدراسة أنه بينما يؤدي ترتيب التدريب (الاقتراب من خليط متوازن من اتجاهات مختلفة) إلى إحداث فرق عابر وقابل للقياس في قوة آليات التعلم داخل السياق مقابل التعلم داخل الأوزان، إلا أنه لا يؤدي إلى تلاكؤ مستمر أو تنظيم دوائر سببية مختلفة جوهرياً في نماذج المحولات الصغيرة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتًا كيف يلقي النكات. يمكنك تعليمه بطريقتين. أولاً، يمكنك عرض بعض الأمثلة عليه مباشرة قبل أن يتحدث، مثل ورقة مرجعية موضوعة على الطاولة. يقرأ الروبوت الورقة المرجعية ويستنتج خاتمة النكتة بناءً على ما يراه الآن. هذا يسمى التعلم داخل السياق (In-Context Learning). إنه يشبه تفكير الروبوت بسرعة البديهة. ثانياً، يمكنك التدرب مع الروبوت لساعات حتى يحفظ النكات جيداً لدرجة أنه لا يحتاج إلى الورقة المرجعية بعد الآن. أصبحت النكات الآن محفورة في دماغه. هذا هو التعلم داخل الأوزان (In-Weights Learning).
لفترة طويلة، تساءل العلماء: إذا أعطيت الروبوت نفس المزيج تماماً من الأوراق المرجعية والتدريب، هل سيحل المشكلة دائماً بنفس الطريقة؟ أم أن الطريقة التي وصل بها تفرق؟ هل بدأ بالحفظ ثم تعلم كيفية قراءة الورقة المرجعية؟ أم بدأ بقراءة الورقة المرجعية ثم حفظ النكات؟ هذا السؤال يتعلق بـ الاعتماد على التاريخ (history dependence). في عالم الفيزياء، يشبه هذا ظاهرة التلاكؤ (hysteresis) — مثل مغناطيس يتذكر الاتجاه الذي سُحب إليه، حتى بعد التوقف عن السحب. إذا كانت أدمغة الرظمة تمتلك خاصية "التلاكؤ"، فإن حالتها الحالية لا تعتمد فقط على ما تراه الآن؛ بل تعتمد أيضاً على المسار الذي سلكته للوصول إلى هناك. هذا الأمر مهم لأننا إذا اكتشفنا أن نماذج الذكاء الاصطناعي تشبه ذلك، فقد لا نتمكن من التنبؤ بسلوكها بمجرد النظر إلى بياناتها الحالية؛ بل سنحتاج لمعرفة تاريخ تدريبها الكامل.
تأخذ هذه الورقة البحثية روبوتاً صغيراً ومنضبطاً (نموذج ذكاء اصطناعي صغير جداً) وتضعه في اختبار محدد لترى ما إذا كان لديه هذا النوع من "ذاكرة المسار". وضع الباحثون إعدادات للعبة حيث يتعين على الروبوت تخمين رمز سري. أحياناً يعتمد الرمز على دليل يُعطى في الجملة الحالية (الورقة المرجعية)، وأحياناً أخرى يعتمد على قاعدة تعلمها الروبوت منذ زمن بعيد (الذاكرة المحفورة). لقد قاموا بتدريب نسختين متطابقتين من الروبوت للوصول إلى نفس النقطة في اللعبة، لكنهما سلكتا مسارات مختلفة. بدأت إحدى النسختين بالتركيز على القواعد المحفورة ثم انتقلت ببطء إلى الأوراق المرجعية. بينما بدأت النسخة الأخرى بالأوراق المرجعية ثم انتقلت ببطء إلى القواعد المحفورة.
وجد الباحثون أنه عندما وصلت كلتا النسختين إلى نفس النقطة بالضبط، لم تتصرفا بنفس الطريقة تماماً. فالنسخة التي جاءت من جانب "القواعد المحفورة" كانت أكثر عرضة قليلاً لاستخدام الورقة المرجعية من النسخة التي جاءت من جانب "الورقة المرجعية". وكأن الروبوت الذي بدأ بالقواعد كان لا يزال "عالقاً" قليلاً في تلك العقلية، رغم أنه كان ينظر الآن إلى نفس الأدلة التي ينظر إليها الروبوت الآخر. كان هذا الاختلاف حقيقياً وقابلاً للقياس: فالفجوة في سلوكهما كانت حوالي 0.098 نقطة على مقي scale محدد، وقد حدث هذا في جميع تجارب التدريب الخمس المختلفة.
ومع ذلك، كانت هذه الذاكرة للمسار قصيرة الأمد للغاية. استمر الباحثون في تدريب الروبوتين عند تلك النقطة نفسها لفترة أطول قليلاً. وبعد 25 خطوة فقط، بدأ الفرق في الانعكاس ثم تلاشى. وبحلول الخطوة 100، أصبح الروبوتان يتصرفان بشكل متطابق تقريباً. لقد تلاشى "شبح" المسار الذي سلكاه.
لفهم سبب حدوث ذلك، نظر العلماء داخل دماغ الروبوت. ووجدوا أن كلا الروبوتين كانا يستخدمان نفس الأجزاء الداخلية لحل المشكلة. لم ينتقلا إلى "دائرة" مختلفة أو طريقة تفكير جديدة. بدلاً من ذلك، قام الروبوت الذي جاء من جانب "القواعد المحفورة" فقط برفع مستوى الصوت قليلاً في الجزء من دماغه الذي يقرأ الورقة المرجعية. كان مجرد رفع مؤقت لمستوى الصوت، وليس تغييراً دائماً في الأسلاك.
لذا، تشير الورقة البحثية إلى أنه بينما يمكن لنماذج الذكاء الاصطناعي أن تتذكر لفترة وجيزة كيف وصلت إلى نقطة معينة، فإن هذا ليس "تلاكؤاً" دائماً حيث تظل عالقة في حالات مختلفة للأبد. إنه أشبه بتأخر لحظي، أو تجاوز سريع يستقر مع استمرار النموذج في التعلم. تُظهر الدراسة أنه لفهم سلوك الذكاء الاصطناعي حقاً، يجب عليك النظر في تاريخه المباشر، لكنك لست بحاجة للقلق من أنه سيظل عالقاً في حالة غريبة للأبد لمجرد طريقة تدريبه. فالنموذج سيلحق بالركب في النهاية وينسى المسار، ويركز فقط على الوجهة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.