A Circuit for In-Context Learning
تحدد هذه الورقة وتثبت سببيًا وجود دائرة عصبية محددة ومحفوظة في نماذج المحولات (transformer models) تُمكّن من التعلم داخل السياق لتصنيف الجمل في حالات التعلم من أمثلة قليلة، وذلك عبر تنفيذ آلية ذاكرة ترابطية بوابية حيث تقوم رؤوس الطبقات المتوسطة بتخزين خرائط الربط بين التسميات والفئات، بينما تقوم رؤوس الطبقات العليا باسترجاعها بناءً على مطابقات الاستعلام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل نموذج لغة كأنه مكتبة شاسعة من المعرفة البشرية، تدربت على مليارات الجمل. عندما تطرح عليه سؤالاً، فإنه يجيب عادةً بناءً على ما حفظه. ولكن هناك خدعة خاصة يمكنه القيام بها تسمى "التعلم في السياق" (in-context learning). إذا عرضت على النموذج بعض الأمثلة لمهمة جديدة مباشرة قبل طرح سؤالك — مثل إظهار عشرات الجمل المقترنة بتصنيفات مختلقة — فيمكنه تعلم النمط فوراً وتطبيقه على جملتك الجديدة، دون أن يغير قط قيمه الداخلية أو يعاد تدريبه. إنه يستنتج القاعدة في لحظة قراءة واحدة. لسنوات، عرف العلماء أن هذا يحدث، لكنهم لم يعرفوا كيف تقوم الآلة بذلك فعلياً. كان بإمكانهم رؤية النتيجة، لكن التروس التي تدور داخل الصندوق المظلم ظلت لغزاً.
لقد تمكن فريق من الباحثين الآن من فتح ذلك الصندوق ورسم خريطة للآلية الدقيقة وراء هذه القدرة. ومن خلال دراسة ثلاثة نماذج لغوية كبيرة مختلفة، اكتشفوا أن النموذج لا "يتعلم" قاعدة بالمعنى التقليدي. بدلاً من ذلك، فإنه يبني ذاكرة مؤقتة داخل النص (prompt) نفسه، باستخدام مجموعة محددة من "رؤوس الانتباه" (attention heads) — وهي وحدات معالجة متخصصة داخل الشبكة — لتعمل ككتّاب، وقُرّاء، وحراس بوابة. وجدوا أن النموذج يعامل الأمثلة التي تقدمها له كنظام ذاكرة "مفتاح-وقيمة" (key-value memory). فعندما تعرض جملة متبوعة بتصنيف، يقوم النموذج بكتابة هوية ذلك التصنيف في خانة محددة في ذاكرته، بينما يكتب في الوقت نفسه "مفتاحاً" يصف نوع الجملة التي رآها للتو. لاحقاً، عندما يواجه النموذج السؤال النهائي، فإنه يحسب رمزاً لهذا السؤال ويستخدمه للبحث في ذاكرته المؤقتة، مطابقاً نوع السؤال مع المفاتيح التي خزنها سابقاً لاسترجاع التصنيف الصحيح.
تتبع الباحثون هذه العملية خطوة بخطوة، باستخدام طريقة سمحت لهم بتبديل أجزاء من النشاط الداخلي للنموذج بين نصوص مختلفة لمعرفة أي القطع كانت أساسية. ووجدوا أن حوالي عشرين رأساً من الطبقات الوسطى تعمل ككتّاب، حيث تأخذ فئة كل جملة توضيحية وتودعها في خانة الذاكرة الخاصة بالتصنيف التالي. ثم يعمل حوالي تسعين رأساً من الطبقات العليا كقُرّاء؛ حيث تقوم هذه الرؤوس بمسح الذاكرة، بحثاً عن الخانات التي يتطابق فيها المفتاح المخزن مع فئة السؤال الحالي. وعندما يجدون تطابقاً، يقومون بنسخ التصنيف من تلك الخانة إلى الإجابة النهائية. ومع ذلك، فإن نظام الاسترجاع هذا ليس نشطاً دائماً. فقد اكتشف الباحثون "بوابة" تقرر ما إذا كان سيتم قراءة الذاكرة أم لا. تتحقق هذه البوابة مما إذا كان أي تصنيف في الأمثلة قد ظهر أكثر من مرة؛ فإذا تكرر التصنيف، تُفتح البوابة، مما يسمح للقراء بالبحث في الذاكرة. وإذا لم يتكرر أي تصنيف، تظل البوابة مغلقة، ويعود النموذج إلى تجاهل الأمثلة، وهو سلوك يمنعه من التخمين العشوائي عندما لا يوجد نمط واضح.
ولضمان إجابة النموذج بشكل صحيح، تعمل مجموعة أخرى من حوالي عشرين رأساً كـ "كوابح". تعمل هذه الرؤوس ضد آخر تصنيف تم رؤيته، مما يمنع النموذج من مجرد نسخ المثال الأخير الذي قرأه، وهو انحياز شائع يُعرف بـ "الحداثة" (recency). وبدون هذه الكوابح، غالباً ما سيتجاهل النموذج النمط ويكتفي بتكرار آخر تصنيف رآه. كما وجد الباحثون أن النموذج يعتمد على "بالوعة" (sink)، وهي وضعية افتراضية يتجه إليها الانتباه عندما لا يكون هناك شيء محدد للتركيز عليه. وتعمل البوابة عن طريق خفض الجذب نحو هذه البالوعة، مما يجبر القراء على النظر إلى خانات الذاكرة الفعلية.
وما يجعل هذا الاكتشاف قوياً بشكل خاص هو أن الباحثين لم يكتفوا بمراقبة السلوك فحسب، بل أثبتوه عبر قطع الاتصالات. فعندما منعوا "الكتّاب"، لم يستطع النموذج تخزين المفاتيح. وعندما منعوا "القراء"، لم يستطع العثور عليها. وعندما أزالوا "البوابة"، حاول النموذج قراءة الذاكرة حتى في حالة عدم وجود نمط، مما أدى إلى حدوث أخطاء. بل إنهم بنوا نسخة مصغرة، مكتوبة يدوياً برمجياً، من هذه الدائرة من الصفر، وعملت تماماً كما هو متوقع، مما أكد أن هذه الأجزاء المحددة كافية لأداء المهمة. كما كشفت الدراسة أنه بينما تختلف الرؤوس التي تؤدي هذه المهام اختلافاً طفيفاً بين النماذج المختلفة، إلا أن الهيكل العام للدائرة يظل ثابتاً.
لعل الاكتشاف الأكثر إثارة للدهشة يتعلق بكيفية تعامل النموذج مع حجم المهمة. وجد الباحثون أن النموذج لا يعتمد على رأس واحد قوي للقيام بكل العمل، بل يتم توزيع المهمة بين العديد من الرؤوس التي تعمل معاً. فلا يوجد رأس قارئ واحد قوي بما يكفي لإنتاج الإجابة النهائية بمفرده؛ بل يحتاج النموذج إلى المخرجات المشتركة لعشرات الرؤوس لتقديم تنبؤ واثق. وهذا يفسر سبب استخدام النموذج لمجموعات ضخمة من الرؤوس لهذه المهمة. علاوة على ذلك، أظهرت الدراسة أنه كلما كبرت النماذج، لا تخترع أجزاءً جديدة لحل المشكلة، بل تقوم ببساطة بتقوية المجموعات الموجودة بالفعل. فالـ "كوابح" التي تمنع النموذج من الانحياز لآخر مثال رآه تصبح أقوى في النماذج الأكبر، وهذا هو السبب في أن النماذج الأكبر أفضل في اتباع النمط الموجود في الأمثلة بدلاً من الاعتماد على معرفتها المسبقة بما تعنيه الكلمات عادةً.
يغير هذا العمل فهمنا لكيفية تعلم الذكاء الاصطناعي من السياق. فهو يشير إلى أن النموذج لا يستنتج القواعد بشكل سحري أو يقوم بتحديثات رياضية معقدة، بل يقوم بعملية بحث منظمة وآلية للغاية. إنه يكتب المعلومات في ذاكرة مؤقتة، ويتحقق مما إذا كان هناك نمط موجود، ثم يسترجع الإجابة بناءً على ذلك النمط. وقد أظهر الباحثون أن هذه الآلية ثابتة عبر أحجام النماذج المختلفة، وحتى أنها تصمد عندما يتم ضبط النموذج (fine-tuning) لمهام أخرى. إن القدرة على التعلم من بضعة أمثلة ليست خاصية ناشئة غامضة، بل هي دائرة ملموسة وقابلة للتتبع، مبنية من مكونات يمكن تحديدها، وقياسها، والتلاعب بها، وفهمها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.