A Mechanistic Analysis of In-Context Learning and Out-of-Context Hallucination
تقترح هذه الورقة إطاراً ميكانيكياً موحداً يفسر كلاً من التعلم في السياق والهلوسة خارج السياق بوصفهما نتيجتين لكيفية تمثيل معلومات الدور داخلياً وتجميعها، مبرهنةً على أن الالتزام الناجح بالقواعد مقابل الهلوسة يعتمد على مقدار وتماسك مساهمات نطاق الدور عند نقاط اتخاذ القرار الرئيسية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلف ولم يصادق عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد النماذج اللغوية الكبيرة هي المحركات التي تقف وراء جيل جديد من الذكاء الاصطناعي، وهي قادرة على قراءة الأوامر وتوليد نصوص تشبه النصوص البشرية عند الطلب. ومن أبرز قدراتها المشهود لها هي "التعلم في السياق" (in-context learning)، حيث يمكن للنموذج استنتاج قاعدة محددة من الأمثلة المقدمة في الأمر واتباعها بأمانة. فإذا طلب المستخدم من النموذج تلخيص قائمة من السجلات ككائن JSON، يمكن للنموذج تعلم هذا التنسيق وتطبيقه بدقة تامة. ومع ذلك، تعاني هذه الأنظمة نفسها من خلل محبط يُعرف باسم "الهلوسة" (hallucination). فأحياناً، عندما يُطلب من النموذج الإجابة على سؤال بناءً على أدلة مقدمة، فإنه يتجاهل الحقائق الموجودة أمامه مباشرة ويخترع تفاصيل غير مدعومة بالنص. وهذا يخلق تناقضاً محيراً: كيف يمكن لنفس الآلة أن تكون مطيعة جداً لقاعدة تعلمتها للتو، ومع ذلك تكون مهملة جداً للحقائق التي أُعطيت لها؟ لسنوات طويلة، درس الباحثون هذين السلوكين بشكل منفصل، معتبرين إياهما ظاهرتين متميزتين. لكن هذا الفصل ترك فجوة في فهمنا لسبب نجاح النموذج في حالة وفشله في الأخرى.
لقد نجح فريق من الباحثين في جامعة سنغافورة الوطنية الآن في جسر هذه الفجوة من خلال النظر في الآليات الداخلية لهذه النماذج. وهم يقترحون أن كلاً من الاتباع الناجح للقواعد والفشل في الالتزام بالحقائق يعتمدان على نفس العملية الأساسية. ويكمن مفتاح اكتشافهم في كيفية معالجة النموذج للأجزاء المختلفة من الأمر. ففي أي أمر معطى، يعمل جزء من النص كـ "قاعدة"، يخبر النموذج بكيفية هيكلة إجابته، بينما يعمل جزء آخر من النص كـ "دليل"، يوفر الحقائق المحددة التي يجب استخدامها. وقد وجد الباحثون أن النموذج "يفهم" بالفعل الفرق بين هذين الدورين داخلياً؛ فهو ينشئ نمطاً منظماً ومحدداً من النشاط في شبكته العصبية لتمثيل ما إذا كان ينظر إلى قاعدة أو إلى قطعة من الأدلة. ومع ذلك، فإن مجرد امتلاك هذا التمثيل الداخلي ليس كافياً لضمان إجابة صحيحة. إذ يمكن للنموذج أن يتعرف على دور النص دون أن يسمح لهذا التعرف فعلياً بالتحكم في مخرجاته النهائية.
وللكشف عن كيفية عمل ذلك، طور الباحثون طريقة لقياس مدى تأثير أجزاء معينة من الأمر على قرارات النموذج. وقد ركزوا على "نطاق الدور" (role span)، وهو القسم المحدد من النص الذي يحتوي إما على القاعدة أو الدليل. ومن خلال مقارنة سلوك النموذج عندما يكون هذا النص حاضراً مقابل استبداله بمحتوى مختلف، تمكنوا من عزل مدى دفع ذلك النص المحدد للنموذج نحو إجابة معينة. واكتشفوا أنه لكي يتبع النموذج قاعدة ما أو يستخدم دليلاً بشكل صحيح، يجب أن يكون التأثير الناتج عن ذلك النص قوياً بما يكفي وأن يشير إلى الاتجاه الصحيح باستمرار. فلا يكفي أن "يرى" النموذج القاعدة فحسب؛ بل يجب أن تكون الإشارة الرياضية من تلك القاعدة كبيرة بما يكفي للتغلب على الإشارات المتنافسة الأخرى في دماغ النموذج، ويجب أن تتوافق مع اتجاه الإجابة الصحيحة في كل خطوة من خطوات عملية التوليد.
وتكشف الدراسة أن السبب في اتباع النماذج للقواعد بشكل جيد وفشلها غالباً في التعامل مع الحقائق يعود إلى أين وكيف يتم تطبيق هذا التأثير. فعندما يتبع النموذج قاعدة ما، مثل تنسيق الإجابة كقائمة، يجب أن يكون التأثير الناتج عن نص القاعدة مستداماً عبر قرارات عديدة مختلفة. يجب على النموذج أن يختار الهيكل الصحيح بشكل متكرر، ويجب أن تظل إشارة القاعدة قوية بما يكفي في كل خطوة من هذه الخطوات لإبقاء النموذج على المسار الصحيح. وفي المقابل، عندما يُفترض بالنموذج استخدام دليل ما، فإن اللحظة الحاسمة تكون أكثر تحديداً؛ إذ يجب أن يكون التأثير الناتج عن نص الدليل قوياً بما يكفي في اللحظة التي يقرر فيها النموذج حقيقة معينة. فإذا كانت الإشارة من الدليل ضعيفة جداً في تلك اللحظة الدقيقة، أو إذا تم إلغاؤها بواسطة إشارات أخرى، فسوف ينحرف النموذج ويخترع حقيقة بدلاً من استخدام الحقيقة المقدمة.
وقد اختبر الباحثون هذه النظرية من خلال التدخل مباشرة في حسابات النموذج. ووجدوا أنه عندما أضعفوا الإشارة القادمة من نص القاعدة اصطناعياً، نسي النموذج في كثير من الأحيان التنسيق الذي كان من المفترض أن يتبعه. وبالمثل، عندما قللوا من تأثير نص الدليل، توقف النموذج عن استخدام الحقائق المقدمة وبدأ في الهلوسة. ولعل الأمر الأكثر كشفاً هو أنهم أظهروا أن هذا الفشل ليس دائماً دائماً؛ ففي الحالات التي فشل فيها النموذج في البداية في استخدام الدليل، تمكن الباحثون من عكس الخطأ عن طريق تعزيز الإشارة القادمة من نص الدليل اصطناعياً. وعندما أصبحت الإشارة الداعمة للحقيقة الصحيحة قوية بما يكفي للتغلب على تردد النموذج الأولي، نجح في التحول إلى الإجابة الصحيحة. وهذا يشير إلى أن النموذج غالباً ما يمتلك المعلومات الصحيحة متاحة داخلياً، لكنه يفشل في التصرف بناءً عليها لأن الإشارة ليست قوية بما يكفي للفوز بالمنافسة الداخلية في لحظة اتخاذ القرار.
يقدم هذا العمل تفسيراً موحداً لسلوكين يبدوان متناقضين. فهو يشير إلى أن الفرق بين نموذج يتبع التعليمات بدقة ونموذج يكذب بشأن الحقائق ليس اختلافاً في كيفية فهمه للأمر، بل هو اختلاف في كيفية استدامة تأثير ذلك الأمر أثناء عملية التوليد. فبالنسبة للقواعد، يجب أن يكون التأثير قوة ثابتة ومستمرة توجه هيكل الاستجابة. أما بالنسبة للحقائق، فيجب أن يكون التأثير دفعة حادة وحاسمة في اللحظة التي يتم فيها اختيار قيمة معينة. وتخلص الدراسة إلى أن موثوقية النموذج تعتمد على ما إذا كانت الإشارة الداخلية من الأمر قوية ومنظمة بشكل صحيح للفوز بهذه اللحظات الحرجة من الاختيار. ومن خلال فهم هذه الآلية، نكتسب صورة أوضح لسبب عمل هذه الأدوات القوية أحياناً كمساعد مثالي وأحياناً أخرى ككاذب واثق، وكيف أن نفس الآلية الداخلية هي المسؤولة عن كلتا النتيجتين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.