Understanding Verbatim Memorization in LLMs Through Circuit Discovery
تستخدم هذه الورقة البحثية التفسير الآلي واكتشاف دوائر المحولات للكشف عن أن رسومًا بيانية عصبية متميزة هي المسؤولة عن بدء مقابل الحفاظ على الحفظ الحرفي في النماذج اللغوية الكبيرة، حيث يكون البدء معتمدًا على السياق بينما تنتقل آليات المنع بقوة عبر المجالات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل نموذج لغة كبير (LLM) كأنه مكتبة ضخمة ومنظمة للغاية حيث تُخزن فيها كل الكتب التي كُتبت على الإطلاق. أحياناً، عندما تسأل أمين المكتبة سؤالاً، لا يكتفي بتلخيص القصة فحسب، بل يلقي فقرة من كتاب بكلماتها حرفياً. هذا ما يسمى بـ "الحفظ عن ظهر قلب" (Memorization).
هذه الورقة البحثية تشبه فريقاً من المحققين يحاولون اكتشاف كيف يقرر أمين المكتبة البدء في استرجاع ذلك الكتاب بالضبط، وكيف يستمر في ذلك. وبدلاً من مجرد التخمين، استخدموا أداة خاصة تسمى "اكتشاف الدوائر" (circuit discovery) لرسم خرائط للمسارات الكهربائية المحددة داخل عقل أمين المكتبة التي تتعامل مع هذه المهمة.
إليك تفصيل نتائجهم باستخدام تشبيهات بسيطة:
1. الوظيفتان المختلفتان: "مفتاح التشغيل" و"جهاز المشي"
أدرك الباحثون أن حفظ جملة ليس مجرد إجراء واحد كبير، بل هو في الواقع خطوتان متميزتان، مثل تشغيل آلة ثم الحفاظ على استمرار عملها.
- "مفتاح التشغيل" (قرار الحفظ): هي اللحظة التي ينظر فيها النموذج إلى طلبك ويقرر: "مهلاً، أنا أعرف هذه الجملة بالضبط! دعنا ننسخها".
- "جهاز المشي" (مقارنة الفرع): بمجرد أن يبدأ النموذج في النسخ، يكون هذا هو الآلية التي تبقيه مستمراً على نفس المسار، كلمة بكلمة، دون أن يتشتت.
2. العمل التحقيقي: العثور على الدوائر الصغيرة
للعثัง على هذه الآليات، ابتكر الباحثون لعبة "البحث عن الفروق". قدموا للنموذج مطالب متشابهة جداً:
- المطالب النظيف (Clean Prompt): جملة تبعد خطوة واحدة فقط عن تحفيز استجابة محفوظة.
- المطالب الفاسد (Corrupted Prompt): جملة تبدو مشابهة ولكنها تؤدي بالنموذج إلى إجابة مختلفة تماماً وغير محفوظة.
من خلال تبديل "النشاط الدماغي" (التنشيطات) بين هذين المطلبين، استطاعوا رؤية أي الأسلاك الصغيرة (الدوائر) كانت مسؤولة عن عملية التبديل. وقد وجدوا شيئين مفاجئين:
- "مفتاح التشغيل" هو متحكم رئيسي: مجموعة الأسلاك الصغيرة المسؤولة عن بدء الحفظ قوية بما يكفي لـ استمرار العملية. إذا عبثتم بـ "مفتاح التشغيل"، سيتوقف النموذج عن الحفظ تماماً.
- "جهاز المشي" هو طريق اتجاه واحد: الأسلاك المسؤولة عن إبقاء النموذج على المسار المحفوظ (بمجرد بدئه بالفعل) لا يمكنها بدء العملية بمفردها. إنها تشبه جهاز المشي الذي يعمل فقط إذا كان هناك شخص يركض عليه بالفعل؛ لا يمكنها تشغيل المحرك.
3. "زر الإيقاف العالمي" مقابل "زر التشغيل الخاص بالسياق"
اختبر الباحثون ما إذا كانت هذه الدوائر تعمل مع أنواع مختلفة من النصوص (مثل الأكواد البرمجية، أو رسائل البريد الإلكتروني، أو صفحات الويب)، وليس فقط ويكيبيديا.
- "زر الإيقاف العالمي": الدوائر التي تمنع الحفظ (إيقاف النموذج عن الاسترجاع) كانت تعمل في كل مكان. سواء كان النص يتعلق بأكواد GitHub أو رسائل بريد إلكترون، فإن نفس "المكابح" يمكن تطبيقها لإيقاف النموذج عن الاسترجاع.
- "زر التشغيل الخاص بالسياق": الدوائر التي تسبب الحفظ كانت انتقائية. فما يحفز النموذج لحفظ جملة في بريد إلكتروني لا يحفزه بالضرورة لحفظ جملة في ملف برمجي. آلية "البدء" تعتمد بشدة على نوع النص المحدد.
4. الخلاصة الكبرى: كسر "المحفز" أسهل من كسر "الذاكرة"
الاستنتاج الأكثر إثارة للاهتمام يتعلق بكيفية التحكم في هذا السلوك.
وجد الباحثون أنه من الأسهل بكثير كسر "مفتاح التشغيل" (منع النموذج من اتخاذ قرار الحفظ) من محاولة إجبار النموذج على حفظ شيء جديد.
لقد شبهوا ذلك بنظام أمني في منزل:
- المعلومات المخزنة (الكتب في المكتبة) يصعب جداً تغييرها أو مسحها.
- ومع ذلك، فإن المحفز (المفتاح الذي يفتح الباب إلى المكتبة) هش. إذا عبثت بالمفتاح، ستظل المكتبة مغلقة، رغم أن الكتب لا تزال موجودة بالداخل.
باختاً، تشير الورقة البحثية إلى أنه إذا أردنا منع الذكاء الاصطناعي من تسريب المعلومات الخاصة أو النصوص المحمية بحقوق الطبع والنشر، فلا ينبغي لنا محاولة حذف الذاكرة (وهو أمر صعب). بدلاً من ذلك، يجب أن نركز على إيجاد وتعطيل "دوائر المحفز" المحددة التي تقرر متى يبدأ الاسترجاع، لأن تلك هي نقاط الضعف التي تعمل عبر أنواع مختلفة من النصوص.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.