Gathered, Not Admitted: How Attention Brings a Latent Variable into Verbalizable Form
تتحدى هذه الورقة فرضية "بوابة القبول" للوصول إلى المتغيرات الكامنة في النماذج اللغوية، مبرهنةً بدلاً من ذلك على أن آليات الانتباه القائمة على الطلب تجمع المعلومات ضمن نافذة محددة في العمق المتوسط لجعل المتغيرات قابلة للتقرير لفظياً، وهي عملية تختلف عن المنفعة الفعلية للمتغير بالنسبة للإجابة النهائية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
داخل البنية المعمارية الشاسعة والصامتة لنموذج لغوي حديث، يوجد عالم خفي من المعلومات قبل وقت طويل من نطق الآلة بكلمة واحدة. تُدرب هذه النماذج على محيطات من النصوص، حيث تتعلم التنبؤ بما سيأتي لاحقاً عبر نسج أنماط اللغة والمنطق والحقائق معاً. وعندما يُسأل النموذج سؤالاً، فإنه لا يبحث ببساطة في قاعدة بيانات؛ بل يبني تمثيلاً داخلياً للإجابة، وهو متغير كامن يحمل المعنى المحدد المطلوب للمهمة. لسنوات، تساءل الباحثون كيف تصبح هذه المعلومات الخفية مرئية. كانت البديهة السائدة تشير إلى آلية بسيطة: المعلومة موجودة دائماً، تقبع في الذاكرة الداخلية للنموذج، تنتظر فتح بوابة لتخرج منها. في هذا المنظور، يعمل النموذج مثل أمين مكتبة يمتلك الكتاب بالفعل على الرف، ويقرر ببساطة تسليمه عند الطلب.
قام باحث في جامعة كاليفورنيا، سانتا كروز، باختبار فكرة "البوابة" هذه باستخدام نموذج لغوي كبير يسمى Qwen3.6. صمم سلسلة من التجارب حيث أُعطي النموذج القصة نفسها بالضبط ولكن طُرحت حولها أسئلة مختلفة. في بعض الحالات، احتاج النموذج إلى استخدام قطعة محددة من المعلومات من القصة لحل لغز ما؛ وفي حالات أخرى، احتاج إلى الإبلاغ عن تلك المعلومة مباشرة؛ وفي حالة ضابطة، سُئل عن سؤال لا يتطلب أي معرفة بالقصة على الإطلاق. ومن خلال قياس الحالة الداخلية للنموذج بدقة عند كل خطوة من خطوات معالجته، تمكنوا من رؤية متى وكيف أصبحت المعلومات الخفية متاحة للإجابة النهائية.
ما وجدوه قلب نظرية البوابة البسيطة رأساً على عقب. لم تكن المعلومة الخفية تقبع في ذاكرة النموذج بانتظار فك قفلها. بدلاً من ذلك، قام النموذج بجمع المعلومات بنشاط من جزء بعيد في تدفقه الداخلي ونقلها إلى المكان المحدد الذي ستتشكل فيه الإجابة. لم تحدث عملية الجمع هذه في كل مكان أو في كل وقت؛ بل حدثت ضمن نافذة محددة للغاية في منتصف طبقات المعالجة للنموذج، تقريباً بين الطبقة 36 و42 من أصل 64 طبقة. تحت هذه النافذة، كانت المعلومة موجودة ولكنها لم تستطع الصمود في رحلتها إلى النهاية؛ وفوقها، كانت المعلومة قد اختفت أو دُمِّرت بالفعل. قام النموذج بعملية الجمع هذه فقط عندما تتطلب المهمة ذلك فعلياً. وعندما سُئل النموذج سؤالاً لا يتطلب معرفة بالقصة، لم تحدث عملية الجمع إلا نادراً، حيث بذل جهداً أقل بسبع مرات مما بذله عندما كانت المعلومة مطلوبة.
اكتشفوا أن عملية النقل هذه تمت بالكامل تقرياً بواسطة آلية الانتباه في النموذج، وهي الجزء من النظام الذي يقرر الأجزاء التي يجب التركيز عليها من المدخلات. أما المكون الرئيسي الآخر، وهو الشبكة الأمامية (feed-forward network) التي تعمل كمعالج محلي، فلم تساعد في نقل المعلومات؛ بل على العكس، عملت ضد عملية النقل في الطبقات الوسطى حيث حدث الجمع. لم تكن المعلومة تُكشف من موقع ثابت؛ بل كانت تُنقل مادياً، مثل ساعي بريد يحمل طرداً من مستودع إلى شاحنة توصيل. كان هذا التحرك دقيقاً للغاية لدرجة أن النموذج استطاع تركيز المعلومات في الطبقات الوسطى بكثافة تزيد بسبعة عشر ضعفاً عن أي مكان آخر في النظام.
والأهم من ذلك، أظهروا أن كمية المعلومات المرئية في الحالة الداخلية للنموذج لا تتطابق دائماً مع مدى فائدة تلك المعلومات للإجابة النهائية. وجدوا أن ثلاثة أجزاء مختلفة من النموذج يمكنها تغيير الإشارة الداخلية بمقدار متقارب تقريباً، ومع ذلك اختلف تأثيرها الفعلي على الإجابة النهائية بمعامل قدره سبعة. وهذا يعني أن مجرد رؤية إشارة قوية في الحالة الداخلية للنموذج ليس كافياً لمعرفة ما إذا كان النموذج يستخدم تلك المعلومة بشكل صحيح أم لا. فحجم الإشارة لا يروي القصة الكاملة لكيفية تفكير النموذج.
كما كشفت الدراسة أن نافذة الجمع هذه هي ميزة أساسية في تصميم النموذج، حيث تظهر عند نفس العمق النسبي في نماذج مختلفة، بما في ذلك بنية كثيفة مكونة من 62 طبقة. وقد أكدوا أن المعلومة لم تكن موجودة فحسب، بل كانت ضرورية سببياً؛ فإذا منعوا عملية النقل في الطبقات الوسطى، فشل النموذج في الإجابة بشكل صحيح. ومع ذلك، أشاروا أيضاً إلى أن عملية الجمع هذه كانت ضرورية ولكنها ليست كافية بمفردها؛ إذ لا يزال يتعين على النموذج إجراء حسابات أخرى لإنتاج الإجابة النهائية. يشير هذا العمل إلى أن النموذج ليس لديه مساحة عمل ثابتة حيث تجلس المعلومات بانتظار السماح لها بالدخول. بدلاً من ذلك، يقوم بتجميع القطع التي يحتاجها ديناميكياً، وينقلها إلى مكانها فقط عندما تتطلب المهمة ذلك، وهي عملية أكثر نشاطاً وانتقائية مما كان يُتصور سابقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.