Deep Learning Models Also Recall Features

تُوصَف نماذج التعلم العميق، وهي المحركات القوية وراء الذكاء الاصطناعي الحديث، غالبًا بأنها شبكات شاسعة تتعلم من خلال تكديس الأنماط البسيطة لتكوين أفكار معقدة. لسنوات طويلة، فهم العلماء هذه الأنظمة من خلال عدسة محددة: فكرة "توليف الميزات" (feature combination). في هذا المنظور، يعمل الشبكة العصبية مثل طاقم بناء، يأخذ لبنات بناء أساسية — مثل الحواف في صورة أو أصوات بسيطة في جملة — ويقوم بتجميعها هرميًا في مفاهيم عالية المستوى مثل وجه أو كلمة. كان هذا الإطار مفيدًا للغاية في شرح كيفية تعرف الآلات على الأنماط، تمامًا كما يتعلم الطفل تحديد قطة من خلال ملاحظة الأذنين أولًا، ثم الفراء، ثم الحيوان بأكمله. ومع ذلك، يواجه هذا المنظور صعوبة في تفسير اللحظات التي لا تكتفي فيها النماذج بالتعرف على نمط ما، بل تبدو وكأنها تستخرج حقيقة محددة ومفصلة من العدم. فعندما يُطلب من نموذج لغوي كبير كتابة سيرة ذاتية لشخص مشهور، فإن الإجابة ليست مخبأة في السؤال بانتظار تجميعها؛ بل يبدو أن النموذج يسترجع ذاكرة مخزنة. وتجادل ورقة بحثية جديدة لبيير بيكمان بأن هذا الاسترجاع ليس استثناءً لقاعدة تجميع الأنماط، بل هو عملية أساسية ومتميزة تم التغافل عنها. يقترح بيكمان مفهومًا جديدًا يسمى "استدعاء الميزة" (feature recall)، مشيرًا إلى أن نماذج التعلم العميق تفعل أكثر من مجرد دمج المدخلات؛ فهي تعمل أيضًا كمكتبات تسترجع المعلومات المخزنة بناءً على محفز واحد.

تبدأ الورقة بفحص كيفية تعامل هذه النماذج مع الحقائق، وهي ظاهرة لوحظت بالفعل في الأبحاث الأخيرة ولكن لم تُشرح بالكامل من خلال الإطار القديم. لفهم هذه الآلية، يجب النظر إلى مساحة العمل الداخلية للنموذج، المعروفة باسم "المجرى المتبقي" (residual stream). تخيل هذا المجرى كتدفق مستمر للمعلومات حيث يتم بناء فهم النموذج لجملة أو صورة طبقة تلو الأخرى. وبينما تتحرك البيانات عبر الشبكة، تضيف أجزاء مختلفة من النظام تعديلات صغيرة على هذا التدفق، مما يؤدي فعليًا إلى كتابة تفاصيل جديدة على سبورة بيضاء مشتركة. هذه التعديلات تُوجَّه بواسطة اتجاهات محددة في المساحة الداخلية للنموذج، والتي يشبهها المؤلف بـ "المفاتيح المنزلقة" (sliders). يمثل كل مفتاح خاصية معينة، مثل مفهوم شخص معين أو كائن معين. عندما يعالج النموذج مدخلًا ما، فإنه يضبط هذه المفاتيح، برفعها أو خفضها لتعكس ما هو موجود.

الرؤية الجوهرية في عمل بيكمان هي كيفية استخدام النموذج لهذه المفاتيح لتوليد الإجابات. في المنظور التقليدي لتوليف الميزات، ينظر النموذج إلى مجموعة من المدخلات ويمزجها معًا لإنشاء مخرج جديد. ولكن في حالة استدعاء الحقائق، تعمل العملية بشكل مختلف. هنا، يعمل مدخل محدد كمفتاح يفتح مجموعة من المعلومات المخزنة مسبقًا. توضح الورقة ذلك بمثال اسم "مايكل جوردان". فعندما يواجه النموذج هذا الاسم، فإنه لا يكتفي بدمج الحروف أو الأصوات لتكوين فكرة جديدة، بل إن تنشيط ميزة "مايكل جوردان" يحفز استرجاعًا مباشرًا للحقائق المرتبطة به والمخزنة في أوزان النموذج، مثل "يلعب كرة السلة" أو "شيكاغو بولز". تعمل أوزان النموذج، وهي المعلمات المتعلمة التي تحدد معرفته، كمستودع. وعند تنشيط الميزة الصحيحة، فإنها ترفع من قيمة صف محدد من هذه القيم المخزنة، مما يسحب الحقائق ذات الصلة إلى السياق الحالي. وهذا يختلف عن عملية البناء في توليف الميزات؛ إنه عملية استرجاع حيث يعمل المدخل كمحفز للمعلومات الموجودة بالفعل داخل النظام.

يجادل بيكمان بأن هذه الآلية لا تقتصر على النماذج اللغوية أو الحقائق المتعلقة بالأشخاص. ويقترح أن "استدعاء الميزة" هو عملية عامة تنطبق على جميع بنيات التعلم العميق، بما في ذلك تلك المستخدمة في التعرف على الصور. ولإثبات ذلك، يقارن عملية الاسترجاع بالمثال الكلاسيكي لشبكة عصبية تلافيفية تكتشف دائرة في صورة. في ذلك السيناريو، تجمع الشبكة ميزات منخفضة المستوى، مثل المنحنيات والخطوط، لتحديد شكل ما. الأوزان في تلك الحالة تحدد النمط الذي يجب البحث عنه. أما في استدعاء الميزة، فإن الأوزان تحدد المعلومات التي يجب استرجاعها بمجرد العثور على النمط. إذا اكتشف نموذج مُدرب على الأرقام المكتوبة بخط اليد شكلًا دائريًا، فقد يستخدم هذا الاكتشاف لاستدعاء احتمال أن الرقم هو صفر، أو ستة، أو ثمانية، أو تسعة. الميزة المدخلة — الدائرة — تحفز استرجاع هذه الاحتمالات المحددة. وتفترض الورقة أنه بينما يفسر "توليف الميزات" كيفية بناء النماذج للتعقيد، فإن "استدعاء الميزة" يفسر كيفية وصولها إلى كميات هائلة من المعلومات التي تعلمتها، مما يسمح لها بإنتاج مخرجات غنية ومفصلة من مدخلات ضئيلة جدًا.

يتناول المؤلف أيضًا ارتباكًا محتملاً: بما أن الرياضيات وراء هذه العمليات يمكن رؤيتها بطريقتين مختلفتين، فهل التمييز حقيقي أم أنه مجرد مسألة وجهة نظر؟ من الناحية الرياضية، يمكن وصف نفس الحساب كعملية دمج مدخلات أو استرجاع صفوف مخزنة. يقر بيكمان بهذا الغموض ولكنه يجادل بأن التمييز ذو معنى إذا نظرنا إلى بنية الاتصالات. وهو يقترح طريقة للتمييز بينهما من خلال قياس مدى تركيز الاتصالات. في توليف الميزات، تساهم مدخلات عديدة في مخرج واحد، مما يخلق شبكة كثيفة من الاتصالات. أما في استدعاء الميزة، فيهيمن مدخل واحد على المخرج، مما يخلق اتصالاً متفرقًا حيث يسحب محفز واحد مجموعة محددة من الارتباطات المخزنة. وتقترح الورقة أن الباحثين يمكنهم استخدام هذا الاختلاف في الاتصال لتحديد أي أجزاء من النموذج تعمل كأنظمة استرجاع وأيها تعمل كأنظمة بناء. وبينما لم يتم إثبات ذلك بالكامل في كل حالة بعد، إلا أن المؤلف يحدد كيف يمكن إجراء مثل هذا الاختبار، مما يفتح مسارًا للأبحاث المستقبلية لتحديد ما إذا كانت هذه حقًا أنماط تشغيل منفصلة.

بعيدًا عن الميكانيكا التقنية، تقدم الورقة طريقة جديدة للتفكير فيما "تعرفه" هذه النماذج. يرسم المؤلف تشابهًا بين الذاكرة البشرية والحالة الداخلية للنموذج. ويقترح أن المعلومات المخزنة في الأوزان، والتي لا تُسترجع إلا عند تحفيزها، تشبه "الاعتقاد الاستعدادي" (dispositional belief) — وهي قطعة من المعرفة توجد حتى عندما لا تكون قيد الاستخدام حاليًا. وهذا يتناقض مع المعلومات النشطة الموجودة في المعالجة الحالية للنموذج، والتي تشبه "الاعتقاد الحاضر" (occurrent belief). ومن خلال التمييز بين هذين المفهومين، توفر الورقة إطارًا للفلاسفة والعلماء لفهم طبيعة الاعتقاد والمعرفة في الأنظمة الاصطناعية بشكل أفضل. وهي تشير إلى أن هذه النماذج لا تعالج البيانات في اللحظة فحسب، بل تحمل استعدادًا قائمًا من الحقائق والارتباطات التي يمكن استدعاؤها في أي وقت.

في النهاية، لا تدعي الورقة أن "استدعاء الميزة" يحل محل فكرة "توليف الميزات". بدلاً من ذلك، تقدمها كعنصر مكمل ضروري. فتمامًا كما تحتوي المكتبة على كل من الكتب (المعلومات المخزنة) وعملية قراءتها (الاسترجاع)، فإن نماذج التعلم العميق تعتمد على الأمرين معًا: دمج الميزات لفهم المدخلات الجديدة، واستدعاء الميزات المخزنة لتوليد استجابات مفصلة. إن هذا العمل يدعو الباحثين للنظر إلى ما وراء بناء الأنماط والاعتراف باسترجاع المعرفة المخزنة كعملية أساسية. ومن خلال القيام بذلك، فإنه يفتح أسئلة جديدة حول كيفية تعلم هذه النماذج، وكيفية تخزين المعلومات، وكيف يمكننا تفسير آليات عملها الداخلية. يظل هذا التمييز فرضية تتطلب مزيدًا من الاختبار التجريبي، لكنه يقدم صورة أوضح وأكثر بديهية لكيفية إنتاج الذكاء الاصطناعي للمخرجات المفاجئة والمفصلة التي تميز تطبيقاته الأكثر تقدمًا.