Latent States in Neural Networks: Recovering the Temporal Structure of Drifting Data from Model Weights

المذكرات السرية لآلة تعلم

تخيل أنك تراقب نهرًا. للعين المجردة، يبدو الماء كتيار واحد مستمر ومتدفق. ولكن إذا كنت سمكة تعيش هناك، فقد تلاحظ أن التيار يتغير فجأة: في دقيقة يكون تدفقًا لطيفًا ودافئًا مليئًا بالأسماك الصغيرة، وفي الدقيقة التالية يصبح اندفاعًا باردًا ومضطربًا مع مفترسات كبيرة. في عالم الذكاء الاصطناعي، تتعلم الحواسيب من خلال النظر إلى تيارات البيانات، مثل نهر من المقالات الإخبارية أو مراجعات العملاء. عادةً، نفترض أن هذه البيانات تتغير ببطء وسلاسة، مثل النهر المتدفق. ولكن ماذا لو كانت البيانات تقفز بالفعل بين "أنظمة" مختلفة أو مراحل متميزة، تمامًا مثل النهر الذي ينتقل من الهدوء إلى العاصفة؟

هنا يأتي دور فكرة "الحالات الكامنة". فكر في الحالة الكامنة كأنها مزاج خفي أو فصل سري في قصة لا يمكنك رؤيتها مباشرة، ولكن يمكنك تخمينها من خلال مراقبة سلوك الشخصيات. لقد عرف العلماء منذ زمن طويل أن الأدمغة البشرية تفعل شيئًا مشابهًا: عندما نختبر تيارًا مستمرًا من الحياة، تقوم أدمغتنا تلقائيًا بتقسيمه إلى "أحداث" أو مشاهد منفصلة لمساعدتنا على تذكرها وفهمها. يسأل هذا البحث سؤالًا رائعًا: هل تفعل الشبكات العصبية الاصطناعية (أدمغة الذكاء الاصطناعي) الشيء نفسه؟ إذا تم تغذية ذكاء اصطناعي بتيار من البيانات التي تتغير بمرور الوقت، فهل يعيد "دماغه" الداخلي (أوزانه الرياضية) تنظيم نفسه في مراحل متميزة، حتى لو لم نطلب منه صراحةً البحث عن تلك المراحل؟ إذا استطعنا العثور على هذه المراحل الخفية، فقد يساعدنا ذلك في بناء ذكاء اصطناعي أكثر ذكاءً، يعرف بالضبط متى يتوقف عن الثقة في الدروس القديمة ويبدأ في تعلم دروس جديدة.

قصة الورقة البحثية: قراءة عقل ذكاء اصطناعي متقلب

في هذه الدراسة، عامل الباحثون تيارًا من البيانات كأنه مذكرات تسافر عبر الزمن. لم يقوموا فقط بتدريب نموذج ذكاء اصطناعي واحد كبير على كل شيء دفعة واحدة. بدلاً من ذلك، أخذوا نوعين مختلفين تمامًا من تيارات البيانات: مجموعة من منشورات "ريديت" حول المعلومات المضللة (Fakedit)، وكمية هائلة من مراجعات مطاعم "يلب" (Yelp). قاموا بتقطيع هذه التيارات إلى 35 و56 نافذة زمنية منفصلة، على التوالي، مثل قطع فيلم طويل إلى مشاهد فردية. ولكل مشهد، قاموا بتدريب مصنف ذكاء اصطناعي جديد من الصفر.

بمجرد حصولهم على هذه النماذج، لم ينظروا إلى ما "تقوله" النماذج (توقعاتها)؛ بل نظروا إلى ما "هي عليه" (أوزانها الداخلية). تخيل كل نموذج كمنحوتة فريدة مصنوعة من ملايين الخرزات الطينية الصغيرة. قام الباحثون بفرد هذه المنحوتات إلى سلاسل طويلة من الأرقام ثم استخدموا أداة رياضية خاصة تسمى "نموذج ماركوف الخفي" (HMM) للعثور على أنماط في ترتيب هذه السلاسل. كانوا يبحثون عن اللحظة التي يتغير فيها شكل "الطين" فجأة، مما يشير إلى أن النموذج قد دخل في "حالة كامنة" جديدة.

ما وجدوه
كانت النتائج أشبه بالعثور على خريطة سرية مخبأة داخل الطين. نجح نموذج ماركوف الخفي (HMM) في تحديد مراحل متميزة في الجدول الزمني؛ فبالنسبة لمجموعة بيانات "ريديت"، وجد 11 حالة متميزة؛ وبالنسبة لمجموعة بيانات "يلب"، وجد 16 (رغم أنه تم زيارة 15 منها فقط فعليًا).

كان الاكتشاف الأكثر إثارة هو أن هذه الحالات الخفية لم تكن مجرد حيل رياضية عشوائية؛ بل كانت مهمة حقًا لكيفية أداء الذكاء الاصطناعي. اختبر الباحثون ذلك عبر أخذ نموذج تم تدريبه في نافذة زمنية معينة، وسؤاله عن التنبؤ ببيانات من نافذة زمنية مختلفة. ووجدوا قاعدة واضحة: نماذج الذكاء الاصطناعي تعمل بشكل أفضل بكثير في التعميم عندما تنتمي بيانات التدريب وبيانات الاختبار إلى نفس "الحالة الخفية".

فكر في الأمر هكذا: إذا تعلمت ركوب الدراجة على مسار مستوٍ ومشمس (الحالة أ)، فستبلي بلاءً حسنًا إذا اختبرت نفسك على مسار آخر مستوٍ ومشمس (أيضًا الحالة أ). ولكن إذا حاولت الركوب على مسار طيني ممطر (الحالة ب) مباشرة بعد ذلك، فمن المرجح أن تسقط. أظهرت الورقة أنه حتى عندما تكون الفترات الزمنية قريبة من بعضها، فإن "الحالة" هي المتنبئ الحقيقي بالنجاح. إذا كانت نوافذ التدريب والاختبار في نفس الحالة، فإن أداء الذكاء الاصطناعي يتحسن بشكل ملحوظ. أما إذا كانا مفصولين بحدود حالة، فإن الأداء ينخفض.

السبب وراء النتيجة
كان الباحثون فضوليين: ما الذي تتبعه هذه الحالات بالضبط؟ هل كان الأمر يتعلق فقط بشكل الرياضيات في دماغ النموذج، أم كان متعلقًا بمحتوى البيانات نفسها؟ قارنوا بين المسافة بين أوزان النماذج والفرق في محتوى البيانات (تحديدًا، مدى تكرار ظهور أنواع معينة من المنشورات أو المراجات).

لدهشتهم، تتبعت الحالات الخفية محتوى البيانات بشكل وثيق أكثر من هندسة الرياضيات. ففي مجموعة بيانات "ريديت"، تماشى التوافق مع التحولات في أنواع المعلومات المضللة التي يتم نشرها بشكل شبه مثالي. أما في مجموعة بيانات "يلب"، حيث كانت أنواع المراجعات أكثر استقرارًا، فقد كان العثور على الحالات أصعب وكان التأثير أضعف. وهذا يشير إلى أن "مزاج" الذكاء الاصطناعي الداخلي يتغير كلما غير العالم الذي يراقبه نبرته، حتى لو لم يكن الذكاء الاصطناعي يعرف صراحةً لماذا تغير العالم.

ما ليس كذلك
حرصت الورقة على استبعاد بعض التفسيرات البسيطة. أولاً، أثبتوا أن هذا لم يكن لمجرد أن البيانات كانت "حديثة"؛ فحتى عندما تحكموا في مدى قرب نافذتين زمنيتين من بعضهما، ظلت ميزة "نفس الحالة" قائمة. ثانيًا، أظهروا أن مجرد تقسيم الجدول الزمني إلى قطع متساوية الحجم (مثل قطع كعكة إلى 11 شريحة متساوية) لم يكن فعالًا بقدر طريقة (HMM) الذكية. لقد وجد (HMM) الحدود الصحيحة، وليس مجرد أي حدود.

أخيرًا، اختبروا ما إذا كانت "الحالة" مجرد طريقة منمقة للقول بأن "توزيع البيانات قد تغير". أجروا فحصًا إحصائيًا معقدًا لمعرفة ما إذا كانت الميزة ستختفي بمجرد مراعاة الاختلاف في توزيعات البيانات. في مجموعة بيانات "ريديت"، استمرت الميزة بقوة، وفي مجموعة بيانات "يلب"، استمرت بشكل ضعيف ولكن ملموس. وهذا يعني أن الحالات تلتقط شيئًا حقيقيًا حول بنية البيانات يتجاوز مجرد عد كم عدد المنشورات "المزيفة" أو "الإيجابية".

الخلاصة

تشير هذه الورقة إلى أن الشبكات العصبية الاصطناعية، تمامًا مثل الأدمغة البشرية، تقسم بشكل طبيعي تيار الخبرات المتغير إلى فصول متماسكة. ومن خلال النظر إلى "الأوزان" (المنحوتات الطينية الداخلية) للنماذج المدربة على فترات زمنية مختلفة، يمكننا استعادة هذه الفصول الخفية. لا تدعي الورقة أنها حلت جميع مشاكل الذكاء الاصطناعي، لكنها تقدم طريقة جديدة وقوية للاستماع إلى تيار البيانات. إنها تخبرنا أنه عندما يتغير الهيكل الداخلي للذكاء الاصطناعي، فغالبًا ما يكون ذلك علامة على أن العالم الخارجي قد تغير أيضًا، وهذه هي اللحظة المثالية لتحديث فهمنا.