NEST: Nested Event Stream Transformer for Sequences of Multisets
تقدم الورقة البحثية NEST، وهو محول تدفق أحداث متداخل (Nested Event Stream Transformer) يحافظ على البنية الهرمية لتسلسلات الأحداث (تسلسلات المجموعات متعددة العناصر) للتغلب على عدم الكفاءة الحسابية والقيود التمثيلية للنماذج المسطحة الحالية، وذلك باستخدام نموذج نمذجة المجموعات المقنعة (Masked Set Modeling) المبتكر لتعزيز كفاءة ما قبل التدريب والأداء في المهام اللاحقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول فهم التاريخ الطبي لمريض، أو ربما عادات تسوق أحد العملاء. في العالم الحقيقي، لا تحدث هذه الأحداث واحدًا تلو الآخر في خط مستقيم مثالي مثل حبات الخرز. بدلاً من ذلك، تحدث في مجموعات.
- في المستشفى: يرى الطبيب مريضًا (وهي "زيارة" أو "مقابلة طبية"). خلال تلك الزيارة، قد يخضع المريض لفحص دم، ووصفة طبية، وتشخيص، كل ذلك في وقت واحد. قد لا يكون الترتيب الدقيق لهذين الثلاثة أمراً مهماً، أو قد تكون السجلات غير مرتبة. لكن مجموعة الأحداث هذه تنتمي لتلك الزيارة المحددة.
- في متجر البقالة: يذهب العميل للتسوق. يضع الحليب، والخبز، والبيض في عربته. هذه "السلة" هي مجموعة. ترتيب الأشياء التي التقطها لا يهم؛ فالسلة ككل هي المهمة.
تحاول معظم نماذج الذكاء الاصطناعي الحالية (المعروفة باسم "المحولات" أو Transformers) تسطيح هذه المجموعات وتحويلها إلى خط واحد طويل من الأحداث. إنها تعامل الحليب والخبز والبيض كما لو أنها حدثت الواحد تلو الآخر، متجاهلة أنها كانت جزءًا من رحلة تسوق واحدة. هذا يشبه محاولة فهم فيلم من خلال النظر إلى قائمة بكل إطار (frame) على حد- سواء دون معرفة أي المشاهد تنتمي لبعضها البعض. وهذا أمر مكلف حاسوبيًا وغالبًا ما يفوت الصورة الأكبر.
إليك NEST (محول تدفق الأحداث المتداخل - Nested Event Stream Transformer).
قام مؤلفو هذه الورقة البحثية ببناء نموذج ذكاء اصطناعي جديد يسمى NEST يحترم هذه المجموعات الطبيعية. إليك كيف يعمل، باستخدام تشبيهات بسيطة:
1. الرقصة ذات الخطوتين (البنية الهيكلية)
بدلاً من تسطيح البيانات، يحافظ NEST على "المجموعات" (مثل زيارات المستشفى أو سلال التسوق) سليمة. إنه يستخدم عملية ذكية من خطوتين داخل كل طبقة من طبقات دماغه:
- الخطوة أ: اجتماع المجموعة (المشفر القائم على المجموعة - Set-Wise Encoder): أولاً، ينظر النموذج إلى مجموعة واحدة (مثل زيارة مستشفى واحدة) ويسمح لجميع الأحداث داخل تلك المجموعة بالتواصل مع بعضها البعض. إنه يستنتج ما حدث داخل تلك الزيارة. فكر في الأمر كاجتماع فريق حيث يناقش الجميع مهامهم المحددة.
- الخطوة ب: الطاولة المستديرة العالمية (المشفر عبر المجموعات - Cross-Set Encoder): بعد ذلك، ينظر النموذج إلى "قادة" كل مجموعة (رموز خاصة تسمى
[CLS]). يجتمع هؤلاء القادة لمشاركة ما حدث في مجموعاتهم مع بقية الجدول الزمني. يساعد هذا النموذج على فهم كيفية ارتباط الزيارة (أ) بالزيارة (ب).
الخدعة السحرية: معظم النماذج تقوم بالخطوة (أ) لجميع المجموعات، ثم الخطوة (ب) لجميع المجموعات. أما NEST فيقوم بهما بشكل متداخل. فهو يقوم بجزء من الخطوة (أ)، ثم جزء من الخطوة (ب)، ثم يعود إلى الخطوة (أ).
- لماذا هذا مهم: تخيل سباق تتابع. إذا ركضت الجزء الأول بالكامل قبل تمرير العصا، فقد تفقد بعض المعلومات في الطريق. NEST يمرر العصا ذهابًا وإيابًا باستمرار. هذا يضمن عدم ضياع أي تفصيل من حدث معين عند محاولة النموذج فهم الصورة الكبيرة. وتثبت الورقة البحثية رياضياً أن هذا "التجاوز" يحافظ على حيوية المزيد من المعلومات مقارنة بالطريقة القديمة.
2. "تقرير القائد" (نمذجة المجموعة المقنعة - Masked Set Modeling)
في الطريقة القديمة، بعد أن يعالج الذكاء الاصطناعي جميع البيانات، كان عليه أن يخمن كيفية تلخيص زيارة كاملة في درجة واحدة. كان ذلك يشبه طلب ملخص لفصل كامل من كتاب من طالب، ولكن مع إعطائه تلميحًا غامضًا فقط.
يقدم NEST لعبة تدريبية جديدة تسمى نمذجة المجموعة المقنعة (MSM).
- كيف تعمل: يُعرض على النموذج مجموعة من الأحداث (مثل سلة تسوق)، ولكن يتعين عليه تخمين محتويات تلك المجموعة بناءً على رمز "القائد"، بينما تكون العناصر الفعلية مخفية.
- النتيجة: هذا يجبر رمز "القائد" على أن يصبح ملخصًا مثاليًا للمجموعة بأكملة. وبدلاً من الحاجة إلى ملخص مشوش يعتمد على التخمين لاحقًا، يكون لدى النموذج بالفعل ملخص عالي الجودة جاهز للاستخدام لأي مهمة مستقبلية.
3. لماذا هو أفضل (النتائج)
اختبر المؤلفون NEST على بيانات من العالم الحقيقي:
- السجلات الطبية (EHR): استخدموا بيانات من مستشفيات (MIMIC-IV) وقاعدة بيانات خاصة لطب الأطفال.
- التسوق: استخدموا بيانات البقالة (Instacart).
النتائج:
- أسرع وأكثر رشاقة: لأن NEST يحترم المجموعات، فإنه لا يضطر لحساب الروابط بين كل حدث منفرد. إنه يحسب فقط الروابط داخل المجموعة وبين قادة المجموعات. وهذا يجعله أسرع ويستهلك ذاكرة حاسوبية أقل من النماذج القديمة، رغم امتلاكه قدرة أكبر ("قوة دماغية" أو بارامترات أكثر).
- تنبؤات أذكى: كان NEST أفضل في التنبؤ بأشياء مثل:
- هل سيموت المريض أثناء إقامته في المستشفى؟
- هل سيعاد إدخال المريض للمستشفى خلال 30 يومًا؟
- ما هي العناصر التي سيشتريها العميل لاحقًا؟
- لا حاجة لـ "المعالجة اللاحقة": نظرًا لأن النموذج تعلم تلخيص المجموعات أثناء التدريب، فإنه لم يكن بحاجة إلى استخدام حيل تقريبية (Heuristics) فوضوية بعد التدريب لفهم البيانات. كانت الملخصات جاهزة للاستخدام.
ملخص
فكر في NEST كنموذج يفهم أخيرًا أن السياق مهم. إنه يعرف أن فحص الدم ووصفة طبية تم تقديمهما خلال نفس زيارة المستشفى هما فريق واحد، وأن هذا الفريق جزء من قصة أكبر لحياة المريض. ومن خلال إبقاء هذه المجموعات معًا والسما_ح لها بالتواصل بكفاءة، يتعلم NEST بشكل أسرع، ويستخدم طاقة أقل، ويقدم تنبؤات أفضل من النماذج التي تحاول فرض كل شيء في خط واحد طويل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.