LEED: Local Embedding Evolution Distance for over-smoothing estimation and virtual node selection in GNN

تخيل أنك تحاول تعليم مجموعة من أصدقائك كيفية حل لغز من خلال جعلهم يتهامسون بالدلالات لبعضهم البعض. هذا هو جوهر عمل الشبكات العصبية الرسومية (GNNs). في عالم علوم الحاسوب، "الرسم البياني" (Graph) هو مجرد خريطة للاتصالات — مثل شبكة اجتماعية حيث يمثل الناس النقاط وتمثل الصداقات الخطوط. الشبكات العصبية الرسومية هي برامج ذكية تتعلم عبر تمرير المعلومات على طول هذه الخطوط، طبقة تلو الأخرى، لفهم الصورة الكاملة.

ومع ذلك، هناك مشكلتان تقنيتان في هذه اللعبة. الأولى هي "التنعيم المفرط" (over-smoothing). إذا همست بسر ما حول دائرة كبيرة مرات عديدة جداً، فسينتهي الأمر بسماع الجميع لنفس الشيء تماماً، وتضيع التفاصيل الفريدة حتى لا يعود أحد قادراً على تمييز من قال ماذا. الثانية هي "الضغط المفرط" (over-squashing). تخيل محاولة حشر قصة ضخمة ومعقدة في ممر ضيق وصغير جداً لتصل إلى الجانب الآخر؛ ستتعرض المعلومات للضغط أو التشوه أو الضياع تماماً لأن المسار مزدحم للغاية أو طويل جداً. لقد حاول العلماء إصلاح هذه المشكلات لسنوات، غالباً عن طريق إضافة "عُقد افتراضية" — أصدقاء خارقون وهميون يمكنهم الاتصال فوراً بالأجزاء البعيدة من المجموعة لتسريع العملية. لكن السؤال الكبير كان دائماً: أي أصدقاء يجب أن يحصلوا على هذه القوى الخارقة؟ عادةً، كان الباحثون يخمنون أو يجربون مجموعة مختلفة من القواعد ليروا ما الذي سيعمل بشكل أفضل.

يقدم هذا البحث أداة ذكية جديدة تسمى LEED (مسافة تطور التضمين المحلي) لحل لعبة التخمين هذه. فكر في LEED كأنه ميكروفون فائق الحساسية يستمع بدقة إلى كيفية تغير "صوت" كل صديق على حد من الأصدم (تمثيل بياناته) أثناء انتقال الرسالة عبر المجموعة. فبدلاً من مجرد النظر إلى الحشد بأكمله لمعرفة ما إذا كان الجميع يبدون متشابهين، يقوم LEED بالتركيز على كل شخص بمفرده ليرى من الذي يضيع في الضجيج أو من الذي يعلق في عنق زجاجة. وجد المؤلفون أنه من خلال استخدام LEED لاختيار أهم "العُقد الحرجة" لتصبح أصدقاء خارقين افتراضيين، استطاعوا حل مشكلة الضغط دون التسبب عرضياً في مشكلة التنعيم. وأظهرت تجاربهم على ست مجموعات بيانات مختلفة أن هذه الطريقة الجديدة تساعد الحاسوب على التعلم بشكل أفضل وأسرع من ألعاب التخمين القديمة، مما يثبت أن الاستماع بدقة إلى تفاصيل المحادثة هو المفتاح لإصلاح النظام بأكمله.

قصة شبكة الهمس

دعونا نتعمق أكثر في سحر هذه الشبكات الرقمية. يمكنك التفكير في الشبكة العصبية الرسومية كأنها لعبة "الهاتف المكسور" (Telephone) ضخمة، ولكن بدلاً من أغنية سخيفة، يقوم اللاعبون بتمرير بيانات معقدة عن جزيء، أو استشهاد، أو اتصال اجتماعي. في اللعبة القياسية، إذا مررت رسالة عبر الكثير من الأشخاص، فستصبح مشوشة. في الشبكة العصبية الرسومية، إذا مررت المعلومات عبر طبقات كثيرة جداً، تبدأ الميزات الفريدة لكل عقدة (النقاط) في التداخل والاندماج حتى تبدو جميعها متطابقة. هذا هو التنعيم المفرط. إنه يشبه لو بدأ كل طالب في فصلك بارتداء نفس الزي تماماً وقول نفس العبارة الشهيرة؛ فلن تتمكن من تمييز صديقك المفضل عن الغريب بعد الآن.

ثم هناك المشكلة المعاكسة: الضغط المفرط. يحدث هذا عندما يتعين على رسالة ما أن تنتقل من جانب إلى آخر في رسم بياني ضخم، لكن المسار يكون ضيقاً. تخيل محاولة إرسال رسالة مكونة من 50 صفحة عبر فتحة بريد صغيرة لا تتسع إلا لبطاقة بريدية. ستتعرض المعلومات للحشر والضغط والتشوه. في مصطلحات الرسم البياني، يحدث هذا عند "عناق الزجاجة" (bottlenecks) — وهي الأماكن التي تضطر فيها عقدة واحدة أو عدد قليل من الحواف إلى حمل الكثير من حركة المرور من أجزاء بعيدة في الشبكة.

لإصلاح هذه المشكلات، جرب العلماء إضافة عُقد افتراضية. فكر في هذه العُقد كـ "موصلات خارقة" أو "أجهزة نقل آني". إذا أضفت صديقاً سحرياً متصلاً بالجميع، فلن تضطر الرسالة للسفر عبر المسار الطويل والمتعرج للمجموعة الأصلية؛ بل يمكنها فقط الانتقال إلى الناقل الآني والقفز إلى الوجهة. هذا يحل مشكلة الضغط من خلال تقصير المسافة. ولكن هنا تكمن العقبة: إذا اخترت الشخص الخطأ ليكون الناقل الآني، أو إذا أضفت الكثير منهم، فقد تتسبب بالخطأ في جعل مشكلة "التنعيم المفرط" أسوأ. قد تجعل الجميع يبدون متشابهين بسرعة أكبر.

لفترة طويلة، اختار الباحثون هذه العُقد الخاصة باستخدام قواعد قديمة، مثل "من لديه أكبر عدد من الأصدقاء؟" (الدرجة - Degree) أو "من يقع على أكبر عدد من أقصر المسارات؟" (البينية - Betweenness). كانوا يجربون مجموعة من هذه القواعد، ويجرون التجربة، ثم يرون أي منها أعطى أفضل نتيجة. كان الأمر يشبه محاولة العثور على المفتاح الأفضل لقفل ما عن طريق اختبار كل مفتاح في ميدالية ضخمة دون معرفة أي واحد منها يناسب القفل فعلياً.

دخول LEED: عدسة المحقق المكبرة

قرر مؤلفا هذا البحث، كيليان كريسانت وبيدرو ب. فيلوسو، التوقف عن التخمين. لقد بنوا مقياساً جديداً يسمى LEED (مسافة تطور التضمين المحلي). بدلاً من النظر إلى الرسم البياني بأكمله لمعرفة ما إذا كانت الأمور تصبح ضبابية، يعمل LEED كعدسة مكبرة لكل عقدة على حدة. فهو يتتبع بدقة كيفية تطور "تضمين" (embedding) العقدة (تمثيلها الداخلي لنفسها) أثناء مرورها عبر كل طبقة من طبقات الشبكة.

وهذا هو الجزء الذكي: لا يقيس LEED المسافة بين العقدة وجيرانها فحسب؛ بل يقيس المسافة الأدنى لجيرانها بعد عملية تحويل تحاكي كيفية معالجة الشبكة للمعلومات. إنه يشبه التحقق مما إذا كان جواب الطالب يصبح مشابهاً جداً لجواب جاره، ولكن مع التركيز تحديداً على أقرب تطابق ليرى ما إذا كانوا قد بدأوا في تقليد بعضهم البعض بشكل مفرط.

من خلال القيام بذلك، يمكن لـ LEED رصد شيئين في آن واحد:

1. من الذي يضيع؟ (العُقد التي تصبح متشابهة جداً مع الآخرين، مما يشير إلى التنعيم المفرط).
2. من هو عنق الزجاجة؟ (العُقد التي تعاني في تمرير المعلومات، مما يشير إلى الضغط المفرط).

يجادل الورق البحثي بأن هاتين المشكلتين هما في الواقع وجهان لعملة واحدة. لا يمكنك إصلاح إحداهما دون التفكير في الأخرى. إذا أضفت الكثير من الاتصالات لإصلاح الضغط، فقد تسبب تنعيماً لكل شيء بسرعة كبيرة. يساعد LEED في العثور على "العُقد الحرجة" — الأشخاص المحددون الذين يحتاجون ليصبحوا عُقداً افتراضية لإصلاح تدفق المعلومات دون كسر تفرد المجموعة.

التجربة: اختبار الاستراتيجية الجديدة

لمعرفة ما إذا كانت أداة التحري الجديدة هذه قد نجحت بالفعل، أجرى المؤلفون سلسلة من التجارب. لقد أخذوا ست مجموعات بيانات مختلفة (مثل MUTAG و ENZYMES و PROTEINS، وهي مجموعات من الهياكل الكيميائية والبيانات البيولوجية) واختبروا طريقتهم مقابل الطرق القديمة لاختيار العُقد.

وقارنوا نهجهم، الذي يستخدم LEED لاختيار العُقد الحرجة، مقابل طريقتين شائعتين موجودتين:

• LVN (العُقد الافتراضية المحلية): طريقة تضيف مجموعات صغيرة من العُقد الافتراضية إلى الرسم البياني.
• PANDA: طريقة تعمل على توسيع حجم عُقد معينة لاستيعاب المزيد من المعلومات.

في الأيام الخوالي، كان على هذه الطرق تجربة قواعد "مركزية" مختلفة (مثل الدرجة، PageRank، البينية) لمعرفة أيهما سيعمل بشكل أفضل لكل مجموعة بيانات. كانت عملية قائمة على التجربة والخطأ. استبدل المؤلفون كل تلك القواعد القديمة بـ LEED فقط.

كانت النتائج واعدة. في اختباراتهم، حقق مزيج LVN-LEED أفضل أداء متوسط عبر مجموعات البيانات. على سبيل المثال، في مجموعة بيانات MUTAG، حقق نموذج GCN القياسي (النموذج الأساسي) دقة تبلغ حوالي 74.75%، بينما وصل نموذج LVN-LEED إلى 83.33%. وفي ENZYMES، كان التحسن أكثر وضوحاً، حيث قفز من 29.08% إلى 31.09% (وحتى أعلى في بعض الاختبارات المحددة).

لاحظ المؤلفون أنه بينما كانت الطرق القديمة تعمل جيداً أحياناً، إلا أنها كانت تتطلب الكثير من الضبط. أما LEED، فقد عمل باستمرار بشكل جيد دون الحاجة لاختبار عشرات القواعد المختلفة. وهذا يشير إلى أنه من خلال التركيز على التطور المحلي للبيانات، استطاعوا العثور على العُقد المناسبة لمساعدة الشبكة على "التنفس" بشكل أفضل.

ما يقوله البحث (وما لا يقوله)

من المهم فهم ما يثبته هذا البحث فعلياً. يوضح المؤلفون أن LEED هو أداة تشخيصية أكثر إخبارية من مقاييس الطاقة العالمية القديمة (مثل طاقة ديريكليهت) لأنه يستطيع رؤية التفاصيل المحلية. كما أثبتوا أن استخدام LEED لاختيار العُقد يؤدي إلى أداء أفضل في تجاربهم المحددة مقارنة باستخدام الاختيار العشوائي أو مقاييس المركزية القياسية.

ومع ذلك، يحرص البحث على عدم الادعاء بأن هذا هو حل سحري لـ كل مشكلة. فقد ذكروا صراحة أن نتائجهم تستند إلى محاكاة وتجارب على مجموعات بيانات محددة. ووجدوا أنه بالنسبة لبعض مجموعات البيانات التي تفتقر إلى ميزات عقد واضحة (مثل COLLAB)، لم يكن التحسن دراماتيكياً، وفي حالة واحدة مع إطار عمل PANDA، انخفض الأداء قليلاً، وإن لم يكن ذلك بشكل كبير. وهذا يشير إلى أنه بينما يعد LEED أداة قوية جديدة، فقد يحتاج إلى ضبط بناءً على نوع البيانات التي تنظر إليها.

كما أشار المؤلفون إلى أنهم ركزوا على نوع محدد من بنية الشبكات (GCN) وأن هناك الكثير مما يمكن استكشافه. واقترحوا أن العمل المستقبلي يمكن أن ينظر في كيفية عمل LEED مع أنواع أخرى من الشبكات أو كيف يمكن استخدامه لتصميم طرق أذكى لإعادة ربط الرسوم البيانية. إنهم لا يدعون أنهم حلوا مشكلة التنعيم المفرط للأبد؛ بل قدموا عدسة جديدة وأكثر حدة لرؤيتها وطريقة أفضل لإصلاحها.

الخلاصة

في النهاية، يتعلق هذا البحث بالاستماع بشكل أفضل. لسنوات، حاول العلماء إصلاح لعبة "الهاتف المكسور" في الشبكات العصبية الرسومية من خلال التخمين حول أي الأصدقاء يحتاجون إلى قوى خارقة. بنى مؤلفو هذا البحث أداة جديدة، LEED، تستمع إلى كل همسة لترى بالضبط أين تضيع الرسالة أو أين يبدأ الجميع في التحدث بنفس الطريقة. ومن خلال استخدام هذه الأداة لاختيار "العُقد الافتراضية" الصحيحة، أظهروا أن الشبكة يمكنها التعلم بشكل أسرع وأكثر دقة. إنه تذكير بأنه في بعض الأحيان، لإصلاح مشكلة كبيرة، لا تحتاج إلى مطرقة أكبر؛ بل تحتاج فقط إلى طريقة أفضل للنظر في التفاصيل.