ملخص تقني: تقدير عدم اليقين للرسوم البيانية متباينة الخصائص (Heterophilic Graphs) من منظور نظرية المعلومات

بيان المشكلة

حظي تقدير عدم اليقين (Uncertainty estimation) للشبكات العصبية الرسومية (GNNs) باهتمام كبير، ومع ذلك تعتمد معظم الطرق الحالية بشكل كبير على افتراض التجانس (Homophily) — وهو ميل العقد للاتصال بغيرها من نفس الفئة. تستخدم هذه الطرق غالبًا الانتشار في الرسم البياني (Graph diffusion) أو نوى التنعيم (Smoothing kernels) لنشر عدم اليقين، وهو أمر فعال عندما تكون العقد المتشابهة دلاليًا متصلة ببعضها البعض. ومع ذلك، في البيئات متباينة الخصائص (Heterophilic settings)، حيث تتصل العقد أساسًا بجيران من فئات مختلفة، تتدهور هذه المنهجيات. إن الاعتماد على التنعيم لنشر (عدم) اليقين هو أمر أقل تبريرًا في الرسوم البيانية متباينة الخصائص، مما يؤدي إلى أداء ضعيف في اكتشاف البيانات خارج التوزيع (O.O.D.) وتقدير عدم اليقين. علاوة على ذلك، لم تدرس الأعمال السابقة بشكل منهجي كيفية سلوك مقدرات عدم اليقين عندما يتم انتهاك افتراضات التجانس، ولم يكن هناك نهج مخصص للرسوم البيانية متباينة الخصائص يتجنب استغلال التجانس صراحةً.

المنهجية

يتناول المؤلفون المشكلة من منظور نظرية المعلومات، حيث يحللون شبكات تمرير الرسائل العصبية (MPNNs) لفهم كيفية تطور تمثيلات العقد الكامنة عبر الطبقات.

1. التحليل المعلوماتي لشبكات MPNNs

استلهامًا من مبدأ عنق زجاجة المعلومات (Information Bottleneck principle) (Tishby & Zaslavsky, 2015)، ينمذج المؤلفون تدفق المعلومات في شبكات MPNNs. وخلافًا للشبكات العصبية القياسية للبيانات المستقلة والمتماثلة التوزيع (i.i.d.)، حيث يملي مبدأ "عدم معالجة البيانات" (Data Processing Inequality - DPI) أن المعلومات حول متغير مستهدف يمكن أن تنقص فقط أو تظل ثابتة عبر الطبقات، يستنتج المؤلفون مبدأ تساوي معالجة البيانات (Data Processing Equality - DPE) لشبكات MPNNs.

تشمل الرؤى النظرية الرئيسية ما يلي:

• استعادة وتكسب المعلومات: في شبكات MPNNs، لا تقتصر المعلومات حول تسمية العقدة $Y$ على سمات العقدة نفسها فحسب، بل تتوزع عبر الرسم البياني المحيط بها (Ego-graph). يعرّف المؤلفون الرسم البياني المحيط $G_v$ كونه يتكون من مجموعات منفصلة $G_v^{(i)}$ بناءً على مسافة القفزة (Hop distance).
• التساوي: المعلومة المتبادلة $I(Y; Z^{(i+1)})$ التي تحملها تمثيلات في الطبقة $i+1$ تتحلل جمعيًا:
  $$I(Y; Z^{(i+1)}) = I(Y; Z^{(i)}) - \Delta_{(-)}^{(0:i)} + \Delta_{(+)}^{(i+1)}$$
  حيث تمثل $\Delta_{(-)}^{(0:i)}$ فقدان (أو استعادة) المعلومات فيما يتعلق بالرسم البياني المحيط الحالي، بينما تمثل $\Delta_{(+)}^{(i+1)}$ كسب المعلومات من الجيران الجدد عند المسافة $i+1$.
• تباين الخصائص مقابل التجانس:
  • في الرسوم البيانية متجانسة الخصائص (Homophilic)، تشترك العقد المتجاورة في دلالات متشابهة. وبناءً على ذلك، يتضاءل كسب المعلومات $\Delta_{(+)}^{(i+1)}$ مع زيادة العمق لأن الطبقات الأعمق لا توفر معلومات دلالية جديدة حول الهدف.
  • في الرسوم البيانية متباينة الخصائص (Heterophilic)، تظهر العقد المتجاورة دلالات مختلفة. يمكن أن يكون كسب المعلومات $\Delta_{(+)}^{(i+1)}$ كبيرًا وإيجابيًا، مما يعني أن التمثيلات الكامنة الأعمق تحتوي على معلومات فريدة ومتميزة حول توزيع البيانات تفتقر إليها التمثيلات الأقل عمقًا.

2. تقدير الكثافة الكامنة المشتركة (JLDE)

بناءً على النتيجة التي مفادها أن الرسوم البيانية متباينة الخصائص تتطلب النظر المشترك في جميع تمثيلات العقد لالتقاط كامل توزيع البيانات، يقترح المؤلفون تقدير الكثافة الكامنة المشتركة (Joint Latest Density Estimation - JLDE).

• الآلية: بدلاً من تقدير الكثافة من طبقة نهائية واحدة (كما هو شائع في حالات i.i.d.) أو استخدام انتشار الرسم البياني، يقوم JLDE بدمج (Concatenate) التمثيلات الكامنة من جميع الطبقات لشبكة MPNN ($Z^{(0)}, Z^{(1)}, \dots, Z^{(L)}$).
• التنفيذ: يتم تطبيق مقدر كثافة بسيط يعتمد على أقرب جار (K-Nearest Neighbors - KNN) بعد عملية الدمج في فضاء التمثيل المشترك. ويتم حساب عدم اليقين المعرفي $u_{epi}(v)$ كالسالب للوغاريتم الاحتمالي (Negative log-likelihood) للتمثيل المشترك للعقدة ضمن توزيع التدريب.
• مبدأ التصميم: لا يستغل هذا النهج التجانس صراحةً من خلال المعالجة اللاحقة (مثل التنعيم)، وهو قابل للتطبيق على أي هيكل (Backbone) لشبكات MPNN.

المساهمات الرئيسية

1. الإطار النظري: يستنتج البحث نموذجًا جديدًا مشابهًا لـ "عدم معالجة البيانات" لشبكات MPNNs، مثبتًا أن المعلومات يمكن أن تزداد مع عمق النموذج في الإعدادات متباينة الخصائص بسبب المعلومات الدلالية الفريدة التي يوفرها الجيران عند مسافات مختلفة.
2. تعريف التجانس القائم على المعلومات: يقدم المؤلفون تعريفًا للتجانس (Homophily) مرتكزًا على المعلومات المتبادلة، مما يميز بين المعلومات المشتركة ذات الصلة بتسمية الهدف والضوضاء غير ذات الصلة.
3. طريقة JLDE: يقترحون تقدير الكثافة الكامنة المشتركة، وهو مبدأ تصميم بسيط وما بعدي (Post-hoc) يقوم بنمذجة جميع التمثيلات الكامنة بشكل مشترك. وتعد هذه الطريقة الأولى التي تستهدف صراحةً تقدير عدم اليقين في الرسوم البيانية متباينة الخصائص دون الاعتماد على افتراضات التجانس.
4. التحقق التجريبي: تم تقييم الطريقة عبر مجموعات بيانات متعددة، وتحولات في التوزيع، وهياكل (Backbones) مختلفة، مما أظهر أداءً رائدًا (State-of-the-art).

النتائج التجريبية

قيم المؤلفون طريقة JLDE على ست مجموعات بيانات (أربع منها متباينة الخصائص: Amazon Ratings, Roman Empire, Chameleon, Squirrel؛ واثنتان متجانستا الخصائص: CoraML, PubMed) تحت ثلاثة أنواع من تحولات التوزيع: استبعاد الفئة (Leave-Out-Class)، واضطرابات السمات القريبة، واضطرابات السمات البعيدة.

• الأداء في الرسوم متباينة الخخصائص: في مجموعات البيانات متباينة الخصائص، حققت JLDE باستمرار أفضل أداء في عدم اليقين المعرفي (مقاسًا بـ AUC-ROC و AUC-PR لاكتشاف O.O.D.). وهي تتفوق بشكل كبير على الطرق التي تعتمد على انتشار الرسم البياني (مثل GPN و GEBM) أو طرق التجميع (Ensemble) القياسية، خاصة في السيناريوهات التي تكون فيها المعلومات من الطبقات الأعمق حاسمة.
• الأداء في الرسوم متجانسة الخصائص: في مجموعات البيانات متجانسة الخصائص، كان أداء JLDE تنافسيًا مع المقدرات الأخرى المستقلة عن النموذج، وطابقت أداء الطرق المصممة خصيصًا للتجانس، رغم عدم استخدامها لمعالجة لاحقة تستغل التجانس.
• دراسات الاستئصال (Ablation Studies): تؤكد التجارب أنه بالنسبة للرسوم البيانية متباينة الخصائص، فإن استخدام الطبقة النهائية فقط أو متوسط الكثافات لكل طبوة يعطي نتائج أدنى مقارنة بالدمج المشترك لجميع الطبقات. وعلى العكس من ذلك، في الرسوم متجانسة الخصائص، يعمل النهج المشترك بنفس كفاءة استخدام الطبقة النهائية فقط، مما يؤكد النظرية القائلة بأن الطبقات الأعمق لا تضيف معلومات جديدة في تلك الإعدادات.
• استقلالية الهيكل (Backbone Agnosticism): تم تطبيق الطريقة كعملية لاحقة (Post-hoc) على هياكل متنوعة (Res-GCN, Res-GAT-Sep, Res-GATE, GPRGNN)، حيث احتلت باستمرار المرتبة الأولى أو الثانية كأفضل مقدر عبر الهياكل المختلفة.

الأهمية والادعاءات

يدعي البحث تقديم الأساس النظري للنهوض بتقدير عدم اليقين للرسوم البيانية بما يتجاوز افتراض التجانس. ومن خلال الكشف عن أن كل طبقة تمثيل في الرسوم البيانية متباينة الخصائص توفر معلومات فريدة حول توزيع البيانات، يضع المؤلفون مبدأ تصميم رئيسي: يجب أن ينظر تقدير عدم اليقين بشكل مشترك في جميع تمثيلات العقد.

يؤكد المؤلفون أن عملهم:

• يعالج فجوة في الأدبيات حيث لم يستهدف أي عمل سابق صراحةً الرسوم البيانية متباينة الخصائص لتقدير عدم اليقين.
• يوضح أن المقدرات الحالية غالبًا ما تفشل عندما يتم انتهاك افتراضات التجانس.
• يقدم حلاً بسيطًا وفعالًا ومستقلاً عن النموذج (JLDE) يحقق نتائج رائدة دون الحاجة إلى تغييرات هيكلية معقدة أو استغلال صريح للتجانس.
• يساهم في تطوير ذكاء اصطناي موثوق وجدير بالثقة، خاصة في المجالات عالية المخاطر حيث يكون فهم عدم اليقين في البيانات غير متجانسة الخصائص أمرًا بالغ الأهمية.

يظل المؤلفون متواضعين بشأن النطاق، مشيرين إلى أنه بينما يحسن JLDE عدم اليقين المعرفي (Epistemic uncertainty)، فإنه لا يحسن بطبيعته عدم اليقين العشوائي (Aleatoric uncertainty) أو معايرة النموذج (Model calibration)، والتي تظل مسارات مستقلة للعمل المستقبلي. كما يتوقعون أن نماذج الكثافة الأكثر تعقيدًا قد تحقق نتائج أفضل من تطبيقهم البسيط القائم على KNN.