ملخص تقني: دع العلاقات تتحدث: إطار عمل الترويسة الناعمة (Soft Prompt) القائم على نماذج اللغات الكبيرة (LLM) والشبكات العصبية الرسومية (GNN) للكشف عن الاحتيال

1. بيان المشكلة

تتناول الورقة البحثية تحدي نشر نماذج اللغات الكبيرة (LLMs) للكشف عن الاحتيال ضمن سيناريوهات الرسوم البيانية ذات السمات النصية الضعيفة (Weak Text-Attributed Graph - Weak-TAG). في أنظمة الكشف عن الاحتيال في العالم الحقيقي (مثل الشبكات المالية، أو المراجعات عبر الإنترنت)، تؤدي قيود الخصوصية والأمن الصارمة غالبًا إلى رسوم بيانية تحتوي على سمات عددية بحتة وتفتقر إلى البيانات النصية الغنية.

تواجه النهج الحالية في هذا السياق عائقين رئيسيين:

1. الاعتماد على النصوص: تعتمد معظم الأساليب الحالية القائمة على LLM بشكل كبير على السمات النصية الغنية، مما يجعلها غير فعالة عند غياب البيانات النصية.
2. تشويه السمات عبر الترويسات الصلبة (Hard Prompts): تعتمد الأساليب الرائدة التي تحاول تجاوز الاعتماد على النصوص على استخدام "ترويسات صلبة" لتحويل هياكل الرسم البياني إلى لغة طبيعية. هذه العملية تعمل على تسطيح التوبولوجيا المعقدة، مما يؤدي إلى عدم توافق بنيوي-دلالي وتشويه السمات، حيث تُفقد الدلالات العلاقاتية المتأصلة أثناء عملية التحويل إلى نص منفصل.
3. تعقيد تعدد العلاقات: تنطوي الأنشطة الاحتيالية غالبًا على تفاعلات معقدة متعددة العلاقات. وتواجه طرق الشبكات العصبية الرسومية (GNN) الحالية صعوبة في التقاط المعلومات الدلالية العميقة عبر أنواع الحواف المختلفة، بينما تعتمد أطر العمل التي تجمع بين LLM وGNN على نماذج LLM مجمدة أو مساقط خطية خفيفة الوزن تفشل في إقامة محاذاة عميقة بين الترميز الهيكلي والاستدلال الدلالي.

2. المنهجية: إطار عمل LGSPF

يقترح المؤلفون إطار عمل الترويسة الناعمة للنماذج اللغوية والشبكات العصبية الرسومية (LGSPF)، وهو بنية متكاملة (End-to-End) مصمًا لجسر الفجوة بين هياكل الرسوم البيانية متعددة العلاقات والمساحة الدلالية لنماذج LLM دون الاعتماد على السمات النصية. يعمل الإطار من خلال ثلاث مراحل مترابطة:

أ. ترميز سمات الرسم البياني متعدد العلاقات

لالتقاط الأنماط الهيكلية تحت علاقات متعددة، يستخدم LGSPF مشفر GNN متوازي.

• فك الارتباط (Decoupling): يتم تفكيك الرسم البياني متعدد العلاقات الأصلي إلى $m$ من الرسوم البيانية المتجانسة الفرعية، كل منها يقابل نوعًا محددًا من العلاقات.
• الفروع المستقلة: يتم نشر فرع GNN مستقل (بصيغة GraphSAGE) لكل رسم بياني فرعي. ومن المهم ملاحظة أن الأوزان لا يتم مشاركتها عبر الفروع، مما يسمح باستخراج دلالات هيكلية متميزة لكل نوع من أنواع العلاقات.
• الإسقاط (Projection): يتم إسقاط التضمينات (Embeddings) الناتجة من جميع فروع GNN إلى بُعد التضمين الخاص بـ LLM ($d_{emb}$) لتسهيل التكامل السلس.
• التجميع (Aggregation): يستخدم النموذج تجميع الجوار بالدفعة الكاملة (بدلاً من أخذ العينات بالدفعات الصغيرة) لضمان تمرير الرسائل بشكل حتمي ومنع فقدان المعلومات الهيكلية.

ب. الترويسة الناععة (Soft Prompt) والخرائط الدلالية

بدلاً من تحويل هياكل الرسم البياني إلى أوصاف باللغة الطبيعية (تروسات صلبة)، يستخدم LGSPF تروسات ناعمة (Soft Prompts).

• القالب الهجين: يتم بناء قالب ترويسة موحد يحتوي على تعليمات باللغة الطبيعية ($T_{inst}$, $T_{desc}$, $T_{quest}$) ورموز خاصة ($s_1, \dots, s_m$).
• توسيع المفردات: يتم توسيع مفردات LLM لتشمل هذه الرموز الخاصة ($S = \{s_1, \dots, s_m\}$)، والتي تعمل كواجهات لأنواع العلاقات المختلفة.
• الحقن الديناميكي: خلال مرحلة التمرير الأمامي، تقوم التضمينات الهيكلية المستمرة ($h_{v_i, r_j}$) المستخرجة بواسطة GNNs المتوازية باستبدال التضمينات الأولية للرموز الخاصة المقابلة في تسلسل الترويسة ديناميكيًا. يسم old هذا لـ LLM بمعالجة التوترات الهيكلية عالية الأبعاد والمستمرة مباشرة، متجاوزًا مشكلات التجزئة والتقطيع المرتبطة بالنصوص.

ج. التحسين المتكامل (End-to-End Optimization)

يعامل الإطار الكشف عن الاحتيال كمسألة توليد نص مشروط تحت نموذج نمذجة اللغة السببية (Causal Language Modeling).

• التدريب المشترك: يتم تحسين النظام بشكل متكامل. يتم تمرير التغذية الراجعة الدلالية من LLM عائدًا إلى مشفرات GNN عبر الانتشار العكسي للتدرج.
• كفاءة المعلمات: لإدارة التكاليف الحسابية، يتم تطبيق التكيف منخفض الرتبة (LoRA) حصريًا على طبقات الانتباه في LLM، بينما تظل معلمات GNN قابلة للتدريب.
• الهدف: تقلل دالة الخسارة (Loss Function) من التفاوت بين النص المولد (مثل "احتيال" أو "طبيعي") وبين الملصقات الحقيقية، مما يضمن محاذاة دلالية-هيكلية عميقة.

3. المساهمات الرئيسية

تحدد الورقة ثلاث مساهمات رئيسية:

1. إطار عمل LGSPF: اقتراح إطار عمل للترويسة الناعمة يجمع بين LLM وGNN مصمم خصيصًا للكشف عن الاحتيال في سيناريوهات Weak-TAG، مما يجسّر بفعالية بين هياكل الرسوم البيانية متعددة العلاقات والمساحات الدلالية لـ LLM.
2. الابتكارات الهيكلية: تقديم مشفر GNN متوازي لاستخراج السمات الدقيقة متعددة العلاقات، وآلية الترويسة الناعمة التي تربط هياكل الرسم البياني بسلاسة مع استدلال LLM دون تشويه السمات، ونموذج تدريب متكامل للمحاذاة الدلالية-الهيكلية العميقة.
3. التحقق التجريبي والقابلية للتفسير: إثبات الأداء المتفوق (State-of-the-art) عبر ثلاثة معايير متنوعة للكشف عن الاحتيال (Amazon, YelpChi, S-FFSD). علاوة على ذلك، أظهر الإطار قدرته على تعزيز التفسير الدلالي لسلوكيات الاحتيال، منتقلاً بالكشف من مجرد تنبؤات "الصندوق الأسود" نحو التعرف على السلوك.

4. النتائج التجريبية

أُجريت التجارب على ثلاث مجموعات بيانات: Amazon (مراجعات المنتجات)، YelpChi (مراجعات الفنادق والمطاعم)، و S-FFSD (معاملات مالية محاكات). تمت معالجة جميع مجموعات البيانات لتتضمن فقط سمات عقد عددية لمحاكاة إعداد Weak-TAG.

• الأداء: حقق LGSPF أداءً رائدًا (SOTA) عبر جميع مجموعات البيانات، متفوقًا بشكل كبير على كل من نماذج GNN الكلاسيكية (مثل GCN, GAT, CARE-GNN) ونماذج LLM التي تستخدم النصوص المسطحة (بما في ذلك متغيرات Zero-shot و Instruct-LLM).
  • في مجموعة بيانات Amazon، حقق LGSPF قيمة AUC بلغت 0.9805، مقارنة بـ 0.9717 لأفضل نموذج GNN أساسي (BWGNN).
  • في YelpChi، حقق LGSPF قيمة AUC بلغت 0.9208، متفوقًا على أفضل نموذج GNN (وهو RGTAN الذي حقق 0.9194).
  • في S-FFSD، حقق LGSPF قيمة AUC بلغت 0.8719، متفوقًا على أفضل نموذج GNN (وهو GTAN الذي حقق 0.8299).
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة العمود الفقي لـ LLM (استبداله بـ MLP) أو إزالة الأوصاف النصية (باستخدام رموز الرسم البياني المنعزلة فقط) إلى انخفاض كبير في الأداء، مما يؤكد ضرورة كل من قدرة الاستدلال في LLM والمرتكزات الدلالية المقدمة من النصوص.
  • كما أدى إزالة التحسين المشترك المتكامل (تجميد GNNs) أيضًا إلى تدهور الأداء، مما يسلط الضوء على فائدة محاذاة السمات الهيكلية مع المساحة الإدراكية لـ LLM.
• تحليل الحساسية: وُجد أن نموذج LLM ذو 7 مليارات معلمة (Qwen2.5-7B) يقدم التوازن الأمثل بين قدرة الاستدلال وكفاءة التكيف. وبالنسبة لمشفر GNN، حقق عمق تجميع الجوار $K=2$ ذروة الأداء، متجنبًا مشكلات التمهيد الزائد (Over-smoothing) التي تظهر في الطبقات الأعمق ($K \ge 3$).
• القابلية للتفسير: أظهرت تجارب العلاقة الواحدة على YelpChi أنه بينما توفر العلاقات الفردية رؤى محددة، فإن المنظور المتكامل متعدد العلاقات (Full view) يتفوق بشكل حاسم على متوسط الرؤى الفردية، مما يثبت قدرة النموذج على استخراج الارتباطات الجوهرية بين العلاقات المتعددة.

5. الأهمية والادعاءات

تدعي الورقة أن LGSPF يمثل تقدمًا كبيرًا في الكشف عن الاحتيال في الرسوم البيانية من خلال حل "المعضلة الدلالية" التي تواجهها نماذج LLM في بيئات Weak-TAG. من خلال استخدام الترويسات الناعمة المستمرة بدلاً من التحويل النصي المنفصل، يحافظ الإطار على المعلومات الهيكلية عالية الأبعاد التي تُفقد عادةً في نهج الترويسات الصلبة.

يؤكد المؤلفون أن عملهم ينقل المجال بعيدًا عن مجرد التنبؤ بـ "الصندوق الأسود" نحو التعرف الشفاف على السلوك. ومن خلال الاستفادة من قدرات الاستدلال الدلالي العميقة لـ LLM لتفسير التوبولوجيا المعقدة متعددة العلاقات، لا يحسن LGSPF دقة الكشف فحسب، بل يعزز أيضًا قابلية تفسير سلوكيات الاحتيال. وهذا أمر قيم للغاية في المجالات الحساسة للخصوصية حيث لا تتوفر بيانات نصية غنية، مما يقدم نموذجًا واعدًا لأنظمة الكشف عن الاحتيال المستقبلية.

يقر المؤلفون بوجود قيود تتعلق بالقابلية للتوسع الحسابي للرسوم البيانية فائقة الضخامة والاعتماد الحالي على الرسوم البيانية الثابتة، مشيرين إلى أن العمل المستقبلي سيستكشف الرسوم البيانية الزمنية الديناميكية والنماذج التأسيسية الأكبر.