ملخص تقني: فرضية الرسم البياني المعرفي الضاغط

بيان المشكلة

تُستخدم الرسوم البيانية للمعرفة (KGs) بشكل متزايد لتوفير سياق علمي مهيكل للنماذج اللغوية الكبيرة (LLMs) بهدف توليد الفرضيات. ومع ذلك، لا يزال من غير الواضح أي حقائق محددة في الرسم البياني هي التي تشكل الفرضيات المولدة فعليًا. غالبًا ما تتعامل الأبحاث الحالية مع التلقين القائم على الرسم البياني كتدخل ثنائي (تقديم رسم بياني مقابل عدم تقديمه)، مما يفشل في التمييز ما إذا كانت النماذج تستخدم هيكل الرسم البياني بالكامل، أو الكيانات البارزة فقط، أو مجموعة فرعية محددة من العلاقات. في إعدادات الاكتشاف العلمي، تتباين الرسوم البيانية في الكثافة، وثراء الأنطولوجيا، والطبولوجيا، ومع ذلك فإن الآليات المحددة التي تستفيد بها النماذج من هذه التباينات لا تزال غير مفهومة بشكل جيد. هذا النقص في التفاصيل يجعل من الصعب تحديد التصميم الأمثل للتوليد الموجه بالرسم البياني، خاصة مع تطور قدرات النماذج.

المنهجية

يستقصي المؤلفون هذه الأسئلة ضمن مهمة توليد فرضيات في علم المواد البطارية باستخدام مجموعة بيانات تضم 100 مشكلة علمية. يتم تحويل كل مشكلة إلى رسم بياني موجه يحتوي على 15-18 ثلاثية (triples) محددة النوع تربط بين الأنظمة المادية، وأنماط الفشل، والتدخلات، والآليات، والنتائج.

التصميم التجريبي:
تقيم الدراسة ثلاثة نماذج ذات قدرات متفاوتة: Mistral-7B، وLlama-3.1-70B، وGemini 2.5 Flash. لكل مشكلة، تولد النماذج فرضيات تحت عائلة من ظروف الرسم البياني التي تتلاعب بـ:

• الكثافة: مجموعات فرعية من الثلاثيات (متفرقة، متوسطة، وكثيفة).
• ثراء الأنطولوجيا: علاقات خشنة (T1) مقابل علاقات غنية دلاليًا ومتعددة القفزات (T3).
• الطبولوجيا: سياق محلي بقفزتين (2-hop) مقابل مسارات كاملة من المشكلة إلى النتيجة.
• هياكل التحكم:
  • بدون رسم بياني: خط الأساس بدون سياق الرسم البياني.
  • رسم بياني عشوائي: ثلاثيات مأخوذة من مشكلات مختلفة.
  • رسم بياني مبعثر: كيانات حقيقية مع تسميات علاقات تم تبديلها.
  • مستهدف/Top-k: مجموعات فرعية مدمجة مصنفة حسب صلتها ببيان المشكلة.
  • الكيانات فقط/هيكل العلاقات: للتحكم في التعرض اللفظي مقابل المعلومات الهيكلية.

إطار التقييم:
يقدم المؤلفون نهج تقييم مزدوج لفصل استخدام محتوى الرسم البياني المقدم عن استعادة المعلومات الكاملة للرسم البياني:

1. مقاييس الرسم البياني المقدم: تقييم المخرجات مقابل الرسم البياني المحدد المقدم في تلك الحالة (مثل: معدل استدعاء الثلاثية، درجة دقة العلاقة، وتغطية ثلاثيات الرسم البياني).
2. مقاييس المرجع الثابت: تقييم جميع المخرجات مقابل نفس الرسم البياني الكامل لمشكلة معينة، مما يسمح بالمقارنة المباشرة عبر الظروف (بما في ذلك حالة "بدون رسم بياني") ويمنع الدرجات الصفرية الاصطناعية.
3. المسافة الدلالية: تقيس المسافة التضمينية (embedding distance) بين المخرجات المختزلة (مثل: أعلى k من الثلاثيات) ومخرجات الرسم البياني الكامل لتقييم الكفاية.
4. التقييم البشري: قام خبير متخصص (معماة التجربة) بتقييم الفرضيات من حيث المواءمة مع المشكلة، والخصوصية الميكانيكية، والأمانة تجاه الأدلة.

المساهمات الرئيسية

1. دراسة منهجية لاختلال الرسم البياني: تقدم الورقة تحليلًا شاملًا لتوليد الفرضيات الموجه بالرسم البياني عبر ثلاث عائلات من النماذج، مع تغيير الكثافة، والأنطولوجيا، والطبولوجيا، جنبًا إلى جنب مع ظروف التحكم الصارمة.
2. إطار تقييم مبتكر: تقدم مقاييس تفصل بين "استخدام الرسم البياني المقدم" و"استعادة المرجع الثابت"، مما يتيح محاسبة دقيقة لكيفية استخدام النماذج للمعرفة المهيكلة الخارجية مقابل معارفها السابقة الداخلية.
3. فرضية الرسم البياني المعرفي الضاغط: يقترح المؤلفون ويتحققون من فرضية واعية بالوفرة (redundancy-aware): وهي أن الإشارة المفيدة من الرسم البياني يمكن غالبًا استعادتها من رسوم بيانية فرعية مدمجة ومنظمة علميًا بدلاً من الحاجة إلى الرسم البياني المحلي الكامل. هذا الضغط ليس فريدًا لقاعدة ترتيب دلالي واحدة؛ إذ يمكن للمجموعات الفرعية العشوائية والطبولوجية أيضًا استعادة إشارة كبيرة.

النتائج الرئيسية

• المنفعة المعتمدة على النموذج: تأثير الرسم البياني حقيقي ولكنه انتقائي للغاية. يُظهر Gemini 2.5 Flash أقوى استجابة لهيكل الرسم البياني الحقيقي، مستفيدًا بشكل خاص من السياقات المتفرقة والغنية دلاليًا وذات المسارات الكاملة. يستفيد Llama-3.1-70B من السياقات المتفرقة والخشنة وقصيرة المدى. أما Mistral-7B فيظهر استخدامًا ضعيفًا وهشًا للرسم البياني، حيث يؤدي غالبًا أداءً لا يتفوق على الرسوم البيانية العشوائية ويتدهور بشكل كبير مع الهياكل المبعثرة.
• فعالية الضغط: المجموعات الفرعية المدمجة (top-k) (على سبيل المثال، أعلى 8 ثلاثيات، والتي تمثل ~50% من الرسم البياني المحلي) غالبًا ما تقترب من سلوك الرسم البياني الكامل. وهذا ينطبق حتى عند استبعاد ثلاثيات "النتيجة المطالب بها"، مما يشير إلى أن الضغط ليس مجرد نتاج لتسرب النتيجة (outcome leakage).
• الوفرة واستقلالية المختار: تأثير الضغط ليس فريدًا لنهج الترتيب الدلالي الخاص بالمؤلفين. فالمجموعات الفرعية العشوائية والطبولوجية (الدرجة، البينية، PageRank) تستعيد أيضًا جزءًا كبيرًا من إشارة الرسم البياني الكامل مع زيادة قيمة k. يشير هذا إلى أن الرسم البياني الكامل يحتوي على مسارات زائدة تؤدي إلى سلوكيات متشابهة.
• الدور الدلالي مقابل الطبولوجيا: بينما تعد الثلاثيات المواجهة للنتائج وذات الصلة بالمهمة مؤثرة، فإن طبولوجيا الرسم البيتي وحدها (مثل حالة الجسر) لا تفسر تمامًا أهمية الثلاثية. إن إزالة الثلاثيات الطرفية أو العشوائية يمكن أن يكون بنفس القدر من الاضطراب مثل إزالة ثلاثيات الجسور، مما يدعم وجهة النظر القائلة بأن المجموعة الفرية المفيدة منظمة دلاليًا وليست طبولوجيًا بحتًا.
• ملاحظات التوسع: يُظهر التوسع داخل العائلة (Mistral 7B/12B/22B و Llama 8B/70B) أن النماذج الأكبر لا تتبع قانونًا بسيطًا بضرورة الحاجة إلى عدد أقل من الثلاثيات. وبينما توجد اتجاهات ضغط، فإن نموذج 22B ليس بالضرورة أقرب باستمرار إلى سلوك الرسم البياني الكامل من نموذجي 12B أو 7B.

الأهمية والادعاءات

تدعي الورقة أن "فرضية الرسم البياني المعرفي الضاغط" تقدم منظورًا جديدًا لكيفية تصميم السياق المهيكل لتوليد الفرضيات العلمية. تشير النتائج إلى أن تقديم رسوم بيانية أكبر وأكثر كثافة قد لا يكون الخيار التصميمي الأمثل، خاصة للنماذج القوية. بدلاً من ذلك، يجب أن ينتقل التركيز إلى تحديد المجموعة الصغيرة من حقائق الرسم البياني التي تغير سلوك التوليد فعليًا.

يؤكد المؤلفون على أن هذا ادعاء واعٍ بالوفرة: فالإشارة المفيدة موزعة عبر علاقات الآلية، والتدخل، ونمط الفشل، والنتيجة، ويمكن لمجموعات فرعية مدمجة مختلفة أن تحافظ على هيكل كافٍ لاستعادة سلوك مشابه. وبناءً على ذلك، يجب النظر إلى فائدة الرسوم البيانية للمعرفة في السياقات العلمية من خلال عدسة تحديد القطع المدمجة من السياق التي تغير سلوك النموذج، بدلاً من افتراض أن توسيع جيران الرسم البياني مفيد بطبيعته. وللنتائج آثار على استراتيجيات الاسترجاع، وتصميم السياق المهيكل، وتقييم أنظمة اللغة والنماذج العلمية.