Scaling Knowledge Graph Construction through Synthetic Data Generation and Distillation

إليك ملخص تقني مفصل للورقة البحثية بعنوان "Scaling Knowledge Graph Construction Through Synthetic Data Generation and Distillation" (ICLR 2026).

1. بيان المشكلة

تواجه عملية بناء الرسوم البيانية للمعرفة (Knowledge Graph - KG) على مستوى المستندات تحدياً جوهرياً في التوسع (Scaling). تعاني الأساليب الحالية من مقايضة بين التكلفة والجودة:

• تكلفة عالية/جودة عالية: الأساليب التي تعتمد على النماذج اللغوية الكبيرة المملوكة (مثل GPT-4o) عبر التلقين الصفري (zero-shot) أو التلقين بالقليل من الأمثلة (few-shot) غير مجدية اقتصادياً للمجموعات النصية الضخمة بسبب تكاليات الاستدلال المرتفعة وقيود واجهة برمجة التطبيقات (API).
• تكلفة منخفضة/جودة منخفضة: غالباً ما تنتج النماذج الأصغر رسوماً بيانية غير مكتملة، أو غير متسقة، أو تحتوي على هلوسات عند استخدامها بأسلوب التلقين أحادي الخطوة.
• السبب الجذري: يرى المؤلفون أن هذا القصور ليس ناتجاً عن قدرات النموذج المتأصلة، بل بسبب ندرة بيانات التدريب عالية الجودة والمشرفة لبناء الرسوم البيانية لـ "المستندات" التي لا تعتمد على مخطط محدد (ontology-free). فالبيانات الموجودة حالياً (مثل DocRED) تقتصر على مخططات معينة، والرسوم البيانية مفتوحة المجال تفتقر إلى مجموعات تدريب ضخمة.

2. المنهجية

تقترح الورقة إطار عمل يعتمد على البيانات ويتكون من مرحلتين: SynthKG (تخليق البيانات) و Distill-SynthKG (تقطير النموذج).

أ. SynthKG: خط إنتاج لتخليق البيانات متعدد الخطوات

إن SynthKG هو خط إنتاج منهجي مصمم لتوليد أزواج (مستند-رسم بياني) عالية الجودة باستخدام نموذج معلم كبير (Llama-3.1-70b). يقوم بتفكيك مهمة الاستخراج إلى مراحل قابلة للتكرار لضمان الاتساق والشمولية:

1. التقطيع (Chunking): يتم تقسيم المستندات إلى قطع نصية كاملة دلالياً وغير متداخلة (256 توكن) لمنع فقدان المعلومات في السياقات الطويلة.
2. إزالة السياق (Decontextualization): خطوة حاسمة حيث يقوم النموذج اللغوي الكبير بإعادة كتابة كل قطعة لحل الإشارات المرجعية للكيانات (على سبيل المثال، استبدال "هو" بـ "جون دو") بناءً على القطعة السابقة. هذا يخلق وحدات ذاتية الاحتواء، مما يضمن اتساق الكيانات عبر المستند دون الحاجة لسياق المستند كاملاً لكل عملية استدلال.
   • التحقق: تحقق المؤلفون من أن الكيانات تُذكر عادةً ضمن أقل من قطعة واحدة (متوسط المسافة 0.9)، مما يجعل استراتيجية "القطعة السابقة" كافية.
3. استخراج الكيانات والادعاءات (Entity & Proposition Extraction):
   • الكيانات: تُستخرج مع أنواعها.
   • الادعاءات (Propositions): بدلاً من مجرد استخراج ثلاثيات خام، يقوم النموذج بتوليد جمل لغوية طبيعية (ادعاءات) تصف العلاقة.
   • الثلاثيات (Triplets): تُشتق من الادعاءات، وتُنسق كـ (رأس، علاقة، ذيل).
   • الابتكار: يعمل إدراج الادعاءات كـ "سلسلة أفكار" (Chain of Thought) وسيطة، مما يحسن تماسك الثلاثيات المستخرجة ويوفر وحدات استرجاع غنية وقابلة للفهرسة.

ب. Distill-SynthKG: تقطير النموذج أحادي الخطوة

للتغلب على زمن الاستجابة والتكلفة العالية لخط إنتاج SynthKG متعدد الخطوات عند وقت الاستدلال:

• التقطير: تُستخدم أزواج (المستند-الرسم البياني) الاصطناعية التي تم توليدها بواسطة SynthKG لضبط (fine-tuning) نموذج طالب أصغر (Llama-3-8b).
• الآلية: يتعلم النموذج الطالب نمط العملية متعددة الخطوات (التقطيع، إزالة السياق، الاستخراج) بشكل ضمني.
• النتيجة: يمكن لنموذج التقطير (Distill-SynthKG) معالجة مستند كامل في تمريرة أمامية واحدة (single forward pass)، مما يولد رسوماً بيانية عالية الجودة دون الحاجة لعدة استدعاءات لـ API أو سلاسل تلقين معقدة.

ج. إطار التقييم

قدم المؤلفون طريقة تقييم مبتكرة للرسوم البيانية المعرفية التي لا تعتمد على مخطط محدد (ontology-free):

• الحقيقة الأرضية بالوكالة (Proxy Ground Truth): قاموا بإعادة توظيف مجموعات بيانات الأسئلة والأجوبة متعددة القفزات (MuSiQue, 2WikiMultiHopQA, HotpotQA). باستخدام GPT-4o، قاموا بتحويل أزواج الأسئلة والأجوبة إلى "ثلاثيات بالوكالة" حيث يكون الجواب هو الرأس، أو الذيل، أو العلاقة.
• المقاييس:
  • الدرجة الدلالية (Semantic Score): تشابه جيب التمام (Cosine similarity) بين الثلاثيات الحقيقية والمستخرجة.
  • تغطية الثلاثيات (Triplet Coverage): استدعاء (Recall) الثلاثيات الحرجة اللازمة للإجابة على الأسções.
  • درجة F1: الدقة على المستوى السطحي.
• إطار الاسترجاع: تم اقتراح مسترجع الرسم البياني (الادعاء-الكيان). يقوم باسترجاع الادعاءات المتشابهة دلالياً، ويتنقل في الرسم البياني للعثور على الكيانات المتصلة، ويستخدم نموذجاً لغوياً لإعادة الترتيب (re-ranking). هذا يستفيد من السياق الغني للادعاءات بدلاً من الثلاثيات الشحيحة.

3. المساهمات الرئيسية

1. خط إنتاج SynthKG: محرك لتخليق البيانات متعدد الخطوات ومنهجي يولد 100 ألف زوج (مستند-رسم بياني) عالي الجودة ولا يعتمد على مخطط محدد، مما يعالج ندرة بيانات التدريب.
2. Distill-SynthKG: نموذج 8B مُقطر يحقق أداءً يضاهي أو يتفوق على نماذج 70B ونموذج GPT-4o، مما يثبت أن النماذج الأصغر يمكنها مطابقة جودة بناء الرسوم البيانية للمعرفة للنماذج الكبيرة مع توفر البيانات الاصطناعية الصحيحة.
3. إطار التقييم: منهجية جديدة لتقييم الرسوم البيانية للمعرفة على مستوى المستند باستخدام مجموعات بيانات الأسئلة والأجوبة متعددة القفزات وإعادة توظيفها مع مقاييس التشابه الدلالي.
4. الاسترجاع القائم على الرسم البياني: إطار استرجاع مبتكر (الرسم البياني + LLM) يستخدم هيكل (الادعاء-الكيان) لتحقيق استدلال فائق متعدد القفزات.
5. كفاءة التكلفة: يوضح تحولاً في النموذج من توسيع بارامترات النموذج إلى توسيع بيانات التدريب، محققاً نتائج هي الأفضل في فئتها بأقل جزء من تكلفة الاستدلال.

4. النتائج التجريبية

تتحقق التجارب من النهج عبر ثلاثة أبعاد: جودة الرسم البياني، الاسترجاع، والإجابة على الأسئلة (QA).

• جودة الرسم البياني (التغطية):

  • تفوق Distill-SynthKG-8b على نموذج Llama-3-8b غير المدرب، ونموذج 70B (Llama-3-70b)، وحتى خط إنتاج SynthKG-70b متعدد الخطوات من حيث تغطية الثلاثيات والدرجات الدلالية.
  • أنتج ثلاثيات أكثر مع استدعاء (recall) أعلى من التلقين المباشر، مما يثبت أن التفكيك متعدد الخطوات يمنع فقدان المعلومات.
  • الدقة (Precision): أظهر الفحص اليدوي أن حوالي 4% فقط من الثلاثيات كانت خاطئة وحوالي 5% كانت بلا معنى، مما يشير إلى دقة عالية.

• أداء الاسترجاع:

  • حقق مسترجع Graph+LLM باستخدام Distill-SynthKG-8b تحسناً متوسطاً قدره 28.27 نقطة في Hits@2 مقارنة بنموذج Llama-3-8b المدرب مسبقاً.
  • تفوق على الاسترجاع الكثيف القياسي والاسترجاع الكثيف مع إعادة ترتيب بواسطة LLM.
  • كان الأداء تنافسياً للغاية مع الاسترجاع القائم على GPT-4o، رغم أن نموذج 8B أرخص بكثير.

• الأسئلة والأجوبة متعددة القفزات (Multi-Hop QA):

  • حقق Distill-SynthKG-8b أفضل النتائج عبر جميع الأطر المختبرة (LlamaIndex, Chain-of-Triplet, Graph+LLM).
  • في إعداد Graph+LLM، حقق زيادة مطلقة قدرها +15.2% في المطابقة التامة (EM) على Llama-3-8b وتفوق على GraphRAG و HippoRAG (اللذين يستخدمان GPT-4o).

• تحليل التكلفة:

  • تكلفة الاستدلال: يكلف Distill-SynthKG-8b حوالي 0.00267 دولار لكل مستند، مقارنة بـ 0.031 دولار لخط إنتاج SynthKG متعدد الخطوات (باستخدام نماذج 70B). وهذا يمثل انخفاضاً بنسبة ~91% في التكلفة (أو ~8.6% من التكلفة الأصلية).
  • تكلفة التدريب: كلف ضبط النموذج 8B على 30 ألف مستند اصطناعي 36.65 دولاراً فقط.

5. الأهمية

تغير هذه الورقة بشكل جذري النموذج السائد لبناء الرسوم البيانية للمعرفة:

• من توسيع النموذج إلى توسيع البيانات: تثبت أن "الذكاء" المطلوب للاستخراج الهيكلي المعقد يمكن نقله من النماذج الكبيرة إلى النماذج الأصغر والأكثر كفاءة من خلال البيانات الاصطناعية عالية الجودة، بدلاً من الاعتماد على عدد هائل من البارامترات.
• الجدوى الاقتصادية: من خلال تمكين النماذج الأصغر من أداء مهام كانت محصورة سابقاً في استدعاءات API باهظة الثمن (GPT-4o)، فإنها تجعل بناء الرسوم البيانية للمعرفة على مستوى المستندات أمراً ممكناً اقتصادياً للتطبيقات المؤسسية.
• تعزيز الـ RAG: يظهر إطار الاسترجاع المقترح أن الرسوم البيانية المعرفية ذات الادعاءات الغنية تعزز بشكل كبير قدرات الاستدلال متعدد القفزات في أنظمة RAG، متفوقة على كل من الاسترجاع الكثيف وخطوط الأساس لـ KG-RAG الحالية.
• مورد مفتوح: يطلق المؤلفون مجموعة بيانات الـ 100 ألف مستند-رسم بياني اصطناعي، مما يعزز الأبحان المستقبلية في مجال استخراج المعرفة المرتكز على البيانات.