💬 NLP

Knowledge Fusion via Bidirectional Information Aggregation

تقدم هذه الورقة البحثية إطار عمل KGA، وهو إطار عمل جديد للاستدلال يدمج ديناميكيًا الرسوم البيانية للمعرفة الخارجية في النماذج اللغوية الكبيرة دون تعديل المعلمات، وذلك من خلال توظيف مسارات تآزرية لدمج المعرفة من الأسفل إلى الأعلى وتوجيه الانتباه من الأعلى إلى الأسفل للتغلب على قيود النماذج الثابتة والنسيان الكارثي.

المؤلفون الأصليون: Songlin Zhai, Guilin Qi, Yue Wang, Yuan Meng

نُشر 2026-03-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Songlin Zhai, Guilin Qi, Yue Wang, Yuan Meng

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة عبقرياً ومطلعاً (وهو النموذج اللغوي الكبير أو LLM) قد حفظ المكتبة بأكملها حتى تاريخ معين. هذا الأمين بارع في كتابة القصص والإجابة على الأسئلة بناءً على ما يعرفه. ومع ذلك، فلديه مشكلتان كبيرتان:

لا يمكنه تعلم أشياء جديدة بسهولة: إذا حاولت تعليمه حقيقة جديدة عن طريق إعادة كتابة دماغه (الضبط الدقيق - Fine-tuning)، فقد يتسبب ذلك بالخطأ في جعله ينسى الحقائق القديمة أو يفسد قدرته على كتابة الشعر.
يتعرض للارتباك والضغط: إذا سلمت إليه كومة من 100 كتاب جديد (رسم بياني للمعرفة - Knowledge Graph) وقلت له: "استخدم هذا للإجابة على سؤالي"، فقد يرتبك أو يضيع وقته في قراءة الصفحات الخاطئة، أو قد يفوت التفاصيل المهمة لأنه يحاول قراءة كل شيء في وقت واحد.

يقدم البحث نظاماً جديداً يسمى KGA (الانتباه الموجه بالرسم البياني للمعرفة). فكر في KGA ليس كدماغ جديد، بل كـ مساعد ذكي للغاية يعمل في الوقت الفعلي يقف بجانب أمين المكتبة ويساعده في العثور على المعلومات الصحيحة دون المساس بذاكرة أمين المكتبة أبداً.

إليك كيف يعمل، باستخدام تشبيه بسيط:

الرقصة ذات الخطوتين: "من الأسفل إلى الأعلى" و"من الأعلى إلى الأسفل"

أدرك المؤلفون أننا عندما نفكر، نستخدم نوعين من الانتباه. يحاكي KGA هذا من خلال مسارين:

1. مسار "من الأسفل إلى الأعلى" (المغناطيس)

التشبيه: تخيل أنك تبحث عن كرة حمراء محددة في غرفة فوضوية. عيناك تمسحان الغرفة بشكل طبيعي، وعقلك يجذب انتباهك نحو أي شيء يبدو كأنه كرة.
كيف يفعلها KGA: عندما يتلقى أمين المكتبة سؤالاً (مثلاً: "أين كان مؤتمر عام 2026؟")، يعمل نظام KGA مثل المغناطيس. فهو يمسح المعرفة الخارجية (كومة الكتب الجديدة) ويقول: "مهلاً، هذه الحقائق الثلاث تبدو ذات صلة!" ثم يسحب تلك الحقائق إلى عملية التفكير الحالية لأمين المكتبة.
العقبة: إذا قام النظام بسحب كل شيء يبدو ذا صلة بشكل غامض، فسوف يتشتت انتباه أمين المكتبة.

2. مسار "من الأعلى إلى الأسفل" (المشكك)

التشبيه: الآن، تخيل أنك وجدت كرة حمراء، لكنك لست متأكداً مما إذا كانت هي المطلوبة حقاً. تتوقف وتسأل نفسك: "هل هذه الكرة تطابق بالفعل الوصف الذي أبحث عنه؟" أنت تتحقق من الأدلة.
كيف يفعلها KGA: هذا هو الجزء العبقري. قبل أن يقبل أمين المكتبة الحقائق الجديدة تماماً، يلعب نظام KGA دور "محامي الشيطان". يأخذ الحقائق المرشحة ويسأل أمين المكتبة: "هل السؤال يدعم هذه الحقيقة فعلياً؟"
- إذا كانت الحقيقة مطابقة تماماً، فإن النظام يعطيها درجة عالية (نعم! بصوت عالٍ).
- إذا كانت الحقيقة غير ذات صلة أو مشتتة، فإن النظام يعطيها درجة منخفضة (لا، بصوت خافت).
النتيجة: ينتبه أمين المكتبة فقط للحقائق التي اجتازت اختبار "المشكك".

الحلقة السحرية

تحدث هاتان الخطوتان في آن واحد ضمن حلقة:

المغناطيس: "لقد وجدت هذه الحقائق!"
المشكك: "دعني أتحقق مما إذا كانت مفيدة حقاً."
القرار: "حسناً، سأستخدم فقط تلك التي وافق عليها المشكك."

لماذا يعد هذا أمراً هاماً؟

بدون جراحة للدماغ (بدون تغيير المعلمات - Parameter-Free): معظم الطرق الأخرى تحاول "ضبط" أمين المكتبة، وهو ما يشبه محاولة إعادة توصيل أسلاك دماغه. هذا يمكن أن يسبب له "النسيان الكارثي" (فقدان المعلومات القديمة). أما KGA فهو يشبه إعطاء أمين المكتبة نظارات ذكية؛ يظل دماغ أمين المكتبة كما هو تماماً، لكنه يرى العالم بشكل مختلف.
تحديثات في الوقت الفعلي: نظرًا لأنه لا يتطلب إعادة تدريب النموذج، يمكنك استبدال "كومة الكتب" (الرسم البياني للمعرفة) فوراً. إذا تغيرت حقيقة اليوم، سيعرفها أمين المكتبة غداً دون الحاجة إلى أسبوع من الدراسة.
فلتر الضجيج: في العالم الحقيقي، تكون نتائج البحث فوضوية. إذا أعطيت ذكاءً اصطناعياً عادياً 100 حقيقة، فقد يكون 90 منها مجرد هراء. KGA يشبه حارس النادي؛ فهو يتحقق من هوية كل حقيقة ويسمح فقط للحقائق ذات الصلة بالدخول، متجاهلاً الضجيج.

الخلا الخلاصة

يقترح البحث نظام KGA، وهو فلتر ذكي وخفيف الوزن، يقع بين النموذج اللغوي الكبير والرسم البياني للمعرفة. يستخدم نظام "الدفع والسحب" (إيجاد المعلومات، ثم التحقق منها) لمساعدة الذكاء الاصطناعي على الإجابة على الأسئلة بدقة باستخدام حقائق محدثة، وكل ذلك دون الحاجة إلى إعادة تدريب الذكاء الاصطناعي أو إهدار ذاكرة الكمبيوتر. إنه الفرق بين أمين مكتبة يقرأ بلهفة كل كتاب في المكتبة، وبين أمين مكتبة لديه مساعد ذكي يسلمه الصفحة الصحيحة في الوقت المناسب تماماً.

إليك ملخص تقني مفصل لورقة البحث بعنوان "دمج الرسوم البيانية للمعرفة عبر التجميع المعلوماتي ثنائي الاتجاه" (KGA).

1. بيان المشكلة

تعالج الورقة القيود الحرجة في الطرق الحالية لدمج الرسوم البيانية للمعرفة (KGs) في النماذج اللغوية الكبيرة (LLMs):

النسيان الكارثي وفقدان القدرة على التعميم: تعتمد معظم الأساليب الحالية على الضبط الدقيق كثيف المعلمات (مثل SFT وPEFT)، مما ينطوي على خطر مسح المعرفة المسبقة وتدهور القدرات العامة للنموذج.
التكامل الساكن: لا تستطيع النماذج التي تم ضبطها دقيقاً التكيف مع التحديثات في الوقت الفعلي للرسوم البيانية للمعرفة واسعة النطاق دون إعادة تدريب.
عدم كفاءة أساليب وقت الاستنتاج: تعاني الأساليب البديلة مثل التوليد المعزز بالاسترجاع (RAG) أو التعلم داخل السياق (ICL) البسيط من زمن انتقال مرتفع، وأعباء ذاكرة باهظة، وظاهرة "بالوعة الانتباه" (attention sink). وغالباً ما تقوم بتغذية جميع الثلاثيات المسترجعة إلى النموذج دون تمييز، مما يؤدي إلى الضجيج والحوسبة الزائدة.
الافتقار إلى التحكم دقيق الحبيبات: تواجه الأساليب الحالية صعوبة في تصفية المعرفة غير ذات الصلة ديناميكياً أو إعطاء الأولوية لحقائق محددة بناءً على سياق المدخلات أثناء الاستنتاج.

سؤال البحث الجوهري: هل يمكننا تطوير طريقة لدمج المعرفة تحافظ على المعلمات وتحقق دمجاً فعالاً وفي الوقت الفعلي للرسوم البيانية للمعرفة مع الحفاظ على القدرات العامة للنماذج اللغوية الكبيرة؟

2. المنهجية: الانتباه الموجه بالرسم البياني للمعرفة (KGA)

يقترح المؤلفون KGA، وهو إطار عمل مبتكر خالٍ من المعلمات يعمل حصرياً في وقت الاختبار. بدلاً من تعديل أوزان النموذج، يقوم KGA بـ "إعادة توصيل" آلية الانتباه الذاتي الأصلية في نموذج Transformer لإنشاء نظام تجميع معلومات ثنائي الاتجاه مستوحى من العمليات الإدراكية البشرية (المحفز الصاعد من الأسفل إلى الأعلى والتحقق الهابط من الأعلى إلى الأسفل).

البنية الأساسية

يستبدل KGA وحدة الانتباه الذاتي القياسية بمسارين متآزرين:

أ. المسار الصاعد (دمج المعرفة - Bottom-Up)

الآلية: هذه عملية مدفوعة بالمدخلات حيث يعمل استعلام المدخل كمحفز.
العملية: تتفاعل ناقلات الاستعلام ( $Q_X$ ) للرموز المدخلة مع ناقلات المفتاح ( $K_Z$ ) لثلاثيات المعرفة الخارجية.
النتيجة: يقوم النموذج بـ "سحب" المعلومات ذات الصلة من ناقلات القيمة ( $V_Z$ ) الخاصة بالثلاثيات إلى تمثيل المدخلات.
الصيغة: يكون التمثيل المحدث للرمز $\hat{x}_n$ هو مجموع تجميع الانتباه الذاتي الأصلي وتجميع مرجح للمعرفة الخارجية:
$\hat{x}_n = \text{SelfAttn}(X) + \sum_{Z \in G} \alpha_Z \cdot \text{Attention}(Q_X, K_Z, V_Z)$
حيث $\alpha_Z$ هو وزن تكيفي مشتق من المسار الهابط من الأعلى إلى الأسفل.

ب. المسائل الهابط (توجيه الانتباه - Top-Down)

الآلية: هي عملية تحقق موجهة نحو الهدف لتقييم مدى صلة كل ثلاثية مرشحة بالمدخلات.
العملية:
1. استخراج القرائن: يعمل كل رمز ثلاثية كاستعلام للانتباه إلى النص المدخل، لاستخراج "القرائن" (السياق ذي الصلة) من المدخلات.
2. الدمج: يتم دمج ناقلات القرائن هذه باستخدام الانتباه الذاتي الداخلي للثلاثية لتشكيل تمثيل واحد على مستوى الثلاثية.
3. تسجيل الصلة: تتم مقارنة تمثيل القرينة المدمج مع الرمز الأخير للثلاثية لتوليد درجة صلة $s(Z, X)$ .
التوزين التكيفي: يتم تطبيع هذه الدرجات عبر Softmax المقيّد بدرجة الحرارة لإنتاج $\alpha_Z$ . وهذا يسمح للنموذج بتثبيط الضجيج (الثلاثيات غير ذات الصلة) ديناميكياً وتضخيم الإشارات (الثلاثيات عالية الصلة).
$\alpha_Z = \frac{\exp(s(Z, X)/\tau)}{\sum \exp(s(Z', X)/\tau)}$

ميزات التصميم الرئيسية

خالٍ من المعلمات: لا يتم تقديم أوزان جديدة؛ بل يعيد استخدام مصفوفات $W_Q, W_K, W_V$ الموجودة بالفعل في النموذج اللغوي الكبير.
قابل للتركيب والتشغيل (Plug-and-Play): يعمل كوحدة يتم إدراجها في طبقات Transformer دون تغيير الاتصالات المتبقية (residual connections) أو الشبكات التغذية الأمامية (FFN).
التآزر ثنائي الاتجاه: يحسب المسار الهابط من الأعلى إلى الأسفل الأوزان التي تنظم دمج المسار الصاعد من الأسفل إلى الأعلى، مما يخلق آلية تعزيز مغلقة الحلقة.

3. المساهمات الرئيسية

إعادة توصيل الانتباه المستوحى إدراكياً: طريقة مبتكرة تحاكي مسارات الانتباه البشرية المزدوجة (المحفز الصاعد + التحقق الهابط) لتمكين دمج المعرفة الخفيف وغير التدخلي.
دمج المعرفة التكيفي: آلية تعمل في وقت الاستند وتخلو من المعلمات، تقيم وتزن المعرفة الخارجية ديناميكياً بناءً على السياق، مما يفلتر الضجيج بفعالية دون الحاجة لعمليات استرجاع معقدة.
التحقق الشامل: تجارب مكثفة عبر خمسة معايير (الإجابة على أسئلة الرسوم البيانية للمعرفة، الاستدلال بالمعرفة، وتحرير المعرفة) أظهرت تفوقاً في الأداء والكفاءة والمتانة مقارنة بنماذج الضبط الدقيق (SFT) ونماذج التعلم داخل السياق (ICL).

4. النتائج التجريبية

قيم المؤلفون KGA على خمسة معايير باستخدام نماذج مثل Llama3 (8B) و Qwen2.5 (0.5B/7B).

الإجابة على الأسئلة والاستدلال بالمعرفة:
- تفوق KGA بشكل كبير على نماذج Zero-Shot (ZSL) و In-Context Learning (ICL).
- في مهمة PathQuestion (2-hop)، حقق KGA دقة بلغت 98.3% (مقابل 73.7% لـ ICL و 65.3% لـ ToG)، حتى على نموذج صغير بـ 0.5 مليار معلمة.
- طابق أو تجاوز أداء النماذج التي خضعت لضبط دقيق (SFT) مكثف دون أي تحديث للمعلمات.
تحرير النماذج القائم على المعرفة (KME):
- في مهام التحرير المتتالية (CounterFact و ZsRE)، أظهر KGA فعالية استثنائية (على سبيل المثال، رفع أداء Llama3 من 0.55% إلى 64.85% في CounterFact).
- حقق محلية (Locality) بنسبة 100%، مما يعني أنه نجح في تحديث حقائق محددة دون نسيان المعرفة غير المرتبطة، وهي نقطة فشل شائعة للطرق الأخرى.
الكفاءة والمتانة:
- زمن الانتقال (Latency): لم يتسبب KGA إلا في عبء حوسبي هامشي مقارنة بـ ZSL، بينما أظهر ICL نمواً تربيعياً في زمن الانتقال مع زيادة عدد الثلاثيات.
- الذاكرة: حافظ KGA على استخدام مستقر لذاكرة GPU (~33 جيجابايت لـ Llama3-8B)، بينما تطلب ICL ضعف ذلك تقريباً (78 جيجابايت) عند معالجة 100 ثلاثية.
- المتانة تجاه الضجيج: عند الاختبار مع نسب متزايدة من الثلاثيات الضوضائية (غير ذات الصلة)، ظل أداء KGA مستقراً، بينما تدهور أداء ICL بشكل حاد.

5. الأهمية

القابلية للتكيف في الوقت الفعلي: يحل KGA مشكلة "المعرفة الساكنة" للنماذج اللغوية الكبيرة، مما يمكنها من دمج التحديثات الديناميكية في الوقت الفعلي من الرسوم البيانية للمعرفة واسعة النطاق دون إعادة تدريب.
الحفاظ على القدرات: من خلال تجنب تعديل المعلمات، يمنع KGA النسيان الكارثي، مما يضمن احتفاظ النموذج بقدراته العامة في الاستدلال واللغة.
القابلية للتوسع: يجعل التوسع الخطي مع عدد الثلاثيات وبصمة الذاكرة المنخفضة من KGA مناسباً للنشر في البيئات محدودة الموارد والتطبيقات الحساسة لزمن الانتقال.
القابلية للتفسير: يوفر الإطار خرائط انتباه على مستوى الطبقات، مما يقدم رؤى حول كيفية ترتيب النموذج لأولويات قطع المعرفة المختلفة (مثل التحول من التركيز على التعرف على الكيانات في الطبقات الضحلة إلى الاستدلال العلاقاتي في الطبقات العميقة).

في الختام، يمثل KGA تحولاً جذرياً من "التدريب القائم على الحقن" إلى "الدمج الديناميكي في وقت الاستنتاج"، مما يقدم حلاً عملياً وفعالاً ومتيناً لبناء نماذج لغوية كبيرة واعية بالمعرفة.