ملخص تقني: سياق المسار المحدود في أنظمة الإجابة على الأسئلة القائمة على المعرفة (KGQA) المعتمدة على النماذج اللغوية الكبيرة (LLM)

بيان المشكلة

في أنظمة الإجابة على الأسئلة القائمة على المعرفة (KGQA) المعتمدة على النماذج اللغوية الكبيرة، تقوم الأنظمة عادةً بتفويض عملية التنقل في الرسم البياني إلى متحكم نموذج لغوي كبير (LLM controller). وفي كل خطوة من خطوات البحث، يقوم المتحكم بتوجيه أمر (Prompt) للنموذج لاختيار العلاقة التالية التي يجب اتباعها. ويتمثل نمط التصميم الشائع في تسلسل (Serialization) المسار الجزئي الكامل (كامل تاريخ الكيانات والعلاقات التي تم تتبعها حتى الآن) في كل أمر توجيهي لعملية التوجيه.

يجادل المؤلفون بأن هذا الافتراض الافتراضي غير مختبر. فبينما يحتفظ متحكم الرسم البياني بالمسار الكامل كحالة رمزية دقيقة في الذاكرة، فإن تغذية هذا النص المتكرر في أمر التوجيه الخاص بالنموذج يخدم دورين متداخلين:

1. سياق التحكم: سجل حسابي دقيق للنظام (الذي يمتلكه الكود بالفعل).
2. سياق التفسير: نص اختياري لفك الغموض للنموذج اللغوي الكبير.

تؤدي هذه الممارسة إلى تكاليف باهظة: فهي تستهلك ذاكرة التخزين المؤقت لـ KV (KV-cache)، وتحد من التجميع المحلي (Local Batching)، وتزيد من زمن الاستجابة (Latency)، وتجبر النموذج على الانتباه إلى معلومات قد تكون قديمة أو غير ذات صلة، مما يتنافس مع مرشحات العلاقات الحالية. والسؤال الجوه true هو ما إذا كان المسار الرمزي الكامل ضرورياً لقرار التوجيه المحلي للنموذج، أم أن لاحقاً (Suffix) محدود يكفي.

المنهجية: سياق المسار المحدود (BPC)

تقدم الورقة البحثية سياق المسار المحدود (Bounded Path Context - BPC)، وهو تدخل في واجهة الأوامر التوجيهية يعمل على فصل الحالة الرمزية للمتحكم عن النص المرئي للنموذج اللغوي الكبير أثناء اختيار العلاقة.

الآلية الجوهرية

• الحالة الرمزية: يحتفظ المتحكم بالمسار الكامل $p_t = (e_0, r_1, e_1, \dots, r_t, e_t)$ في الذاكرة لاستخراج الإجابة والتدقيق.
• التاريخ المرئي: يتضمن الأمر التوجيهي المعروض للنموذج اللغوي الكبير لاختيار العلاقة السؤال، والكيان الحالي، ومرشحات العلاقات الخارجة، وآخر $K$ من القفزات فقط من المسار.
  • $K=0$: لا يتم عرض أي قفزات سابقة.
  • $K=1$: يتم عرض القفزة السابقة المباشرة فقط.
  • $K=\text{full}$: يتم تسلسل المسار الكامل (الأساس التقليدي).

الإعداد التجريبي

• مجموعات البيانات: WebQSP و ComplexWebQuestions (CWQ)، باستخدام جيران الرسم البياني المحلي المتوافق مع RoG.
• النماذج: Qwen3.5-9B-AWQ و Qwen3.5-4B-AWQ، يتم تشغيلها محلياً عبر vLLM.
• عناصر التحكم: تثبت الدراسة جيران الرسم البياني، وعرض الحزمة (Beam width)، وعمق البحث، وسقوف العلاقات، ودرجة فك التشفير (Decoding temperature). المتغير الوحيد هو طول تاريخ المسار المرئي ($K$).
• المقاييس: F1 لمجموعة الإجابات، وHits@1، وعدد توكنات المدخلات، ووقت التنفيذ الفعلي (Wall-clock time).

النتائج الرئيسية

1. الأداء مقابل التاريخ الكامل

على عكس الحدس الذي يقول إن المزيد من السياق أفضل، فإن التواريخ المحدودة تضاهي أو تتفوق على التوجيه بالتاريخ الكامل:

• Qwen3.5-9B:
  • WebQSP: حقق $K=1$ أعلى F1 (0.487)، متفوقاً على التاريخ الكامل (0.472). وكان $K=0$ متقارباً جداً (0.485).
  • CWQ: حقق $K=0$ أعلى F1 (0.287)، متفوقاً على التاريخ الكامل (0.274).
• الكفاءة: قللت السياقات المحدودة من توكنات المدخلات بشكل كبير (تقليل يصل إلى 12.1% في CWQ)، وفي بعض الحالات، قللت من وقت التنفيذ الفعلي.

2. التفاعل مع حجم النموذج

يعتمد $K$ الأمثل على قدرة النموذج:

• مقياس 9B: تفوقت التواريخ المحدودة ($K=0$ أو $K=1$) عموماً على التاريخ الكامل.
• مقياس 4B: أدى التاريخ الكامل أداءً أفضل من $K=0$، مما يشير إلى أن النماذج الأصغر تستفيد من بعض سياق المسار. ومع ذلك، ظل $K=1$ هو الإعداد الأقوى عبر كلا مجموعتي البيانات لنموذج 4B، متفوقاً على كل من $K=0$ والتاريخ الكامل.

3. تحليل الخطأ

• الاستقرار: أنتجت 71-84% من الأمثلة درجات F1 متطابقة بغض النظر عن طول التاريخ، مما يشير إلى أن معظم قرارات التوجيه قوية تجاه اختصار السياق.
• أنماط الفشل:
  • تفوق التاريخ الكامل: حدث غالباً عندما كانت هناك حاجة لقفزة سابقة لفك الغموض عن الكيان الحالي.
  • تفوق المسار المحدود: حدث غالباً عندما تسبب التاريخ الكامل في إدخال أسماء كيانات "قديمة" أو تسميات علاقات سابقة غير ذات صلة مما أدى لتشتيت النموذج.
  • الضوابط العشوائية: سجل الاختيار العشوائي للعلاقات درجات أقل بكثير، مما يؤكد أن المكاسب ناتجة عن اختيار العلاقة المتعلم والربط بالرسم البياني، وليس مجرد تقليل الضجيج.

المساهمات الرئيسية

1. فصل الواجهة: تعريف BPC كوسيلة لفصل الحالة الرمزية الحتمية (ذاكرة المتحكم) عن التواصل المرئي للنموذج (نص الأمر التوجيهي).
2. الأدلة التجريبية: إثبات أن تسلسل المسار الكامل ليس افتراضاً متفوقاً بشكل موحد. في WebQSP و CWQ، حققت التواريخ المحدودة ($K=0$ أو $K=1$) درجات F1 أعلى مع عدد أقل من التوكنات.
3. دقة مقياس النموذج: تحديد أنه بينما تستفيد النماذج الأصغر (4B) من بعض السياق، فإن قفزة مرئية واحدة ($K=1$) تظل إعداداً تنافسياً ثابتاً عبر مقايتات النماذج المختلفة.
4. الضوابط التشخيصية: التحقق من أن النتائج ليست ناتجة عن الوصول إلى الرسم البياني أو الصدفة العشوائية، بل تنبع من التفاعل المحدد بين طول المسار وانتباه النموذج اللغوي الكبير.

الأهمية والادعاءات

تدعي الورقة أن طول تسلسل المسار يجب أن يُعامل كمتغير واجهة قابل للضبط بدلاً من كونه افتراضاً ثابتاً في متحكمات الرسم البياني المعتمدة على LLM.

• تصميم النظام: يسمح BPC لمصممي الأنظمة بتقليل حمل توكنات المدخلات وزمن الاستجابة دون التضحية بالدقة (وغالباً بتحسينها).
• الرؤية النظرية: تشير النتائج إلى أنه بالنسبة لقرارات التوجيه المحلية، فإن "السؤال + الكيان الحالي + مرشحات العلاقة" تشفر إشارات محلية قوية. يمكن للقفزات الأقدم أن تكون مفيدة لفك الغموض ولكنها غالباً ما تعمل كمشتتات عبر إدخال أشكال سطحية غير ذات صلة.
• القابلية للتدقيق: من خلال الاحتفاظ بالمسار الكامل في الذاكرة الرمزية، يحافظ BPC على القدرة على تدقيق الأدلة واستخراج الإجابات من المسارات الكاملة، حتى لو تم اختصار أوامر التوجيه.

يخلص المؤلفون إلى أنه بينما ليس التاريخ الكامل هو الإعداد صاحب أعلى F1 في تجاربهم، فإن الحد المحدد ($K=1$) يوفر إعداداً افتراضياً قوياً وفعالاً يوازن بين فك الغموض المحلي واقتصاد الأوامر التوجيهية.