💬 NLP

Harness-G: A Graph-Structured Harness for Search Agents

يعالج Harness-G انهيار التكافؤ الاسترجاعي في وكلاء البحث القائمين على التعلم التعزيزي من خلال تقديم واجهة ذات بنية رسومية تعيد صياغة توليد الاستعلامات حرة التشكيل إلى اختيار أفعال محددة، مقترنة بآلية ائتمان هيكلية غير قصيرة النظر تتفوق بشكل كبير على النماذج المرجعية الحالية عبر العديد من اختبارات قياس الأسئلة والأجوبة.

المؤلفون الأصليون: Yanning Hou, Haoyuan Chen, Sihang Zhou, Xiaoshu Chen, Xirui Liu, Duanyang Yuan, Lingyuan Meng, Quan Liu, Jian Huang

نُشر 2026-07-31

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yanning Hou, Haoyuan Chen, Sihang Zhou, Xiaoshu Chen, Xirui Liu, Duanyang Yuan, Lingyuan Meng, Quan Liu, Jian Huang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز محير، مثل معرفة من سرق آخر قطعة كعك من البرطمان. لديك محقق فائق الذكاء (ذكاء اصطناعي) يمكنه قراءة ملايين الكتب للعثور على الإجابة. لكن هناك عقبة: المحقق لا يعرف كيف يطلب المساعدة من أمين المكتبة. فبدلاً من قول: "أرني الكتاب المتعلق ببرطمان الكعك"، يبدأ بالصراخ بجمل غريبة وفخمة مثل: "أحتاج إلى قصة الفتات المقرمش!" أو "اكشف عن حكاية اللص السكري!".

هكذا تعمل معظم وكلاء البحث في الذكاء الاصطناعي الحالي. إنهم يستخدمون تقنية تسمى "التعلم المعزز" (Reinforcement Learning)، وهي في الأساس طريقة تدريب تشبه ألعاب الفيديو حيث يحصل الذكاء الاصطناعي على "تطبطبة على الكتف" (مكافأة) عندما يصل إلى الإجابة الصحيحة، و"إبهام للأسفل" عندما يفشل. المشكلة هي أن الذكاء الاصطناعي بارع جداً في ابتكار جمل مختلفة في مظهرها، مما يجعله يطلب المعلومة نفسها تماماً بعشر طرق مختلفة. الأمر يشبه الصراخ بكلمات "كعكة!" و"حلويات لذيذة!" و"وجبة خفيفة شهية!" في نفس الوقت. يعيد أمين المكتبة (محرك البحث) نفس كومة الكتب لكل هذه الصيغ، لكن الذكاء الاصطناعي يعتقد أنه يستكشف مناطق جديدة. هذا يخلق فوضى مربكة حيث يظن الذكاء الاصطناعي أنه يتعلم، بينما هو في الواقع يدور حول نفسه، يسأل نفس الأسئلة مراراً وتكراراً بأزياء مختلفة.

لاحظ الباحثون في الجامعة الوطنية للدفاع التكنولوجي هذا الارتباك وقرروا إصلاح الطريقة التي يتحدث بها المحقق إلى أمين المكتبة. أدركوا أن ترك الذكاء الاصطناعي يصرخ بجمل عشوائية هو أصل المشكلة. فبدلاً من ترك الذكاء الاصطناعي يبتكر أسئلته الخاصة، قاموا ببناء قائمة خاصة، تشبه واجهة ألعاب الفيديو، حيث يتعين عليه اختيار إجراءات محددة ومعتمدة مسبقاً. لا يمكنه مجرد "السؤال"؛ بل يجب عليه "اختيار" جملة معينة، أو "البحث عن" شخص معين، أو "الإجابة" على السؤال. ومن خلال إجباره على الاختيار من قائمة واضحة، منعوه من الضياع في فوضى كلماته المنمقة. كما ابتكروا طريقة جديدة لمنح الفضل: إذا اختار الذكاء الاصطناعي الشخص الصحيح للبحث عنه، ولكن الإجابة لم تظهر إلا بعد ثلاث خطوات، فإنهم يحرصون على منحه الفضل لتلك الخطوة الذكية الأولى، وليس فقط للخطوة النهائية.

اللعبة الجديدة: Harness-G

يقدم البحث نظاماً جديداً يسمى Harness-G. فكر في الأمر كأنك تعطي محقق الذكاء الاصطناعي خريطة جديدة تماماً، فائقة التنظيم، وقواعد لعبة صارمة.

المشكلة: "وهم" الاستكشاف
وجد المؤلفون أنه عندما تستخدم وكلاء الذكاء الاصطناعي الطريقة القديمة "الحرة" (الصراخ بجمل عشوائية)، فإنهم يعانون مما يسمونه "انهيار تكافؤ الاسترجاع" (retrieval-equivalence collapse). تخيل أنك تلعب لعبة حيث عليك العثور على كنز مخفي. المحقق القديم كان يحاول الحفر في عشرة أماكن مختلفة، ولكن لأن تعليماته كانت غامضة، كان محرك اللعبة يعيد تقديم نفس كومة التراب إلى جميع الأماكن العشرة. ظن الذكاء الاصطناعي: "واو، لقد جربت عشرة أشياء مختلفة!"، لكن في الواقع، لقد حفر نفس الحفرة عشر مرات. جعل هذا من المستحيل على الذكاء الاصطناعي تعلم أي الحركات كانت جيدة حقاً، لأن كل حركة بدت متطابقة بالنسبة للنظام.

الحل: قائمة الإجراءات
يغير Harness-G قواعد اللعبة. بدلاً من ترك الذكاء الاصطناعي يكتب أسئلته الخاصة، يقوم النظام ببناء رسم بياني (graph) — وهو عبارة عن شبكة ضخمة تربط بين الفقرات والجمل والأسماء (الكيانات) من جميع الكتب. عندما يريد الذكاء الاصطناعي العثور على معلومات، فإنه لا يكتب جملة، بل ينظر إلى قائمة من الخيارات التي يوفرها النظام.

تقدم القائمة ثلاثة أنواع فقط من الحركات:

الاختيار (Select): "أختار هذه الجملة المحددة كدليل لي."
البحث (Lookup): "أريد العثور على مزيد من المعلومات حول هذا الاسم المحدد (مثل 'كارولين ليف')."
الإجابة (Answer): "لقد انتهيت، إليكم إجابتي."

يقوم النظام بعد ذلك تلقائياً بتحويل ذلك الخيار إلى استعلام البحث المثالي. هذا يمنع الذكاء الاصطناعي من ابتكار مرادفات مربكة. إذا أراد الذكاء الاصطناعي البحث عن "كارولين ليف"، فإنه يختار "البحث عن كارولين ليف" من القائمة. لا يمكنه بالخطأ اختيار "البحث عن مخرج الفيلم" والحصول على نتيجة مختلفة، لأن النظام يعرف أن هذين الشيئين هما نفس الشيء ويتعامل مع ذلك تلقائياً. هذا يجعل كل حركة متميزة وواضحة.

نظام الائتمان الذكي: SNC
يقدم البحث أيضاً طريقة جديدة لمنح "التصفيق" تسمى الائتمان الهيكلي غير القاصر (Structured Non-myopic Credit - SNC). في الألعاب القديمة، إذا قام الذكاء الاصطناعي بخطوة ذكية مبكرة (مثل إيجاد جسر بين فكرتين) ولكنه لم يحصل على الإجابة النهائية إلا بعد فترة طويلة، فغالباً ما كان لا يحصل على أي ائتمان لتلك الخطوة المبكرة. كان الأمر يشبه لاعب كرة قدم يمرر الكرة بشكل مثالي لزميله، ولكن الشخص الذي ركل الكرة في المرمى فقط هو من يحصل على اتهام تسجيل الهدف.

يصلح Harness-G هذا الأمر من خلال النظر في سلسلة الأحداث بأكملها. فهو يتساءل: "هل هذه الخطوة المبكرة مكنت النجاح اللاحق؟". إذا اختار الذكاء الاصطناعي جملة الربط الصحيحة، فإن النظام يمنحه الائتمان حتى لو جاءت الإجابة النهائية بعد ثلاث خطوات. كما يقارن اختيار الذكاء الاصطناعي مقابل الخيارات الأخرى المتاحة في تلك اللحظة تحديداً. إذا اختار الذكاء الاصطناعي الخيار الأفضل من القائمة، فإنه يحصل على مكافأة كبيرة، وإذا اختار خياراً متوسطاً، فإنه يحصل على أقل. هذا يعلم الذكاء الاصطناعي أن يكون استراتيجياً، وليس مجرد محظوظ.

النتائج
اختبر الباحثون هذا النظام الجديد في ستة تحديات مختلفة للإجابة على الأسئلة، تتراوح من المعلومات العامة البسيطة إلى الألغاز المعقدة متعددة الخطوات. وقارنوا Harness-G بأفضل الأساليب الموجودة، بما في ذلك نظام يسمى Graph-R1.

كانت النتائج واضحة:

فاز Harness-G. حقق أعلى متوسط درجات في جميع الاختبارات.
ساعد العقول الصغيرة أكثر. عندما استخدموا نموذج ذكاء اصطناعي أصغر (1.5 مليار معلمة)، حسن Harness-G درجته بمقدار 10.74 نقطة مقارنة بأفضل طريقة تالية. وحتى مع نموذج أكبر (3 مليارات معلمة)، فإنه لا يزال يتفوق على المنافسين بمقدار 3.98 نقطة.
كان أكثر كفاءة. لم يحتج الذكاء الاصطناعي إلى طرح عدد كبير من الأسئلة للعثور على الإجابة، ولم يضيع الوقت في قراءة معلومات غير ذات صلة.

ما استبعدوه
يجادل البحث صراحة ضد فكرة أن مجرد إعطاء الذكاء الاصطناعي مكافآت "أكثر كثافة" (تصفيقات أكثر تكراراً) لصراخه العشوائي سيحل المشكلة. لقد أظهروا أنه حتى مع وجود تسجيل أفضل للدرجات، إذا سُمح للذكاء الاصطناعي بالصراخ بجمل عشوائية، فإنه سيظل عالقاً في "وهم الاستكشاف" حيث يعتقد أنه يفعل أشياء جديدة بينما هو ليس كذلك. الحل ليس مجرد تحسين التسجيل، بل هو تغيير الواجهة نفسها.

مدى تأكدهم؟
المؤلفون واثقون جداً في نتائجهم لأنهم اختبروها على بيانات حقيقية عبر ست مجموعات بيانات ونموذجين مختلفين من أحجام الذكاء الاصطناعي. لم يكتفوا بالمحاكاة، بل قاموا بالفعل بتدريب الذكاء الاصطناعي ومراقبته وهو يتعلم. كما أجروا "دراسات الاستئصال" (ablation studies)، والتي تعني أنهم فككوا نظامهم الخاص لإثبات أن كلاً من القائمة ونظام الائتمان الذكي ضروريان. فعندما أزالوا القائمة، انخفض الأداء. وعندما أزالوا نظام الائتمان الذكي، انخفض الأداء أيضاً. كلا الجزأين أساسيان.

باختصار، يوضح Harness-G أن أفضل طريقة لجعل الذكاء الاصطناعي أكثر ذكاءً ليست دائماً في تركه أكثر إبداعاً في أسئلته، بل في إعطائه طريقة أكثر وضوحاً وهيكلية لاختيار خطوته التالية. إنه يحول صراع الصراخ الفوضوي إلى لعبة شطرنج دقيقة واستراتيجية.

ملخص تقني: Harness-G

المشكلة: انهيار التكافؤ في الاسترجاع لدى وكلاء البحث في التعلم المعزز

عادةً ما تقوم وكلاء البحث في التعلم المعزز (RL)، مثل Search-R1، بنمذجة الاسترجاع كعملية توليد لاستعلامات لغوية طبيعية حرة. تعمل هذه الوكلاء على تحسين مسارات التفاعل متعددة الخطوات باستخدام مكافآت الإجابة النهائية (مثل F1 أو التطابق التام). وبينما تحاول الدراسات الحديثة تحسين التدريب عبر إشارات ائتمان أكثر كثافة (مثل كسب المعلومات أو مكافآت العملية)، إلا أنها تظل تحتفظ بالواجهة الأساسية حيث يولد السياسة (policy) سلسلة نصية ويقوم البيئة بربطها بالأدلة المسترجعة.

يحدد المؤلفون نمط فشل حرج في هذا الإعداد يسمى انهيار التكافؤ في الاسترجاع (retrieval-equivalence collapse). أثناء التدريب، يولد السياسة استعلامات متنوعة على مستوى السطح (تنوع عالٍ في صيغة الاستعلام)، ومع ذلك، غالبًا ما تؤدي هذه الاستعلامات إلى مجموعات متطابقة تقريبًا من الأدلة المسترجعة (تنوع منخفض في نتاج الاسترجاع). ومع تقدم التدريب، تتقارب المسارات لنفس السؤال في فئة تكافؤ استرجاع واحدة. يخلق هذا الانهيار مشكلتين للتحسين في أساليب المجموعات النسبية مثل GRPO:

تلاشي المزايا: إذا استرجعت مسارات متعددة نفس الأدلة وأنتجت نفس الإجابة، فإن عوائدها تكون متطابقة، مما يؤدي إلى تلاشي المزايا داخل المجموعة.
ائتمان الاسترجاع المختلط: إذا استرجعت المسارات نفس الأدلة ولكن أنتجت إجابات مختلفة، فإن فروق العائد تعكس عمليات الاستنتاج اللاحقة بدلاً من جودة الاسترجاع، مما يجعل من المستحيل عزو النجاح أو الفشل إلى إجراءات استرجاع محددة.

بناءً على ذلك، فإن "الاستكشاف" الذي توفره استعلامات النصوص الحرة يكون غالبًا وهميًا، حيث يفشل في توفير تباين فعال لتعلم استراتيجيات استرجاع أفضل.

المنهجية: Harness-G

لمعالجة ذلك، يقترح المؤلفون Harness-G، وهو إطار عمل استرجاع مهيكل بالرسوم البيانية يعيد تصميم الواجهة بين السياسة والبيئة. بدلاً من توليد استعلامات حرة، يقوم السياسة باختيار أفعال محدودة فوق فضاء أدلة مهيكل.

1. بيئة مهيكلة بالرسوم البيانية

يبني Harness-G رسمًا بيانيًا ثلاثي الأجزاء خفيف الوزن ومبرمجًا (programmatic) مسبقًا من المتن (corpus)، يتكون من:

عقد الفقرات: سياقات المستندات.
عقد الجمل: أصغر وحدات الأدلة.
عقد الكيانات: تربط بين القفزات عبر الجمل وعبر المستندات.
تربط الحواف بين الفقرات والجمل، والجمل والكيانات (عبر الإشارات)، والجمل المتجاورة، والكيانات المتطابقة/المتشابهة (عبر التنميط السطحي وجيران التضمين). يتم بناء هذا الرسم البياني دون استخدام نماذج لغوية توليدية، بالاعتماد على تقسيم الجمل، والتعرف على الكيانات المسماة (NER)، والتشفير الكثيف.

2. واجهة قائمة الأفعال

في كل خطوة، يكشف البيئة عن قائمة أفعال محدودة ومحصورة ( $M_t$ ) للسياسة. يختار السياسة معرف فعل (Action ID) من هذه القائمة بدلاً من توليد سلسلة نصية. الأفعال هي:

الاختيار (Select(s)): اعتماد جملة مرئية $s$ كدليل.
البحث (Lookup(e)): استرجاع المعلومات حول كيان محدد $e$ . يقوم البيئة ببناء الاستعلام بشكل حتمي (عن طريق دمج السؤال والأدلة المعتمدة) ويعيد أعلى $K$ من الجمل.
الإجابة / الإجابة مع (Answer / Answer_With): إنهاء الاسترجاع وتوليد إجابة (مع إمكانية اعتماد الجمل المرئية في خطوة واحدة).

يضمن هذا التصميم:

المحدودية: فضاء الأفعال محدود.
القابلية للتحقق: يتم حظر الأفعال غير الصالحة قبل التنفيذ.
قابلية المعاينة: يمكن للبيئة محاكاة (معاينة) نتيجة أي فعل مرشح بشكل حتمي دون تغيير الحالة.

3. الائتمان المهيكل غير القاصر (SNC)

بالاستفادة من جبهة الأفعال القابلة للمعاينة، يقدم Harness-G نظام الائتمان المهيكل غير القاصر (Structured Non-Myopic Credit - SNC) لتخصيص مكافآت على مستوى الخطوة دون الحاجة إلى عمليات تشغيل (rollouts) إضافية للوكيل أو نماذج مكافأة خارجية. يتكون SNC من حدين:

الميزة النسبية للجبهة ( $r^{fr}_t$ ): يقوم مقيم إجابة ذهبية (frozen answer scorer) بتقييم احتمالية الإجابة الصحيحة بناءً على السياق الحالي. بالنسبة لفعل اكتساب المعلومات، فإنه يحسب الربح الهامشي للفعل المختار مقابل متوسط الربح لـ "جبهة" من الأفعال البديلة الممكنة في نفس الحالة. يو توفر هذه الطريقة مقارنة محلية في نفس الحالة لا تتوفر في مساحات الاستعلام المفتوحة.
ائتمان التمكين ( $r^{en}_t$ ): لمعالجة الطبيعة غير القاصرة للاستنتاج متعدد الخطوات (حيث يُمكّن فعل "الجسر" المبكر عملية استرجاع عالية القيمة لاحقًا)، يقوم SNC بنشر المكاسب اللاحقة عبر رسم بياني للمصدر (provenance graph). إذا كانت الخطوة $u$ تستهلك كيانًا نتج عن الخطوة $t$ ، يتدفق الائتمان من $u$ إلى $t$ في ترتيب طوبولوجي عكسي.

يتم دمج ميزة الخطوة الإجمالية مع مكافأة النتيجة القياسية في هدف GRPO: $\hat{A}_i = \hat{A}^{out}_i + \lambda \hat{A}^{SNC}_i$ .

المساهمات الرئيسية

تحديد انهيار التكافؤ في الاسترجاع: يثبت البحث تجريبيًا أن واجهات الاستعلام الحر في وكلاء البحث تؤدي إلى انهيار في تنوع الاسترجاع، مما يجعل التحسين النسبي للمجموعات غير فعال.
إعادة تصميم الواجهة (Harness-G): يعيد صياغة الاسترجاع متعدد الخطوات كاختيار أفعال محدود فوق بيئة مهيكلة بالرسوم البيانية، مستبدلًا توليد النصوص الحرة بقائمة قابلة للتحقق والمعاينة.
الائتمان المهيكل غير القاصر (SNC): يقدم آلية لتخصيص الائتمان تستغل قابلية معاينة قائمة الأفعال لحساب المزايا النسبية في نفس الحالة ونشر الائتمان المتأخر للأفعال المُمكّنة، وكل ذلك دون عمليات تشغيل إضافية.
التحقق التجريبي: تُظهر التجارية الواسعة عبر ستة معايضات (بما في ذلك مجموعات بيانات متعددة الخطوات مثل 2Wiki وHotpotQA وMuSiQue) أن Harness-G يتفوق بشكل كبير على النماذج المرجعية القوية، خاصة في السيناريوهات متعددة الخطوات ومع أحجام النماذج الأصغر.

النتائج

تم التقييم على ستة معايضات باستخدام نماذج Qwen2.5-1.5B وQwen2.5-3B:

الأداء: يحقق Harness-G أعلى متوسط F1 عند كلا حجمي النموذج.
- عند 1.5B، يتفوق على أقوى نموذج مرجعي (Graph-R1) بمقدار 10.74 نقطة في متوسط F1.
- عند 3B، يتفوق على Graph-R1 بمقدار 3.98 نقطة.
دراسات الاستئصال (Ablation Studies):
- استبدال واجهة الاستعلام الحر بواجهة قائمة الأفعال وحدها يحسن F1 بأكثر من 17 نقطة في المتوسط، مع مكاسب تتجاوز 35 نقطة في MuSiQue.
- إضافة SNC يحسن الأداء بشكل أكبر، خاصة في المهام متعددة الخطوات حيث يكون الائتمان المتأخر أمرًا بالغ الأهمية.
الاستقرار والكفاءة: يُظهر Harness-G ديناميكيات تدريب مستقرة مع معايير تدرج محدودة. لا يتطلب عمليات تشغيل إضافية للوكيل لتخصيص الائتمان (فقط معاينات للقراءة فقط) ولا يتسبب في عبء إضافي كبير (حوالي 9-11% من وقت التشغيل الفعلي لكل خطوة). كما يُظهر قدرات نقل أقوى للبيانات خارج التوزيع (O.O.D) مقارنة بـ Graph-R1.

الأهمية والادعاءات

يزعم البحث أن تصميم فضاء الأفعال هو محور مكمل وحاسم لتصميم المكافآت لتدريب وكلاء البحث. يجادل المؤلفون بأن مجرد تكثيف المكافآت (مثل مكافآت العملية أو كسب المعلومات) ضمن واجهة استعلام حر لا يمكن أن يحل بشكل أساسي مشكلة انهيار التكافؤ في الاسترجاع لأن الواجهة نفسها تسمح بوجود خرائط "متعدد إلى واحد" من الاستعلامات إلى الأدلة.

من خلال إعادة تعريف واجهة الاسترجاع لتكون منفصلة، وقابلة للتحقق، وقابلة للمعاينة، يُمكّن Harness-G من:

استكشاف حقيقي: ضمان أن تؤدي الأفعال المختلفة إلى نتائج استرجاع مختلفة حقًا.
تخصيص دقيق للائتمان: السماح للوكيل بتعلم أي من الأدلة أو خيارات الكيانات هي الأفضل مقارنة بالبدائل في حالة القرار نفسها.
التعلم غير القاصر: تعليم الوكيل بفعالية كيفية القيام بخطوات "الجسر" الضرورية التي لا تحقق مكافآت عالية فورية ولكنها ضرورية للنجاح اللاحق.

يخلص العمل إلى أنه بينما يقتصر Harness-G حاليًا على النصوص فقط، فإن نهجه المهيكل لمساحات الأفعال وتخصيص الائتمان يقدم إطار عمل قويًا لتدريب وكلاء البحث، مما يشير إلى أن العمل المستقبلي يمكن أن يمد هذه المبادئ إلى الوسائط المتعددة.