💬 NLP

Scaling External Knowledge Input Beyond Context Windows of LLMs via Multi-Agent Collaboration

تقدم هذه الورقة البحثية **\ExtAgents**، وهو إطار عمل متعدد الوكلاء يتغلب على قيود نافذة السياق في النماذج اللغوية الكبيرة (LLMs) من خلال توزيع مدخلات المعرفة الخارجية الضخمة عبر وكلاء متوازيين، مما يعزز الأداء بشكل كبير في المهام المعقدة مثل الإجابة على الأسئلة متعددة الخطوات وتوليد الاستطلاعات الطويلة دون الحاجة إلى تدريب على سياق أطول.

المؤلفون الأصليون: Zijun Liu, Zhennan Wan, Peng Li, Ming Yan, Fei Huang, Yang Liu

نُشر 2026-04-21

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Zijun Liu, Zhennan Wan, Peng Li, Ming Yan, Fei Huang, Yang Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "توسيع نطاق مدخلات المعرفة الخارجية بما يتجاوز نوافذ السياق للنماذج اللغوية الكبيرة عبر التعاون بين الوكلاء" (الذي يقدم نظام EXTAGENTS)، باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: العملاق ذو "الذاكرة القصيرة"

تخيل أن لديك أمين مكتبة عبقرياً وفائق الذكاء (LLM) يمكنه قراءة الكتب بسرعة البرق والإجابة على أي سؤال تقريباً. ومع ذلك، لديه عيب غريب جداً: يمكنه فقط حمل كمية محددة من الورق في يديه في المرة الواحدة. لنقل مثلاً أن هذا الحد هو 128 صفحة.

إذا سألته سؤالاً حول موضوع يتطلب قراءة 1,000 صفحة من الأبحاث، فلن يستطيع القيام بذلك.

الخيار (أ) (القص/الاقتطاع): تعطيه أول 128 صفحة وتتجاهل الباقي. سيفتقد الإجابة الحاسمة المختبئة في الصفحة رقم 800.
الخيار (ب) (التلخيص): تطلب من روبوت آخر تلخيص الـ 1,000 صفحة في ورقة واحدة تحتوي على "خلاصة مفيدة". ولكن أثناء القيام بذلك، قد يرمي الروبوت بالخطأ تلك التفصيلة الصغيرة الوحيدة التي تحل مشكلتك.
الخيار (ج) (التدريب): تحاول تعليم أمين المكتبة كيف يحمل 1,000 صفحة. هذا أمر مكلف للغاية، ويستغرق سنوات، وقد يجعله ينسى كيفية قراءة الصفحة الأولى بشكل صحيح.

الهدف: نريد من أمين المكتبة الخاص بنا أن يحل المشكلات باستخدام كامل الـ 1,000 صفحة من المعلومات دون الحاجة إلى إعادة تدريبه أو فقدان أي تفاصيل.

الطريقة القديمة: "لعبة الهاتف"

قبل هذه الورقة البحثية، حاول الباحثون حل هذه المشكلة عن طريق توظيف فريق من أمناء المكتبة المبتدئين (الوكلاء - Agents) لمساعدته.

كيف كانت تعمل: أمين المكتبة (أ) يقرأ الصفحات من 1 إلى 10، ويلخصها، ثم يهمس بالملخص لأمين المكتبة (ب). أمين المكتبة (ب) يقرأ الصفحات من 11 إلى 20، ويضيف ملخصه، ثم يهمس لأمين المكتبة (ج). وهكذا...
العيب: بحلول الوقت الذي تصل فيه المعلومات إلى أمين المكتبة الأخير، تكون مثل "لعبة الهاتف" (التي تعتمد على الهمس). التفاصيل المهمة تضيع، أو تتشوه، أو تُنسى. أيضاً، أمين المكتبة (ب) مسموح له فقط بالتحدث مع (أ) و(ج)، وليس مع الفريق بأكمله. إنهم يعملون في صوامع منعزلة، مما يجعلهم يفتقدون الصورة الكبيرة.

الحل الجديد: EXTAGENTS (اجتماع "الكل حاضر")

ابتكر المؤلفون إطار عمل جديداً يسمى EXTAGENTS. بدلاً من خط بطيء من الهمس، قاموا بتنظيم الفريق مثل غرفة أخبار عالية السرعة أو مركز قيادة عسكري.

إليك كيف يعمل الأمر، مقسماً إلى دورين بسيطين:

1. الكشافة (وكلاء البحث - Seeking Agents)

تخيل أن لديك 100 كشاف. كل كشاف مخصص له جزء صغير من وثيقة الـ 1,000 صفحة (مثلاً 10 صفحات لكل منهم).

الطريقة القديمة: كان الكشافة يتحدثون فقط مع جيرانهم المباشرين.
طريقة EXTAGENTS: يقرأ كل كشاف صفحاته العشر، ثم يصرخ إلى الغرفة بأكملها: "لقد وجدت دليلاً عن الكنز هنا!"
المصفاة (الفلتر): قبل أن يصرخ، يقوم بتقييم مدى أهمية الدليل الذي وجده. إذا وجد الكشاف شيئاً مملاً، يظل صامتاً. إذا وجد شيئاً حاسماً، يصرخ بصوت عالٍ.
النتيجة: يسمع "القائد" (وكيل الاستنتاج - Reasoning Agent) أفضل الأدلة من الجميع فوراً، وليس فقط من الشخص الواقف بجانبه. وهذا يحل مشكلة "عرض النطاق الترددي" (Bandwidth).

2. القائد (وكيل الاستنتاج - Reasoning Agent)

هذا هو العقل الرئيسي. بدلاً من أن يشعر بالارتباك من 1,000 صفحة من النصوص، فإنه يحصل على قائمة منسقة من أفضل الأدلة من الكشافة.

خدعة التراكم: لا يحاول القائد قراءة كل شيء دفعة واحدة. بل يطلب "أفضل دليل واحد"، ثم "أفضل دليلين"، ثم "أفضل 4 أدلة"، ثم "أفضل 8 أدلة".
لماذا يساعد هذا: الأمر يشبه بناء لغز (Puzzle). تبدأ بقطع الزوايا (المعلومات الأكثر أهمية). ومع إضافة المزيد من القطع، تصبح الصورة أكثر وضوحاً. يتوقف القائد ويقول: "حسناً، لدي ما يكفي من القطع لحل هذا!" قبل أن يغمره الكثير من الضجيج والمعلومات غير الضرلة.

لماذا يعد هذا أمراً هاماً؟

لا مزيد من "الضياع في الترجمة": لأن الكشافة يتحدثون إلى الفريق بأكمله (التزامن العالمي - Global Synchronization)، فإن الحقائق الأكثر أهمية لا تضيع في منتصف الخط.
لا يوجد عبء معلوماتي زائد: لأن القائد ينظر فقط إلى "أفضل الأدلة المصنفة" ويضيفها ببطء (الاستنتاج المتراكم للمعرفة)، فإنه لا يرتبك بسبب كثرة البيانات.
سريع جداً: بما أن جميع الكشافة يمكنهم قراءة صفحاتهم في نفس الوقت (التوازي - Parallelism)، فإن العملية برمتها سريعة للغاية. إنه يشبه وجود 100 شخص يقرؤون كتاباً في وقت واحد بدلاً من شخص واحد يقرأه ببطء.

الاختبار في العالم الحقيقي

اختبر الباحثون هذا النظام في مهمتين صعبتين:

اختبار "الإبرة في كومة قش": العثً على حقيقة محددة مخبأة في وثيقة ضخمة (مثل العثً على جملة معينة في رواية من 1,000 صفحة).
كتابة مسح بحثي: قراءة مئات الأوراق الأكاديمية لكتابة ملخص عن موضوع ما.

النتيجة:
تفوق EXTAGENTS باستمرار في إيجاد الإجابات الصحيحة وكتابة ملخصات أفضل من أي طريقة أخرى، حتى عندما كان حجم المعلومات 8 أضعاف ما صُمم الذكاء الاصطناعي الأصلي للتعامل معه. لم يكن بحاجة لإعادة التدريب؛ كان يحتاج فقط إلى طريقة أفضل لتنظيم فريقه.

تشبيه الملخص

الطريقة القديمة: سباق تتابع حيث يمر العداؤون بالعصا عبر خط من الأشخاص. إذا أسقط العداء الذي في المنتصف العصا (فقد المعلومة)، يفسد السباق.
EXTAGENTS: غرفة عمليات حرب حيث يرسل كل متخصص (كشاف) بلاياً لاسلكياً فورياً بأفضل معلومات استخباراته إلى الجنرال (القائد). يقوم الجنرال بتصفية الضجيج، والتركيز على أفضل المعلومات، ثم اتخاذ القرار.

تثبت هذه الورقة البحثية أننا لسنا بحاجة لبناء عقول أكبر وأكثر تكلفة للتعامل مع المزيد من المعلومات. نحن فقط بحاجة لتعليم عقولنا الحالية كيف تتعاون بشكل أفضل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "توسيع مدخلات المعرفة الخارجية بما يتجاوز نوافذ السياق للنماذج اللغوية الكبيرة عبر التعاون بين الوكلاء المتعددين" (EXTAGENTS).

1. تعريف المشكلة

تعالج الورقة البحثية عائقاً حرجاً في النماذج اللغوية الكبيرة (LLMs): وهو عدم القدرة على الاستفاز الفعال لمدخلات المعرفة الخارجية التي تتجاوز نافذة السياق الخاصة بالنموذج.

عنق الزجاجة: بينما حسنت تقنيات ما بعد التدريب من القدرة على الاستنتاج والبحث عن المعلومات، فإن نافذة السياق الثابتة (مثل 128 ألف توكن) تمنع توسيع نطاق المعرفة الخارجية. يؤدي مجرد قطع المستندات الطويلة إلى فقدان المعلومات، بينما يعد تمديد نوافذ السياق عبر التدريب أمراً مكلفاً حاسوبياً ونادراً من حيث البيانات.
عيوب الحلول الحالية:
- الاسترجاع المعزز بالتوليد (RAG): يعاني من أخطاء في الترتيب، مما قد يؤدي إلى استبعاد الأدلة الجوهرية.
- الضغط (Compression): غالباً ما يكون فاقداً للمعلومات، حيث يتخلص من الإشارات الدقيقة الضرورية للاستنتاج المعقد.
- أنظمة الوكلاء المتعددين الحالية: تفشل الطرق الحالية (مثل Chain of Agents، وLongAgent، وLLM×MapReduce) في تحسين الأداء باستمرار مع زيادة حجم المدخلات. وهي تعاني من عنقي زجاجة أساسيين:
  1. تزامن المعرفة: "عرض نطاق" محدود حيث يمكن للوكلاء فقط تبادل المعلومات مع جيرانهم المحليين، مما يمنع الوعي بالسياق العالمي.
  2. الاستنتاج المتكامل مع المعرفة: تتعرض وكلاء الاستنتاج لحالة من الإفراط في المعلومات عند تجميع مخرجات جميع الوكلاء، مما يؤدي إلى حمل معلومات زائد.

2. المنهجية: EXTAGENTS

يقترح المؤلفون إطار عمل EXTAGENTS، وهو إطار عمل متعدد الوكلاء قابل للتوسع مصمم لمعالجة المعرفة الخارجية الضخمة دون إعادة تدريب النموذج اللغوي الكبير. يقوم الإطار بفصل العملية إلى دورين متميزين ويقدم آليتين رئيسيتين.

أ. أدوار الوكلاء

يبسط الإطار تنسيق الوكلاء إلى نوعين:

وكلاء البحث (Seeking Agents): يتم تعيينهم لقطع محددة من مستند المدخلات. دورهم هو فهم القطعة المحلية الخاصة بهم، واستخراج المعلومات ذات الصلة، وتقييم مدى صلة المعلومات المستخرجة بالاستعلام العالمي.
وكيل الاستنتاج (Reasoning Agent): مسؤول عن دمج المعرفة المتراكمة من وكلاء البحث لتوليد الإجابة النهائية. ويتضمن فحص إمكانية الإجابة لرفض الإجابة إذا كانت المعلومات غير كافية، مما يمنع الهلوسة.

ب. الابتكارات الرئيسية

التزامن العالمي للمعرفة (GKS):
- على عكس الطرق السابقة التي تقيد الوكلاء في أحياء محلية، يسمح EXTAGENTS لكل وكيل بحث برؤية المجموعة العالمية من الرسائل من الخطوة الزمنية السابقة.
- الآلية: قبل تجميع السياق، يقوم الوكلاء بترتيب رسائلهم المستخرجة بناءً على درجات الصلة. ثم يقوم وكيل الاستنتاج باختيار أفضل $k$ من الرسائل الأكثر صلة من المجمع العالمي.
- الفائدة: هذا يعظم "عرض نطاق التزامن"، مما يضمن انتشار المعلومات الهامة عالمياً دون أن تضيع في عمليات التصفية المحلية.
الاستنتاج المتراكم للمعرفة (KAR):
- لحل مشكلة حمل المعلومات الزائد، لا يقوم وكيل الاستنتاج باستيعاب جميع المعلومات دفعة واحدة.
- الآلية: يقوم الوكيل بعملية استنتاج تكرارية. في التكرار $s$ ، يختار أفضل $2^s$ من الرسائل من المجمع المتزامن. يقوم بدمج المزيد من المعلومات تدريجياً (على سبيل المثال، أفضل 1، ثم أفضل 2، ثم أفضل 4، إلخ) حتى يتم العثور على إجابة أو الوصول إلى الحد الأقصى.
- الفائدة: هذا يمنع سياق الاستنتاج من الغرق في الضوضاء الزائدة، مما يسمح للنموذج بالتركيز على الأدلة الأكثر أهمية أولاً.
التوازي (Parallelism):
- يعمل وكلاء البحث بالتوازي في كل خطوة تزامن.
- يدعم الإطار خط إنتاج غير متزامن متداخل حيث يمكن أن تحدث الدفعة التالية من التزامن بينما يعالج وكيل الاستنتاج الدفعة الحالية، مما يقلل زمن الاستجابة بشكل كبير.

3. المساهمات الرئيسية

صياغة المشكلة: تحديد تحدي توسيع مدخلات المعرفة الخارجية بما يتجاوز نوافذ السياق وتحديد اختناقات التنسيق المحددة في أنظمة الوكلاء المتعددين الحالية (عرض النطاق والازدواجية).
بناء المعيار (∞Bench+): إنشاء معيار محسّن للأسئلة والأجوبة متعددة الخطوات. قام المؤلفون بتصفية الاستعلامات التي تعتمد على "الاختصارات" والتي يمكن الإجابة عليها عبر مسح نوافذ صغيرة، لضمان أن الاختبار يقيس حقاً القدرة على تجميع المعلومات عبر مستندات ضخمة.
تطوير إطار العمل: اقتراح EXTAGENTS، الذي يحقق قابلية توسع عالية من خلال التزامن العالمي والاستنتاج المتراكم للمعرفة بشكل تكراري.
الكفاءة: إثبات أن الإطار يحافظ على توازٍ عالٍ، مما يوفر نمواً خطياً في زمن الاستجابة مع حجم المدخلات (تحت التنفيذ المتوازي) مقارنة بالنمو التربيعي للمدخلات المباشرة.

4. النتائج التجريبية

قيم المؤلفون EXTAGENTS على الأسئلة والأجوبة متعددة الخطوات (HotpotQA، و∞Bench+ En.QA/Zh.QA) وتوليد المسوحات الطويلة (AutoSurvey).

توسع الأداء:
- تحسن مستمر: على عكس النماذج المرجعية (Direct Input، وLLM×MapReduce، وChain of Agents) التي تستقر أو يتدهور أداؤها عندما تتجاوز المدخلات نافذة السياق، يظهر EXTAGENTS مكاسب أداء ثابتة مع زيادة كمية المعرفة الخارجية (حتى 1024 ألف توكن).
- الأداء الأفضل (State-of-the-Art): يتفوق EXTAGENTS بشكل كبير على الطرق الحالية غير التدريبية. على سبيل المثال، في معيار HotpotQA باستخدام Llama-3.1-8B، حقق درجة F1 بلغت 0.412 مع 1024 ألف توكن مدخلات، مقارنة بـ 0.254 لنموذج LLM×MapReduce مع 256 ألف توكن.
- المتانة: تعمل الطريقة بفعالية عبر عائلات نماذج مختلفة (Llama، وGPT-4o) ولغات مختلفة (الإنجليزية والصينية).
الكفاءة والتكلفة:
- زمن الاستجابة (Latency): مع التنفيذ المتوازي، ينمو زمن الاستجابة خطياً مع طول المدخلات، بينما ينمو المدخل المباشر تربيعياً.
- النشر غير المتجانس: يسمح إطار العمل باستخدام نماذج أصغر وأرخص لوكلاء البحث ونماذج أكبر وأقوى لوكيل الاستنتاج، مما يحقق تسريعاً بنحو 3.1 ضعف مع الحفاظ على أداء عالٍ.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة التزامن العالمي للمعرفة إلى انخفاض كبير في الأداء، مما يؤكد أهمية الرؤية العالمية.
- أدت إزالة الاستنتاج المتراكم للمعرفة إلى تدهور الأداء مع زيادة حجم المدخلات، مما يثبت أن التكامل التكراري ضروري لتجنب حمل المعلومات الزائد.

5. الأهمية والعمل المستقبلي

الأثر العملي: يوفر EXTAGENTS حلاً عملياً لا يتطلب تدريباً للتطبيقات الواقعية التي تتطلب سياقاً ضخماً (مثل تحليل المستندات القانونية، مراجعة الأدبيات العلمية، والاستنتاج من قواعد المعرفة المؤسسية) دون التكلفة الباهظة لتدريب نماذج ذات سياق فائق الطول.
تحول النموذج: ينقل التركيز من "نوافذ سياق أطول" إلى "تنسيق أفضل للسياق الموزع"، مما يثبت أن التعاون بين الوكلاء المتعددين يمكن أن يوسع فعلياً تكامل المعرفة أثناء الاستنتاج.
القيود والتوجهات المستقبلية:
- المحاذاة (Alignment): يعتمد إطار العمل على النماذج اللغوية الأساسية؛ فإذا كان النموذج الأساسي منحازاً أو يهلوس، فقد ينشر الوكلاء الأخطاء. يشير العمل المستقبلي إلى دمج تقييم مدرك للمحاذاة.
- التقطيع (Chunking): تستخدم الطريقة الحالية تقطيعاً ثابتاً للحجم. سيبحث العمل المستقبلي في استكشاف التقطيع الدلالي التكيفي لتقليل فقدان المعلومات عند الحدود.
- موثوقية التقييم: تعتمد آلية الترتيب على قدرة النموذج اللغوي على الحكم على الصلة؛ ويمكن للنماذج الأقوى أو المعايرة المتخصصة أن تحسن ذلك بشكل أكبر.

في الختام، يثبت EXTAGENTS أنه من خلال فصل تزامن المعرفة والاستنتاج واستخدام عرض النطاق العالمي مع التراكم التكراري، يمكن للنماذج اللغوية الكبيرة توسيع استيعاب المعرفة الخارجية بفعالية بعيداً جداً عن حدود سياقها الأصلي، وتحقيق أداء متفوق في المهام المعقدة وكثيفة المعرفة.