LiRA: A Multi-Agent Framework for Reliable and Readable Literature Review Generation

إليك ملخص تقني مفصل لورقة البحث بعنوان: "LiRA: إطار عمل متعدد الوكلاء لتوليد مراجعات أدبية موثوقة وسهلة القراءة."

1. بيان المشكلة

أدى الانتشار السريع للمنشورات العلمية إلى جعل إجراء المراجعات المنهجية للأدبيات (SLRs) الشاملة والمحدثة أمراً صعباً بشكل متزايد. وبينما ركزت جهود الأتمتة الحالية إلى حد كبير على مرحلتي الاسترجاع والفرز في المراجعات المنهجية، تظل مرحلة الكتابة غير مستكشفة بما يكثل. تعاني حلول الكتابة المؤتمتة الحالية من مشكلتين حرجتين:

• القابلية للقراءة والهيكلية: غالباً ما تفتقر المراجعات المولدة إلى التماسك، والتدفق المنطقي، والتنظيم الهيكلي الموجود في المراجعات التي يكتبها البشر.
• الدقة الواقعية (الهلوسة): تقوم النماذج غالباً بتوليد استشهادات تبدو منطقية ولكنها غير موجودة، أو تنسب النتائج بشكل خاطئ، مما يقوض الثقة في المحتوى العلمي المولد بواسطة الذكاء الاصطاقي.

هناك نقص في الحلول الجاهزة ("out-of-the-box") التي يمكنها توليد مراجعات عالية الجودة ومخلصة للاستشهادات دون الحاجة إلى تدريب مسبق أو ضبط دقيق خاص بمجال معين.

2. المنهجية: إطار عمل LiRA

إن LiRA (وكلاء مراجعة الأدبيات) هو سير عمل تعاوني متعدد الوكلاء مبني على النماذج اللغوية الكبيرة (LLMs) يحاكي عملية مراجعة الأدبيات البشرية. يستخدم الإطار LangGraph للتنسيق ويعمل دون الحاجة إلى ضبط دقيق لمهام محددة. يقوم الإطار بتفكيك عملية الكتابة إلى وكلاء متخصصين ومتفاعلين:

• وكيل مسودة المخطط التفصيلي (Outline Drafter Agent):
  • الوظيفة: يحلل ما يصل إلى 50 ملخصاً/عنواناً مرجعياً لبناء مخطط هيكلي متماسك (الأقسام الرئيسية والأقسام الفرعية).
  • التصميم: يقوم بصياغة الهيكل صراحةً قبل الكتابة لتجنب عدم التماسك الناتج عن التوليد في تمريرة واحدة. يتضمن أقساماً افتراضية (المقدمة، الخاتمة) ويقترح أوراقاً بحثية داعمة لكل قسم.
• وكيل كاتب الأقسام الفرعية (Subsection Writer Agent):
  টি الوظيفة: يكتب الأقسام الفردية بالتوازي، بناءً على المخطط التفصيلي ومجموعة مسترجعة من المراجع ذات الصلة (حتى 25% من المجموعة، بحد أدنى 3 وحد أقصى 150).
  • التصميم: يستخدم FAISS للاسترجاع بناءً على أوصاف الأقسام. يقوم بتوليد حوالي 1,000 كلمة لكل قسم فرعي، مما يسمح بالتوليف طويل المدى مع البقاء ضمن حدود سياق النموذج. يتم كتابة العنوان والملخص والخاتمة بعد متن الموضوع لمحاكاة الممارسات البشرية.
• وكيل المحرر (Editor Agent):
  • الوظيفة: يعمل على تنقيح المسودة المجمعة من حيث العرض، والأسلوب، والانتقالات، والطلاقة.
  • القيد: من الضروري أن هذا الوكيل لا يغير المحتوى الواقعي، مما يحافظ على سلامة المعلومات المولدة. كما يتعامل أيضاً مع تجاوز نافذة السياق عبر اكتشاف القطع المفاجئ وتحفيز النموذج على الاستمرار.
• وكيل المراجع (Reviewer Agent):
  • الوظيفة: يقيم المخرجات الوسيطة (المخططات، الأقسام) مقابل إرشادات المراجعة المنهجية (مثل: الاكتمال، الشفافية، الوضوح).
  • الآلية: إذا لم يتم استيفاء معايير الجودة، فإنه يقدم ملاحظات مهيكلة ويحفز عملية إعادة التوليد. تعمل هذه الحلقة حتى 3 مرات لتحقيق التوازن بين التنقيح والكفاءة.
• استراتيجية ترسيخ الاستشهاد (Citation Grounding Strategy):
  • للحد من الهلوسة، يستشهد الوكلاء بالمصادر باستخدام عناوين المقالات الكاملة كمرتكزات دلالية أثناء التوليد، بدلاً من استخدام نائبات مجردة.
  • بعد التوليد، يتم تحويل هذه العناوين إلى مراجع مرقمة قياسية. أي عناوين مهلوسة يتم حذفها أثناء التقييم لضمان مقارنة عادلة.

تفاصيل التنفيذ:

• البنية التحتية: مبني على LangGraph مع ذاكرة فردية لكل وكيل لتخزين الملاحظات (مشابه لإطار عمل Reflexion).
• التواصل: يعيد الوكلاء وثائق مهيكلة إلى أحواض رسائل مشتركة لتحسين استرجاع المعلومات.
• التلقين (Prompting): يستخدم تقنية "سلسلة الأفكار الصفرية" (Zero-Shot Chain-of-Thought) لمعظم الوكلاء لتحسين الاستنتاج، باستثناء الباحث والمحرر.

3. المساهمات الرئيسية

1. أول سير عمل وكيل لـ LLM لكتابة المراجعات المنهجية: يعد LiRA أول إطار عمل يحاكي صراحةً عملية الكتابة البشرية (التخطيط، الصياغة، التحرير، المراجعة) للمراجعات الأدبية المؤتمتة.
2. دمج الإرشادات: يدمج الإطار إرشادات محددة رسمياً من أدبيات المراجعة المنهجية (مثل تحليل الأوراق قبل الكتابة) في سير عمل الوكلاء، مما يسد الفجوة بين النظرية والتطبيق.
3. نماذج المقارنة المرجعية المتطورة: وضع المؤلفون نماذج مرجعية قوية (AutoSurvey, MASS-Survey, Direct Prompting) باستخدام نفس النموذج الأساسي (gpt-4o-mini) لضمان مقارنة عادلة عبر إعدادات متعددة.
4. التركيز على الموثوقية: يستهدف الإطار تحديداً تقليل هلوسة الاستشهادات وتحسين القابلية للقراءة، معالجاً العوائق الرئيسية أمام اعتماد الذكاء الاصطناعي في الكتابة العلمية.

4. النتائج التجريبية

تم تقييم LiRA على مجموعتي بيانات: SciReviewGen (علوم الحاسوب، 125 عينة) ومجموعة بيانات ScienceDirect مملوكة (23 مجالاً، 125 عينة). تمت مقارنته مع التلقين المباشر (DP)، وMASS-Survey (MASS)، وAutoSurvey (AS).

• التشابه مع المراجعات البشرية:
  • حقق LiRA أعلى درجات ROUGE-L، مما يشير إلى توافق معجمي متفوق مع المراجعات المكتوبة بشرياً.
  • بينما حقق AutoSurvey درجات استدعاء (recall) أعلى قليلاً (hsr, her, aer)، فقد عُزي ذلك إلى الإسهاب (نتج عن توليد AutoSurvey حوالي 50 ألف توكن مقابل 22 ألف لـ LiRA). أظهر LiRA القدرة على توليد مراجعات موجزة ولكنها كثيفة المعلومات.
• جودة الكتابة:
  • تم التقييم عبر Prometheus 2 (مقّيم LLM) وخبراء في الموضوع (SMEs).
  • تفوق LiRA على جميع النماذج المرجعية في الهيكلية والصلة بالموضوع.
  • فضل الخبراء (SMEs) في ScienceDirect نموذج LiRA بقوة بسبب تماسك بنيته، بينما كان AutoSurvey أفضل بفارق ضئيل فقط في "التغطية" بسبب طوله المفرط.
• جودة الاستشهاد (CQF1):
  • حقق LiRA أعلى درجات F1 لجودة الاستشهاد (0.76 على SciReviewGen، و0.73 على ScienceDirect)، متفوقاً بشكل كبير على AutoSurvey (≤0.63).
  • يؤكد هذا فعالية تصميم ترسيخ الاستشهاد في تقليل الهلوسة وضمان دعم الادعاءات بالمراجع المقدمة.
• المتانة والانتشار في العالم الحقيقي:
  • تنوع النماذج: استبدال وكيل المراجع بنموذج مختلف (Gemma 3) لم يؤثر بشكل ملحوظ على الأداء، مما يشير إلى أن خط العمل متين تجاه تغيير النماذج.
  • الاسترجاع: عند اختباره مع مراجع مسترجعة (محاكاة لسيناريو واقعي حيث لا تتوفر مراجع ذهبية)، حافظ LiRA على أداء مماثل للنموذج المرجعي، مع انخفاضات طفيفة فقط ذات دلالة إحصائية في مقاييس محددة.

5. الأهمية والعمل المستقبلي

• الأتمتة الموثوقة: يثبت LiRA أن سير عمل الوكلاء يمكن أن ينتج كتابة علمية موثوقة، سهلة القراءة، ومستندة إلى الحقائق دون ضبط دقيق خاص بالمجال، مما يعالج فجوة حرجة في البحث المدعوم بالذكاء الاصطناعي.
• القابلية للاستخدام العملي: إطار العمل جاهز للاستخدام ("out-of-the-box")، ولا يتطلب ضبطاً دقيقاً، مما يجعله قابلاً للتطبيق الفوري في مجالات علمية متنوعة.
• القيود: تعتمد النتائج الحالية على gpt-4o-mini مما يحد من إمكانية إعادة إنتاج النتائج بسبب المخرجات غير الحتمية. يقترح المؤلفون استخدام نماذج قابلة للضبط (seedable models) في العمل المستقبلي.
• الاتجاهات المستقبلية:
  • إنشاء مجموعات بيانات مفتوحة المصدر لتقييم أوسع.
  • توسيع خط العمل ليشمل المراحل المبكرة من المراجعة المنهجية، مثل تحديد معايير البحث وفحص التحيز في التجارب العشوائية (دمج إرشادات دليل كوكرين - Cochrane Handbook).

ختاماً، يمثل LiRA خطوة مهمة نحو أتمتة الكتابة العلمية، حيث يثبت أن التعاون بين الوكلاء يمكن أن يوازن بفعالية بين المتطلبات المتعارضة لـ الشمولية، والقابلية للقراءة، والدقة الواقعية في مراجعات الأدبيات.