Chained Prompting for Better Systematic Review Search Strategies

ملخص تقني: التسلسل التتابعي للمطالبات (Chained Prompting) من أجل استراتيجيات بحث أفضل للمراجعات المنهجية

بيان المشكلة
تُعد المراجعات المنهجية (SRs) حجر الزاو_ة في الأبحاث القائمة على الأدلة، ومع ذلك فإن صلاحيتها تعتمد بشكل كبير على صرامة البحث عن الأدبيات (LS) الكامن وراءها. إن استراتيجيات البحث اليدوية التقليدية، رغم كونها سليمة منهجياً، إلا أنها تستهلك الكثير من الموارد والوقت، وتكون عرضة للذاتية. وفي المقابل، غالباً ما تعاني النهج المؤتمتة والاستدلالية الحالية من ضعف في الاستدعاء (القدرة على استرجاع جميع الدراسات ذات الصلة) ما لم يتم تعزيزها بشكل كبير بمدخلات الخبراء. كما أن تطبيقات النماذج اللغوية الكبيرة (LLMs) الحالية في هذا المجال تعتمد غالباً على نهج المطالبة الواحدة (single-prompt) الذي يؤدي إلى نتائج واسعة وغير دقيقة، أو طرق تجميع (ensemble methods) تتطلب توليد وتجميع استعلامات متعددة لتحقيق أداء مقبول. هناك حاجة إلى إطار عمل مؤتمت يحاكي المنطق المتعدد الخطوات والمنظم لتصميم البحث اليدوي، مع الاستفادة من قدرات النماذج اللغوية الكبيرة لضمان ارتفاع معدل الاستدعاء والقابلية للتكرار دون تدخل بشري واسع.

المنهجية
يقترح المؤلفون خط أنابيب هندسة مطالبات متسلسل (chained prompt engineering pipeline) مبني على نموذج GPT-4o-mini. وبخلاف طرق المطالبة الواحدة، يقوم هذا الإطار بتفكيك بناء استراتيجية البحث إلى أربع مراحل متتالية ومترابطة، تحاكي الهيكل الإجرائي للبحث الذي يقوده أمناء المكتبات يدوياً:

1. استخراج عناصر PICO: يقوم النموذج بتفكيك هدف البحث (أو العنوان/الملخص) إلى عناصر PICO مهيكلة (السكان Population، التدخل Intervention، المقارنة Comparison، النتيجة Outcome). ويشير المؤلفون إلى أن تصميم مطالبتهم الخاص لهذه الخطوة ينتج عناصر PICO أكثر دقة وهيكلية من الطرق المرجعية.
2. تحديد المفاهيم: يتم توسيع مكونات PICO المستخرجة إلى فئات مفاهيمية دقيقة خاصة بالمجال، مما يوضح النطاق المعلوماتي.
3. توليد الكلمات المفتاحية: لكل مفهوم محدد، يولد النموذج مجموعة شاملة من الكلمات المفتاحية، بما في ذلك المرادفات، واختلافات التهجئة، والمصطلحات ذات الصلة لتعظيم مساحة الاسترجاع.
4. بناء الاستعلام: يتم دمج المفاهيم والكلمات المفتاحية المتراكمة في استراتيجية بحث "بولينية" (Boolean) نهائية. يطبق النموذج الروابط المنطقية (AND, OR) وصيغة التقارب المتوافقة مع إرشادات المراجعة المنهجية لتشكيل الاستعلام القابل للتنفيذ.

تم تقييم خط الأنابيب باستخدام مجموعة فرعية من مجموعة بيانات LEADSInstruct، والتي تضم 81 مراجعة منهجية عالية الجودة مفهرسة في PubMed نُشرت بين عامي 2012 و2016. ركز التقييم بشكل أساسي على الاستدعاء (Recall)، والذي عُرِّف بأنه نسبة المقالات المستهدفة (تلك المدرجة في المراجعة الأصلية) التي تم استرجاعها بنجاح بواسطة الاستراتيجية المولدة.

النتائج الرئيسية
أظهر التقييم أن نهج المطالبة المتسلسلة يتفوق بشكل كبير على الطرق الموجودة:

• المقارنة مع المرجع (Baseline): حقق نهج المطالبة المباشرة باستخدام GPT-4o متوسط استدعاء قدره 0.10 فقط. بينما حقق نموذج LEADS الحالي استدعاءً قدره 0.24.
• أداء خط الأنابيب المتسلسل:
  • عندما بدأ خط الأنابيب بعناصر PICO المقدمة من مؤلفي LEADS، بلغ متوسط الاستدعاء 0.62 (وارتفع إلى 0.80 عند استبعاد الاستراتيجيات ذات الاستدعاء الأقل من 0.2).
  • عندما تم استخدام خط الأنابيب الكامل (بما في ذلك مطالبة المؤلفين الخاصة لإعادة صياغة الأهداف المهيكلة من العناوين/الملخصات قبل استخراج PICO)، وصل متوسط الاستدعاء إلى 0.87 عبر جميع المراجات الـ 81.
  • عند استبعاد الاستراتيجيات ذات الاستدعاء الأقل من 0.2، حقق خط الأنابيب الكامل متوسط استدعاء قدره 0.90.
• المكاسب النسبية: يمثل خط الأنابيب الكامل تحسناً نسبياً بنسبة 362% مقارنة بنموذج LEADS (من 0.24 إلى 0.87) وزيادة بنسبة 8% عن طريقة LEADS+ensemble (من 0.82 إلى 0.90) تحت ظروف تصفية مماثلة.
• التوزيع: أدى خط الأنابيب الكامل إلى تحقيق 62 من أصل 81 استراتيجية لاستدعاء تام (1.0)، مع وجود 3 استراتيجيات فقط نتج عنها استدعاء صفري.

تحليل الأخطاء
حدد تحليل الاستراتيجيات ذات الاستدعاء المنخفض (أقل من 0.5) ثلاثة أنماط فشل رئيسية:

1. عدم تطابق المصطلحات: وجود تباينات بين المصطلحات الطبية القياسية والصياغة المحددة المستخدمة في المقالات (مثل "عمال" مقابل "بالغين").
2. ضجيج مجموعة البيانات: إدراج مراجعات غير منهجية في مجموعة التقييم.
3. أخطاء صياغة الأهداف: عدم كفاية حصر النطاق عند اشتقاق الأهداف من العناوين والملخصات فقط.
   ومن الأهمية بمكان أن المؤلفين وجدوا أن الاستبدال اليدوي للأهداف ضعيفة الصياغة بأهداف مشتقة من بروتوكولات المراجعة المنهجية قد أعاد الاستدعاء إلى 1.0 في هذه الحالات، مما يسلط الضوء على أن أداء خط الأنابيب يعتمد بشدة على دقة الهدف المدخل.

الأهمية والادعاءات
يدعي البحث أن هذا العمل يثبت قدرة خطوط أنابيب النماذج اللغوية الكبيرة على توليد استراتيجيات بحث شفافة، وقابلة للتكرار، وعالية الأداء. ومن خلال الالتزام بهيكل المطالبة المتسلسل، يحقق النظام استدعاءً متفوقاً مقارنة بكل من المطالبة المباشرة والطرق القائمة على التجميع، دون الحاجة إلى توليد استعلامات متعددة أو تدخل بشري مكثف.

يؤكد المؤلفون أن جودة استراتيجية البحث مرتبطة جوهرياً بجودة استخراج PICO وتحديد الأهداف. وتشير نتائجهم إلى أن تحسين هندسة المطالبات لهذه الخطوات الأولية يخلق أساساً أقوى لتوسيع الكلمات المفتاحية وتوليف الاستعلام لاحقاً. ويُقدم إطار العمل كأداة قابلة للتوسع لدعم تركيب الأدلة، مما قد يقلل من الاعتماد على الخبرة اليدوية مع الحفاظ على الصرامة المنهجية المطلوبة للمراجعات المنهجية عالية الجودة. وقد تمت الإشارة إلى أن العمل المستقبلي سيركز على توسيع هذا النهج ليشمل قواعد بيانات ببليوغرافية أخرى وتحسين استراتيجيات إعادة صياغة الاستعلام.