BM25 and Dense Retrieval Are Complementary for Portuguese Clinical Text: An Empirical Study of Hybrid RAG Across 500 Clinical Queries

في عالم الطب عالي المخاطر، يعتمد الأطباء على مكتبات هائلة من المعرفة لاتخاذ قرارات سريعة تؤثر على حياة البشر. لعقود من الزمن، كانت هذه المكتبات عبارة عن كتب ودوريات مادية، ولكنها اليوم رقمية. وتعمل تقنية جديدة تسمى "التوليد المعزز بالاسترجاع" (Retrieval-Augmented Generation) كأمين مكتبة رقمي للذكاء الاصطناعي. فعندما يطرح الطبيب سؤالاً، لا يكتفي هذا النظام بتخمين إجابة بناءً على ما حفظه الكمبيوتر؛ بل يقوم أولاً بالبحث في قاعدة بيانات محددة من الوثائق الطبية الموثوقة، ويجد الصفحات الأكثر صلة، ثم يستخدم تلك الصفحات لصياغة استجابة دقيقة قائمة على الأدلة. ويكمكم التحدي الحاسم في عملية البحث نفسها: كيف يعرف الكمبيوتر أي الوثائق هي الصحيحة؟ لسنوات طويلة، كان الافتراض السائد في الطب الناطق باللغة الإنجليزية هو أن أفضل طريقة لإيجاد الإجابات هي فهم المعنى العميق وسياق السؤال، تماماً كما يفعل القارئ البشري. وهذا النهج، المعروف باسم "الاسترجاع الكثيف" (Dense Retrieval)، يستخدم رياضيات معقدة لرسم الخريطة "الروحية" أو الروابط الدلالية بين الكلمات. ومع ذلك، فإن طريقة أبسط وأقدم تسمى "مطابقة الكلمات المفتاحية" (Keyword Matching)، والتي تبحث عن تداخل الكلمات المتطابقة، ظلت لفترة طويلة هي المعيار للعديد من الأنظمة. والسؤال الذي يواجه الباحثين هو ما إذا كان البحث المتطور القائم على المعنى متفوقاً حقاً في كل لغة، أم أن الطريقة الأبسط لا تزال تحتفظ بمكانة حيوية، خاصة في المناطق التي تكون فيها المصطلحات الطبية معيارية ومحددة للغاية.

أصبح هذا السؤال محور دراسة دقيقة أجراها باحث مستقل يحقق في كيفية عمل هذه المكتبات الرقمية للأطباء المتحدثين باللغة البرتغالية في البرازيل. وبينما تنمو أدوات الذكاء الاصطناعي للرعاية الصحية بسرعة في جميع أنحاء أمريكا اللاتينية، فإن معظم الأبحاث التي توجه تصميمها قد أُجريت باستخدام النصوص الإنجليزية. وقد سعى الباحث لاختبار ما إذا كانت الحكمة السائدة — وهي أن البحث الدلالي العميق هو الأفضل دائماً — تنطبق على اللغة الهيكلية المحددة للبروتوكولات السريرية البرازيلية. وللقيام بذلك، بنى الفريق بيئة اختبار باستخدام مجموعة ضخمة ومنسقة من الوثائق الطبية الحقيقية، بما في ذلك أدلة الأدوية، وبروتوكولات الطوارئ، والمبادئ التوجيهية الوطنية للعلاج. ثم قاموا بتوليد خمسمائة سؤال سريري متميز قد يطرحه الطبيب، تغطي ستة تخصصات طبية مختلفة تتراوح من علم الصيدلة إلى رعاية الطوارئ. وكان الهدف هو معرفة أي استراتيجية بحث ستنجح في العثي على الوثائق الصحيحة للإجابة على هذه الأسئلة.

قارن الباحثون بين ثلاثة نهج رئيسية. اعتمد الأول كلياً على طريقة مطابقة الكلمات المفتاحية البسيطة. واستخدم الثاني فقط البحث المعقد القائم على المعنى. أما الثالث فكان نظاماً هجيناً يجمع بين الطريقتين، ويدمج نتائجهما ليرى ما إذا كان بإمكانهما تغطية مساحة أكبر معاً. وقد تحدت النتائج الاعتقاد الشائع بأن البحث المعقد القائم على المعنى هو الحل الأمثل. فعندما اختبر الباحثون البحث المعقد القائم على المعنى بمفرده، فشل في العثيد على الوثائق الصحيحة لأكثر من اثنين وعشرين بالمائة من الأسئلة السريرية، حتى عندما تم ضبط النظام ليكون متساهلاً للغاية فيما يقبله كمطابقة. وفي المقابل، كانت طريقة الكلمات المفتاحية البسيطة فعالة بشكل ملحوظ، حيث وجدت الوثائق الصحيحة لتسعة وتسعين بالمائة من الاستفسارات. ومن المرجح أن هذا المعدل المرتفع من النجاح للطريقة البسيطة يعود إلى طبيعة الكتابة الطبية البرازيلية، حيث يستخدم الأطباء والبروتوكولات غالباً نفس المصطلحات المعيارية للأدوية والحالات، مما يجعل المطابقة كلمة بكلمة فعالة للغاية.

ومع ذلك، لم تعلن الدراسة أن الطريقة البسيطة هي الفائز الوحيد. في الواقع، كان الاكتشاف الأهم هو أن الطريقتين ليستا فائضتين عن الحاجة، بل هما مكملتان لبعضهما البعض. فعندما نظر الباحثون في الوثائق التي وجدتها طريقة الكلمات المفتاحية مقابل الوثائق التي وجدها النظام الهجين، وجدوا أن النهجين يستمدان معلوماتهما من مجموعات معلومات مختلفة إلى حد كبير. فقد كشف النظام الهجين عن مئات الوثائق الفريدة التي فاتتها طريقة الكلمات المفتاحية تماماً، بينما وجدت طريقة الكلمات المفتاحية مئات الوثائق الفريدة التي أغفلها النظام الهجين. وهذا يعني أن الاعتماد على استراتيجية واحدة يترك الطبيب بصورة غير مكتملة. فالنهج الهجين، الذي يجمع بين دقة مطابقة الكلمات المفتاحية والفهم السياقي للبحث المعقد، وفر التغطية الأكثر شمولاً، مما يضمن عدم ترك أي قطعة حيوية من المعلومات وراءه.

كما بحثت الدراسة في كيفية تعامل النظام مع سلطة المصادر التي يجدها. ففي الطب، غالباً ما تُعتبر التوجيهات الحكومية الوطنية أكثر سلطة من دراسة بحثية واحدة. واختبر الباحثون ما إذا كان تعزيز ترتيب هذه الوثائق عالية السلطة يحسن قدرة النظام على إيجاد المعلومات الصحيحة. ووجدوا أنه بينما غير هذا الوزن ترتيب ظهور الوثائق، مما دفع المصادر الأكثر موثوقية إلى الأعلى، إلا أنه لم يزد في الواقع العدد الإجمالي للوثائق الصحيحة التي تم العثور عليها. وهذا التمييز أمر بالغ الأهمية لمصممي الأنظمة: فإذا كان الهدف هو ضمان رؤية المعلومات الأكثر موثوقية أولاً، فإن تعديلات الترتيب تعمل، ولكن إذا كان الهدف هو العث find كل وثيقة ذات صلة ممكنة، فإن هذه التعديلات لا تساعد.

أخيراً، عالج الباحثون عقبة رئيسية في اختبار هذه الأنظمة: من يقرر ما إذا كانت الإجابة جيدة حقاً؟ تقليدياً، يتطلب هذا الأمر توظيف أطباء مشغولين لقراءة وآلاف النتائج وتقييمها، وهي عملية بطيئة ومكلفة. واختبرت الدراسة ما إذا كان بإمكان الذكاء الاصطناعي أن يعمل كحكم لتقييم جودة نتائج البحث. طُلب من نظامين مستقلين من أنظمة الذكاء الاصطناعي تقييم مدى صلة الوثائق بكل استعلام. واتفق النظامان على بعضهما البعض في كل حكم تقريباً، محققين مستوى من الاتساق يعتبر شبه مثالي. وهذا يشير إلى أن التقييم الآلي للنصوص الطبية باللغة البرتغالية هو وسيلة موثوقة وقابلة للتوسع لتحسين هذه الأنظمة دون الحاجة إلى إشراف بشري مستمر. علاوة على ذلك، أظهرت الدراسة أنه من خلال استخدام طريقة برمجية صارمة لربط الإجابات بوثائق المصدر الخاصة بها، يمكن للنظام القضاء تماماً على مشكلة "الهلوسة"، حيث يبتكر الذكاء الاصطناعي استشهادات وهمية. فبينما أدى النهج القياسي إلى مئات الاستشهادات غير الصحيحة، ضمنت الطريقة الصارمة أن كل استشهاد يشير إلى وثيقة حقيقية استرجعها النظام بالفعل.

إن تداعيات هذه النتائج واضحة لمستقبل الذكاء الاصطناعي الطبي في المناطق الناطقة بالبرتغالية. إن الافتراض بأن طريقة بحث واحدة متطورة كافية لجميع الاستفسارات الطبية هو افتراض خاطئ. بدلاً من ذلك، ستكون الأنظمة الأكثر قوة هي تلك التي تمزج بين موثوقية مطابقة الكلمات المفتاحية البسيطة والعمق السياقي للبحث الدلالي. يضمن هذا النهج الهجين أن يلتقط النظام كلاً من المصطلحات الدقيقة للبروتوكولات المعيارية والروابط الأوسع والأكثر دقة بين المفاهيم الطبية. ومن خلال التحقق من أن الحكام الآليين يمكنهم تقييم هذه الأنظمة بشكل موثوق، تمهد الدراسة الطريق أيضاً لعمليات تحسين أسرع ومستمرة لأدوات دعم القرار السريري، مما يساعد الأطباء في نهاية المطاف على الوصول إلى المعلومات الصحيحة بشكل أسرع وأكثر أماناً.