Retrieval‑Augmented Clinical Question‑Answering System for Bariatric Surgery Built on the ASMBS Textbook: From Good to Great

تخيل أنك تسير داخل مكتبة ضخمة وفوضوية حيث تعيد الكتب كتابة نفسها باستمرار. هذا هو عالم الذكاء الاصطنا induced الحديث، وتحديداً "نماذج اللغات الكبيرة" (LLMs) التي يمكنها الدردشة والكتابة والإجابة على الأسئلة. هذه الأدمغة الرقمية ذكية للغاية، لكن لديها عادة صعبة: أحياناً، عندما لا تعرف الإجابة، تقوم بتأليف واحدة بثقة تامة. في العالم الطبي، يُطلق على هذا اسم "الهلوسة"، وهي تشبه مرشداً سياحياً يشير إلى مبنى وهمي ويصر على أنه المتحف الحقيقي. إذا سأل طبيب ذكاءً اصطناعياً عن جراحة معقدة وقام الذكاء الاصطناعي باختراع إجراء غير موجود، فقد تكون النتائج خطيرة.

ولإصلاح ذلك، يستخدم العلماء تقنية تسمى "التوليد المعزز بالاسترجاع" (Retrieval-Augmented Generation)، أو RAG. فكر في RAG كإعطاء الذكاء الاصطناعي قاعدة صارمة: "لا يُسمح لك بالتخمين. يجب عليك فتح هذا الكتاب المدرسي الموثوق، والعثور على الصفحة المحددة، وقراءة الإجابة بصوت عالٍ". بدلاً من الاعتماد على ذاكرة الذكاء الاصطناعي (التي قد تكون مشوشة أو مختلقة)، يجبره نظام RAG على البحث عن الحقائق في مصدر موثق قبل التحدث. يستكشف هذا البحث ما إذا كانت استراتيجية "البحث عن المعلومة" هذه تعمل بشكل أفضل من ترك الذكاء الاصطناعي يخمن من تلقاء نفسه، وتحديداً في المجال عالي الخطورة لجراحة السمنة (جراحة فقدان الوزن).

---

التجربة الكبرى: الذكاء الاصطناعي مع كتاب مدرسي مقابل الذكاء الاصطناعي بمفرده

في هذه الدراسة، قام فريق من الباحثين ببناء نظام خاص للإجابة على الأسئلة مصمم للمساعدة في جراحة السمنة. أرادوا معرفة ما إذا كان بإمكان الذكاء الاصطناعي أن يصبح أفضل في الإجابة على الأسئلة الطبية إذا أُجبر على استخدام "كتاب الجمعية الأمريكية لجراحة السمنة والتمثيل الغذائي" (ASMBS) كمرجع وحيد للحقيقة.

لاختبار ذلك، أنشأوا "بنك اختبارات" يتكون من 200 سؤال صعب. لم تكن هذه الأسئلة عشوائية؛ بل تم استخراجها مباشرة من الاختبارات الموجودة في نهاية كل فصل في الكتاب المدرسي، لتغطي كل شيء بدءاً من كيفية حرق الجسم للدهون وصولاً إلى كيفية التعامل مع مضاعفات الجراحة. ثم طلبوا من ثلاث نسخ مختلفة من الذكاء الاصطناعي (تسمى GPT-4o-mini و GPT-4 و GPT-5) الإجابة على هذه الأسئلة بطريقتين:

1. الطريقة "الخام": كان على الذكاء الاصطناي الإجابة من ذاكرته الخاصة، دون النظر في الكتاب المدرسي.
2. طريقة "RAG": كان على الذكاء الاصطناعي استخدام نظام RAG للعثور على الإجابة في الكتاب المدرسي أولاً، ثم الإجابة بناءً على ما وجده هناك فقط.

النتائج: الكتاب المدرسي هو الفائز

كانت النتائج واضحة: إعطاء الكتاب المدرسي للذكاء الاصطناعي جعله أكثر ذكاءً بشكل ملحوظ.

• الأداء الأفضل: حقق النموذج الأكثر تقدماً، GPT-5، نسبة 87.0% من الأسئلة بشكل صحيح عندما كان يخمن من تلقاء نفسه. ولكن عندما استخدم الكتاب المدرسي (RAG)، قفزت درجته إلى 94.0%. أي بزيادة قدرها 14 إجابة صحيحة من أصل 200.
• التحسن الكبير: بدأ الذكاء الاصطناعي الأصغر، GPT-4o-mini، بدرجة 70.5% بمفرده. ومع استخدام الكتاب المدرسي، ارتفع إلى 84.5%، محققاً 28 سؤالاً إضافياً صحيحاً.
• المنطقة الوسطى: تحسن GPT-4 من 81.0% إلى 89.5% بمساعدة الكتاب المدرسي.

وجد الباحثون أن النظام عمل بشكل مثالي (دقة 100%) للأسئلة المتعلقة بالحقائق الأساسية والرعاية ما قبل الجراحة. ومع ذلك، ظل يعاني قليلاً مع المواضيع الأكثر تعقيداً، مثل الخطوات المحددة للجراحة أو كيفية إدارة المضاعفات الصعبة، حيث حقق حوالي 88.9% من الإجابات الصحيحة. وحتى مع وجود الكتاب المدرسي، لم يكن الذكاء الاصطناعي مثالياً، لكنه كان أقرب إلى أن يكون "رائعاً" منه إلى أن يكون "جيداً".

أين تعثر الذكاء الاصطناعي

لم يكتفِ الباحثون بعدّ الدرجات؛ بل نظروا في الـ 12 سؤالاً التي أخطأ فيها أفضل ذكاء اصطناعي (GPT-5 مع RAG) لمعرفة السبب. ووجدوا عدة أسباب مضحكة ولكنها خطيرة للأخطاء:

• فخ "الأكثر بروزاً": في بعض الأحيان، يذكر الكتاب المدرسي معياراً معيناً عدة مرات، ولكن ليس كإجابة "الأبرز". رأى الذكاء الاصطناعي كلمة "المعيار 6" تُذكر كثيراً فاختارها، رغم أن السؤال كان يطلب المعيار الذي يحتوي على أكبر عدد من أوجه القصور، والذي كان في الواقع "المعيار 2". لقد تشتت الذكاء الاصطناعي بكيفية تكرار الكلمة بدلاً من المنطق الفعلي.
• ارتباك "باستثناء": كانت بعض الأسئلة تسأل: "كل ما يلي صحيح باستثناء..."، وكان الذكاء الاصطناعي أحياناً ينسى البحث عن العبارة الخاطئة ويختار عبارة صحيحة بدلاً منها، مما جعل منطقه معكوساً.
• خلط "التاريخ": عندما سُئل عن أصل عملية جراحية، ركز الذكاء الاصطنا stripping على المرة الأولى التي أجراها جراح باستخدام الكاميرا (وهي علامة فارقة) بدلاً من السلالة الفعلية لاختراع الإجراء.
• العمى تجاه "العلامات الحمراء": في سيناريوهات الطوارئ، مثل مريض يعاني من ألم شديد بعد الجراحة، اقترح الذكاء الاصطناعي أحياناً إجراء أشعة سينية أولاً. في الواقع، ذكر الكتاب المدرسي أن نمط الألم هذا يعني أن المريض يحتاج إلى جراحة فورية، وأن الانتظار للحصول على صورة قد يكون خطيراً. اتبع الذكاء الاصطناعي قاعدة "طبيعية" بدلاً من قاعدة "الطوارئ".

ماذا يعني هذا

تظهر هذه الدراسة أنه بينما يصبح الذكاء الاصطناعي أكثر ذكاءً، فإنه لا يزال بحاجة إلى شبكة أمان. من خلال ربط الذكاء الاصطناعي بكتاب مدرسي واحد وموثوق، تمكن الباحثون من وقف اختلاقه للحقائق وتحسين دقته بهامش كبير. لقد تفوق الإعداد الأفضل (GPT-5 مع الكتاب المدرسي) على الأرقام القياسية السابقة بنسبة 11 نقطة مئوية.

ومع ذلك، تحذر الورقة البحثية من أن هذا ليس حلاً سحرياً لكل شيء. فلا يزال الذكاء الاصطناعي يعاني مع الأسئلة التي تتطلب تفكيراً معقداً متعدد الخطوات أو فهم "روح" الإرشادات الطبية مقابل الكلمات الحرفية. يقترح المؤلفون أنه بينما يعد نهج "الارتباط بالكتاب المدرسي" خطوة كبيرة للأمام لجعل الذكاء الاصطناعي موثوقاً في الجراحة، فإننا لا نزال بحاجة إلى مواصلة تحسين هذه الأنظمة للتعامل مع الألغاز الطبية الأكثر دقة وتعقيداً. في الوقت الحالي، الدرس بسيط: في الطب عالي الخطورة، الذكاء الاصطنا الذي يعرف كيف يبحث عن المعلومة أفضل بكثير من ذلك الذي يحاول فقط التذكر.