Framework for Grounding Healthcare LLMs in a Causal Knowledge Graph: A Cardiovascular Example

في هدوء المستشفى، غالباً ما يلجأ الأطباء إلى الأدوات الرقمية للمساعدة في اتخاذ القرار بشأن أفضل مسار علاجي للمريض. هذه الأدوات، التي تعمل ببرامج حاسوبية متطورة تُعرف بنماذج اللغات الكبيرة، يمكنها قراءة مكتبات ضخمة من النصوص الطبية واقتراح الإجابات بسرعة مذهلة. ومع ذلك، يظل هناك سؤال جوهري: هل يفهم الحاسوب حقاً تسلسل السبب والنتيجة الذي يربط بين الدواء وتعافي المريض، أم أنه ببساطة يخمن الإجابة الصحيحة بناءً على أنماط حفظها؟ لسنوات، اختبر العلماء هذه الأنظمة عبر مطالبتها باختيار الخيار الصحيح من قائمة، تماماً مثل امتحان الاختيار من متعدد. ولكن في الطب، قد يكون الحصول على الإجابة الصحيحة لسبب خاطئ أمراً خطيراً؛ فقد يقترح النموذج دواءً منقذاً للحياة بينما يبتدع سبباً وهمياً لكيفية عمله، أو قد يغفل عن خطر خفي يجعل الدواء غير آمن لشخص معين. لبناء مساعدين طبيين موثوقين حقاً، يحتاج الباحثون إلى وسيلة للنظر داخل تفكير الآلة، وليس فقط في اختيارها النهائي.

لقد طور فريق من الباحثين طريقة جديدة لاختبار هذه الأنظمة، تركز تحديداً على كيفية استنتاجها للسبب والنتيجة في مجال رعاية القلب. وبدلاً من مجرد التحقق مما إذا كانت الإجابة النهائية صحيحة، قاموا ببناء إطار عمل يعامل كل حقيقة طبية كقطعة منفصلة وقابلة للتحقق من الأدلة. تخيل مكتبة رقمية ضخمة حيث كل ادعاء — مثل "هذا الدواء يخفض ضغط الدم" — هو عبارة عن بطاقة فيزيائية لها رقم تعريف فريد، واستشهاد بالمصدر، وملاحظة حول قوة الدليل. هذا هو أساس نظامهم الجديد. لقد أنشأوا خريطة متخصصة للمعرفة المتعلقة بالقلب حيث ترتبط هذه البطاقات في سلسلة منطقية، توضح بالضبط كيف يؤدي العلاج إلى تغيير بيولوجي ومن ثم إلى نتيجة صحية أفضل. تتيح هذه الخريطة ليس فقط رؤية ما قرره الكمبيوتر، بل معرفة ما إذا كان قد اتبع مسار الاستدلال الصحيح للوصول إلى هناك.

ولوضع هذا النظام قيد الاختبار، أنشأ الباحثون مجموعة من السيناريوهات الواقعية للمرضى، تتراوح بين شخص بالغ مسن يعاني من ارتفاع ضغط الدم، وامرأة حامل لا يمكنها تناول أدوية معينة. ثم طلبوا من نموذج حاسوبي قوي حل هذه المشكلات تحت أربعة ظروف مختلفة. في الظرف الأول، تلقى النموذج قصة المريض فقط وكان عليه الاعتماد على ذاكرته الداخلية دون أي مساعدة خارجية. وفي الظروف الثلاثة الأخرى، أُعطي النموذج إمكانية الوصول إلى أجزاء من المكتبة الرقمية، ولكن تم تقديم المعلومات بطرق مختلفة: أحياناً كقائمة بسيطة من الحقائق، وأحياناً كسلسلة واضحة من السبب والنتيجة، وأحياناً كدليل متكامل يجمع بين الحقائق والأسباب وتحذيرات السلامة. ومن خلال مقارنة كيفية أداء النموذج في كل موقف، استطاع الباحثون رؤية كيف يغير أسلوب تقديم المعلومات جودة استدلال الكمبيوتر.

كشفت النتائج عن حقيقة مفاجئة وهامة حول كيفية عمل هذه الأنظمة. فعندما تُرِك النموذج ليتصرف بمفرده، دون أي حقائق خارجية للتحقق منها، أصاب الإجابة النهائية بنسبة تقارب 95 بالمائة. بدا واثقاً واختار الأدوية الصحيحة. ومع ذلك، عندما نظر الباحثون بعمق أكبر، وجدوا أن هذه الدرجة العالية كانت مضللة؛ فقد كان النموذج غالباً ما يخمن بشكل صحيح دون فهم الآلية، وكثيراً ما كان يبتدع أسباباً لا يدعمها أي دليل طبي حقيقي. في المقابل، عندما مُنح النموذج الدليل المتكامل الذي يوضح سلسلة السبب والنتيجة الكاملة مع تحذيرات السلامة، انخفضت دقته الخام في الإجابة النهائية قليلاً. ومع ذلك، في هذه الحالة المرتكزة على الحقائق، أصبح النموذج أكثر موثوقية في جوانب حاسمة أخرى؛ فقد حدد بشكل صحيح الخطوات البيولوجية المحددة التي تربط الدواء بالشفاء، ورصد الآثار الجانبية المحتملة والتفاعلات الخطيرة بشكل أكثر تكراراً، وتوقف عن تقديم ادعاءات لا أساس لها. النموذج الذي بدا الأكثر ثقة كان في الواقع هو الأكثر عرضة لتلفيق الحقائق، بينما كان النموذج الذي استخدم الدليل المنظم هو الذي يفهم المنطق الطبي حقاً.

كما أظهرت الدراسة أن هذه الطريقة الجديدة يمكنها كشف الأخطاء الدقيقة التي قد تغفل عنها الاختبارات التقليدية. على سبيل المثال، في الحالات التي كانت فيها الأدلة الطبية غير مكتملة أو غير مؤكدة، اعترف النموذج الذي يستخدم الدليل بشكل صحيح بأنه لا يستطيع تقديم توصية واثقة. الاختبار المعياري الذي ينظر فقط إلى الإجابة النهائية كان سيصنف هذا التردد كفشل، لكن هذا الإطار الجديد اعتبره سلوكاً صحيحاً وآمناً. وجد الباحثون أن النظام يمكنه التمييز بين نموذج نسي حقيقة ما وبين نموذج أساء فهم هيكل السؤال. ومن خلال تتبع كل ادعاء يقدمه النموذج مقابل أرقام التعريف الفريدة في مكتبتهم الرقمية، استطاعوا حساب درجات دقيقة لمدى جودة إعادة بناء الكمبيوتر للسلسلة السببية، ومدى دقة استشهاده بالأدلة، وعدد المرات التي اخترع فيها حقائق.

لا يدعي هذا العمل أن أي برنامج حاسوبي معين جاهز لاستبدال الطبيب، ولا يعلن أن طريقة واحدة لتقديم المعلومات هي الأفضل مطلقاً لكل حالة. بدلاً من ذلك، فإنه يقدم عدسة جديدة لتقييم هذه الأدوات. لقد أثبت الباحثون أن درجة واحدة لـ "الصحة" ليست كافية للحكم على الذكاء الاصطناعي الطبي؛ إذ يمكن للنظام أن يكون مصيباً بالصدفة أو مخطئاً بالتصميم، وفقط إطار العمل الذي يفحص خطوات الاستدلال يمكنه التمييز بينهما. ومن خلال ربط كل عملية تقييم بخريطة موثقة من الحقائق الطبية، يوفر هذا النهج وسيلة لضمان أن مساعدي الطب في المستقبل لن يكونوا مجرد متحدثين لبقين، بل شركاء مدركين ومستندين إلى الأدلة في الرعاية. وتعد هذه الدراسة التجريبية بمثابة إثبات للمفهوم، حيث تظهر أنه من الممكن بناء أرض اختبار تقيس عمق الفهم، وليس مجرد سطح الإجابة.