ChainTrust-LLM: Secure and Auditable Hallucination Mitigation in Medical LLMs Using Blockchain and Expert Feedback
تقدم هذه الورقة ChainTrust-LLM، وهو إطار عمل مبتكر يدمج ملاحظات الخبراء مع سجل بلوكشين قائم على الرسم البياني الموجه غير الدوري (DAG) للكشف عن الهلوسة في النماذج اللغوية الكبيرة الطبية والحد منها، محققاً انخفاضاً بنسبة 64.8% في معدلات الخطأ مع ضمان تفاعلات آمنة وقابلة للتدقيق وبأقل قدر من زمن الاستج</strong>
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً يمكنك فيه التحدث إلى أمين مكتبة آلي فائق الذكاء، قد قرأ كل الكتب الطبية على الإطلاق. هذا الروبوت، المعروف باسم "النموذج اللغوي الكبير" (LLM)، مذهل في الدردشة، والإجابة على الأسئلة، وحتى مساعدة الأطباء في شرح الأمور للمرضى. لكن هناك مشكلة؛ فأحياناً، يصبح هذا الروبوت واثقاً من نفسه أكثر مما ينبغي ويبدأ في اختلاق الأمور. قد يخبرك أن دواءً معيناً يعالج مرضاً لا يعالجه، أو أن عرضاً ما يعني شيئاً لا يعنيه. في عالم الطب، تُسمى هذه الحقائق المختلقة "الهلوسات"، وهي خطيرة لأنها قد تؤدي إلى قرارات سيئة.
ولإصلاح ذلك، يحاول العلماء بناء نظام يعمل بمثابة محرر صارم. إنهم يريدون طريقة للتحقق من عمل الروبوت، والاحتفاظ بسجل دائم لكل تصحيح، والتأكد من أن الروبوت يتعلم من أخطائه دون أن ينساها. وهنا يأتي دور مفهوم "الثقة". إذا أجاب الروبوت بشكل صحيح، فإننا نثق به أكثر؛ وإذا أخطأ، فإننا نثق به أقل. لكن تتبع كل هذا الثقة والتأكد من عدم قدرة أحد على تغيير السجلات سراً يمثل تحدياً هائلاً. لهذا السبب، يبحث الباحثون في الجمع بين الخبراء البشريين ونوع خاص من السجلات الرقمية يسمى "البلوكشين" (Blockchain)، وهو يشبه دفتر ملاحظات عام لا يمكن لأحد مسحه أو تعديله بمجرد كتابة شيء فيه.
هذا هو بالضبط ما يدور حوله بحث "ChainTrust-LLM". فقد أراد الباحثون، بقيادة محمد إسماعيل محمد وفريقه، حل مشكلة الهلوسة الطبية، وتحديداً لحالة تسمى "قصور الغدة الدرقية" (مشكلة في الغدة الدرقية). وقد لاحظوا أنه عندما يتحدث الروبوت عن أعراض مثل الشعور بالتعب، أو زيادة الوزن، أو اضطرابات الدورة الشهرية، فإنه غالباً ما يخطئ في التفاصيل. ولإصلاح ذلك، بنوا إطار عمل جديداً يسمى "ChainTrust-LLM". فكر فيه كشبكة أمان عالية التقنية تسجل أخطاء الروبوت وتصحيحاته بشكل آمن، مما يخلق مساراً قابلاً للتدقيق لتحسين الأداء المستقبلي.
إليك كيف يعمل نظامهم، باستخدام قصة بسيطة: تخيل أن الروبوت الطبي هو طالب يؤدي اختباراً. في كل مرة يجيب فيها على سؤال، يقوم ثلاثة أطباء (خبراء) من الواقع بالتحقق من الإجابة. إذا كان الطالب محقاً، يمنحونه علامة "أعجبني"؛ وإذا كان مخطئاً، يمنحونه علامة "لم يعجبني" ويكتبون الإجابة الصحيحة. ولكن بدلاً من مجرد الاحتفاظ بهذه الملاحظات في كومة فوضوية من الأوراق، يقوم "ChainTrust-LLM" بكتابة كل درجة وتصحيح في "مذكرات رقمية" تستخدم تقنية البلوكشين. هذه المذكرات غير قابلة للتغيير، مما يعني أنه بمجرد تسجيل الخطأ، يظل هناك للأبد كدليل.
يحتوي النظام أيضاً على قاعدة خاصة تتعلق بالوقت. إذا أجاب الروبوت بشكل صحيح اليوم، فإن "درجة ثقته" ترتفع. ولكن إذا لم يتم التحقق منه لفترة طويلة، فإن درجة الثقة هذه تتلاشى ببطء، مثل البطارية التي ينفد شحنها. هذا يضمن بقاء النظام متجدداً وعدم الاعتماد على معلومات قديمة أو ربما عفا عليها الزمن. وعندما يرتكب الروبوت خطأً، يستخدم النظام "كاشف مخاطر" لرصد الكذبة بناءً على مدى اختلاف الإجابة عن الحقيقة، ثم يسجل الحدث بأمان.
اختبر الفريق هذه الفكرة على ثلاثة روبوتات طبية شهيرة: GPT-4 وMedPaLM وClaude. طرحوا عليهم 300 سؤال مختلف حول أعراض وعلاجات وفحوصات مخبرية لقصور الغدة الدرقية. قبل استخدام "ChainTrust-LLM"، كانت هذه الروبوتات ترتكب الأخطاء كثيراً. على سبيل المثال، كان GPT-4 يهلوس (يختلق أموراً) بنسبة 23.1% من الوقت. وبعد تطبيق النظام الجديد، انخفض هذا الرقم بشكل كبير إلى 8.5%. وهذا يمثل انخفاضاً بنسبة تقارب 63%. وبالنسبة للروبوتات الأخرى، كانت التحسينات كبيرة أيضاً، حيث انخفضت معدلات الخطأ بنسبة تصل إلى 64.8%.
ليس فقط أن الروبوتات ارتكبت أخطاءً أقل، بل أصبح النظام أيضاً أفضل بكتم معرفة متى يكون محقاً أو مخطئاً. فقد قفزت "دقة معايرة الثقة" — وهي ببساة مدى تطابق ثقة الروبوت مع الواقع — من حوالي 75% إلى أكثر من 91% لـ GPT-4. كما اتفق الخبراء الذين فحصوا الإجابات مع بعضهم البعض بشكل أكبر، حيث ارتفع معدل اتفاقهم من 0.65 إلى 0.87. وهذا يعني أن النظام لم يكن يكتفي بإصلاح الأخطاء فحسب، بل كان يخلق أيضاً فهماً مشتركاً وموثوقاً للحقيقة.
أحد أروع أجزاء هذا البحث هو سرعة عمله. فحتى مع كل عمليات التحقق الإضافية وتسجيل البلوكشين، لم يضف النظام سوى تأخير ضئيل جداً. في المتوسط، استغرق الأمر 211 ميلي ثانية فقط (أي أقل من ربع ثانية) لتسجيل عملية واحدة. وهذا يشير إلى أن مثل هذا النظام يمكن استخدامه فعلياً في المستشفيات دون إبطاء العمل.
يخلص البحث إلى أن "ChainTrust-LLM" هو وسيلة قوية وآمنة لجعل الذكاء الاصطناعي الطبي أكثر أماناً. فمن خلال الجمع بين الخبراء البشريين، ونظام ثقة قائم على الوقت، وسجل بلوكشين غير قابل للتغيير، أنشأوا إطار عمل يقلل بشكل كبير من الأكاذيب الخطيرة في المشورة الطبية. وبينما ركزت الدراسة تحديداً على أعراض قصور الغدة الدرقية مثل التعب وزيادة الوزن، فإن الطريقة تشير إلى مسار مستقبلي لجعل الذكاء الاصطناعي موثوقاً في المجالات الطبية الأخرى أيضاً. إنه ليس عصا سحرية تصلح كل شيء فوراً، ولكنه خطوة واعدة جداً نحو مستقبل يمكننا فيه الوثوق بمساعدينا الطبيين الرقميين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.