Quantization Effects on Biomedical LLM Reliability
تُظهر هذه الدراسة أن تصميم قوالب التلقين وبروتوكولات تسجيل الاحتمالات في نماذج لغات فك التشفير الطبية الحيوية يمارسان تأثيراً مهيمناً على المعايرة والدقة — متجاوزاً في كثير من الأحيان آثار بنية النموذج أو التكميم — مما يسلط الض الضوء على الحاجة الماسة لتوحيد هذه الخيارات التنفيذية في التقييمات التجريبية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فائق الذكاء كيفية قراءة المجلات الطبية. هذه المجلات مليئة بالمعلومات الهامة حول العلاجات والأمراض الجديدة، لكنها مكتوبة بمزيج مربك من الفقرات. يحتاج الأطباء إلى فرز هذه الجمل بسرعة إلى فئات مرتبة مثل "الخلفية" (Background)، أو "الطرق" (Methods)، أو "النتائج" (Results) للوصول إلى الحقيقة. هذه مهمة ضخمة على البشر، لذا يحاول العلماء استخدام الذكاء الاصطناعي (AI) للقيام بذلك بدلاً منهم.
لكن الجزء الصعب هنا هو أن الذكاء الاصطناائي لا يقتصر فقط على الحصول على الإجابة الصحيحة؛ بل يتعلق بمعرفة "مدى تأكده". إذا قال الروبوت: "أنا متأكد بنسبة 100% أن هذا الدواء يعالج السرطان"، ولكنه كان مخطئاً في الواقع، فهذا أمر خطير، لأنه يخلق شعوراً زائفاً بالأمان. يطلق العلماء على هذا "المعايرة" (Calibration). الروبوت جيد المعايرة يكون صادقاً: إذا كان متأكداً بنسبة 60% فقط، فيجب عليه قول ذلك. ومع ذلك، فإن قياس هذه الصدق يشبه محاولة وزن ريشة على ميزان يغير قواعده الخاصة في كل مرة تضغط فيها على الزر. الطريقة التي تطرح بها السؤال على الروبوت، والطريقة التي تستمع بها إلى إجابته، وحتى كيفية حساب الأرقام للحصول على درجة ما، يمكن أن تغير تماماً ما إذا كان الروبوت يبدو صادقاً أم مجنوناً. تغوص هذه الورقة البحثية بعمق في هذا الواقع الفوضوي لترى ما إذا كان بإمكاننا الوثوق بهذه الروبوتات الطبية عندما تعمل على أجهزة أسرع وأرخص.
عملية سرقة معايرة الروبوت الكبرى
في هذه الدراسة، عامل الباحثون ثلاث نسخ مختلفة من عقل ذكاء اصطناعي قوي (يسمى Mistral-7B) كمتسابقين في برنامج مسابقات. أرادوا معرفة أي منها كان الأكثر صدقاً ودقة في تصنيف الجمل الطبية. المتسابقون هم:
- النموذج الأساسي (The Base Model): عقل خام غير مدرب.
- بيو-ميسترال (The BioMistral): عقل قرأ الملايين من الأوراق الطبية لتعلم المصطلحات.
- نموذج التعليمات (The Instruct Model): عقل تم تعليمه كيفية اتباع الأوامر والدردشة.
اختبروا هذه العقول تحت ثلاثة "أنماط طاقة": نمط الطاقة العالية القياسي (FP16)، ونمط الطاقة المتوسط الذي يوفر الذاكرة (INT8)، ونمط الضغط الفائق (INT4) الذي يناسب أجهزة الكمبيوتر الصغيرة جداً.
فخ "كيف تسأل"
المفاجأة الكبرى في الورقة هي أن "درجة صدق" الروبوت تعتمد كلياً على كيفية طرحك للسؤال. جرب الباحثون طريقتين رئيسيتين لتسجيل الإجابات:
- طريقة "إجمالي النقاط": حيث تجمع كل قطعة صغيرة من الثقة التي يعطيها الروبوت للإجابة بأكملة.
- طريقة "متوسط النقاط": حيث تأخذ متوسط الثقة لكل كلمة.
إليك المفاجأة: التبديل بين هاتين الطريقتين قلب ترتيب المتصدرين تماماً.
عند استخدام طريقة "إجمالي النقاط"، بدا نموذج التعليمات (Instruct) سيئاً جداً في الصدق (كان مفرط الثقة)، بينما بدا بيو-ميسترال (BioMistral) رائعاً. ولكن عندما انتقلوا إلى طريقة "متوسط النقاط"، بدا نموذج التعليمات فجأة وكأنه الأكثر صدقاً، وبدا بيو-ميسترال مفرط الثقة.
الأمر يشبه تقييم درجات طالب عن طريق جمع كل نقطة حصل عليها (الإجمالي) مقابل أخذ متوسط درجاته لكل سؤال (المتوسط). قد يكون هناك طالب لديه بعض الإجابات المثالية والعديد من الإجابات الفارغة، بينما يوجد آخر لديه درجات "جيد جداً" ثابتة. اعتماداً على قاعدة الرياضيات التي تستخدمها، قد تعلن فائزاً مختلفاً. توضح الورقة أنه بالنسبة لهذه الروبوتات الطبية، فإن قاعدة الرياضيات التي تختارها تهم أكثر من نوع الروبوت الذي اخترته.
أفعوانية "الطلب" (Prompt)
وجد الباحثون أيضاً أن أسلوب السؤال (الـ Prompt) تسبب في تقلبات هائلة في الدقة. جربوا أربع طرق مختلفة لصياغة المهمة، من الهياكل المنظمة جداً ذات الحدود المزخرفة إلى النصوص المجردة والبسيطة.
- بالنسبة لـ النموذج الأساسي، تسبب تغيير أسلوب الطلب في قفزات في الدقة تتراوح بين 7 إلى 24 نقطة مئوية. هذا فرق هائل! إنه يشبه إذا حصل طالب على 80% في اختبار عندما كتب المعلم التعليمات بالحبر الأزرق، لكنه حصل على 55% فقط عندما كانت التعليمات بالحبر الأحمر.
- في بعض الأحيان، كان نموذج بيو-ميسترال هو الأفضل مع طلب معين، بينما كان نموذج التعليمات هو الأفضل مع طلب آخر. لم يكن هناك روبوت واحد "أفضل"؛ فالرابح يتغير بناءً على "الزي" الذي يرتديه الروبوت.
اختبار الأجهزة "المضغوطة"
بما أن المستشفيات والعيادات قد لا تمتلك أجهزة كمبيوتر فائقة الغلاء، اختبر الباحثون ما يحدث عند ضغط الروبوتات في تنسيقات أصغر (INT8 و INT4).
- أخبار جيدة: بالنسبة للروبوتات الطبية المتخصصة (BioMistral و Instruct)، فإن ضغطها في وضع INT8 لم يغير دقتها أو صدقها إلا قليلاً. فقد ظلت ضمن نطاق 1-2 نقطة مئوية من قوتها الكاملة. الأمر يشبه وضع حقيبة ظهر ثقيلة على عداء؛ قد يبطئ قليلاً، لكنه لا يزال بإمكانه إنهاء السباق بنفس الكفاءة.
- أخبار مختلطة: عندما ضغطوها بقوة أكبر في وضع INT4، كانت النتائج فوضوية بعض الشيء. أحياناً ارتفعت الدقة قليلاً، وأحياناً انخفضت، لكنها لم تسبب كارثة شاملة. أما النموذج الأساسي، فقد كان أكثر حساسية وأظهر تغيرات أكبر.
كارثة "الحرف الواحد"
قبل الاستقرار على الطريقة النهائية، جرب الباحثون طريقاً مختصراً. طلبوا من الروبوتات الإجابة بحرف واحد فقط (A، B، C، D، أو E) بدلاً من كتابة الكلمة كاملة (مثل "Background" أو "Methods").
فشلت هذه الطريقة فشلاً ذريعاً. بدأت الروبوتات تخمن نفس الحرف مراراً وتكراراً، متجاهلة المحتوى الطبي الفعلي. كان الأمر كما لو أن الروبوت يخمن حرف "A" فقط لأنه رأى الحرف "A" كثيراً في بيانات تدريبه. أثبت هذا أنه لا يمكنك استخدام رموز قصيرة فقط؛ بل يجب أن تترك الروبوت يكتب الإجابة كاملة للحصول على قراءة حقيقية لعقله.
الخلاصة
الدرس الرئيسي من هذه الورقة هو أنه عندما نحاول قياس مدى موثوقية روبوتات الذكاء الاصطناعي الطبية هذه، يجب أن نكون حذرين جداً بشأن القواعد التي نستخدمها.
إن "صدق" الروبوت ليس سمة ثابتة داخل الآلة، بل هو نتيجة لكيفية قياسنا له. إذا غيرت قواعد الرياضيات أو أسلوب السؤال، فقد تعتقد أن روبوتاً ما عبقري وآخر كاذب، بينما في الواقع، قد يكونان متماثلين. تقترح الورقة أنه قبل الوثوق بهذه الروبوتات لمساعدة الأطباء، نحتاج إلى اختبارها بأساليب أسئلة وطرق تسجيل متنوعة، وليس بطريقة واحدة فقط.
أيضاً، بينما يبدو ضغط هذه الروبوتات على أجهزة كمبيوتر أصغر (INT8) آمناً للنسخ الطبية المتخصصة، لا يمكننا افتراض أن هذا ينطبق على الجميع. يجب علينا فحص كل إعداد على حدة. لم يجد الباحثون حلاً سحرياً يصلح كل شيء، لكنهم وجدوا خريطة لكل الفخاخ التي يجب تجنبها حتى لا نخدع بروبوت يبدو واثقاً ولكنه في الحقيقة مجرد مخمن.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.