← أحدث الأبحاث
💻 علوم الحاسوب

Condence, Calibration, and Abstention in Small Open-Weight Language Models on Psychiatric Knowledge Questions: A Cross-Domain Replication

تُظهر هذه الدراسة الاستطلاعية أن النماذج اللغوية الصغيرة ذات الأوزان المفتوحة، عند تطبيقها على أسئلة المعرفة النفسية، تُظهر معايرة ثقة ضعيفة، وتصنيفات دقة تعتمد على المجال، وأن حثها على الامتناع عن الإجابة غالباً ما يؤدي إلى تدهور الأداء بدلاً من تحسينه عند تقييمها باستخدام إحصاءات زوجية صارمة.

المؤلف الأصلي: Kunal Dhanda

نُشر 2026-09-15
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلف الأصلي: Kunal Dhanda

البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلف ولم يصادق عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في الزوايا الهادئة للطب الحديث، تبرز أداة من نوع جديد: برامج حاسوبية صغيرة ومستقلة قادرة على القراءة والإجابة عن أسئلة تتعلق بصحة الإنسان. وخلافاً للأنظمة الضخمة القائمة على السحابة والتي تتطلب اتصالات إنترنت قوية وتثير مخاوف بشأن الخصوصية، يمكن لهذه النماذج الأصغر أن تعمل على جهاز كمبيوتر محلي واحد، مما يبقي بيانات المرضى الحساسة بعيداً عن الإنترنت. وقد أثارت هذه القدرة الأمل في استخدامها في مجال الطب النفسي، وهو مجال يعتمد فيه الأطباء غالباً على التقارير الذاتية بدلاً من اختبارات الدم أو الأشعة لاتخاذ القرارات. ومع ذلك، يظل هناك سؤال جوهري لأي أداة تقدم نصيحة طبية: هل تعرف متى تكون مخطئة؟ فإذا كان البرنامج الحاسوبي واثقاً ولكنه غير دقيق، فإن العواقب قد تكون وخيمة. لقد درس الباحثون لفترة طويلة ما إذا كانت هذه الأنظمة قادرة على قياس مدى يقينها بدقة، لكن معظم ذلك العمل ركز على الأنظمة الضخمة المملوكة لشركات أو المعرفة الطبية العامة. أما السلوك المحدد للنماذج الأصغر التي تعمل محلياً عند مواجهة الأسئلة الدقيقة والذاتية في الطب النفسي، فقد ظل لغزاً.

لقما وضعت دراسة تجريبية حديثة هدفها سد هذه الفجوة عبر اختبار أربعة نماذج لغوية صغيرة مختلفة على مجموعة محددة مكونة من 150 سؤالاً من نوع الاختيار من متعدد حول المعرفة النفسية. أراد الباحثون معرفة ما إذا كانت هذه النماذج قادرة ليس فقط على الإجابة بشكل صحيح، بل وأيضاً على إدراك متى ينبغي لها أن تقول: "لا أعرف". وقارنوا أداء النماذج في هذه الأسئلة النفسية مقابل أدائها في الأسئلة الطبية العامة لمعرفة ما إذا كان ترتيب النموذج "الأفضل" سيبقى كما هو. كما بحثت الدراسة في فكرة سلامة شائعة: وهي أن منح النموذج خيار الامتناع عن الإجابة عندما يشعر بعدم اليقين سيجعله تلقائياً أكثر أماناً ودقة. أجرى الفريق هذه الاختبارات بالكامل على محطة عمل محلية، مما ضمن عدم خروج أي بيانات من الجهاز، واستخدموا أساليب إحصائية صارمة لمقارنة النتائج قبل وبعد السماح للنماذج بتجاوز الأسئలు.

كشفت النتائج أن مشهد هذه النماذج الصغيرة أكثر تعقيداً من مجرد قائمة بسيطة تضم الأفضل والأسوأ. فعندما تم اختبار النماذج على المعرفة الطبية العامة، جاء نموذج محدد في المرتبة الثالثة من أصل أربعة. ومع ذلك، عندما واجه النموذج نفسه الأسئلة النفسية، انخفض أداؤه بشكل كبير ليحتل المرتبة الأخيرة. يشير هذا إلى أن مهارة النموذج ليست سمة ثابتة تنتقل بسهولة من تخصص طبي إلى آخر؛ فما يعمل جيداً في الطب العام لا يعمل بالضرورة في الطب النفسي. علاوة على على ذلك، وجدت الدراسة أن النماذج كانت مفرطة في الثقة باستمرار؛ ففي المتوسط، صرحت بأنها واثقة بنسبة 90 إلى 95 بالمائة، رغم أن دقتها الفعلية تراوحت بين 57 و75 بالمائة فقط. وكانت هذه الفجوة بين الثقة المعلنة والصحة الفعلية أوسع بكثير مما لوحظ في الأنظمة التجارية الأكبر حجماً.

ولعل الاكتشاف الأكثر إثارة للدهشة تعلق بفكرة السماح للنماذج بتجاوز الأسئلة التي تشعر بعدم اليقين بشأنها. فمن خلال نظرة بسيطة على الأسئلة التي اختارتها النماذج للإجابة، بدا أن التجاوز قد يحسن درجات بعضها. ومع ذلك، عندما نظر الباحثون إلى نفس الأسئلة تحت كلا الشرطين — الإجابة الإجبارية مقابل السماح بالتجاوز — وجدوا قصة مختلفة. فبالنسبة لثلاثة من أربعة نماذج، لم يؤدِ خيار التجاوز إلى تحسن حقيقي في الدقة. وفي الواقع، بالنسبة للنموذج الأفضل أداءً، تسبب قرار التجاوز في جعل النموذج يخطئ في أسئلة كان سيجيب عليها بشكل صحيح لو أُجبر على المحاولة. كما أن النموذج الذي امتلك أفضل قدرة على ترتيب درجة يقينه، فشل في استخدام هذه القدرة لاتخاذ قرارات ذكية بشأن متى يتوقف.

النموذج الوحيد الذي أظهر تغيراً واضحاً عند السماح له بتجاوز الأسئلة كان النموذج الأصغر، وكان التغيير سلبياً. فعندما مُنح هذا النموذج الصغير خيار قول "لا أعرف"، انخفضت دقته الإجمالية بشكل كبير. لم تكن هذه النتيجة محض صدفة؛ إذ عكست انخفاضاً مشابهاً وُجد في اختبار منفصل على الأسئلة الطبية العامة، مما يشير إلى ضعف محدد في كيفية تعامل هذا النموذج الصغير تحديداً مع حالة عدم اليقين. وتخلص الدراسة إلى أن مجرد إضافة خيار "لا أعرف" ليس مفتاح أمان سحري. فبالنسبة لهذه النماذج الصغيرة المحلية، لا يؤدي تعليم الامتناع عن الإجابة إلى تصفية الأخطاء بشكل موثوق، بل يمكن أن يجعل الأداء أسوأ في بعض الأحيان. ويؤكد الباحثون أن هذه النتائج خاصة بهذه المجموعة الصغيرة من النماذج وهذا النوع من الأسئلة الاختبارية، وهي بمثابة فرضية لدراسات مستقبلية أكبر وليست قاعدة نهائية للاستخدام السريري. والخلاصة الجوهرية هي أنه في عالم الذكاء الاصطنا الاصطناعي الصغير والمحلي، غالباً ما تكون الثقة وهماً، والقدرة على معرفة متى يجب التوقف ليست مضمونة.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💻 cs →