Evaluating Large Language Models' Responses to Sexual and Reproductive Health Queries in Nepali
تقدم هذه الورقة إطار عمل تقييم النماذج اللغوية الكبيرة (LEAF) لتقييم استجابات النماذج اللغوية الكبيرة لـ 14,000 استعلام باللغة النيباليةية تتعلق بالصحة الجنسية والإنجابية، مما كشف أن 35.1% فقط من الاستجابات كانت "ملائمة" بسبب الفجوات الكبيرة في الدقة، والملاءمة الثقافية، والسلامة، مما يسلط الض light على الحاجة الملحة لتحسين معايير التقييم في المجالات ذات الموارد المنخفضة والحساسة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك صديقاً آلياً ذكياً جداً ومطلعاً، يعرف الكثير عن العالم. يمكنك سؤاله عن أي شيء، وهو يجيبك فوراً دون أن يحكم عليك. هذا هو بالضبط ما هي نماذج اللغات الكبيرة (LLMs) مثل ChatGPT.
الآن، تخيل أنك في نيبال، ولديك سؤال شخصي وحساس للغاية حول جسدك، أو صحتك، أو تنظيم الأسرة. ربما تشعر بالخجل من سؤال الطبيب، أو لا يوجد طبيب قريب منك. فتلجأ إلى هذا الصديق الآلي.
هذه الورقة البحثية تشبه تقرير درجات لهذا الصديق الآلي، ولكن تحديداً حول مدى جودة تعامله مع هذه الأسئلة الصحية الشخصية والحساسة بـ اللغة النيبالية.
إليك قصة ما فعله الباحثون، مشروحة ببساطة:
1. المشكلة: الإجابة "المثالية" ليست كافية
لاحظ الباحثون أن معظم الناس يتحققون فقط مما إذا كانت إجابة الروبوت صحيحة من الناحية الواقعية (مثل التحقق مما إذا كانت إجابة الرياضيات صحيحة). لكن بالنسبة للأسئلة الصحية، فإن كون الإجابة "صحيحة" ليس كافياً.
- تشبيه: تخيل أنك تسأل مرشداً سياحياً: "أين أقرب مستشفى؟"
- إذا قال لك: "على بعد 5 أميال شمالاً"، فهذا جواب دقيق.
- ولكن إذا قال ذلك بلغة لا تفهمها، أو أعطاك خريطة لمستشفى أغلق أبوابه منذ 10 سنوات، أو قال لك: "تجاهل الألم فحسب"، فهذا أمر خطير.
- يجب أن يكون الروبوت دقيقاً، ولكن أيضاً آمناً، ومهذباً ثقافياً، وسهل الفهم.
2. الحل: إطار عمل "LEAF"
ابتكر الفريق طريقة جديدة لتقييم الروبوتات، أطلقوا عليها اسم LEAF (إطار تقييم نماذج اللغات الكبيرة). فكر في LEAF كـ كرسي ذي أربعة أرجل. إذا انكسر أحد الأرجل، سيسقط الكرسي. الأرجل الأربعة هي:
- الدقة: هل المعلومات الطبية صحيحة؟
- اللغة: هل أجاب باللغة النيبالية (وليس الإنجليزية)؟
- القابلية للاستخدام: هل كانت الإجابة مفيدة، وليست طويلة جداً، وملائمة ثقافياً؟ (على سبيل المثال: لا يقترح دواءً لا يمكنك شراؤه في نيبال).
- الأمان: هل تجنب تقديم نصائح خطيرة أو قول شيء مسيء؟
3. التجربة: جلسة دردشة ضخمة
قام الباحثون ببناء روبوت دردشة ودعوا 9,000 شخص حقيقي من جميع أنحاء نيبال للتحدث معه لمدة 30 دقيقة تقريباً.
- من الذي سأل؟ أشخاص عاديون ومتطوعون مجتمعيون صحيون نسائيون (عاملات صحة محليات).
- ماذا سألوا؟ أكثر من 14,000 سؤال حول الدورة الشهرية، الحمل، وسائل تنظيم الأسرة، وغيرها.
- الاختبار: وجهوا الأسئلة إلى نسختين من الروبوت:
- الروبوت (أ) (ChatGPT-3.5): النسخة القياسية المجانية.
- الروبوت (ب) (ChatGPT-3.5 + RAG): النسخة القياسية، ولكن مع "كتاب مدرسي" مرفق بها (التوليد المعزز بالاسترجاع - RAG) لكي يتمكن من البحث عن الحقائق من الأدلة الصحية الرسمية في نيبال.
4. النتائج: الروبوت ذكي، لكنه متعثر
بعد الدردشات، قام الخبراء بتقييم الإجابات باستخدام إطار عمل LEAF. وإليكم ما وجدوه:
- الدرجة "المثالية" كانت نادرة: كانت 35% فقط من الإجابات "لائقة". وهذا يعني أنها كانت دقيقة، وآمنة، وباللغة الصحيحة، ومفيدة.
- الدقة مقابل الفائدة: أصاب الروبوت في الحقائق بنسبة 62%. ومع ذلك، فإن نصف تلك الإجابات "الصحيحة" كانت لا تزال تعاني من مشاب.
- تشبيه: الأمر يشبه طباخاً يطهو شريحة لحم لذيذة (دقيقة) ولكنه يقدمها على طبق ساخن جداً لدرجة لا يمكن لمسها (فجوة في القابلية للاستخدام) أو ينسى تقطيع اللحم (عدم كفاية الإجابة).
- المشكلة الأكبر: غالباً ما قدم الروبوت إجابات غير كافية. لم يعطِ تفاصيل كافية أو أغفل أجزاء رئيسية من السؤال.
- مشكلة الأمان: من المثير للدهشة أن الروبوت كان آمناً في الغالب. كانت الإجابات المسيئة أو الخطيرة قليلة جداً (أقل من 1%). لكن الباحثين حذروا من أن إجابة واحدة سيئة في مجال الصحة قد تكون قاتلة.
- مشكلة اللغة: أحياناً يسأل المستخدم بالنيبالية، فيرد الروبوت بالإنجليزية. وفي أحيان أخرى، يخلط بين اللغتين بشكل غريب.
- الروبوت (ب) مقابل الروبوت (أ): كان الروبوت المزود بـ "الكتاب المدرسي" (RAG) أفضل قليلاً في الحقائق، لكنه لا يزال يعاني من تفاصيل المحادثة الدقيقة.
5. مفاجأة "GPT-4"
اختبر الباحثون أيضاً روبوتاً أحدث وأكثر ذكاءً (GPT-4) على عينة صغيرة.
- الأخبار الجيدة: كان GPT-4 أفضل بكثير. فقد قدم إجابات "لائقة" بنسبة 59% (مقارنة بـ 35% للروبوت القديم).
- الأخبار السيئة: حتى GPT-4 الخارق الذكاء كان يرتبك أحياناً بسبب "النيبالية المكتوبة بالحروف اللاتينية" (النيبالية المكتوبة بأحرف إنجليزية، مثل "Kasto cha?"). فهو يفضل الخط الرسمي (Devanagari).
6. الخلاصة الكبرى
تخلص الورقة البحثية إلى أنه بينما يعد الذكاء الاصطناعي أداة واعدة لمساعدة الناس في نيبال في الحصول على معلومات صحية دون الكشف عن هويتهم، إلا أنه ليس جاهزاً ليكون طبيباً بعد.
- الاستعارة: فكر في الذكاء الاصطناعي الحالي كـ ممرض متدرب قرأ كل الكتب المدرسية ولكنه لم يمسك يد مريض قط. هو يعرف النظرية (الدقة) ولكنه غالباً ما ينسى أسلوب التعامل مع المرضى (القابلية للاستخدام والأمان).
- المستقبل: نحن بحاجة إلى تدريب هذه الروبوتات بشكل أفضل، خاصة على الثقافة واللغة المحلية، قبل أن نتمكن من الوثوق بها تماماً في القضاية الصحية الحساسة.
باخت مستخلص: الروبوت ذكي، لكنه يحتاج إلى تعلم كيف يكون مستمعاً جيداً ومساعداً مهتماً قبل أن يتمكن من استبدال العامل الصحي البشري في نيبال.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.