COACH meets QUORUM: A Framework and Pipeline for Aligning User, Expert and Developer Perspectives in LLM-generated Health Counselling

تخيل أن لديك تطبيق مذكرات صحية ذكي يتتبع نومك، ومزاجك، ومستويات طاقتك. تسأله: "لماذا أشعر بالتعب الشديد؟" أو "كيف يمكنني النوم بشكل أفضل؟" فيعطيك نصيحة.

هذه الورقة البحثية تتحدث عن بناء نظام لضمان أن تكون النصيحة مفيدة، ودقيقة، وآمنة، خاصة للأشخاص الذين يعانون من مشكلات صحية خطيرة مثل السرطان. لقد ابتكر المؤلفون شيئين رئيسيين لحل هذه المشكلة: طريقة جديدة لاختبار النظام (تسمى QUORUM) والنظام نفسه (المسمى COACH).

إليك تفصيل الأمر بكلمات بسيطة:

1. المشكلة: "الكرسي ذو الثلاث أرجل"

عند بناء ذكاء اصطناعي صحي، عادة ما يكون هناك ثلاث مجموعات مختلفة من الأشخاص الذين يهتمون بالنتيجة، لكن كل منهم ينظر إليها من منظور مختلف:

• المستخدم (أنت): "هل تبدو هذه النصيحة وكأنها موجهة لي حقاً؟ هل هي مريحة للقراءة؟ هل سأقوم بتنفيذها فعلياً؟"
• الخبير (الطبيب): "هل المعلومات الطبية صحيحة بنسبة 100%؟ هل النبرة مناسبة لشخص مريض؟"
• المطور (الباني): "هل اخترع الكمبيوتر حقائق من عنده؟ هل قرأ البيانات بشكل صحيح؟ هل الكود يعمل؟"

التشبيه: تخيل بناء منزل.

• المستخدم هو العائلة التي تعيش فيه: "هل المطبخ واسع بما يكفي؟ هل لون الطلاء مبهج؟"
• الخبير هو مفتش البناء: "هل الأساس متين؟ هل الأسلاك مطابقة للمواصفات؟"
• المطور هو المهندس المعماري: "هل استخدمنا المخططات الصحيحة؟ هل بُنيت الجدران بشكل مستقيم؟"

عادة ما تعمل هذه المجموعات بشكل منفصل. تقول هذه الورقة: "لا، نحن بحاجة لإحضار الثلاثة معاً في نفس الغرفة لنرى ما إذا كان المنزل قابلاً للعيش فيه بالفعل".

2. الحل: QUORUM (العين التي ترى كل شيء)

ابتكر المؤلفون إطار عمل يسمى QUORUM (الجودة، النتيجة، الموثوقية، وملاءمة المستخدم). فكر في QUORUM كـ بطاقة تقييم متخصصة تطلب من المجموعات الثلاث تقييم نصيحة الذكاء الاصطناعي في وقت واحد.

بدلاً من مجرد سؤال المطور عما إذا كان الكود يعمل، يسأل QUORUM:

• المستخدم: "هل جعلك هذا تشعر بأنك مفهوم؟"
• الخبير: "هل النصيحة الطبية آمنة؟"
• المطور: "هل قام الذكاء الاصطناعي بـ 'الهلوسة' (اختلاق حقائق)؟"

هذا يضمن أن المنتج النهائي ليس مثالياً من الناحية التقنية فحسب، بل هو مفيد فعلياً للناس الحقيقيين.

3. الأداة: COACH (الخادم الذكي)

لقد بنوا نظام ذكاء اصطناعي محدد يسمى COACH لمرضى السرطان باستخدام تطبيق "Healthy Chronos".

• كيف يعمل: عندما يطرح المستخدم سؤالاً، يعمل COACH مثل أمين مكتبة منظم للغاية.
  1. ينظر إلى مذكرات المستخدم (مثل: "نمت 4 ساعات الليلة الماضية").
  2. يذهب إلى مكتبة طبية موثوقة (قاعدة بيانات معلومات السرطان) للعثيد حقائق حول النوم والسرطان.
  3. يمزج قصة المستخدم الشخصية مع الحقائق الطبية لكتابة رسالة نصيحة مخصصة.

4. ماذا وجدوا (النتائج)

قاموا باختبار COACH مع مستخدمين حقيقيين، وخبراء طبيين، ومطورين. وإليك ما حدث:

• الأخبار الجيدة (التقارب): اتفق الجميع على أن النصيحة كانت ذات صلة، وعالية الجودة، وموثوقة.

  • شعر المستخدمون أن النصيحة تناسب حياتهم.
  • قال الخبراء إن الحقائق الطبية كانت صحيحة.
  • أكد المطورون أن الذكاء الاصطناعي نادراً ما اخترع بيانات.
  • التشبيه: الأمر يشبه اتفاق طباخ، وناقد طعام، وزبون على أن الحساء مذاقه رائع.

• الأخبار السيئة (التباعد): اختلفوا حول النبرة والحساسية.

  • صراع النبرة: اعتقد الخبراء أن الذكء الاصطناعي كان أحياناً فظاً أو "متعالياً" (يتحدث بأسلوب فوقي للمريض). ومع ذلك، رأى المستخدمون أن النبرة كانت جيدة!
  • ثغرة "الهلوسة": وجد المطورون أنه في 22% من المرات، أضاف الذكاء الاصطناعي تفاصيل صغيرة لم تكن موجودة بدقة في قاعدة البيانات الطبية (مثل اقتراح "تناول المكسرات" بينما ذكرت قاعدة البيانات فقط "تناول البروتين"). وصف المطورون هذا بأنه "هلوسة" (خطأ). لكن الخبراء والمستخدمين لم يمانعوا ذلك؛ بل اعتبروه مجرد منطق سليم ومفيد.
  • التشبيه: المطور يشبه معلم قواعد صارم يخصم درجات على جملة بسبب خطأ بسيط جداً. أما المستخدم فهو سعيد فقط لأن الجملة مفهومة وتساعده.

5. الخلاصة الكبرى

تثبت الورقة البحثية أنه لا يمكنك بناء ذكاء اصطناعي صحي موثوق من خلال الاستماع للمهندسين فقط.

إذا استمعت للمطورين فقط، فقد تحصل على نظام مثالي تقنياً ولكنه يبدو بارداً وآلياً للمرضى. وإذا استمعت للمستخدمين فقط، فقد تحصل على نظام ودود يقدم نصائح طبية خطيرة.

الاستنتاج: لبناء ذكاء اصطناعي يساعد الناس حقاً، تحتاج إلى نهج "اللجنة". أنت بحاجة إلى المستخدم (من أجل التعاطف)، والخبير (من أجل السلامة)، والمطور (من أجل الدقة) ليكون لكل منهم مقعد على الطاولة. عندما يتفق الجميع، ستعرف أن لديك نظاماً جاهزاً للتعامل مع العالم الحقيقي.