💬 NLP

Multi-Objective Alignment of Language Models for Personalized Psychotherapy

تتناول هذه الورقة البحثية أوجه القصور في أنظمة العلاج النفسي الحالية عبر تقديم إطار عمل للمواءمة متعدد الأهداف (MODPO) مُدرب على بيانات تفضيلات المرضى، والذي ينجح في تحقيق التوازن بين السلامة السريرية والتعاطف العلاجي والاستقلالية، متفوقاً بذلك على أساليب المواءمة أحادية الهدف والضبط الدقيق القياسي في كل من المقاييس الآلية والتقييمات العمياء من قبل الأطباء.

المؤلفون الأصليون: Mehrab Beikzadeh, Yasaman Asadollah Salmanpour, Ashima Suvarna, Sriram Sankararaman, Matteo Malgaroli, Majid Sarrafzadeh, Saadia Gabriel

نُشر 2026-02-20

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Mehrab Beikzadeh, Yasaman Asadollah Salmanpour, Ashima Suvarna, Sriram Sankararaman, Matteo Malgaroli, Majid Sarrafzadeh, Saadia Gabriel

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيف يكون معالجاً نفسياً. تريد منه أن يكون لطيفاً، آمناً، ومفيداً. لكن الجزء الصعب هنا هو أن كونك "لطيفاً" قد يعني أحياناً قول أشياء ليست "آمنة" تماماً وفقاً لمنطق الروبوت، وأن كونك "آمناً" قد يبدو أحياناً بارداً وغير مفيد للإنسان الذي يتألم.

هذه الورقة البحثية تتحدث عن تعليم ذكاء اصطناعي كيف يمشي على هذا الحبل المشدود دون أن يسقط. أطلق الباحثون على طريقتهم اسم MODPO (تحسين التفضيلات المباشرة متعدد الأهداف).

إليك قصة كيف فعلوا ذلك، مشروحة ببساطة:

1. المشكلة: المعالج "أحادية النغمة"

تخيل أنك استأجرت روبوتاً ليكون معالجاً نفسياً.

إذا طلبت منه أن يكون متعاطفاً فقط، فقد يتحول إلى شخص "يوافق على كل شيء". قد يوافق شخص مكتئب على أن "العالم فظيع" لمجرد أن يكون لطيفاً، وهو أمر خطير في الواقع.
إذا طلبت منه أن يكون آمناً فقط، فقد يبدو كأنه روبوت يقرأ إخلاء مسؤولية قانوني. "لا يمكنني تقديم نصيحة طبية. يرجى الاتصال بالإسعاف". إنه آمن، لكنه ليس مفيداً.

معظم الذكاء الاصطناعي اليوم يتم تدريبه ليكون جيداً في شيء واحد في كل مرة. تسأل هذه الورقة: هل يمكننا تدريب ذكاء اصطناعي ليكون معالجاً جيداً يوازن بين اللطف، السلامة، الإنصات، والثقة جميعها في آن واحد؟

2. الحل: "معسكر تدريب المعالجين"

لم يكتفِ الباحثون بالتخمين عما يريده المرضى، بل ذهبوا إلى المصدر.

الاستطلاع (لوحة المرضى): سألوا 335 شخصاً حقيقياً ممن عانوا من مشاكل في الصحة النفسية عما يقدرونه أكثر في المعالج النفسي.
- النتيجة: اتفق الجميع على أن التعاطف (الشعور بأنك مفهوم) هو الأولوية رقم 1. لكنهم اهتموا أيضاً بعمق بـ السلامة، والإنصات النشط، والاستقلالية (الشعور بالسيطرة على خياراتهم الخاصة).
الشخصيات (المرضى الافتراضيون): بما أنه لم يكن بإمكانهم طلب الدردشة مع 335 شخصاً حقيقياً 600 مرة (لأن ذلك سيستغرق وقتاً طويلاً جداً)، فقد أنشأوا 150 "شخصية" مفصلة. هذه الشخصيات تشبه الصور الرمزية الرقمية ذات خلفيات وشخصيات وتفضيلات محددة. أحدهم قد يكون طالباً يبلغ من العمر 20 عاماً يقدر الخصوصية؛ وآخر قد يكون شخصاً يبلغ من العمر 50 عاماً يقدر النصيحة المباشرة.

3. التجربة: "مسابقة الطبخ"

أقام الباحثون مسابقة طبخ لمعرفة أي "وصفة" لتدريب الذكاء الاصطناعي هي الأفضل. كان لديهم 600 "طلب" مختلف (أسئلة من المرضى) وجربوا 5 طرق مختلفة لتدريب طهاة الذكاء الاصطناعي:

الشيف "اللطيف فقط" (أحادي الهدف): تم تدريبه ليكون متعاطفاً فقط.
- النتيجة: بارع في كونه لطيفاً، لكنه غالباً غير آمن. مثل شيف يضع الكثير من الملح لأنهم يعتقدون أنك تحب الطعام المالح، متجاهلاً أن لديك ضغط دم مرتفع.
الشيف "الخليط" (دمج المعلمات): قاموا بتدريب ذكاء اصطناعي ليكون لطيفاً وآخر ليكون آمناً، ثم حاولوا لصقهما معاً.
- النتيجة: أصيب الذكاء الاصطناعي بالارتباك. كان جيداً نوعاً ما، لكن ليس رائعاً.
الشيف "المتوازن" (MODPO - الفائز): هذه الطريقة علمت الذكاء الاصطناعي كيف يوازن بين الأمور. تعلم كيف يكون متعاطفاً بينما يحافظ على شبكة أمان.
- النتيجة: كان هذا الذكاء الاصطناعي هو النجم. كان متعاطفاً بما يكفي لجعل الناس يشعرون بأنهم مسموعون (77.6% نجاح) ولكنه آمن بما يكفي لتجنب تقديم نصائح خطيرة (62.6% نجاح).

4. السر الخفي: "قواعد العلاج النفسي" مقابل "الدردشة العامة"

اختبر الباحثون أيضاً سؤالاً ثانياً: هل يهم إذا علمنا الذكاء الاصطناعي قواعد علاجية محددة، أم مجرد قواعد محادثة عامة؟

القواعد العامة (مبادئ غرايس): هي قواعد أساسية للمحادثة الجيدة، مثل "كن واضحاً"، "كن صادقاً"، و"لا تتحدث كثيراً".
قواعد العلاج النفسي: وهي قواعد خاصة بالتشافي، مثل "تأكيد المشاعر"، "تشجيع التغيير الذاتي"، و"احترام الاستقلالية".

الحكم النهائي: كان الذكاء الاصطناعي المدرب على قواعد العلاج النفسي أفضل بكثير. الأمر يشبه الفرق بين تعليم الشيف قواعد "الطبخ" بشكل عام مقابل تعليمه القواعد المحددة لـ "صنع السوشي". أنت بحاجة إلى المعرفة المحددة للقيام بالمهمة بشكل صحيح.

5. الاختبار النهائي: هل اتفق الأطباء؟

أخيراً، لم يثقوا بالكمبيوتر فحسب. بل استعانوا بـ 6 معالجين بشريين مرخصين لإجراء اختبار أعمى للذكاء الاصطناعي.

الإعداد: رأى المعالجون سؤال مريض وإجابتين: واحدة من الذكاء الاصطناعي القديم وأخرى من الذكاء الاصطناعي "المتوازن" الجديد. لم يكونوا يعرفون أيهما هو الأحدث.
النتيجة: اختار المعالجون البشريون باستمرار إجابات الذكاء الاصطناعي الجديد.
فحص "القاضي": تحققوا أيضاً مما إذا كان "القاضي" الكمبيوتري الخاص بهم (ذكاء اصطناعي يقيم الذكاء الاصطناعي) دقيقاً. وتبين أن القاضي الكمبيوتري وافق المعالجين البشريين بنفس القدر الذي يتفق فيه المعالجون مع بعضهم البعض. وهذا يعني أن طريقة اختبارهم موثوقة.

الخلاصة الكبرى

تثبت هذه الورقة البحثية أنه لبناء ذكاء اصطناعي معالج مفيد، لا يمكنك فقط التحسين من أجل شيء واحد. يجب عليك تعليم الذكاء الاصطناعي كيف يوازن بين الأهداف المتعارضة: أن يكون دافئاً ولكن آمناً، مستمعاً ولكن مشجعاً على التغيير.

التشبيه:
تخيل الذكاء الاصطناعي كـ لاعب سيرك يمشي على حبل مشدود.

الذكاء الاصطناعي القديم: كان يمشي على حبل إما مرتفع جداً (آمن جداً، بارد جداً) أو منخفض جداً (عاطفي جداً، خطر جداً).
الذكاء الاصطناعي الجديد (MODPO): تعلم كيف يحمل عصا توازن طويلة. أحد طرفيها هو "التعاطف"، والطرف الآخر هو "السلامة". ومن خلال الإمساك بكليهما، يمكنه السير على الخط بدقة، مما يحافظ على سلامة المريض مع جعله يشعر بأنه مفهوم.

هذه خطوة كبيرة للأمام لأنها تنقلنا من "روبوتات الدردشة الغبية" نحو "مساعدين رقميين أذكياء، آمنين، وحريصين" يمكنهم يوماً ما المساعدة في سد الفجوة في أزمة الصحة النفسية العالمية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "المواءمة متعددة الأهداف للنماذج اللغوية من أجل العلاج النفسي الشخصي".

1. بيان المشكلة

تواجه أزمة الصحة العقلية العالمية نقصاً حاداً في المعالجين البشريين، مما يؤدي إلى الاعتماد على النماذج اللغوية الكبيرة (LLMs) لتقديم الدعم العلاجي. ومع ذلك، تواجه استراتيجيات مواءمة النماذج اللغوية الكبيرة الحالية (مثل التعلم التعزيزي من التغذية الراجعة البشرية - RLHF) فشلين حرجين في هذا المجال:

التحسين أحادي الهدف: تعمل الطرق الحالية عادةً على تحسين مقياس واحد (مثل الفعالية أو التعاطف)، مما يفشل في موازنة الاحتياجات العلاجية المتعارضة. فعلى سبيل المثال، قد يؤدي تعظيم التعاطف عن غير قصد إلى المساس بالسلامة أو استقلالية المريض.
الافتقار إلى الصلاحية السريرية: لا تعكس مجموعات بيانات المواءمة العامة (مثل البرمجة أو سرد القصص) الفروق الدقيقة في الاستدلال السريري. فالنماذج اللغوية الكبيرة التي يتم تحسينها للمحادثات العامة قد تظهر سلوكيات ضارة (مثل تأييد إيذاء النفس) أو تفتقر إلى خصائص "التحالف العلاجي" المحددة المطلوبة للرعاية الفعالة.

التحدي الجوهري هو تطوير إطار عمل للمواءمة يعمل في الوقت نفسه على تحسين أهداف علاجية متعددة، وربما متنافسة (مثل التعاطف مقابل السلامة، الاستقلالية مقابل التوجيه) مع الالتزام بمعايير السلامة السريرية.

2. المنهجية

يقترح المؤلفون التحسين المباشر للتفضيلات متعدد الأهداف (MODPO)، وهو إطار عمل مصمم لموازنة معايير علاجية متعددة دون حدوث عدم استقرار في التعلم التعزيزي متعدد الأهداف.

أ. جمع البيانات وتوليد الشخصيات (Personas)

الاستطلاع: تم إجراء استطلاع لـ 335 فرداً ممن لديهم تجربة معتمدة في الصحة العقلية لتصنيف الأبعاد العلاجية.
الشخصيات: من خلال الاستطلاع، تم بناء 150 "شخصية مريض" متنوعة عبر أخذ عينات طبقية (متوازنة حسب العمر، والجنس، والعرق، والتاريخ السريري). تم تقسيم هذه الشخصيات إلى مجموعات تدريب (ن=100) واختبار (ن=50).
مجموعة البيانات: تتكون مجموعة البيانات الأساسية من 2,379 سؤالاً علاجياً فريداً (مشتقة من مجموعة بيانات EPITOME) و600 سؤال للاختبار المحجوز. لكل سؤال، تم توليد 5 استجابات متميزة باستخدام نموذج أساسي (Mistral-7B-Instruct-v0.2).
جمع التفضيلات: قامت الـ 150 شخصية بتقييم الاستجابات المولدة عبر أبعاد متعددة (التعاطف، السلامة، الاستماع النشط، التغيير المدفوع ذاتياً، الثقة/الألفة، استقلالية المريض) باستخدام نموذج لغوي كبير كحكم (GPT-5) لمحاكاة ترتيب التفضيلات البشرية.

ب. إطار التدريب: MODPO

يستخدم المؤلفون التحسين المباشر للتفضيلات (DPO) الموسع ليشمل أهدافاً متعددة.

الآلية: يقوم MODPO بتدريب سياسة مستهدفة $\pi_\theta$ باستخدام دالة خسارة معدلة تتضمن مصطلحات الهامش (margin terms) من نماذج مكافأة تكميلية.
دالة الخسارة:
$L_{MODPO} = -\mathbb{E}_{D_k} \left[ \log \sigma \left( \frac{\beta}{w_k} \log \frac{\pi_\theta(y_w|x)}{\pi_{sft}(y_w|x)} - \frac{\beta}{w_k} \log \frac{\pi_\theta(y_l|x)}{\pi_{sft}(y_l|x)} - \frac{1}{w_k} w_{-k}^T (r_{\phi,-k}(x, y_w) - r_{\phi,-k}(x, y_l)) \right) \right]$
حيث تمثل $r_{\phi,-k}$ نماذج مكافأة مدربة على أهداف أخرى، مما يوفر توجيهاً هامشياً لضمان عدم تضحية النموذج بهدف ما (مثل السلامة) من أجل تحسين هدف آخر (مثل التعاطف).
نماذج المكافأة: تم ضبط نماذج مكافأة منفصلة من نوع RoBERTa-large لكل معيار علاجي باستخدام أزواج التفضيل (الأفضل-للأسوأ) المستمدة من تقييمات الشخصيات.

ج. مراحل التجربة

المرحلة 1 (التحقق من المنهجية): مقارنة 5 نهج للمواءمة (SFT، وDPO أحادي الهدف، وDPO ذو الخسارة المشتركة، ودمج المعلمات "DPO Soup"، وMODPO) على هدفين: التعاطف والسلامة.
المرحلة 2 (مقارنة إطار المعايير): مقارنة المعايير الخاصة بالعلاج (المستمدة من استطلاع المرضى) مقابل مبادئ التواصل العامة (مبادئ غرايس: الكمية، الجودة، العلاقة، الأسلوب)، وكلاهما مدعوم بمعيار السلامة.

3. المساهمات الرئيسية

مجموعة بيانات تفضيلات متمحورة حول المريض: مجموعة بيانات شاملة تضم 600 سؤال علاجي مع ترتيبات تفضيل متعددة الأبعاد من 335 مريضاً حقيقياً، مما يتيح تدريب نماذج مكافأة متخصصة.
إطار عمل MODPO: تطبيق مبتكر لـ DPO متعدد الأهداف نجح في موازنة الأهداف العلاجية المتنافسة (مثل التعاطف مقابل السلامة) دون حدوث تداخل كارثي، متفوقاً على التحسين أحادي الهدف وتقنيات دمج المعلمات.
التحقق من النطاق المتخصص: أدلة تجريبية تثبت أن المعايير المحددة علاجياً تتفوق بشكل كبير على مبادئ التواصل العامة (مبادماث غرايس) في السياقات السريرية.
التحقق من خلال العنصر البشري: دراسة سريرية "معماة" أكدت أن أحكام المقيم اللغوي الكبير (القائم على الشخصيات) تتوافق مع إجماع الممارسين الخبراء بمستوى يضاهي الموثوقية بين الأطباء أنفسهم.

4. النتائج الرئيسية

توازن الأداء (المرحلة 1)

DPO أحادي الهدف (التعاطف): حقق تعاطفاً عالياً (93.6%) ولكن سلامة ضعيفة (47.8%).
MODPO (التعاطف + السلامة): حقق توازناً فائقاً بنسبة 77.6% تعاطف و 62.6% سلامة.
المقارنة: تفوق MODPO بشكل كبير على DPO أحادي الهدف في السلامة (p < 0.001) مع الحفاظ على تعاطف قوي، بينما فشل DPO أحادي الهدف في الحفاظ على معايير السلامة. أظهر دمج المعلمات (DPO Soup) وDPO ذو الخسارة المشتركة أداءً متوسطاً.

فعالية المعايير (المرحلة 2)

العلاجي مقابل العام: حققت النماذج المدربة على المعايير الخاصة بالعلاج (استطلاع MODPO) نسبة فوز إجمالية قدرها 74.1%، متفوقة بشكل كبير على النماذج المدربة على مبادئ غرايس (MODPO Maxim) التي بلغت 56.9%.
الفجوة: تؤكد هذه الفجوة البالغة 17.2 نقطة مئوية أن التحسين الخاص بالمجال ضروري للذكاء الاصطناعي العلاجي؛ فمبادئ التواصل العامة غير كافية.
السلامة: حافظت جميع النماذج العلاجية على درجات السلامة أو حسنتها مقارنة بالنموذج الأساسي، مما يثبت أن التحسين من أجل المعايير العلاجية لا يمس السلامة.

السمية والسلامة

السمية: أنتج MODPO Survey نسبة 0.5% من الاستجابات السامة (3/600) مقارلة بـ 1.2% (7/600) للنموذج الأساسي.
واجهة Perspective API: حقق MODPO درجات سمية متوسطة أقل (0.0354 مقابل 0.0363) عبر جميع الأبعاد (السمية الشديدة، الهجوم على الهوية، الإهانة، إلخ).

التحقق البشري (دراسة الأطباء)

الاتفاق: في دراسة معماة مع 6 أطباء مرخصين، اتفق المقيم اللغوي الكبير (القائم على الشخصية) مع أغلبية الأطباء في 71.6% من أحكام السلامة وفي 70.3% من أحكام التفضيل الإجمالية.
الموثوقية: كان اتفاق النموذج اللغوي مع أغلبية الأطباء مماثلاً، أو حتى متفوقاً، على الاتفاق بين الأطباء الأفراد مع أغلبية الأطباء (خط الأساس "ترك واحد خارج المجموعة")، مما يؤكد صلاحية التقييم القائم على الشخصيات كبديل قابل للتوسع للحكم الخبير.

5. الأهمية والآثار المترتبة

الصلاحية السريرية: يوفر هذا العمل أول إطار عمل منهجي للمواءمة العلاجية متعددة الأهداف، مما يثبت أن الذكاء الاصطناعي يمكن تدريبه لموازنة المهارات "الناعمة" للعلاج (التعاطف، الألفة) مع القيود "الصلبة" (السلامة، الاستقلالية).
السلامة كقيد: من خلال دمج السلامة مباشرة في هدف المكافأة عبر MODPO، يضمن المؤلفون عدم قدرة النماذج على تحسين تفضيلات المرضى على حساب السلامة، مما يعالج خطراً كبيًراً في نشر العلاج بالذكاء الاصطناعي.
التخصص فوق التعميم: تتحدى هذه النتائج فكرة أن المواءمة العامة كافية للمجالات المتخصصة؛ فهي تشير إلى أن مجالات مثل الرعاية الصحية، والقانون، والتعليم تتطلب تعريف معايير خاصة بالمجال وتحسيناً متعدد الأهداف.
التقييم القابل للتوسع: يقدم التحقق من التقييم القائم على الشخصيات مقابل الأطباء الخبراء طريقة قابلة للتوسع ومنخفضة التكلفة لتقييم الذكاء الاصطناعي العلاجي، مما قد يسرع من تطوير أدوات الصحة العقلية الآمنة.

الخلاصة: تثبت الورقة أن التحسين المباشر للتفضيلات متعدد الأهداف (MODPO) هو وسيلة قوية لمواءمة النماذج اللغوية الكبيرة مع الأهداف العلاجية المعقدة والمتنافسة. كما تثبت أن التحسين المتخصص والموجه من قبل المرضى يؤدي إلى نتائج سريرية أفضل بكثير من المواءمة العامة، مما يمهد الطريق لعلاج نفسي أكثر أماناً وفعالية مدعوم بالذكاء الاصطناعي.