🤖 machine learning

Dual-Agent Co-Training for Health Coaching via Implicit Adversarial Preference Optimization

تقترح هذه الورقة إطار عمل للتدريب المشترك القائم على وكيل مزدوج، والذي يعمل على تحسين كل من مدرب الصحة المعتمد على الذكاء الاصطناعي ومحاكي العميل بشكل تفاعلي من خلال تحسين التفضيل الخصمي الضمني، مما يتغلب بفعالية على قيود التدريب أحادي الجانب لتحسين جودة وقابلية التوسع في مجال التدريب الصحي القائم على المقابلة التحفيزية.

المؤلفون الأصليون: Da Long, Lingyi Fu, Diya Michelle Rao, Jasmine Ruales Carrera, Yang Bai, Shandian Zhe

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Da Long, Lingyi Fu, Diya Michelle Rao, Jasmine Ruales Carrera, Yang Bai, Shandian Zhe

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

المشكلة الكبيرة: العثور على مدرب أمر صعب

تخيل أنك تريد تغيير عادة ما، مثل تحسين نظامك الغذائي أو ممارسة المزيد من التمارين الرياضية. أفضل طريقة للقيال بذلك هي غالبًا عبر مدرب "المقابلة التحفيزية". هؤلاء ليسوا مجرد أشارٍخ يصرخون في وجهك "انطلق!"؛ بل هم مستمعون ماهرون يساعدونك على إيجاد أسبابك الخاصة للتغيير.

ومع ذلك، فإن المدربين البشر الحقيقيين مكلفون ويصعب العثور عليهم. نحن بحاجة إلى مدرب ذكاء اصطناعي يكون رخيص الثمن ومتاحًا على مدار الساعة طوال أيام الأسبوع. لكن هنا تكمن العقبة: معظم مدربي الذكاء الاصطناعي اليوم يتم تدريبهم مثل طالب يتدرب باستخدام كتاب مدرسي ثابت. يتعلم الذكاء الاصطناعي التحدث إلى "عميل" لا يغير رأيه أبدًا ولا يشعر بالانزعاج. الأمر يشبه لاعب تنس يتدرب ضد حائط يرتد إليه الكرة دائمًا بنفس الطريقة. يصبح اللاعب جيدًا في ضرب تلك الكرة المحددة، لكنه ينهار عندما يظهر إنسان حقيقي غير متوقع.

الحل: طريقة "شريك التدريب"

ابتكر مؤلفو هذه الورقة البحثية نظام تدريب جديدًا يسمى DACT (التدريب المشترك للوكلاء المزدوجين). بدلاً من تدريب مدرب الذكاء الاصطناعي ضد حائط ثابت، قاموا بتدريب اثنين من الذكاء الاصطناعي في نفس الوقت:

مدرب الذكاء الاصطناعي: وهو الذي نريد أن يصبح مدرب صحة بارعًا.
عميل الذكاء الاصطناعي: وهو محاكي يلعب دور المريض.

فكر في هذا الأمر كأنه دوجو للفنون القتالية (مكان للتدريب).

المدرب هو الطالب الذي يحاول تعلم التقنية المثالية.
العميل هو شريك التدريب (السبارينج).

في التدريب التقليدي، يقف شريك التدريب ثابتًا. أما في هذه الطريقة الجديدة، فإن شريك التدريب يتعلم أيضًا. في كل مرة يتحسن فيها المدرب في التعامل مع نوع معين من المقاومة، يتعلم عميل الذكاء الاصطناعي توجيه لكمة أقوى أو حركة أكثر دهاءً لم يتقنها المدرب بعد.

كيف يدربون: "شجرة الخيارات"

لتعليم هؤلاء الوكلاء، لا يكتفون بمجرد محادثة بسيطة، بل يقومون بتنمية شجرة قرار.

تخيل أن المدرب يقول شيئًا ما. بدلاً من رد واحد فقط، يقوم النظام بإنشاء ثلاثة ردود مختلفة محتملة من المدرب. ثم، لكل رد من هذه الردود، يولد العميل ثلاثة ردود فعل مختلفة محتملة. هذا يخلق شجرة متفرعة من الاحتمالات.

في نهاية كل فرع، ينظر حكم فائق (قاضٍ من الذكاء الاصطناعي القوي) إلى المحادثة ويقيم المدرب بناءً على ثلاث مهارات محددة:

تعزيز حديث التغيير: هل ساعد المدرب العميل على إيجاد دوافعه الخاصة؟
تلطيف حديث الاستمرار: هل تعامل المدرب مع مقاومة العميل أو أعذاره دون جدال؟
التعاطف: هل استمع المدرب حقًا وفهم مشاعر العميل؟

السر الخفي: التدريب "الباريتو" و"التنافسي"

هنا يحدث السحر. تستخدم الورقة البحثية خدعتين ذكيتين لجعل التدريب مكثفًا وفعالًا.

1. قاعدة "لا تنازل" (هيمنة باريتو)
عادةً ما قد يصبح الذكاء الاصطناعي جيدًا جدًا في شيء واحد (مثل اللطف) ولكنه سيء في شيء آخر (مثل طرح الأسئلة الصحيحة). يقول المؤلفون: "لا".
إنهم لا يسمحون للمدرب بالتعلم إلا من الأمثلة التي كان فيها أفضل في كل شيء في آن واحد. إذا كان رد المدرب الجديد أفضل في التعاطف وأيضًا أفضل في طرح الأسئلة وأيضًا أفضل في التعامل مع المقاومة، فإنه يفوز. إذا كان أفضل في شيء واحد ولكنه أسوأ في شيء آخر، فلا يُحتسب. هذا يجبر المدرب على أن يصبح خبيرًا شاملاً، وليس مجرد متخصص في مهارة واحدة.

2. العميل ذو "علم النفس العكسي"
هذا هو الجزء "التنافسي". يتم تدريب عميل الذكاء الاصطناعي باستخدام أهداف عكسية.

المدرب يريد الحصول على درجة عالية.
العميل يريد جعل المدرب يحصل على درجة منخفضة.

إذا قال العميل شيئًا يربك المدرب أو يجعله يجادل (مما يخفض درجة المدرب)، يحصل العميل على "مكافأة" عن ذلك.

النتيجة: يتعلم العميل أن يكون المريض الصعب للغاية. يتعلم أن يكون عاطفيًا، أو مقاومًا، أو مترددًا بطرق تكشف تحديدًا نقاط ضعف المدرب.
الفائدة: بينما يتحسن المدرب في التعامل مع هذه المواقف الصعبة، ينتقل العميل تلقائيًا إلى إيجاد نقاط ضعف جديدة لاستغلالها. إنه منهج دراسي ذاتي القيادة يزداد صعوبة تمامًا بنفس سرعة قدرة المدرب على التعامل معه.

النتائج: مدرب يمكنه التعامل مع أي شيء

اختبر المؤلفون مدربهم الجديد مقابل:

مدربي الذكاء الاصطناعي القياسيين: الذين تم تدريبهم على بيانات ثابتة.
الذكاء الاصطناعي ذو "الأوامر الفائقة": وهو ذكاء اصطناعي قوي تم إعطاؤه دليل تعليمات طويل ومفصل حول كيفية كون الشخص مدربًا.
"العميل الصعب": وهو محاكي عميل محدد تم تدريبه ليكون الخصم الأصعب الممكن.

النتائج:

تفوق مدرب DACT بشكل كبير على الجميع.
كان أفضل بكثير في التعامل مع "العميل الصعب" دون الخروج عن الشخصية أو تقديم نصائح سيئة.
والأهم من ذلك، ارتكب أخطاء سريرية أقل بكثير (مثل الجدال مع العميل أو تقديم نصائح غير مطلوبة) مقارنة بالطرق الأخرى.

الخلاصة

تزعم الورقة البحثية أنه من خلال تدريب المدرب والعميل معًا، حيث يحاول العميل باستمرار "كسر" المدرب، يتعلم المدرب التعامل مع الواقع الفوضوي والصعب والعاطفي للمحادثات البشرية الحقيقية بشكل أفضل بكثير مما لو تم تدريبه بمفرده. إنها تحول عملية التدريب إلى لعبة "شطرنج" ديناميكية حيث يصبح كلا اللاعبين أكثر ذكاءً، مما ينتج عنه مدرب مستعد للعالم الحقيقي.

ملخص تقني: التدريب المشترك لوكيلين مزدوجين للتوجيه الصحي عبر تحسين التفضيلات الخصمي الضمني

بيان المشكلة

يُعد المقابلات التحفيزية (MI) نهجاً مُثبتاً لتحسين الصحة النفسية وتعزيز تغيير السلوك، إلا أن قابليته للتوسع محدودة بسبب ندرة المدربين البشريين المدربين والتكاليف العالية للخدمة. وبينما توجد مساعدون يعملون بالذكاء الاصطناعي، فإن طرق التدريب الحالية للتوجيه الصحي تُحسن جانباً واحداً فقط من التفاعل: إما تدريب وكيل حواري ضد بيئة عميل ثابتة، أو تدريب محاكي العميل ضد مساعد ثابت. هذا الإعداد غير المتماثل يحد من استكشاف فضاء التفاعل ويفشل في تطوير القدرات المعقدة والحساسة للسياق المطلوبة للتوجيه عالي الجودة. علاوة على ذلك، يعتمد النجاح في المقابلات التحفيزية على جودة الأداء طوال الجلسة بأكملها، وليس فقط النتيجة النهائية، مما يتطلب التحسين عبر أبعاد متعددة (مثل: تعزيز حديث التغيير، وتخفيف حديث الاستمرار، والتعاطف) بدلاً من الاعتماد على مكافأة عددية واحدة.

المنهجية: DACT

يقترح المؤلفون إطار عمل DACT (التدريب المشترك لوكيلين مزدوجين)، والذي يدرب بشكل مشترك وكيل التوجيه الصحي ومحاكي العميل من خلال حوار تفاعلي. الابتكار الجوهري هو ديناميكية التدريب الخصمي الضمني حيث يتعلم العميل توليد تفاعلات تزداد صعوبة بمرور الوقت، مما يجبر المدرب على التحسن.

1. بناء شجرة تفضيلات الحوار

بدلاً من الاعتماد على عروض توضيحية من خبراء باهظة الثمن، يبني DACT أشجار تفضيلات من خلال إجراء عملية انتشار (rollout):

التهيئة: يتم تهيئة شجرة الحوار بشخصية عميل عشوائية.
التفرع: عند حالات حوار مختارة، يقوم المدرب بأخذ عينات من عدة عبارات مرشحة. ولكل عبارة من عبارات المدرب، يقوم العميل بشكل مستقل بأخذ عينات من عدة ردود.
التوسع: تستمر عملية التفرع والانتشار هذه بشكل متكرر إلى عمق محدد مسبقاً، مما يخلق شجرة متوازنة حيث يتم مقارنة العبارات الشقيقة (التي تقع في نفس المستوى من العمق) تحت ميزانيات انتشار متساوية.

2. حكم الذكاء الاصطناعي متعدد الأبعاد وتقدير قيمة Q

لتقييم جودة التوجيه دون خبراء بشريين، يستخدم المؤلفون حكماً متعدد الأبعاد يعتمد على نموذج لغوي كبير (بناءً على دليل ترميز MITI 4.2.1) يقوم بتسجيل درجات عبارات المدرب على ثلاثة أبعاد:

تعزيز حديث التغيير (CCT)
تخفيف حديث الاستمرار (SST)
التعاطف
يعمل الحكم عبر ثلاث مراحل: (1) تحديد حالة العميل (مثل: منخرط، متردد، عاطفي)، (2) تسمية وظيفة كل جملة في استجابة المدرب (مثل: سؤال مفتوح، انعكاس، نصيحة غير مطلوبة)، و(3) تجميع الدرجات القائمة على الاستنتاج.
انتشار قيمة Q: يتم تمرير درجات مستوى الدور الفوري للأعلى عبر الشجرة باستخدام عملية نسخ احتياطي تراجعي مخفض لتقدير القيمة طويلة المدى ( $Q$ ) لعبارة المدرب، مع مراعاة التأثيرات اللاحقة لمسار الحوار.

3. تدريب التفضيلات الخصمي الضمني

يستخدم إطار العمل تحسين التفضيلات المباشر (DPO) لكلا الوكيلين، ولكن بأهداف متضادة مشتقة من قيم Q نفسها:

تحسين المدرب: يتم تدريب المدرب على أزواج التفضيلات المهيمنة على باريتو. تُعت-بر استجابة المدرب $A$ مفضلة على $B$ إذا كانت ناققل $Q$ الخاص بـ $A$ يهيمن ضعفاً على $B$ في جميع الأبعاد ويهيمن بقوة على بُعد واحد على الأقل. يضمن هذا تحسن المدرب عبر جميع الأبعاد في آن واحد دون مقايضات.
تحسين العميل: يتم تدريب العميل بشكل خصمي. إشارة التفضيل الخاصة به هي نفي قيم Q الخاصة بالمدرب ( $S(u) = -Q(u)$ ). يتم تدريب العميل على تفضيل العبارات التي تؤدي إلى جودة توجيه لاحقة أقل (أي قيم Q أصغر للمدرب). هذا يحفز العميل على تعلم سلوكيات مقابلة تحفيزية "أصعب" (مثل: المقاومة القوية، التردد المعقد، الضيق العاطفي) التي تتحدى نقاط ضعف المدرب الحالي.

4. التفسير كـ لعبة عشوائية

يوضح المؤلفون أن عملية التدريب المشترك هذه تقبل تفسيراً طبيعياً كـ لعبة عشوائية. يمكن النظر إلى المدرب والعميل كلاعبين في لعبة ذات منافع كامنة متضادة: يسعى المدرب لتعظيم جودة التوجيه متعددة الأبعاد اللاحقة، بينما يسعى العميل لتقليلها. تتوافق تحديثات DPO التناوبية مع خطوات تحسين السياسة المنظمة بـ KL لهذين اللاعبين المرتبطين خصمياً.

المساهمات الرئيسية

بناء شجرة تفضيلات ثنائية الوكيل: طريقة فعالة ومنخفضة التكلفة لجمع أزواج التفضيلات أثناء التدريب باستخدام عمليات انتشار الشجرة وحكم ذكاء اصطناعي متعدد الأبعاد، مما يتجنب الاعتماد على العروض التوضيحية لخبراء.
حكم ذكاء اصطناعي متعدد الأبعاد: نظام تقييم قائم على الأسس السريرية يقوم بتفكيك الحكم إلى تحديد الحالة، وتسمية الوظيفة، والتجميع القائم على الاستنتاج لتقدير قيم Q عبر CCT وSST والتعاطف.
تدريب التفضيلات الخصمي الضمني: ديناميكية تدريب مبتكرة حيث يتم تدريب العميل على عكس تفضيلات المدرب، مما يخلق منهجاً دراسياً خصمياً ذاتي الوتيرة يعرض المدرب لمواقف حوارية تزداد صعوبة دون الحاجة لجدولة الصعوبة يدوياً.
الصياغة كـ لعبة عشوائية: تفسير نظري لديناميكيات التدريب المشترك كـ لعبة عشوائية من لاعبين بمتطلبات منفعة متضادة.

النتائج التجريبية

قام المؤلفون بتقييم DACT مقابل ثلاثة خطوط أساس: خط أساس الضبط الدقيق تحت الإشراف (SFT)، وخط أساس GPT-5.5 باستخدام التلقين القياسي (GPT-COACH)، وخط أساس GPT-5.5 مع تضمين معيار التسجيل في التلقين (GPT-RUBRIC).

الأداء: حقق DACT أعلى جودة توجيه إجمالية (متوسط درجة 3) عبر أربعة حالات عملاء، بما في ذلك عميل "اختبار الإجهاد" داخل التوزيع (R8-CLIENT) وثلاثة محاكيات خارج التوزيع (عاطفي، مقاوم، متردد). على العميل الصعب R8-CLIENT، سجل DACT درجة 4.25، متفوقاً بشكل كبير على خط الأساس GPT-RUBRIC الذي سجل 3.33.
كبح الأنماط المضادة: قلل DACT من معدل أنماط المقابلة التحفيزية المضادة (السلوكيات غير المرغوب فيها سريرياً) بمقدار 20 إلى 40 ضعفاً مقاركن بأسلوب الخط الأساس التالي. فعلى سبيل المثال، في حالة R8-CLIENT، كان معدل الأنماط المضادة لـ DACT هو 0.41%، بينما كان لـ GPT-RUBRIC نسبة 16.15%.
ديناميكيات التطور المشترك: أظهرت دراسات الاستئصال أن التطور المشترك أمر بالغ الأهمية. عندما تم تجميد العميل (Client-Frozen)، وصل أداء المدرب إلى مرحلة الثبات مبكراً. فقط مع وجود العميل المتكيف، استمر المدرب في التحسن، خاصة في أبعاد CCT وSST.
المواءمة البشرية: أظهرت دراسة ترتيب عمياء مع ممارس بشري مدرب في المقابلات التحفيزية توافقاً قوياً (77.5%) بين تفضيلات حكم الذكاء الاصطناعي وترتيبات الخبراء البشريين، مما يؤكد صلاحية حكم الذكاء الاصطنا_ي كبديل للتقييم الخبير.

الأهمية والادعاءات

يزعم البحث أن DACT يعالج بفعالية قيود التدريب أحادي الجانب من خلال إنشاء حلقة تحسين ذاتي حيث يتطور المدرب والعميل معاً. تكمن الأهمية في:

القابلية للتوسع: توفير طريقة لتدريب موجهين صحيين ذوي جودة عالية باستخدام الذكاء الاصطناعي دون التكلفة الباهظة للعروض التوضيحية من الخبراء البشريين.
المتانة: تنتج عملية التدريب المشترك مدربين يتمتعون بقدرة جيدة على التعميم تجاه سلوكيات العملاء الصعبة والخارجة عن التوزيع، وتعمل على كبح الأنماط المضادة الضارة سريرياً.
الرؤية النظرية: يربط إطار العمل بين تحسين التفضيلات ونظرية الألعاب، موضحاً أن الديناميكيات الخصمية الضمنية يمكن صياغتها كـ لعبة عشوائية.

يظل المؤلفون متواضعين، مشيرين إلى أن النتائج تعتمد على نموذج أساسي واحد، وأن حجم التحسن في اختبارات الإجهاد داخل التوزيع قد يختلف تحت تقييم MITI الكامل من قبل الخبراء. وقد حددوا تكرار التجربة على نماذج أساسية إضافية وتقييم الخبراء الكامل كخطوات تالية ضرورية.