💬 NLP

Training LLMs with Reinforcement Learning for Intent-Aware Personalized Question Answering

تقدم هذه الورقة البحثية إطار عمل IAP، وهو إطار تعلم تعزيزي يعزز الإجابة الشخصية على الأسئلة أحادية الدور من خلال تدريب النماذج اللغوية على استنتاج ودمج القصد الضمني للمستخدم صراحةً في عملية الاستدلال الخاصة بها، مما يؤدي إلى تفوقها على النماذج المرجعية الحالية في معيار LaMP-QA.

المؤلفون الأصليون: Maryam Amirizaniani, Benjamin Charles Germain Lee, Jevin West, Nicholas Weber

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Maryam Amirizaniani, Benjamin Charles Germain Lee, Jevin West, Nicholas Weber

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الفكرة الكبرى: القراءة ما بين السطور

تخ most تخيل أنك تسأل صديقاً لك: "هل يجب أن أغير وظيفتي؟"

إذا كنت موظفاً مجهداً يبحث عن عناق ومن شخص يخبرك بأن الاستقالة أمر جيد، فأنت بحاجة إلى إجابة دافئة ومتعاطفة. أما إذا كنت محللاً يعتمد على البيانات ويرغب في وزن الإيجابيات والسلبيات بين الراتب مقابل وقت التنقل، فأنت بحاجة إلى قائمة من الحقائق الجافة والمجردة.

المشكلة هي أن سؤالك يبدو متطابقاً تماماً بالنسبة للكمبيوتر. معظم أنظمة الذكاء الاصطناي اليوم تشبه آلة بيع ذاتية عامة: تضغط على الزر، فتعطيك نفس الإجابة "النموذجية" (قائمة من الإيجابيات والسلبيات) بغض النظر عن سبب طرحك للسؤال. إنها تغفل عن "السبب الخفي" وراء كلماتك.

تقدم هذه الورقة البحثية نظاماً جديداً يسمى IAP (التخصيص المدرك للقصد). فكر في IAP كأنه محقق لا يكتفي بالاستماع لما تقوله فحسب، بل يحقق في لماذا تقوله، ومن ثم يصيغ الإجابة خصيصاً لذلك السبب الخفي.

كيف يعمل: "قبعة التفكير"

درب الباحثون الذكاء الاصطناعي باستخدام طريقة تسمى التعلم المعزز (فكر في الأمر كتدريب كلب باستخدام المكافآت والتصحيحات). إليك العملية خطوة بخوة، مشروحة عبر استعارة:

دفتر ملاحظات المحقق (الوسوم/التاغات):
بدلاً من مجرد إخراج إجابة، يُجبر الذكاء الاصطناعي على ارتداء "قبعة التفكير". يجب عليه كتابة أفكاره في تنسيق دفتر ملاحظات محدد قبل الإجابة.

الخطوة 1 (وسم - القصد): يجب على الذكاء الاصطناዊ أولاً كتابة تخمين حول هدفك الخفي. "آه، يبدو أن هذا المستخدم يعاني من الاحتراق الوظيفي؛ إنه يحتاج إلى دعم عاطفي، وليس إلى جدول بيانات."
الخطوة 2 (وسم - الإجابة): فقط بعد كتابة هذا التخمين، يقوم بكتابة الإجابة النهائية، مستخدماً ذلك التخمين لتوجيه النبرة والمحتوى.

نظام مكافأة "مناهض للملل":
كيف يتعلم الذكاء الاصطناعي ليكون محققاً جيداً؟ قدم له الباحثون نظام تسجيل خاصاً يتضمن ثلاث قواعد:

القاعدة 1: كن مفيداً. هل حلت الإجابة مشكلة المستخدم المحددة فعلياً؟ (هذه هي مكافأة "عمل جيد").
القاعدة 2: لا تكن عاماً. يتم عرض إجابة "مملة" على الذكاء الاصطناعي (إجابة تتجاهل قصدك الخفي). إذا بدت إجابة الذكاء الاصطناعي مشابهة جداً لتلك الإجابة المملة، فإنه يحصل على عقوبة. الأمر يشبه معلماً يقول: "لا تكتفِ بنسخ الكتاب المدرسي؛ أرني فهمك الخاص".
القاعدة 3: كن موجزاً. يُعاقب الذكاء الاصطناعي إذا كتب رواية لمجرد وصف القصد. يجب أن يكون مقتضباً.

جولة التدريب (النماذج التجريبية/Rollouts):
قبل أن يحصل الذكاء الاصطناعي على درجته النهائية، فإنه يتدرب على الإجابة على نفس السؤال خمس مرات مختلفة. يجرب "تخمينات محقق" مختلفة للقصد. ثم يختار النظام أفضل تخمين وأفضل إجابة للتعلم منها، مستبعداً الإجابات السيئة.

النتائج: هل نجح الأمر؟

اختبر الباحثون هذا "الذكاء الاصطناعي المحقق" على مجموعة بيانات من الأسئلة الطويلة والشخصية حول الحياة والثقافة والهوايات. وقارنوه بـ:

الروبوت العام: (بدون تخصيص).
الروبوت الموجه بالتعليمات: (ذكاء اصطناعي طُلب منه "التفكير في القصد" ولكن لم يتم تدريبه على القيام بذلك بعمق).
المدرب القياسي: (ذكاء اصطناعي تم تدريبه على أمثلة جيدة ولكن بدون نظام المكافأة الخاص).

الحكم النهائي:
لقد فاز نظام IAP (المحقق) في كل مرة. في المتوسط، حسن جودة الإجابات بنسبة 7.5% تقريباً مقارنة بأفضل منافسيه.

النتيجة الرئيسية 1: يعمل الذكاء الاصطناعي بشكل أفضل عندما يفكر في القصد قبل الإجابة، بدلاً من مجرد إخباره بالقصد في النهاية. إنه الفرق بين طباخ يتذوق الحساء أثناء الطهي وبين شخص يضيف الملح في اللحظة الأخيرة فقط.
النتيجة الرئيسية 2: كانت قاعدة "مناهضة الملل" حاسمة. بدونها، كان الذكاء الاصطناعي سيعطي فقط إجابات آمنة وعامة تبدو مقبولة ولكنها لا تساعد المستخدم حقاً.
النتيجة الرئيسية 3: تعلم الذكاء الاصطناعي أن يكون محققاً أفضل عندما يخمن القصد الصحيح. إذا أجبرته على تخمين القصد الخاطئ (أو عدم وجود قصد على الإطلاق)، فإن الإجابات تصبح أسوأ بكثير. وهذا يثبت أن فهم "السبب الخفي" هو السر وراء النجاح.

باختصار

تظهر هذه الورقة البحثية أنه لجعل الذكاء الاصطناعي شخصياً حقاً، لا يمكننا فقط أن نطلب منه "أن يكون لطيفاً". بل يجب علينا تعليمه كيف يتوقف، ويخمن دافع المستخدم الخفي، ثم يستخدم هذا التخمين لتشكيل الإجابة. من خلال استخدام طريقة تدريب خاصة تكافئ الذكاء الاصطناعي لكونه محدداً وتعاقبه لكونه عاماً، نجح الباحثون في إنشاء نظام يفهم ليس فقط ماذا سألت، بل لماذا سألت.

ملخص تقني: تدريب النماذج اللغوية الكبيرة باستخدام التعلم المعزز للإجابة على الأسئلة الشخصية المدركة للقصد

تعريف المشكلة

تهدف الإجابة على الأسئلة الشخصية (PQA) إلى توليد استجابات مصممة خصيصاً للمستخدم، وهي مهمة تتطلب مواءمة الإجابات مع قصد المستخدم الضمني — وهو الـ "لماذا" الضمني وراء الاستعلام بما يتجاوز صياغته الصريحة. وبينما تستخدم الأساليب الحالية سياق المحادثة متعدد الأدوار أو ملفات تعريف المستخدم الغنية، إلا أنها غالباً ما تفشل في نمذجة قصد المستخدم بشكل صريح أثناء عملية الاستنتاج. تظهر هذه الفجوة بشكل حاد في إعدادات الدور الواحد (single-turn)، حيث يجب على النموذج استنتاج هدف كامن من مدخلات دنيا ودمجه في عملية التفكير. تعتمد الطرق الحالية عادةً على التلقين (prompting) لاستنتاج القصد في وقت الاستدلال دون إدراجه في هدف التدريب أو مسار الاستنتاج الخاص بالنموذج، وغالباً ما تهمل الاستجابات الخالية من القصد، مما يؤدي إلى مخرجات عامة قد تكون متماسكة ولكنها غير متوافقة مع احتياجات المستخدم المحددة.

المنهجية: إطار عمل IAP

يقترح المؤلفون إطار عمل IAP (التخصيص المدرك للقصد - Intent Aware Personalization)، وهو إطار عمل للتعلم المعزز (RL) مصمم لتدريب النماذج اللغوية الكبيرة (LLMs) على استنتاج مقاصد المستخدم الضمنية من أسئلة الدور الواحد ودمجها في عملية الاستنتاج قبل توليد الإجابات.

1. مخطط الاستنتاج المهيكل

يستخدم IAP مخططاً قائماً على الوسوم (tags) لهيكلة عملية التوليد، مما يجعل الأهداف الكامنة صريحة قبل إنتاج الإجابة النهائية. بالنسبة لسؤال مدخل $x_i$ ، يولد النموذج مخرجاً مهيكلاً يحتوي على:

<thought>: استنتاج داخلي حول السؤال.
<intent>: قائمة مرقمة من المقاصد الكامنة المرشحة (على سبيل المثال، البحث عن دعم عاطفي مقابل توجيه عملي).
<thought>: مرحلة استنتاج ثانية تعتمد صراحةً على المقاصد المستنتجة للتخطيط للاستجابة.
<answer>: الاستجابة الشخصية النهائية.

2. التحسين عبر DAPO

يستخدم إطار العمل تحسين سياسة أخذ العينات الديناميكي والقص المزدوج (Decoupled Clip and Dynamic sAmpling Policy Optimization - DAPO). لكل حالة تدريب، تقوم السياسة بأخذ عينة من مجموعة مكونة من $G$ من المسارات (مسارات المقصد الكامن). يتم تحسين السياسة باستخدام دالة مكافأة شخصية تقيم جودة مسار الإجابة.

3. دالة المكافأة الشخصية

يكمن الابتكار الجوهري في تصميم المكافأة، والتي تتكون من ثلاثة مكونات موزونة:

المكافأة الشخصية ( $r_{pers}$ ): بناءً على مقياس تقييم LaMP-QA، تقوم بتقييم الإجابة المولدة مقابل جوانب معيارية خاصة بالمستخدم (مثل معالجة الاحتياجات والأهداف الأساسية) باستخدام نموذج حكم مجمد (Qwen2.5-32B-Instruct).
مكافأة التباين الخالية من القصد ( $r_{contrast}$ ): لمنع التوليد العام، يقوم إطار العمل بتوليد استجابة خالية من القصد ( $\bar{y}_i$ ) باستخدام نموذج مرجعي مجمد. تقوم المكافأة بمعاقبة السياسة إذا كانت استجابتها المدركة للقصد مشابهة دلالياً للاستجابة الخالية من القصد (عبر BERTScore) أو إذا فشلت في التفوق عليها في جودة التخصيص. هذا يجبر النموذج على تمييز مخرجاته عن خط الأساس غير السياقي.
تنظيم طول القصد ( $r_{length}$ ): حد عقابي يثبط وصف المقاصد المطول، مما يشجع على تمثيلات موجزة داخل وسم <intent>.

يتم حساب إجمالي المكافأة كالتالي:
$r_{i,g} = \lambda_1 r_{pers} - \lambda_2 r_{contrast} - \lambda_3 r_{length}$

المساهمات الرئيسية

إطار عمل IAP: تقديم إطار عمل قائم على التعلم المعزز يدرب النماذج اللغوية الكبيرة على استنتاج مقاصد المستخدم الضمنية من مدخلات الدور الواحد ودمجها في عملية الاستنتاج عبر مخطط قائم على الوسوم، بدلاً من الاعتماد فقط على التلقين في وقت الاستدلال.
آلية مكافأة التباين: تطوير دالة مكافأة تتباين صراحةً بين الاستجابات المدركة للقصد والاستجابات الخالية من القصد خلال التدريب. هذا التصميم يمنع التوليد العام ويدفع النموذج نحو مخرات حساسة لقصد المستخدم.
تقييم شامل: تقييم واسع النطاق عبر ستة نماذج لغوية كبيرة (Qwen2.5, Gemma3, Mistral-Small) على مجموعة بيانات LaMP-QA، مما أظهر تحسينات مستمرة على الخطوط المرجعية القوية.

النتائج التجريبية

قيم المؤلفون IAP على مجموعة بيانات LaMP-QA، والتي تغطي ثلاثة مجالات: الفن والترفيه، ونمط الحياة والتطوير الشخصي، والمجتمع والثقافة.

مكاسب الأداء: تفوق IAP باستمرار على جميع الخطوط المرجعية، بما في ذلك غير الشخصي (Non-personalized)، والتخصيص عبر التلقين للقصد الضمني (Implicit Intent Personalization - CoT prompting)، والتخصيص عبر القصد الصريح (Explicit Intent Personalization)، والضبط الدقيق تحت الإشراف (SFT).
التحسن الكمي: عبر جميع النماذج الستة، حقق IAP متوسط زيادة في درجة الماكرو (macro-score) بنحو 7.5% مقارنة بأقوى منافس.
الدلالة الإحصائية: كانت التحسينات ذات دلالة إحصائية ( $p < 0.01$ ) في جميع النماذج والمجالات تقريباً.
دراسات الاستئصال (Ablation Studies):
- جودة القصد: استبدال <intent> المستنتج بـ "لا يوجد قصد" أو "مقاصد عشوائية" تسبب في انخفاض كبير في الأداء، مما يؤكد أن جودة إشارة القصد المستنتجة أمر بالغ الأهمية.
- مكافأة التباين: أدى حذف مكافأة التباين الخالية من القصد إلى انخفاض مستمر في الأداء، مما يثبت ضرورة معاقبة الاستجابات العامة.
- عدد المقاصد: كان الأداء في أعلى مستوياته عندما كان عدد المقاصد المستنتجة منخفضاً (1–2)، مما يشير إلى أن الإفراط في توليد المقاصد يمكن أن يعقد جودة الاستجابة.
- حجم المجموعة: حقق حجم مجموعة قدره 5 مسارات لكل حالة التوازن الأمثل لتحسين السياسة.

الأهمية والادعاءات

يدعي البحث أن نمذجة قصد المستخدم الضمني مباشرة داخل هدف التدريب هو اتجاه واعد للإجابة على الأسئلة الشخصية (PQA). تشير النتائج إلى أن:

دمج القصد في عملية تفكير النموذج (عبر المخطط القائم على الوسوم) أكثر فعالية من معاملة القصد كإشارة خارجية أو تلقين.
التعلم التبايني ضد الخطوط المرجعية الخالية من القصد ضروري لتدريب النماذج على إنتاج استجابات مخصصة حقاً وليست مجرد متسقة سياقياً.
إطار العمل فعال حتى في إعدادات الدور الواحد حيث لا يتوفر تاريخ محادثة غني، مما يسد الفجوة بين نمذجة القصد والقدرة العملية على الإجابة الشخصية بنفحة واحدة (single-shot).

يخلص المؤلفون إلى أن IAP ينجح في تدريب النماذج اللغوية الكبيرة على نمذجة الـ "لماذا" الضمنية للمستخدم صراحةً، مما ينتج استجابات تتوافق بشكل أفضل مع أهداف المستخدم الأساسية.