💬 NLP

Learning to Reason for Multi-Step Retrieval of Personal Context in Personalized Question Answering

تقدم هذه الورقة البحثية إطار عمل PR2، وهو إطار للتعلم التعزيزي يعزز الإجابة الشخصية على الأسئلة من خلال تعلم سياسات تكيفية لتحديد متى وماذا يجب استرجاعه من السياق الشخصي ديناميكيًا، مما يدمج الاستدلال متعدد الخطوات مع الإشارات الخاصة بالمستخدم ليتفوق بشكل كبير على النماذج المرجعية الحالية لتوليد النصوص المعزز بالاسترجاع.

المؤلفون الأصليون: Maryam Amirizaniani, Alireza Salemi, Hamed Zamani

نُشر 2026-02-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Maryam Amirizaniani, Alireza Salemi, Hamed Zamani

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تسأل مساعداً ذكياً عن نصيحة، مثل: "ما هي أفضل طريقة لإنقاص الوزن؟"

إذا تحدثت إلى ذكاء اصطناعي تقليدي، سيعطيك إجابة عامة بناءً على ما هو موجود في الإنترنت: "كل أقل، وتحرك أكثر". هذه الإجابة صحيحة تقنياً، لكنها لا تعرف أنت. هي لا تعرف أن لديك إصابة في الركبة، أو أنك تعمل في نوبة ليلية، أو أنك تكره الجري.

أما إذا تحدثت إلى ذكاء اصطناعي شخصي، فينبغي أن يعرف هذه التفاصيل ويقول لك: "بما أنك تعمل ليلاً ولديك إصابة في الركبة، جرب السباحة في الصباح وتجهيز وجباتك مسبقاً أيام الأحد".

تقدم هذه الورقة نظاماً جديداً يسمى PR2 (الاستدلال المدعوم بالاسترجاع الشخصي) لجعل المساعدات الذكية "تعرفك" حقاً. إليك كيف يعمل، مشروحاً ببساطة.

المشكلة: "أمين المكتبة الكسول"

تعمل أنظمة الذكاء الاصطناعي الشخصية الحالية مثل أمين مكتبة كسول. عندما تسأل سؤالاً، يقوم بسرعة بجلب بعض الكتب من رفّك الشخصي التي تبدو مرتبطة بسؤالك ثم يلصقها في الإجابة.

العيب: غالباً ما يجلب الكتب الخاطئة أو يجلبها بشكل سطحي للغاية. هم لا يفكرون حقاً فيما تحتاجه؛ بل يجلبون فقط أول شيء يطابق كلمة مفتاحية. يؤدي هذا إلى إجابات تبدو "شخصية" في الظاهر، لكنها تفتقر إلى التفاصيل العميقة والمحددة التي تهمك.

الحل: "المحقق مع خزانة ملفات"

يقترح المؤلفون نظام PR2، الذي يعمل مثل محقق لديه خزانة ملفات ضخمة (تاريخك الشخصي).

بدلاً من مجرد جلب الملفات، يتبع المحقق عملية صارمة وذكية:

التفكير أولاً: قبل فتح الخزانة، يتوقف المحقق ليفكر: "ما الذي يسأل عنه هذا الشخص بالضبط؟ ما هي التفاصيل المحددة التي أحتاج لإيجادها لأعطيه إجابة مثالية؟"
البحث الاستراتيجي: لا يقوم المحقق بجلب ملفات عشوائية. بل يكتب استعلامات بحث محددة (مثل: "ابحث عن وثائق تتعلق بالقيود الغذائية للمستخدم" أو "ابحث عن سجلات التمارين الرياضية السابقة له").
القراءة والاستدلال: يقرأ الوثائق التي وجدها، ويربط بين النقاط، ثم يقرر: "حسناً، الآن لدي المعلومات. كيف سيغير هذا إجابتي؟"
التكرار عند الحاجة: إذا لم تكن عملية البحث الأولى قد قدمت أدلة كافية، يعود المحقق ويبحث عن شيء آخر.

السر الخفي: "التعلم من خلال الممارسة" (التعلم التعزيزي)

كيف يصبح المحقق بارعاً في ذلك؟ هم لا يكتفون بقراءة دليل تعليمات؛ بل يمارسون ويتم تقييمهم.

يستخدم النظام طريقة تسمى GRPO (تحسين السياسة النسبي للمجموعات). تخيل معسكراً تدريبياً حيث يقوم الذكاء الاصطناعي بإنشاء خمس إجابات مختلفة لنفس السؤال:

الإجابة (أ): إجابة عامة (بدون معلومات شخصية).
الإجابة (ب): إجابة شخصية جلبَت الملفات الخاطئة.
الإجابة (ج): إجابة شخصية فكرت بعمق ووجدت الملفات الصحيحة.

يقوم "حَكَم" (ذكاء اصطناعي فائق الذكاء) بتقييمهم جميعاً.

إذا كانت الإجابة (ج) أفضل بكثير من الإجابة (أ)، يتعلم النظام: "عمل رائع! البحث عن معلومات محددة كان يستحق العناء."
إذا كانت الإجابة (ب) أسوأ من الإجابة (أ) (لأنها ارتبكت بسبب معلومات سيئة)، يتعلم النظام: "توقف! البحث عن تلك المعلومة المحددة جعل الأمور أسوأ. في المرة القادمة، قدم إجابة عامة فقط."

هذا يعلم الذكاء الاصطناعي متى ينبش في تاريخك ومتى يتوقف عن النبش. هذا يمنع الذكاء الاصطناعي من أن يكون مزعجاً أو غير ذي صلة.

النتائج: مساعد أكثر ذكاءً

اختبر الباحثون هذا على ثلاثة نماذج مختلفة من الذكاء الاصطناي باستخدام معيار يسمى LaMP-QA (والذي يغطي مواضيع مثل نمط الحياة، الفن، والثقافة).

النتيجة: تفوق نظام PR2 باستمرار على جميع الطرق الأخرى. لقد حسن جودة الإجابات الشخصية بنسبة تتراوح بين 9% إلى 12%.
الدليل: في حالة اختبارية، عندما سُئل عن "توقعات النشر لما بعد الدكتوراه"، أدرك نظام PR2 أنه بحاجة لمعرفة مجال المستخدم المحدد (الرياضيات) ومؤسسته. بحث في تاريخ المستخدم، ووجد ملاحظة حول خلفيته في الرياضيات، وقدم إجابة مخصصة حول منشورات الرياضيات، بينما قدمت الأنظمة الأخرى نصائح عامة.

باختतेار

PR2 يشبه ترقية مساعدك من روبوت يطابق الكلمات المفتاحية إلى مستشار مفكر. فهو لا ينظر فقط إلى تاريخك؛ بل يستدل على الأجزاء التي تهمك من تاريخك، ويبحث عنها بذكاء، ويستخدمها فقط إذا جعلت الإجابة أفضل بالفعل. إنه الفرق بين روبوت يقول "إليك خطة غذائية" وروبوت يقول "إليك خطة غذائية تناسب جدولك الزمني وإصاباتك المحددة".

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "التعلم من أجل التفكير للاسترجاع متعدد الخطوات للسياق الشخصي في الإجابة الشخصية على الأسئلة."

1. بيان المشكلة

تهدف الإجابة الشخصية على الأسئلة (Personalized QA) إلى توليد استجابات ليست دقيقة واقعيًا فحسب، بل متوافقة أيضًا مع خلفية المستخدم وتفضيلاته وسياقه التاريخي. وبينما تستخدم الأساليب المتطورة الحالية استرجاع التعزيز التوليدي (RAG)، إلا أنها غالبًا ما تعاني من تخصيص سطحي.

قصور الأساليب الحالية: تعتمد النهج القياسية عادةً على استعلام المستخدم مباشرة لاسترجاع المستندات من ملفه الشخصي وإلحاقها بالمطالبة (Prompt). تفشل استراتيجية الاسترجاع الساكنة هذه في تحديد جوانب التخصيص الدقيقة (مثل مهنة المستخدم أو تاريخه الطبي) التي قد تتطلب استعلامات محددة ومتعددة الخطوات للكشف عنها.
الفجوة: يتطلب التخصيص الفعال التفكير (Reasoning) لتحديد ما هي المعلومات المطلوبة، يليه استرجاع متعدد الخطوات لجلب ذلك الدليل المحدد، وأخيرًا دمج ذلك الدليل في عملية التفكير. تفتقر النماذج الحالية إلى القدرة على اتخاذ قرار ديناميكي بشأن متى يتم الاسترجاع، وماذا يتم استرجاعه، وكيفية استخدام ذلك أثناء عملية التوليد.

2. المنهجية: إطار عمل PR2

يقترح المؤلفون إطار عمل PR2 (التفكير المدعوم بالاسترجاع الشخصي)، وهو إطار عمل للتعلم التعزيزي (RL) يدمج الاسترجاع مباشرة في مسار التفكير.

المكونات الأساسية

البنية (Architecture): يعامل PR2 عملية الاسترجاع كأداة خارجية داخل البيئة. يمكن لنموذج السياسة ( $\pi_\theta$ $π_{θ}$ ) التداخل بين ثلاثة أنواع من الإجراءات أثناء التوليد:
1. التفكير (Thinking): توليد خطوات التفكير الداخلية (باستخدام وسوم <thought>).
2. البحث (Searching): صياغة استعلامات محددة للملف الشخصي للمستخدم (باست using وسوم <search>).
3. الإجابة (Answering): توليد الاستجابة النهائية (باستخدام وسوم <answer>).
خوارزمية التحسين (GRPO): يستخدم إطار العمل تحسين السياسة النسبي للمجموعات (GRPO). على عكس PPO القياسي، لا يتطلب GRPO دالة قيمة (Critic) منفصلة. بدلاً من ذلك، يقوم بتحسين السياسة بناءً على الميزة النسبية لمجموعة من المسارات التي تم أخذ عينات منها.
أخذ عينات الانتشار (Rollout Sampling): لكل حالة تدريب، يأخذ النموذج عينة من مجموعة من $G$ من المسارات الشخصية. ومن الأهمية بمكان، أنه يأخذ أيضًا مسارًا مرجعيًا غير شخصي (تم توليده بدون استرجاع) ليعمل كعنصر تحكم.

نمذجة المكافأة وحساب الميزة

دالة المكافأة: يقوم حكم تلقائي (Qwen2.5-32B) بتقييم الاستجابة النهائية مقابل مجموعة من المعايير الشخصية ( $E_{x_i}$ ) والسرديات المستخدمة ( $r_i$ ). يتم تطبيع الدرجة ($0-2 $لكل جانب) لتصبح في النطاق$ [0, 1]$.
الميزة النسبية للمجموعة: الابتكار الرئيسي يكمن في كيفية حساب الميزة ( $A_i$ $A_{i}$ ). لمنع النموذج من الاسترجاع غير الضروري أو الاعتماد على إشارات ضوضائية، يتم حساب الميزة ( $A_i$ $A_{i}$ ) للمسار الشخصي بالنسبة إلى المرجع غير الشخصي:
$A_i = \frac{r_i - r_{no-per} - \mu}{\sigma}$
حيث أن $r_i$ $r_{i}$ هي مكافأة المسار الشخصي، و $r_{no-per}$ $r_{n o - p er}$ هي مكافأة المرجع غير الشخصي، و $\mu, \sigma$ $μ, σ$ هما المتوسط والانحراف المعياري لمكافآت المجموعة.
- النتيجة الضمنية: يتم تحفيز النموذج فقط على الاسترجاع من الملف الشخصي للمستخدم إذا أدى الاسترجاع إلى استجابة تتفوق على التوليد القياسي غير الشخصي. هذا يعلم النموذج أن يكون انتقائيًا بشأن متى يكون التخصيص مفيدًا.

3. المساهمات الرئيسية

أول تخصيص مدمج مع التفكير: يعد PR2 أول إطار عمل ينمذج صراحةً عملية التفكير لاسترجاع السياق الشخصي، متجاوزًا خطوط أنابيب "الاستعلام-الاسترجاع-التوليد" البسيطة.
سياسات استرجاع تكيفية: يتعلم النموذج اتخاذ قرار ديناميكي بشأن متى يتوقف عن التفكير ويبدأ البحث، وما هو الاستعلام المحدد الذي يجب إنشاؤه، وكيفية دمج الأدلة المسترجعة في خطوات التفكير الوسيطة.
تعلم الميزة التبايني: من خلال تضمين المراجع غير الشخصية في حساب ميزة GRPO، يتعلم إطار العمل التمييز بين مكاسب التخصيض الحقيقية وتحسينات التوليد العامة، مما يتجنب الاسترجاع المفرط.
تنفيذ مفتوح المصدر: أصدر المؤلفون الكود لضمان قابلية إعادة الإنتاج.

4. النتائج التجريبية

تم تقييم إطار العمل على معيار LaMP-QA، والذي يغطي ثلاثة مجالات: الفن والترفيه، نمط الحياة والتطوير الشخصي، والمجتمع والثقافة. أُجريت التجارب باستخدام ثلاثة نماذج لغوية كبيرة مختلفة: Qwen2.5-3B، و Qwen2.5-7B، و Gemma3-4B.

مكاسب الأداء: تفوق PR2 باستمرار على النماذج المرجعية القوية (بما في ذلك Search-R1، و RAG-Personalization، و PPlug، و HYDRA).
- Qwen2.5-3B: تحسن نسبي قدره 8.8% عن أفضل نموذج مرجعي.
- Qwen2.5-7B: تحسن نسبي قدره 12.0%.
- Gemma3-4B: تحسن نسبي قدره 9.8%.
دراسات الاستبعاد (Ablation Studies):
- المرجع غير الشخصي: أدى حذف المرجع غير الشخصي من حساب ميزة GRPO إلى انخفاض كبير في الأداء (على سبيل المثال، انخفض Qwen2.5-7B من 0.5256 إلى 0.4736)، مما يؤكد ضرورة إشارة التعلم التبايني.
- عدد عمليات الاسترجاع ( $k$ ): حقق استرجاع أفضل 3 مستندات ( $k=3$ ) أفضل النتائج. حيث أدى $k=1$ إلى الحد من الاستدعاء، بينما أدى $k=5$ إلى إدخال ضوضاء تداخلت مع التفكير.
ديناميكيات التدريب: أظهر التحليل أنه مع تقدم التدريب، تعلمت النماذج الاسترجاع بشكل متكرر أكثر وإنتاج استجابات أطول وأكثر تفصيلًا، وهو ما ارتبط بزيادة درجات المكافأة. أظهرت النماذج الأكبر (7B) قدرة أقوى على الاستفادة من الأدلة المسترجعة مقارنة بالنماذج الأصغر (3B).

5. الأهمية

تعالج هذه الورقة قصورًا حرجًا في أنظمة الذكاء الاصطناعي الشخصية الحالية: عدم القدرة على التفكير في ما هي المعلومات الشخصية المطلوبة قبل استرجاعها. من خلال توحيد التفكير والاسترجاع تحت إطار عمل تعلم تعزيزي مع إشارة مكافأة تباينية، يمكّن PR2 النماذج من:

توليد استجابات مخصصة للغاية تأخذ في الاعتبار القيود المعقدة للمستخدم (مثل القيود الغذائية، أو المرحلة المهنية).
تجنب مشكلة "ضوضاء الاسترجاع" من خلال تعلم الاسترجاع فقط عندما يضيف قيمة فوق الإجابة القياسية.
توفير نهج قابل للتوسع يعتمد على التعلم التعزيزي للتخصيـص يمكن تطبيقه عبر مختلف أحجام النماذج اللغوية الكبيرة والمجالات.

يؤسس هذا العمل لنموذج جديد للأسئلة والأجوبة الشخصية، منتقلاً من حقن السياق الساكن إلى الاكتساب الديناميكي للسياق المدفوع بالتفكير.