💬 NLP

Preference-Aware Rubric Learning for Personalized Evaluation

تقدم هذه الورقة PARL، وهو إطار عمل يعالج أوجه القصور في أساليب التقييم الشخصي الحالية من خلال تعلم معايير تقييم مدركة للتفضيلات مباشرة من سجلات تفاعل المستخدم عبر نهج تعلم تعزيزي تمييزي وذاتي التحقق لضمان تقييم موثوق ومتسق ودقيق لاستجابات النماذج اللغوية الكبيرة المتوافقة مع تطلعات المستخدم.

المؤلفون الأصليون: Yilun Qiu, Xiaoyan Zhao, Yang Zhang, Yuxin Chen, Cilin Yan, Jiayin Cai, Xiaolong Jiang, Yao Hu, Yoko Yamakata, Tat-Seng Chua

نُشر 2026-06-01

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yilun Qiu, Xiaoyan Zhao, Yang Zhang, Yuxin Chen, Cilin Yan, Jiayin Cai, Xiaolong Jiang, Yao Hu, Yoko Yamakata, Tat-Seng Chua

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً ذكياً ومفيداً للغاية. في الوقت الحالي، هذا الروبوت بارع في كتابة القصص أو رسائل البريد الإلكتروني أو المراجعات للجميع بنفس الطريقة العامة. لكنك تريد منه أن يكتب مثلك تماماً، مستخدماً نكاتك الخاصة، وبنيتك الفريدة للجمل، وذوقك الشخصي. يُسمى هذا "التخصيص" (Personalization).

المشكلة الكبيرة التي تعالجها الورقة البحثية هي: كيف نعرف ما إذا كان الروبوت يبدو بالفعل مثلك أم أنه مجرد روبوت عام يحاول التظاهر بأنه أنت؟

الطرق الحالية للتحقق من ذلك تشبه محاولة تقييم مقال طالب باستخدام مسطرة تقيس الطول فقط؛ فهي تفتقد إلى "روح" الكتابة. تقدم هذه الورقة طريقة جديدة لبناء "نموذج تقييم" (Grading Rubric) مخصص لكل مستخدم على حدى، يتعلم مباشرة من كتاباتهم السابقة لإنشاء قائمة مرجعية مثالية لما يعنيه حقاً "أن تبدو مثلهم".

إليك تفصيل حلهم، PARL، باستخدام تشبيهات بسيطة:

1. المشكلة: "المسطرة التي تناسب الجميع"

تخيل أنك طاهٍ تضيف دائماً رشة من القرفة إلى قهوتك.

الطريقة القديمة (المقاييس الآلية): يفحص الروبوت قهوتك ويقول: "تحتوي على حبوب بن وسائل". إنه يتجاهل القرفة تماماً لأنه يبحث عن المكونات العامة.
الطريقة القديمة (الحكام البشر): تطلب من غريب أن يتذوق قهوتك. يقول: "طعمها جيد!" لكنه لا يعرف قاعدتك السرية بشأن القرفة. لا يمكنه معرفة ما إذا كان الروبوت قد أضافها أم أنها بدت "تشبه القهوة" بشكل عام فقط.
الطالط القديمة (حكام الذكاء الاصطناعي القياسيين): تسأل ذكاءً اصطناعياً فائق الذكاء. يقول: "هذه قهوة عالية الجودة". لكنه لا يعرف تفضيلك الخاص للقرفة؛ هو يعرف فقط ما الذي يجعل القهوة "جيدة" بشكل عام.

تقول الورقة إننا بحاجة إلى مسطرة مخصصة تعرف بالضبط كمية القرفة التي تحبها أنت، بناءً على كل كوب قهوة صنعته على الإطلاق.

2. الحل: تعلم "خلطتك السرية" (PARL)

يقترح المؤلفون نظاماً يسمى PARL (تعلم نموذج التقييم المدرك للتفضيلات - Preference-Aware Rubric Learning). بدلاً من التخمين، يقوم PARL بدراسة كتاباتك السابقة (تاريخك) ويبني نموذج تقييم مخصصاً.

فكر في نموذج التقييم (Rubric) كقائمة مرجعية مفصلة. بالنسبة لمستخدم معين، قد تقول القائمة:

القاعدة 1: "يجب استخدام جمل قصيرة وقوية".
القاعدة 2: "يجب تجنب كلمة 'جداً'".
القاعدة 3: "يجب ذكر حالة الطقس في البداية".

لا يقوم PARL بمجرد التخمين لهذه القواعد؛ بل يتعلمها. إنه يقرأ آلاف الأشياء التي كتبتها ويكتشف الأنماط الخفية التي تجعل كتابتك "خاصة بك".

3. القواعد الذهبية الثلاث لنموذج تقييم جيد

للتأكد من أن قائمة المراجعة المخصصة هذه مفيدة حقاً، تقول الورقة إنها يجب أن تتبع ثلاث قواعد:

التمثيلية (اللقطة الشاملة): يجب أن تلتقط القائمة الصورة الكاملة لك. لا يمكنها النظر فقط إلى بريد إلكتروني واحد كتبته عندما كنت غاضباً؛ بل يجب أن ترى رسائل البريد الإلكتروني السعيدة، ورسائل العمل، ومنشورات عطلة نهاية الأسبوع لتفهم أسلوبك الحقيقي.
الاتساق مع المستخدم (اليد الثابتة): يجب أن تكون القواعد مستقرة. إذا كانت القائمة تقول "أنت تستخدم الرموز التعبيرية دائماً"، بينما استخدمتها مرة واحدة فقط في السنة، فهذه قاعدة سيئة. يتحقق النظام من: "هل تنطبق هذه القاعدة على جميع كتاباتك السابقة؟" إذا لم يكن الأمر كذلك، فإنه يتخلص من القاعدة.
القدرة على التمييز (اختبار التذوق): هذا هو الجزء الأهم. يجب أن تكون القائمة قادرة على التمييز بين أنت وبين روبوت يحاول أن يبدو مثلك.
- التشبيه: تخيل أن روبوتاً كتب قصة مثالية لغوياً وطويلة جداً. قد تكتب أنت قصة قصيرة، غير منظمة، ومليئة باللغة العامية. قد يقول حكم عام: "قصة الروبوت أفضل". لكن قائمة التقييم المخصصة الخاصة بك ستعرف: "لا! الشخص الحقيقي يكتب قصصاً قصيرة وغير منظمة". النظام مدرب لمنح درجة عالية لأسلوبك الفوضوي ودرجة منخفضة لأسلوب الروبوت المثالي، حتى لو بدا أسلوب الروبوت "أفضل" للآخرين.

4. كيف يعمل: "المعسكر التدريبي"

يتعلم النظام هذا من خلال خطوتين رئيسيتين:

صياغة القواعد: يقرأ تاريخك ويكتب مسودة لقائمة المراجعة.
تمرين "التحقق الذاتي": يختبر هذه المسودة مقابل كتاباتك السابقة.
- الخطوة أ: "هل تناسب هذه القاعدة رسائلك القديمة؟" إذا كانت الإجابة نعم، احتفظ بها. إذا كانت لا، احذفها.
- الخطوة ب: "هل تستطيع هذه القاعدة التمييز بين كتابتك وكتابة ذكاء اصطناعي عام؟" يضع النظام كتاباتك الحقيقية في مواجهة كتابات مولدة بواسطة الذكاء الاصطناعي. ويتعلم تعديل القواعد بحيث تحصل كتاباتك على درجة عالية وتكتب الذكاء الاصطناعي درجة منخفضة. هذا يشبه مدرباً يعلم حكماً كيفية تمييز اللاعب المحترف عن الشخص الذي يشبهه فحسب.

5. النتائج: تطابق مثالي

اختبرت الورقة هذا النظام في مهام واقعية مثل كتابة مراجعات أمازون، ومنشورات ريديت (Reddit)، وعناوين الأخبار.

النتيجة: عندما استخدموا قوائم التقييم المخصصة من PARL، استطاع النظام تحديد ما إذا كان النص مكتوباً بواسطة المستخدم الحقيقي مقابل الروبوت بدقة تامة.
المقارنة: غالباً ما ارتبكت أحكام الذكاء الاصطناعي القياسية (الحكام العامون) وأعطت درجات عالية لروبوتات لم تكن تشبه المستخدم فعلياً. كانت قوائم PARL أكثر دقة، حيث اكتشفت الاختلافات الدقيقة التي فات الآخرين.
التغطية: نجح النظام في العمل مع كل مستخدم اختبروه، حيث نجح في إنشاء "دليل أسلوب" فريد لكل شخص.

ملخص

باختصار، تقول هذه الورقة: لا تحاول تقييم الذكاء الاصطناعي المخصص باستخدام مسطرة عامة. بدلاً من ذلك، اصنع شريط قياس مخصصاً لكل شخص من خلال دراسة أعمالهم السابقة. هذه الطريقة الجديدة، PARL، تتعلم بالضبط ما يجعلك فريداً، وتنشئ قائمة مرجعية صارمة لتلك السمات، وتستخدمها لتمييز الإنسان الحقيقي عن الروبوت الذي يتظاهر بأنه هو. إنها تحول الفكرة الغامضة لـ "أن تبدو مثلك" إلى مجموعة ملموسة وقابلة للتعلم من القواعد.

ملخص تقني: تعلم المعايير الواعية بالتفضيلات للتقييم الشخصي

1. تعريف المشكلة

مع انتقال النماذج اللغوية الكبيرة (LLMs) من مساعدين للأغراض العامة إلى وكلاء متمحورين حول المستخدم، أصبح القدرة على مواءمة سلوك النموذج مع التفضيلات الفردية للمستخدم أمراً بالغ الأهمية. ومع ذلك، يظل تقييم هذا التخصيص عائقاً كبيراً. تفشل نماذج التقييم الحالية في استيعاب المعايير الذاتية والخاصة بالمستخدم والمضمنة في سجلات التفاعل طويلة المدى:

المقاييس التلقائية (مثل ROUGE و BERTScore): تعتمد على التداخل اللفظي السطلي مع مرجع موضوعي واحد، مما يفشل في مراعاة الاستجابات البديلة الصحيحة التي تتماشى مع تفضيلات مستخدم محددة.
التقييم البشري: يعاني من "فجوة استنتاجية"، حيث يفتقر المقيمون الخارجيون إلى الوصول المباشر لتفضيلات المستخدم الكامنة، مما يجعل التقييم الأمين أمراً صعباً.
النموذج اللغوي كـ "حكم" (LLM-as-a-Judge): رغم الاستفادة من قدراتها الدلالية، إلا أن هذه النهج تعتمد عادةً على مطالبات (prompts) ثابتة ومصممة يدوياً ودرجات شمولية. وهي تفتد إلى القدرة على التكيف مع المستخدمين الأفراد وتفتقر إلى التأسيس التفصيلي والقابل للتفسير لأحكامها.

يتمثل التحدي الجوهي في الانتقال من الحكم الثابت إلى نموذج "التقييم الشخصي كعملية تعلم"، حيث يتم تعلم معايير التقييم بشكل تكيفي من تاريخ المستخدم لتلبية ثلاثة مبادئ أساسية: التمثيل (Representativeness) (استخلاص التفضيلات الكامنة بأمانة)، والاتساق مع المستخدم (User-Consistency) (عكس التفضيلات المستقرة عبر السياقات المختلفة)، والقدرة التمييزية (Discriminativeness) (التمييز بين استجابات المستخدم الأصلية والمخرجات العامة عالية الجودة للذكاء الاصطناعي).

2. المنهجية: إطار عمل PARL

يقترح المؤلفون إطار عمل PARL (تعلم المعايير الواعية بالتفضيلات)، وهو إطار يصيغ التقييم الشخصي كمسألة تعلم. يقوم PARL باستنتاج معايير تقييم مهيكلة ومتعددة الأبعاد مباشرة من السلوكيات التاريخية الخام للمستخدم ( $H_u$ ) ويقوم بتحسينها عبر التعلم التعزيزي. يعمل إطار العمل من خلال وحدتين أساسيتين:

2.1 استنتاج التفضيلات والتحقق من الاتساق

تقوم هذه الوحدة بتحويل السياقات التاريخية الخام إلى مجموعة مدمجة من المعايير الواعية بالتفضيلات ( $R_u$ ).

توليد المعايير: يقوم نموذج مولّد $G$ باستنتاج مجموعة مرشحة من المعايير الذرية أحادية البعد ( $\tilde{R}_u$ ) من سجل بذري ( $\tilde{H}_u$ ). وخلافاً للملخصات الشمولية، يلتقط كل معيار سمة أسلوبية أو هيكلية أو دلالية ثابتة.
التحقق الذاتي: لضمان الاتساق مع المستخدم، تخضع المعايير المرشحة لعملية تحقق ذاتي. يتم الاحتفاظ بالمعيار فقط إذا أظهر استيفاءً عالمياً عبر عينات السجل البذري المتنوعة. رسمياً، يتم الاحتفاظ بالمعيار $r_j$ إذا كان:
$\frac{1}{|\tilde{H}_u|} \sum_{(x_i, y_i) \in \tilde{H}_u} I(y_i \models r_j) \geq \tau$
حيث $\tau$ هو عتبة اتساق عالية (على سبيل المثال، 1.0). هذا يعمل على تصفية الآثار العابرة أو المرتبطة بمهمة محددة.

2.2 التحسين التمييزي عبر التعلم التعزيزي (RL)

لضمان القدرة التمييزية، يستخدم إطار العمل مرحلة تعلم تعزيزي (RL) لشحذ حدود القرار بين استجابات المستخدم الأصلية والبدائل التنافسية المولدة بواسطة الذكاء الاصطناعي.

الهدف: يتم تحسين النموذج المولد $G_\theta$ لتعظيم هامش الدرجة بين استجابة المستخدم الحقيقية ( $y_T$ ) ومجموعة من العينات السلبية ( $Y_{neg}$ ) المولدة بواسطة طرق التخصيص التنافسية.
صياغة المكافأة: يحدد إطار العمل "حاصل ضرب الهامش التمييزي" $\Gamma(R_u)$ $Γ (R_{u})$ ، والذي يمثل الاحتمالية المشتركة لتفوق الاستجابة الحقيقية للمستخدم على جميع العينات السلبية. تم اقتراح متغيرين:
- PARL-A (المتدرج مع الحقيقة الأرضية): يدمج الاستيفاء المطلق للحقيقة الأرضية مع الهامش النسبي ( $R_A = \lambda \cdot C \cdot S(y_T; R_u) \cdot \Gamma(R_u)$ ).
- PARL-B (الهامش فقط): يعتمد فقط على الهامش النسبي ( $R_B = \lambda \cdot C \cdot \Gamma(R_u)$ ).
التحسين: يتم تدريب النموذج باستخدام تحسين السياسة النسبية للمجموعة (GRPO)، والتي تستكشف فضاء معايير التقييم دون الحاجة إلى دالة قيمة منفصلة.

2.3 آلية التقييم

تُستخدم المعايير المستنتجة النهائية $R_u$ لحساب درجة المحاذاة الشخصية $S$ لمخرج نموذج جديد $\hat{y}$ :
$S = \frac{1}{m} \sum_{j=1}^{m} I(\hat{y} \models r_j)$
يوفر هذا تقييماً قابلاً للتحقق ودقيقاً حيث تكون الدرجة هي المتوسط الموحد للأحكام الثنائية عبر جميع الأبعاد المتعلمة.

3. المساهمات الرئيسية

التحول في النموذج المعرفي: يقدم البحث "التقييم الشخصي كعملية تعلم"، حيث يصيغ التقييم كعملية قابلة للتعلم قائمة على التمثيل، والاتساق مع المستخدم، والقدرة التمييزية، بدلاً من كونه حكماً ثابتاً.
إطار عمل PARL: إطار عمل مبتكر يستنتج معايير واعية بالتفضيلات من تاريخ المستخدم ويحسنها باستخدام هدف تعلم تعزيزي تمييزي لالتقاط حدود قرار دقيقة وخاصة بالمستخدم.
التحقق التجريبي: أظهرت التجارلات المكثفة على مهام توليد النصوص الشخصية في العالم الحقيقي (مراجعات أمازون، مواضيع ريديت، عناوين الأخبار) أن PARL يستنتج معايير عالية الدقة تتفوق على النماذج المرجعية الحالية في تحديد الاستجابات المتوافقة مع المستخدم.

4. النتائج التجريبية

أُجريت التجارب على ثلاثة مجموعات بيانات باستخدام نماذج Qwen3 كنماذج أساسية. تشمل النتائج الرئيسية ما يلي:

محاذاة متفوقة: حققت متغيرات PARL-A و PARL-B باستمرار أعلى دقة على مستوى المستخدم (نسبة المرات التي حدد فيها المعيار بشكل صحيح استجابة المستخدم الحقيقية على أنها تستوفي جميع المعايير) عبر جميع المهام. على سبيل المثال، في توليد مراجعات أمازون، حقق PARL-A دقة قدرها 0.931 للحقيقة الأرضية (GT)، متفوقاً بشكل كبير على النماذج الثابتة مثل LM-8B (0.931) و LM-235B (0.794).
القدرة التمييزية: كان مقياس Max-Diff (الفرق بين دقة الحقيقة الأرضية وأقوى نموذج مرجعي غير حقيقي) موجباً بشكل كبير لمتغيرات PARL (على سبيل المثال، +0.026 لمراجعات أمازون)، بينما أظهرت النماذج الثابتة غالباً هوامش قريبة من الصفر أو سالبة، مما يشير إلى عدم قدرتها على التمييز بين أسلوب المستخدم الأصلي ومخرجات الذكاء الاصطناعي.
المتانة والتغطية: حققت متغيرات PARL تغطية مستخدم شبه كاملة (~99-100%)، بينما عانت النماذج المدربة مسبقاً والثابتة من تغطية منخفضة (مثلاً 49.1% لـ LM-8B) بسبب توليد معايير غير قابلة للاستخدام أو هلوسة المعايير.
التعميم: في التقييمات خارج النطاق (OOD)، حافظت متغيرات PARL-A و PARL-B على قدرات تمييزية قوية، مما يشير إلى أن المعايير المتعلمة تلتقط السمات الأسلوبية المستمرة بدلاً من الضوضاء الخاصة بمجموعة البيانات.
التنوع الدلالي: كشف التحليل الجوهري أن المعايير المستنتجة بواسطة PARL تظهر تشتتاً مهيكلاً في الفضاء الدلالي، مما يلتقط سمات مستخدم متنوعة، بينما أظهرت النماذج الثابتة و PARL-0 (بدون تعلم تعززي) انهياراً دلالياً أو تكتلاً ضيقاً.

5. الأهمية والادعاءات

يدعي البحث أن PARL يعالج عائقاً حرجاً في تخصيص النماذج اللغوية الكبيرة من خلال توفير إطار عمل للتقييم مرجعي، صريح، وقابل للتفسير. بخلاف نهج نمذجة المكافأة التي تدمج تمثيل التفضيلات مع تحسين السياسة، يقوم PARL بفصل التقييم عن التوليد، مما يسمح بمعايرة مبدئية عبر النماذج والمهام.

يؤكد المؤلفون أن عملهم يدعو إلى معاملة التقييم الشخصي كـ عملية تعلم وتكيف مدفوعة باستنتاج التفضيلات من تاريخ المستخدم، بدلاً من كونه حكماً ثابتاً. تعمل المعايير المستنتجة كمقاييس عالية الدقة لا تقيم المحاذاة فحسب، بل تقدم أيضاً رؤى حول بنية التفضيلات التقييمية الخاصة بالمستخدم.

القيود: يقر المؤلفون بتواضع بأن فعالية إطار العمل تعتمد على جودة وكمية تاريخ المستخدم (حيث يواجه صعوبة في سيناريوهات البداية الباردة/Cold-start) وتفترض أن التفضيلات هي تواقيع ثابتة في نقطة زمنية واحدة، دون نمذجة التطور الزمني صراحةً. كما أشاروا إلى أنه على الرغم من تحقيق PARL لنتائج واعدة، إلا أنه لم يصل بعد إلى حالة تكون فيها دقة الحقيقة الأرضية على مستوى المستخدم 1.0 باستمرار وتغطية 100% لجميع المستخدمين، خاصة أولئك الذين لديهم تفضيلات غير متسقة.