💬 NLP

Pair2Score: Pairwise-to-Absolute Transfer for LLM-Based Essay Scoring

تقدم الورقة البحثية Pair2Score، وهو إطار عمل ثنائي المراحل وفعال من حيث المعلمات ينقل المقارنات الزوجية إلى تقييم مطلق للمقالات عبر تكييف نموذج LLaMA، مما يثبت أن تكوينات نقل محددة ومراحل تدريب زوجية محدودة تحسن دقة التقييم بشكل كبير مقارنة بالنماذج المعتمدة على التقييم المطلق فقط.

المؤلفون الأصليون: İbrahim Rıza Hallaç, Hasan Oğul

نُشر 2026-05-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: İbrahim Rıza Hallaç, Hasan Oğul

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك معلم يحاول تصحيح مئات المقالات الطلابية. أنت بحاجة إلى إعطاء كل مقال رقمًا محددًا، مثل "7 من 10" للقواعد أو "8 من 10" للمفردات. يُسمى هذا التصحيح المطلق (absolute scoring). إنه أمر صعب لأن الرقم "7" مفهوم غامض؛ فقد يختلف معلمون مختلفون حول ما يبدو عليه الرقم "7" فعليًا.

ومع ذلك، فمن الأسهل بكثير على المعلم أن ينظر إلى مقالين جنبًا إلى جنب ويقول: "المقال (أ) أفضل بالتأكيد من المقال (ب)". هذا هو المقارنة الزوجية (pairwise comparison).

تقدم الورقة البحثية طريقة جديدة تسمى Pair2Score. فكر في الأمر كبرنامج تدريبي من خطوتين لتدريب ذكاء اصطناعي (وتحديدًا نموذج لغوي كبير يسمى LLaMA) ليتعلم كيفية إعطاء تلك الدرجات الصعبة مثل "7 من 10" عن طريق ممارسة لعبة "أفضل من/أسوأ من" الأسهل أولاً.

إليك كيف تسير العملية، باستخدام تشبيهات بسيطة:

معسكر التدريب ذو المرحلتين

المرحلة 1: "اختبار التذوق" (التصنيف الزوجي)
تخيل أنك تقوم بتدريب ناقد طعام. بدلًا من مطالبته بتقييم برجر بدرجة "7/10" فورًا، تعرض عليه برجرين وتسأله: "أيهما مذاقه أفضل؟"

ينظر الذكاء الاصطناعي إلى أزواج من المقالات.
يتعلم تمييز الفرق: "هذا المقال لديه قواعد أفضل من ذاك".
لا يشغل باله بالرقم الدقيق بعد؛ هو فقط يتعلم اتجاه الجودة.
التحول المفاجئ: وجد الباحثون أنك لست بحاجة لتدريب الناقد على آلاف المقارنات لفترة طويلة. في الواقع، كانت جلسة "اختبار تذوق" قصيرة جدًا (جولة تدريب واحدة) غالبًا أفضل من جلسة طويلة ومرهقة. الأمر يشبه إعطاء الذكاء الاصطناعي لحظة "إدراك" سريعة لما تبدو عليه الكتابة الجيدة، بدلًا من تدريبه لأسابيع.

المرحلة 2: "الامتحان النهائي" (التصحيح المطلق)
الآن، يأخذ الذكاء الاصطناعي المعرفة من المرحلة 1 ويحاول إعطاء الأرقام الفعلية (من 1 إلى 5) للمقالات الفردية.

جرب الباحثون طريقتين لنقل المعرفة من المرحلة 1 إلى المرحلة 2:
1. البداية الدافئة (Warm-Start): تخيل أن الذكاء الاصطناعي طالب أنهى حصة "اختبار التذوق". بالنسبة لـ "الامتحان النهائي"، يحتفظ بملاحظاته وحالته الذهنية من الحصة الأولى. هو فقط يحتاج لتعلم كيفية ترجمة "أفضل/أسوأ" إلى "7/10".
2. الدمج (Fusion): تخيل أن الطالب يحضر ورقة غش (ملخص لاختبار التذوق) إلى غرفة الامتحان. ينظر إلى المقال، وينظر إلى ورقة الغش، ثم يجمع بين كلتا المعلومتين لإعطاء درجة.

ماذا وجدوا؟

اختبر الباحثون ذلك على ثلاث مهارات محددة: القواعد، والمفردات، وبناء الجملة (Syntax). أجروا التجربة عدة مرات للتأكد من أن النتائج لم تكن مجرد ضربة حظ.

إليك أهم النتائج، مترجمة إلى مصطلحات يومية:

الطريق المختصر يعمل: استخدام "اختبار التذوق" (المقارنات الزوجية) كتمهيد ساعد الذكاء الاصطناعي عمومًا على إعطاء درجات نهائية أفضل مما لو حاول تعلم الأرقام من الصفر.
الأقل هو الأكثر (أحيانًا): كانت النتيجة الأكثر إثارة للدهشة تتعلق بالوقت. تدريب الذكاء الاصطناعي على مقارنة المقالات لفترة طويلة لم يساعد كثيرًا. في الواقع، كان إيقاف تدريب المقارنة بعد تمريرة واحدة فقط (epoch واحد) هو الطريقة الأكثر موثوقية للحصول على نتائج جيدة. هذا يشير إلى أن الذكاء الاصطناعي احتاج فقط إلى "دفعة" بسيطة في الاتجاه الصحيح، وليس إلى غوص عميق في التصنيف.
الأمر لا يتعلق فقط بكونه جيدًا في المقارنة: قد تعتقد: "إذا كان الذكاء الاصطناعي بارعًا حقًا في قول 'المقال أ أفضل من ب'، فسيكون رائعًا في وضع الدرجات". تقول الورقة البحثية: لا. يمكن للذكاء الاصطناعي أن يكون بطلًا في مقارنة المقالات ولكنه قد يفشل في إعطاء درجات مطلقة جيدة. الطريقة المستخدمة لنقل المعرفة (البداية الدافئة مقابل الدمج) كانت مهمة بقدر جودة تدريب المقارنة نفسه.
لا يوجد حل سحري واحد: لم يكن هناك إعداد واحد "مثالي" يعمل لكل نوع من أنواع المقالات. أحيانًا كانت طريقة "الدمج" هي الأفضل، وأحيانًا أخرى كانت "البداية الدافئة" هي الأفضل. الأمر يعتمد على السمة المحددة (القواعد مقابل المفردات) وعلى مجموعة المقالات المستخدمة.

الخلا الخلاصة

تجادل الورقة البحثية بأنه لتعليم الذكاء الاصطناዊ كيفية تصحيح المقالات برقم محدد، لا ينبغي عليك فقط إلقاء الأرقام عليه مباشرة. بدلاً من ذلك، دعه يمارس مقارنة المقالات أولًا.

ومع ذلك، لا تبالغ في الممارسة. جلسة سريعة ومركزة على مقارنة المقالات كافية غالبًا لمنح الذكاء الاصطناعي "الحدس" الصحيح. بمجرد حصوله على هذا الحدس، يمكنك تعليمه كيفية تعيين الأرقام النهائية، وسيقوم بعمل أفضل مما لو لم يرَ المقارنات على الإطلاق.

ملاحظة هامة: يشدد المؤلفون على أن هذا تجربة محددة على تصحيح المقالات. هم لا يدعون أن هذا يعمل للتشخيصات الطبية، أو الأحكام القانونية، أو المجالات الأخرى بعد. هم فقط يظهرون أنه بالنسبة لتصحيح المقالات، فإن هذه الطريقة ذات الخطوتين ("قارن ثم صنف") هي طريقة واعدة للحصول على نتائج أفضل.

ملخص تقني: Pair2Score

بيان المشكلة

تتطلب العديد من تطبيقات التقييم، لا سيما التقييم الآلي للمقالات (AES)، تنبؤات مطلقة (على سبيل المثال، تعيين درجة محددة لمقال بناءً على معايير التقييم). ومع ذلك، فإن جمع الملصقات المطلقة (absolute labels) غالبًا ما يكون مكلفًا من حيث الموارد، بينما تعتبر المقارنات الزوجية (تحديد أيهما أفضل بين مقالين) أسهل في الحصول عليها وقد تحمل معلومات محلية أقوى.

السؤال البحثي المركزي الذي تعالجه هذه الورقة هو: هل يمكن أن يعمل التعلم الزوجي كهدف وسيط فعال للتقييم المطلق للمقالات المتوافق مع معايير التقييم؟ وتحديدًا، يبحث المؤلفون في كيفية نقل المعرفة من نموذج مقارنة مدرب على أزواج المستندات إلى مقيّم مطلق لاحق، باستخدام النماذج اللغوية الكبيرة (LLMs).

المنهجية: إطار عمل Pair2Score

يقترح المؤلفون Pair2Score، وهو إطار عمل تعلم ثنائي المراحل مصمم لنقل المقارنات الزوجية إلى التقييم المطلق باستخدام التكيف الفعال للمعلمات (LoRA) للنماذج اللغوية الكبيرة. يستخدم الإطار هيكل Meta LLaMA-3.2-1B ويعمل كما يلي:

المرحلة الأولى: التصنيف السيامي الاتجاهي (الهدف النسبي)

البنية: إعداد سيامي (Siamese setup) مع هيكل مشترك من LLaMA+LoRA يعالج مستندين ( $a$ و $b$ ).
الهدف: يتعلم النموذج تفضيلًا اتجاهيًا. يستخدم رأس منفعة خطي خالٍ من الانحياز لحساب القيم العددية (utilities) $s(h_a)$ و $s(h_b)$ من التمثيلات المخفية المجمعة. يتم تعريف لوجيت المقارنة (comparison logit) كـ $\Delta(a, b) = s(h_a) - s(h_b)$ .
القيد: يفرض التصميم التضاد ( $\Delta(b, a) = -\Delta(a, b)$ )، مما يضمن اتساق التفضيلات بغض النظر عن ترتيب المدخلات.
الخسارة: يتم تدريب النموذج باستخدام خسارة لوجستية زوجية لتعظيم $\Delta(a, b) > 0$ للأزواج التي يكون فيها المستند $a$ ذا سمة مطلقة أعلى من $b$ .
المخرجات: تنتج هذه المرحلة محول LoRA مدرب، و(اختياريًا) تمثيلات مجمعة (embeddings).

المرحلة الثانية: التقييم المطلق مع النقل (الهدف المطلق)

الهدف: تدريب منظم (regressor) مطلق للتنبؤ بدرجات السمات (مثل القواعد، والمفردات، وبناء الجملة) مباشرة، مع تحسين خسارة L1 والتقييم باستخدام معامل كابا الموزون تربيعيًا (QWK).
آليات النقل: يقارن المؤلفون بين ثلاث تكوينات:
1. الأساس (المطلق فقط): يتم تدريب محول LoRA جديد من الصفر على الملصقات المطلقة.
2. البدء الدافئ (Warm-start): يتم تهيئة مقيّم المطلق بأوزان محول LoRA من المرحلة الأولى (يتم التخلص من الرأس الزوجي).
3. دمج التمثيلات (Embedding Fusion): بالإضافة إلى تهيئة البدء الدافئ، يتم دمج التمثيلات المحسوبة مسبقًا من المرحلة الأولى مع التمثيل المجمع الحالي قبل رأس الانحدار.
المتغيرات: تدرس الدراسة حجم مجموعة الأزواج (صغيرة مقابل كبيرة) ومدة مرحلة الزوجية (عدة دورات تدريبية قياسية مقابل دورة واحدة).

البروتوكول التجريبي

مجموعة البيانات: مجموعة بيانات Feedback Prize English Language Learning (مجموعة ELLIPSE)، مع التركيز على ثلاث سمات: القواعد، والمفردات، وبناء الجملة.
التقييم: بروتوكول التحقق المتقاطع خماسي الطيات (five-fold cross-validation) حيث يتم تدوير الطية المحجوزة والبذرة العشوائية معًا (على سبيل المثال، الطية A تستخدم البذرة 42، والطية B تستخدم البذرة 48). يضمن هذا أن العشوائية جزء من الأدلة المقاسة بدلاً من استبعادها عبر المتوسط.
المقاييس: المقياس الأساسي هو اختبار QWK.

المساهمات الرئيسية

صياغة فضاء التصميم: تؤطر الورقة عملية نقل التقييم النسبي إلى المطلق كفضاء تصميم محدد بثلاثة محاور: الهدف الوسيط، آلية النقل، والهدف اللاحق. وهي تجسد مسارًا محددًا (التفضيل الزوجي $\leftarrow$ البدء الدافئ/الدمج $\leftarrow$ الانحدار المطلق).
النتائج التجريبية على النقل: عبر 15 تقييمًا على مستوى الطية (3 سمات $\times$ 5 طيات)، يجد المؤلفون أن جودة التصنيف الزوجي وحدها لا تتنبأ بما إذا كان النقل سيحسن التقييم المطلق. بدلاً من ذلك، يعد اختيار آلية النقل ومدة المرحلة الزوجية أمرين حاسمين.
الحساسية للمدة: يظهر نمط واضح فيما يتعلق بمدة المرحلة الزوجية: دورة تدريبية واحدة من التدريب الزوجي تُنقل بشكل أكثر موثوقية من التدريب الممتد. يشير هذا إلى أن المرحلة الزوجية تعمل أساسًا كـ تهيئة مبكرة فعالة بدلاً من كونها مرحلة تحسين تصنيف مطولة.
عدم الارتباط: تظهر الدراسة ارتباطًا ضعيفًا بين دقة المرحلة الزوجية (المرحلة 1) وأداء التقييم المطلق (المرحلة 2)، مما يشير إلى أن النجاح اللاحق يعتمد أكثر على تكوين النقل والتباينات في الطية/البذرة منه على المكاسب الهامشية في مقاييس التصنيف في المرحلة 1.

النتائج

الأداء: حسن المتغير الناقل الأفضل أداءً قيمة QWK مقارنة بالأساس (المطلق فقط) لجميع السمات الثلاث (القواعد، المفردات، وبناء الجملة).
الاتساق: لم يهيمن أي تكوين واحد عبر جميع عمليات التشغيل. ومع ذلك، عند اختيار أفضل متغير نقل لكل تقييم (سمة-طية)، تفوق النقل الزوجي على الأساس في 11 حالة من أصل 15، بمتوسط فرق $\Delta$ QWK قدره +0.012.
تأثير التكوين:
- المدة: تفوق إعداد "الدورة الواحدة" للزوجية باستمرار أو تساوى مع إعداد "القياسي" (متعدد الدورات) في معظم التكوينات.
- حجم مجموعة الأزواج: لم يؤدِ زيادة عدد الأزواج (من ~3 آلاف إلى ~6 آلاف) إلى ميزة ثابتة.
- آلية النقل: أظهر كل من البدء الدافئ ودمج التمثيلات فوائد، لكن "الفائز" المحدد اختلف باختلاف السمة والطية.

الأهمية والادعاءات

تدعي الورقة بتواضع أن Pair2Score تثبت أن الإشراف المقارن يمكن أن يكون مرحلة وسيطة مفيدة للتقييم المطلق المتوافق مع معايير التقييم، ولكن فقط إذا تم تكوين مسار النقل بعناية.

يؤكد المؤلفون أن الفائدة ليست تلقائية؛ فمجرد إضافة مرحلة زوجية لا يضمن التحسن. الرؤية الأساسية هي أن المرحلة الزوجية تساهم أساسًا من خلال التهيئة المبكرة (توفير نقطة انطلاق أفضل للتقييم المطلق) بدلاً من تراكم معرفة التصنيف عبر دورات تدريبية عديدة.

تضع هذه الدراسة عملية النقل من النسبي إلى المطلق كمسألة نمذجة متميزة يجب فيها مراعاة الهدف الوسيط، ومسار النقل، والهدف اللاحق معًا. ويقر المؤلفون بالقيود، مشيرين إلى أن تقييمهم يغطي مسارًا واحدًا فقط من فضاء التصميم الأوسع (تحديدًا التفضيل الزوجي مع البدء الدافئ/الدمج في سياق AES) وأن هناك حاجة لمزيد من التحقق لموضوعات وسيطة أخرى، وهياكل خلفية، وسير عمل تقييم مختلفة.