💬 NLP

Through the Judge's Eyes: Inferred Thinking Traces Improve Reliability of LLM Raters

تقدم هذه الورقة إطار عمل للتعاون بين البشر والنماذج اللغوية الكبيرة يستخدم أخذ العينات بالرفض لاستنتاج مسارات التفكير من التعليقات التوضيحية التي تقتصر على الملصقات فقط، والتي تُستخدم بعد ذلك لضبط النماذج اللغوية الكبيرة المفتوحة وتقييمها وتحسين الإرشادات الخاصة بالنماذج المملوكة، مما يحسن بشكل كبير من موثوقيتها وتوافقها مع الأحكام البشرية.

المؤلفون الأصليون: Xingjian Zhang, Tianhong Gao, Suliang Jin, Tianhao Wang, Teng Ye, Eytan Adar, Qiaozhu Mei

نُشر 2026-02-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xingjian Zhang, Tianhong Gao, Suliang Jin, Tianhao Wang, Teng Ye, Eytan Adar, Qiaozhu Mei

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف فريقًا من الروبوتات فائقة الذكاء للتحكيم في برنامج مواهب. أنت تعطيها قائمة بالقواعد (كتاب القواعد) ومجموعة من العروض لتقييمها. لكن المشكلة هي أن الروبوتات بارعة في اتباع التعليمات، لكنها غالبًا ما تخطئ في فهم "روح" القواعد. قد تمنح تقييم 5 نجوم لعرض فوضوي لمجرد أنه كان صاخبًا، بينما قد يعطيه حكم بشري نجمتين لأن القصة لم تكن منطقية.

الروبوتات تفتقر إلى شيء حاسم: "السبب". إنها ترى النتيجة النهائية فقط، لكنها لا ترى المونولوج الداخلي للحكم البشري — التفكير الفوضوي والخطوات المتسلسلة التي أدت إلى تلك النتيجة.

هذه الورقة البحثية، "من خلال عيون الحَكَم" (Through the Judge's Eyes)، تتحدث عن تعليم الروبوتات كيف تفكر مثل البشر من خلال الهندسة العكسية لعمليات تفكيرهم. إليك قصة كيف فعلوا ذلك، باستخدام بعض التشبيهات البسيطة.

1. المشكلة: "الصندوق الأسود" للتحكيم

تخيل حكماً بشرياً يشاهد مسرحية. يفكر: "الإضاءة كانت رائعة، لكن الممثل نسي حواره، والحبكة كانت مربكة. لذا، سأعطي درجة 3".
أما الروبوت، فلا يرى سوى الرقم النهائي: 3. هو لا يعرف لماذا اختار الحكم رقم 3. وبدون معرفة السبب، يكون الروبوت مجرد مخمن. الأمر يشبه محاولة تعلم كيفية خبز كعكة من خلال النظر فقط إلى الكعكة الجاهزة، دون رؤية الوصفة أو عملية الخلط أبداً.

2. الحل: "الكاتب الشبح" (آثار التفكير المستنتجة)

أدرك الباحثون أنه بينما لا يمكنهم طلب من كل حكم بشري كتابة أفكاره (لأن ذلك بطيء ومكلف للغاية)، يمكنهم استخدام نوع خاص من الذكاء الاصطناعي يسمى نموذج لغة استدلالي (RLM). فكر في هذا النموذج (RLM) كـ "كاتب شبح" يجيد التحدث بصوت عالٍ أثناء تفكيره.

الخدعة السحرية: أخذ العينات بالرفض (Rejection Sampling)
إليك كيف جعلوا "الكاتب الشبح" يحاكي التفكير البشري:

الإعداد: أخذوا قصة والدرجة النهائية للإنسان (مثلاً: "التعقيد: 3").
لعبة التخمين: طلبوا من "الكاتب الشبح" كتابة عملية تفكير وتخمين الدرجة 16 مرة.
- المحاولة 1: "هذه القصة مملة. الدرجة: 1." (الدرجة خاطئة، يتم رميها).
- المحاولة 2: "الحبكة جامحة لكن النهاية ضعيفة. الدرجة: 3." (الدرجة صحيحة! احتفظ بهذه العملية الفكرية).
- المحاولة 3: "إنها مثالية. الدرجة: 5." (الدرجة خاطئة، يتم رميها).
النتيجة: احتفظوا فقط بالأفكار التي أدت إلى الدرجة البشرية الصحيحة.

من خلال القيام بذلك آلاف المرات، بنوا مكتبة ضخمة من "آثار التفكير المستنتجة". هذه ليست الأفكار الدقيقة للحكم الأصلي، لكنها تخمينات عالية الجودة تبدو تماماً كما يفكر البشر للوصول إلى تلك الدرجة المحددة.

3. طريقتان لاستخدام "الأفكار الشبحية"

بمجرد حصولهم على هذه المكتبة من "التفكير الشبيه بالبشر"، استخدموها بطريقتين ذكيتين لإصلاح روبوتات التحكيم.

الطريقة (أ): نهج "التدريس" (الضبط الدقيق - Fine-Tuning)

بالنسبة للروبوتات التي يمكن إعادة برمجتها (النماذج مفتوحة المصدر)، استخدموا آثار التفكير هذه كـ كتاب مدرسي.

قبل: كان الروبوت يُدرب على "قصة + درجة = 3".
بعد: تم تدريب الروبوت على "قصة + إليك الاستدلال خطوة بخطوة + درجة = 3".
التشبيه: إنه مثل طالب كان يكتفي بحفظ نموذج الإجابات فقط. الآن، يتم تعليمه الرياضيات وراء الإجابة. إنه يتعلم كيف يفكر، وليس فقط ماذا يقول.
النتيجة: بدأت روبوتات التحكيم تتفق بشكل أكبر بكثير مع الحكام البشر.

الطريقة (ب): نهج "الدليل الأفضل" (تحسين كتب القواعد - Refining Codebooks)

بالنسبة للروبوتات الغالية والمغلقة (مثل تلك التي لا يمكنك إعادة برمجتها، مثل GPT-4 أو Claude)، لا يمكنك تغيير دماغها. لذا، قام الباحثون بتغيير دليل التعليمات (كتاب القواعد) الذي يقدمونه لها.

قبل: كان الدليل يقول: "قيم التعقيد. 1 يعني بسيط، 5 يعني معقد." (غامض جداً!).
بعد: نظر الباحثون في جميع "الأفكار الشبحية" وكتبوا دليلاً جديداً يقول: "لإعطاء درجة 3، ابحث عن قصة تحتوي على بعض الأفكار ولكنها لا تترابط جيداً. إذا كانت القصة تقفز دون مسار واضح، فهذه درجة 3."
التشبيه: بدلاً من إخبار موظف جديد "قم بعمل جيد"، أنت تعطيه قائمة مهام تتضمن أمثلة محددة لما يبدو عليه العمل "الجيد"، بناءً على ما فعله أفضل الموظفين بالفعل.
النتيجة: حتى الروبوتات المختلفة، باستخدام هذا الدليل الجديد والأكثر وضوحاً، بدأت تتفق مع بعضها البعض ومع البشر بشكل أفضل بكثير.

4. لماذا هذا مهم؟

تظهر الورقة البحثية أننا لسنا بحاجة لدفع أموال للبشر ليكتبوا أفكارهم لكل قطعة من المحتوى. يمكننا استخدام الذكاء الاصطناعي لـ استنتاج تلك الأفكار من الدرجات التي أعطوها بالفعل.

الربح الكبير: يمكننا تحويل كومة مملة من "الدرجة: 3" إلى مورد تعليمي غني مليء بـ "إليك سبب كونها 3" من حيث الاستدلال.
الأثر: هذا يجعل روبوتات التحكيم أكثر موثوقية، خاصة في الأمور الذاتية مثل الفن أو القصص أو المشاعر، حيث لا توجد إجابة واحدة "صحيحة".

ملخص في جملة واحدة

علم الباحثون حكام الذكاء الاصطناوي كيفية التفكير مثل البشر عن طريق استخدام ذكاء اصطناعي "كاتب شبح" لتخمين الاستدلال وراء الدرجات البشرية، ثم استخدموا تلك التخمينات إما لـ تدريب حكام ذكاء اصطناعي جدد أو لـ إعادة كتابة أدلة التعليمات الخاصة بهم، مما جعلهم أكثر ذكاءً واتساقاً.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "من خلال عيني القاضي: مسارات التفكير المستنتجة تحسن موثوقية المقيمين من النماذج اللغوية الكبيرة (LLMs)."

1. بيان المشكلة

تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد كمقيمين آليين لمهام التقييم الذاتية (مثل: جودة القصة، تقييم المقالات، الترجمة). ومع ذلك، فإن موثوقيتها غال موردها غالباً ما يتخلف عن التقييم البشري، لا سيما في المهام التي تتطلب استدلالاً دقيقاً.

الفجوة: تحتوي مجموعات بيانات التوسيم الحالية عادةً على الملصقات/النتائج فقط (مثل: درجة 3/5) دون مسارات التفكير (عملية الاستدلال خطوة بخطوة) التي يستخدمها الخبراء البشر للوصول إلى تلك النتائج.
النتيجة: بدون هذه المسارات، تفتقر المقيمات من النماذج اللغوية الكبيرة إلى "الأولويات البشرية" اللازمة لفهم سبب إعطاء تقييم معين، مما يؤدي إلى ضعف التوافق مع المقيمين البشر وعدم اتساق النتائج عبر النماذج المختلفة.
التحدي: إن جمع مسارات تفكير عالية الجودة من البشر أمر مكلف ويستغرق وقتاً طويلاً للغاية، لأنه يتطلب من الموثّقين صياغة العمليات المعرفية المعقدة بدلاً من مجرد اختيار ملصق/نتيجة.

2. المنهجية

يقترح المؤلفون إطار عمل تعاوني بين الإنسان والنموذج اللغوي الكبير لاستنتاج مسارات التفكير الكامنة من مجموعات البيانات الحالية التي تحتوي على الملصقات فقط. الابتكار الجوهري هو استخدام نماذج لغة الاستدلال (RLMs) كبدائل لإعادة بناء الاستدلال البشري.

أ. استنتاج مسارات التفكير الكامنة (أخذ عينات الرفض - Rejection Sampling)

يستخدم إطار العمل طريقة أخذ عينات الرفض لتوليد مسارات استدلال عالية الجودة:

المدخلات: مجموعة بيانات $D_{human}$ تحتوي على مدخلات ( $x_i$ ) وملصقات موثقة بشرياً ( $y_i$ ).
التوليد: يتم توجيه نموذج لغة استدلال (RLM) (مثل DeepSeek-R1) باستخدام المدخلات و"كودبوك" (دليل قواعد) التوسيم لتوليد $k$ من مسارات التفكير المرشحة ( $t'_{i,j}$ )، والتي تنتهي كل منها بملصق متوقع ( $y'_{i,j}$ ).
التصفية (الرفض): يتم الاحتفاظ فقط بالمسارات التي يتطابق فيها الملصق المتوقع للنموذج مع الملصق البشري الحقيقي ( $y'_{i,j} = y_i$ ).
الاختيار: يتم اختيار أول مسار مطابق ليكون مسار التفكير المعاد بناؤه ( $t'_i$ ).
المخرجات: مجموعة بيانات معززة $D_{reason} = \{(x_i, t'_i, y_i)\}$ ، حيث تتضمن كل نقطة بيانات المدخلات، والاستدلال المستنتج، والملصق النهائي.

ب. تطبيقان متكاملان

يتم تطبيق المسارات المستنتجة بطريقتين متميزتين لتحسين مقيمات النماذج اللغوية الكبيرة:

الضبط الدقيق للنماذج مفتوحة الأوزان (الضبط الدقيق المعزز بالاستدلال - Reasoning-Enhanced SFT):
- تُستخدم مجموعة البيانات المعززة $D_{reason}$ لإجراء الضبط الدقيق تحت الإشراف (SFT) للنماذج مفتوحة الأوزان.
- على عكس الـ SFT القياسي (الذي يتعلم فقط المدخل $\leftarrow$ الملصق)، يهدف هذا النهج إلى تدريب النموذج على توليد مسار التفكير الكامل قبل الملصق.
- الهدف: تعليم النموذج كيفية الاستدلال، وليس فقط ما هي الإجابة.
تحسين "الكودبوك" (دليل القواعد) للنماذج المملوكة (Proprietary Models):
- بالنسبة للنماذج ذات الصندوق الأسود (مثل GPT-4، Claude) حيث لا يمكن تحديث الأوزان، تُستخدم المسارات المستنتجة لتخليق إرشادات توسيم أفضل.
- العملية:
  - تحسين التعليمات: يقوم النموذج بتلخيص أنماط الاستدلال الشائعة من المسارات وتحويلها إلى تعليمات صريحة وخطوة بخطوة.

� * إثراء المعايير (Rubric Enrichment): يستخرج النموذج الانتقادات التمثيلية من المسارات لإنشاء معايير تقييم ملموسة قائمة على الأمثلة.
* ينتج عن ذلك "كودبوك مُحسّن" ( $C'$ ) يعمل كأداة توجيه (Prompt) متفوقة للنماذج اللغوية الكبيرة المملوكة.

3. المساهمات الرئيسية

إطار عمل مبتكر: طريقة قابلة للتوسع لإعادة بناء مسارات التفكير البشرية من البيانات التي تحتوي على الملصقات فقط باستخدام نماذج لغة الاستدلال وأخذ عينات الرفض.
استراتيجية التطبيق المزدوج: إثبات أن المسارات المستنتجة يمكنها كل من الضبط الدقيق للنماذج مفتوحة المصدر وتحسين المطالبات/الكودبوك للنماذج المملوكة.
أتمتة الكودبوك: خط معالجة (Pipeline) جديد لتحويل إرشادات التوسيم الغامضة إلى إجراءات مفصلة وخطوة بخطوة قائمة على أمثلة الاستدلال الناجحة.
التكيف اللاحق (Post-Hoc Adaptation): إظهار أن الإطار يمكنه العمل حتى مع النماذج التي لا تكشف عن رموز التفكير الداخلية باستخدام التفسيرات "اللاحقة" (توليد الاستدلال بعد الواقع بناءً على الملصق المعروف).

4. النتائج التجريبية

تم تقييم إطار العمل عبر خمس مهام متنوعة: تقييم القصص القصيرة، تقييم المقالات، تلخيص الأخبار، ترجمة الآلة، وتقييم ردود الشات بوت.

أ. الاتفاق مع الأحكام البشرية

الضبط الدقيق (Fine-Tuning): أدى الضبط الدقيق المعزز بالاستدلال (SFT) إلى تحسين التوافق بشكل كبير بين مقيمات النماذج اللغوية والأحكام البشرية.
- المقياس: ارتفع معامل "كيندال تاو" ( $\tau$ ) (ارتباط الترتيب) من الأساسي 0.197 إلى 0.281 (تحسن نسبي بنسبة 42.6%) في المتوسط.
- MSE: انخفض متوسط مربع الخطأ (Mean Squared Error) بشكل ملحوظ عبر معظم المهام.
تحسين الكودبوك: أدى استخدام الكودبوك المُحسّن مع النماذج المملوكة أيضاً إلى تحسين الاتفاق البشري-الآلي.
- المقياس: تحسن معامل "كيندال تاو" ( $\tau$ ) من 0.316 إلى 0.361 (تحسن بنسبة 14.2%) باستخدام مسارات DeepSeek.
- المقارنة: غالباً ما تفوقت المطالبات للنماذج المملوكة المتقدمة باستخدام الكودبوك المُحسّن على النماذج الأصغر التي خضعت للضبط الدقيق.

ب. موثوقية المقيمين (الاتساق)

زادت الكودبوكات المُحسّنة بشكل كبير من الاتفاق (ICC3) بين مختلف مقيمات النماذج اللغوية الكبيرة.
النتيجة: ارتفع متوسط موثوقية المقيمين من 0.580 إلى 0.621.
رؤية: في المهام شديدة الذاتية، أدى الكودبوك المُحسّن أحياناً إلى تقليل الاتفاق السطحي الناتج عن التحيزات المشتركة، مما أدى إلى توزيع أكثر طبيعية للأحكام يعكس التباين البشري بشكل أفضل.

ج. دراسات الاستئصال (Ablation Studies)

ضرورة المسارات: أدت النماذج التي تدربت فقط على الملصقات (بدون مسارات) إلى أداء أسوأ من النموذج الأساسي، مما يؤكد أن عملية الاستدلال حاسمة لتعلم مهام التقييم.
تحليل المكونات: ساهم كل من تحسين التعليمات وإثراء المعايير في الأداء، لكن تأثيرهما اختلف حسب المهمة (على سبيل المثال، ساعد تحسين المعاي more في اتساق الملخص، بينما ساعد تحسين التعليمات أكثر في صحة ردود الشات بوت).

5. الأهمية والتأثير

إطلاق القدرات من البيانات القديمة: تثبت الورقة أن مجموعات البيانات الضخمة الموجودة حالياً والتي تحتوي على "ملصقات فقط" يمكن تحويلها إلى موارد "غنية بالاستدلال" دون تكاليف جديدة للتوسيم البشري.
سد الفجوة: توفر حلاً عملياً لمشكلة "الصندوق الأسود" في تقييم النماذج اللغوية الكبيرة، مما يجعل المقيمات الآلية أكثر قابلية للتفسير والموثوقية.
القابلية للتوسع: تسمح طريقة أخذ عينات الرفض بالتوليد الجماعي لبيانات تدريب وإرشادات عالية الجودة، مما يسهل بناء مقيمات متخصحة وعالية الأداء.
الاتجاهات المستقبلية: يشير العمل إلى نموذج جديد للتعاون بين الإنسان والذكاء الاصطناعي حيث يقدم البشر "المعيار الذهبي" (الملصق)، ويتولى الذكاء الاصطناعي "الجهد المعرفي الثقيل" في صياغة الاستدلال، مما قد يسرع أيضاً من عملية تأهيل الموثقين البشر.

في الختام، تؤكد الورقة أن مسارات التفكير المستنتجة تعمل كبديل عالي الدقة للاستدلال البشري، مما يحل بفعالية مشكلة الموثوقية في التقييم الآلي للنماذج اللغوية الكبيرة للمهام الذاتية.