Feedback-to-Rubrics: Can We Learn Expert Criteria from Inline Comments?

تخيل أنك محرر مبتدئ في دار نشر، لديك كومة من المخطوطات، لكنك لا تعرف بالضبط ما الذي يبحث عنه المحررون الأقدم منك. لقد رأيت علامات قلمهم الأحمر (التعليقات المضمنة) على مسودات قديمة، لكنك لم تُخبر قط بالقواعد الكامنة وراء تلك العلامات. أنت تعلم أنهم يضعون دائرة حول جملة ويكتبون "غامضة للغاية"، لكنك لا تعرف ما إذا كان ذلك يعني "أعطِ المزيد من الأرقام"، أو "اشرح المنطق"، أو "استشهد بمصدر".

هذه الورقة البحثية، بعنوان "من التعليقات إلى المعايير" (Feedback-to-Rubrics)، تتحدث عن تعليم الكمبيوتر كيفية استنباط تلك القواعد الخفية بمجرد النظر إلى كومة من علامات القلم الأحمر.

إليك تفصيل لما قاموا به، باستخدام تشبيهات بسيطة:

1. المشكلة: "الخلطة السرية" الضمنية

عادةً، عندما يراجع الخبراء (مثل المحررين الأقدم أو العلماء) عملاً ما، يكون لديهم قائمة مراجعة ذهنية لما يجعل الشيء جيداً أو سيئاً. لكنهم نادراً ما يكتبون هذه القائمة. إنها معرفة "ضمنية" — مثل طباخ يعرف أن الحساء يحتاج إلى مزيد من الملح، لكنه لا يستطيع شرح لماذا أو كم بالضبط دون تذوقه أولاً.

نماذج اللغات الكبيرة (LLMs) بارعة في الكتابة، لكنها سيئة جداً في تخمين هذه القواعد الخفية وغير المكتوبة. إذا طلبت من الذكاء الاصطناعي "تحسين هذا"، فقد يغير الأشياء الخاطئة لأنه لا يعرف "النكهة" المحددة لتفضيلات الخبير.

2. الحل: تحويل "الخربشات" إلى "وصفة"

يقترح المؤلفون طريقة جديدة لتعلم هذه القواعد. بدلاً من مطالبة البشر بكتابة كتاب قواعد (وهو أمر صعب لأنهم لا يعرفون كيفية شرح مشاعرهم الحدسية)، فإنهم ينظرون إلى التعليقات المضمنة التي تركها الخبراء بالفعل على آلاف المسودات.

فكر في التعليقات المضمنة كأنها خربشات على خريطة:

• الطريقة القديمة: محاولة تخمين موقع الكنز من خلال النظر إلى الخريطة بأكملها.
• طريقة هذه الورقة: النظر إلى كل خربشة، ومعرفة نوع الكنز الذي كان صانع الخريطة يبحث عنه، ثم رسم "خريطة كنز" جديدة وواضحة (وهي المعيار/الروبريك) تشرح بالضبط أين يجب البحث.

3. كيف يتعلم الآلة: حلقة "التخمين، التحقق، والإصلاح"

تعمل الطريقة مثل طالب يذاكر للاختبار من خلال حل أسئلة تدريبية والتحقق من نموذج الإجابة.

1. التخمن الأول: ينظر الكمبيوتر إلى مجموعة من المسودات القديمة والتعليقات الموجودة عليها. يحاول كتابة "كتاب قواعد" (معيار) تقريبي بناءً على ما يراه.
2. المحاكاة: يتظاهر الكمبيوتر بأنه خبير. يأخذ مسودة جديدة، ويقرأ "كتاب القواعد" الخاص به، ويحاول كتابة تعليقات عليها.
3. التحقق من الواقع: يقارن تعليقاته بالتعليقات الحقيقية التي كتبها الخبير البشري.
   • هل أغفل الكمبيوتر نقطة ذكرها الإنسان؟
   • هل اشتكى الكمبيوتر من شيء تجاهله الإنسان؟
4. الإصلاح (الخطوة السحرية): هذا هو الجزء الأهم. الكمبيوتر لا يكتفي بالقول "لقد أخطأت". بل ينظر إلى القاعدة المحددة في "كتاب القواعد" الخاص به والتي تسببت في الخطأ.
   • تشبيه: تخيل أنك تحاول خبز كعكة. تذوقتها ووجدتها مالحة جداً. بدلاً من قول "الكعكة سيئة"، تدرك أن "القاعدة التي كتبتها كانت تقول 'أضف رشة ملح'، ولكنني كنت أحتاج فعلياً إلى 'رشة ملح لكل كوب دقيق'".
   • يقوم الكمبيوتر بتحديث "كتاب القواعد" الخاص به ليكون أكثر تحديداً، حيث يضيف حدوداً وأمثلة حتى لا يرتكب نفس الخطأ في المرة القادمة.

يفعلون ذلك مراراً وتكراراً (بشكل تكراري)، ويقومون بتنقيح "كتاب القواعد" حتى يحاكي أسلوب الخبير تماماً.

4. ماذا وجدوا (النتائج)

اختبر المؤلفون هذه الطريقة على تسعة أنواع مختلفة من الكتابة، من المقترحات البحثية إلى سجلات الدردشة الطبية. ووجدوا ثلاثة أشياء رئيسية:

• تعليقات أفضل: عندما استخدموا "كتاب القواعد" الذي تعلمه الكمبيوتر لإنشاء ملاحظات، كانت الملاحظات أكثر دقة وفائدة بكثير مما لو لم يكن لدى الكمبيوتر كتاب قواعد أو لو اعتمد فقط على البحث عن تعليقات سابقة مشابهة.
• كتاب قواعد أوضح: لم يكن "كتاب القواعد" النهائي مجرد قائمة من الأفكار الغامضة مثل "كن واضحاً". بل أصبح دليلاً مفصلاً ومحدداً (على سبيل المثال: "إذا كان السؤال البحثي واسع النطاق للغاية، فوضح أنه يحتاج إلى نطاق محدد"). لقد نجح بالفعل في التقاط "الخلطة السرية" للخبراء.
• تعديلات أفضل: عندما أعطوا هذا "كتاب القواعد" المتعلم لذكاء اصطناعي وطلبوا منه إصلاح مسودة سيئة، أدى الذكاء الاصطناعي مهمة أفضل بكثير في تحسين النص ليتناسب مع ما أراده الخبراء البشر.

5. الخلا-صة

تظهر هذه الورقة أنك لست بحاجة لمطالبة الخبراء بكتابة دليل حول كيفية مراجعة الأشياء. يمكنك ببساطة تغذية الكمبيوتر بملاحظاتهم السابقة (التعليقات)، وتركه يلعب لعبة "تخمين القاعدة" و"إصلاح الخطأ" بشكل متكرر، وسوف يتعلم في النهاية مجموعة من المعايير المكتوبة والقابلة لإعادة الاستخدام التي تلتقط خبرتهم.

ما لم يفعلوه:

• لم يختبروا ذلك على التشخيصات الطبية أو العلاجات السريرية.
• لم يدّعوا أن هذا سيحل محل المحررين البشر تماماً.
• لم يقولوا إن هذا يعمل مع أي نوع من البيانات، بل فقط مع مسودات النصوص التي تحتوي على تعليقات مضمنة.

باختاً: لقد علموا الكمبيوتر كيفية القراءة ما بين السطور في التعليقات البشرية وتحويل تلك الملاحظات الفوضوية إلى دليل تعليمات نظيف وقابل للاستخدام.