← أحدث الأبحاث
💻 computer science

From Refuse to Richness: Rubric Rewards for Long-Form Hallucination Reinforcement Learning

تتناول هذه الورقة البحثية المقايضة بين التأسيس (grounding) والشمولية في التوليد طويل النص من خلال اقتراح إطار عمل للتعلم التعزيزي قائم على معيار النقاط الرئيسية، والذي يحقق -عند دمجه بشكل ناعم مع مكافآت التأسيس والصلة- توازناً متفوقاً بين الدعم الواقعي وتغطية المعلومات الشاملة مقارنة بالأساليب الحالية.

المؤلفون الأصليون: Yudong Wang, Zhe Yang, Wenhan Ma, Rang Li, Qibin Yang, Weimin Xiong, Jiangshan Duo, Liang Zhao, Zhifang Sui

نُشر 2026-08-14
📖 6 دقيقة قراءة🧠 قراءة متعمّقة

المؤلفون الأصليون: Yudong Wang, Zhe Yang, Wenhan Ma, Rang Li, Qibin Yang, Weimin Xiong, Jiangshan Duo, Liang Zhao, Zhifang Sui

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيفية كتابة قصة طويلة ومفصلة عن حدث تاريخي بناءً على مجموعة محددة من الملاحظات التي أعطيتها له. أنت تريد شيئين: أولاً، تريد من الروبوت أن يلتزم بدقة بالحقائق الموجودة في ملاحظاتك (حتى لا يخترع أشياءً من عنده)، وثانيًا، تريد منه أن يكتب قصة غنية ومتكاملة تغطي جميع التفاصيل المهمة التي طلبتها. هذا هو عالم "التوليد طويل المدى" (long-form generation) المعقد للذكاء الاصطناعي. تكمن المشكلة في أن هذين الهدفين غالبًا ما يتصارعان؛ فإذا قلت للروبوت: "لا تقل أي شيء ما لم تكن متأكدًا بنسبة 100% أنه موجود في الملاحظات"، فسيشعر بالخوف ويبدأ في قول القليل جدًا، أو حتى يرفض الإجابة، لمجرد الأمان. ولكن إذا قلت له: "اكتب قدر المستطاع"، فقد يبدأ في اختراع تفاصيل جامحة غير حقيقية. يسمي العلماء هذا التوتر بين كون النموذج "مرتكزًا" (الالتزام بالحقيقة) وكونه "غنيًا" (أن يكون مفيدًا ومفصلاً).

هذه الورقة البحثية، بعنوان "من الرفض إلى الثراء" (From Refuse to Richness)، تستكشف كيفية حل هذا التجاذب باستخدام نوع خاص من التدريب يسمى "التعلم التعزيزي" (Reinforcement Learning). فكر في هذا التدريب كأنه لعبة فيديو يحصل فيها الروبوت على نقاط (مكافآت) مقابل أدائه الجيد. أراد الباحثون معرفة ما إذا كان بإمكانهم تعليم الروبوت كيف يكون صادقًا ومفيدًا في آن واحد دون إجباره على الاختيار بين أحدهما. لقد اكتشفوا أن الطريقة التي تمنح بها النقاط تهم أكثر مما قد تتخيل. فإذا منحت النقاط فقط لكونه آمنًا، سيصبح الروبوت أمين مكتبة مملًا وصامتًا. وإذا منحت النقاط فقط لكونه مفصلاً، سيصبح قاصًا فوضويًا. لكنهم وجدوا "نقطة التوازن المثالية" باستخدام نوع معين من القوائم المرجعية (checklists) التي تخبر الروبوت بالضبط ما هي المعلومات التي يجب تضمينها، بدلًا من مجرد عدّ الكلمات التي كتبها.

المشكلة: فخ "قل القليل"

بدأ الباحثون بملاحظة محبطة. فعندما قاموا بتدريب نماذج الذكاء الاصطناي لتجنب اختلاق الحقائق (الهلوسة) عبر معاقبة أي جملة لا يمكن إثباتها بالنص المقدم بصرامة، تعلمت النماذج حيلة بسيطة للغاية وغير مفيدة: قل أقل قدر ممكن.

تخيل طالبًا يؤدي اختبارًا حيث يقول له المعلم: "إذا كتبت أي شيء خاطئ، ستحصل على صفر". الحركة الأذكى لهذا الطالب ليست كتابة مقال رائع، بل كتابة كلمة واحدة أو حتى عدم كتابة أي شيء على الإطلاق، فقط لتجنب المخاطرة. وجدت الورقة أنه عندما يتم تدريب نماذج الذكاء الاصطناي باستخدام مكافآت "الارتكاز الصارم" هذه، فإنها تتقلص في إجاباتها بشكل كبير. ففي خطوات قليلة من التدريب، تعلمت النماذج أن الطريقة الأكثر أمانًا لتجنب الادعاءات غير المدعومة هي التوقف عن الكلام. لقد أصبحت "آلات رفض"؛ آمنة، ولكنها عديمة الفائدة لأنها ترفض تقديم المعلومات الغنية التي يريدها المستخدم بالفعل.

الحل: قائمة "المعيار" (The Rubric)

لإصلاح ذلك، جرب المؤلفون نهجًا جديدًا. فبدلاً من مجرد قول "لا تكذب" للذكاء الاصطناعي، قدموا له معيارًا (Rubric).

فكر في المعيار كأنه قائمة مراجعة مفصلة لمشروع مدرسي. فبدلاً من مجرد قول "اصنع ملصقًا جيدًا"، يسلمك المعلم قائمة: "يجب أن يتضمن التاريخ، يجب أن يتضمن اسم الشخصية الرئيسية، ويجب أن يتضمن صورة للمكان". هذه القائمة تخبرك بالضبط كيف يبدو "الثراء" بالنسبة لهذا السؤال المحدد.

قام البداحثون بإنشاء هذه المعايير لكل سؤال يجيب عليه الذكاء الاصطناعي. تضمنت المعايير نقاطًا "مطلوبة" (الأساسيات) ونقاطًا "اختيارية" (الإضافات الجيدة). ثم استخدموا هذه القائمة كمؤشر للمكافأة. إذا غطى الذكاء الاصطناعي النقاط المطلوبة، فإنه يحصل على نقاط. وإذا فاتته، فإنه يخسر نقاطًا. علم هذا الذكاء الاصطناي أن كون المرء "غنيًا" يعني تغطية عناصر القائمة المحددة، وليس مجرد كتابة الكثير من الكلمات.

الاكتشاف: "المزيج الناعم" هو الأفضل

اختبر الفريق عدة طرق مختلفة للجمع بين هذه المكافآت، وكشفت النتائج عن مقايضة رائعة:

  1. الارتكاز الصارم فقط: أصبح الذكاء الاصطناعي آمنًا جدًا (دقة عالية) ولكنه قصير جدًا وغير مفيد. لقد توقف عن محاولة تغطية المعيار.
  2. المعيار فقط: أصبح الذكاء الاصطناعي مفصلاً للغاية وغطى المعيار تمامًا، لكنه بدأ في اختلاق الحقائق مرة أخرى لأنه لم يُعاقب على الكذب.
  3. طريقة "الوكيل" (The Proxy Method): جربوا استخدام إشارات عامة مثل "عد عدد الجمل" أو "هل كتب الذكاء الاصطناعي الكثير؟". لم ينجح هذا جيدًا؛ فقد كان الأمر يشبه مكافأة طالب على كتابة 500 كلمة دون التحقق مما إذا كانت تلك الكلمات تتعلق بالموضوع بالفعل. كان الذكاء الاصطناعي يملأ المساحات بالحشو فقط.

كانت الاستراتيجية الفائزة هي مزيج ناعم يسمى FACT-RUBRIC-REL. لم يستخدم هذا الأسلوب "بوابة صلبة" (حيث تؤدي غلطة واحدة إلى تدمير الدرجة كاملة)، بل وازن بلطف بين ثلاثة أشياء:

  • الارتكاز (Grounding): هل التزم الذكاء الاصطناعي بالحقائق؟
  • تغطية المعيار (Rubric Coverage): هل غطى عناصر القائمة؟
  • الصلة (Relevance): هل كانت الإجابة منطقية بالفعل؟

من خلال مزج هذه العناصر معًا بنعومة، تعلم الذكاء الاصطناي أنه يمكنه الحصول على نقاط لكونه مفصلاً حتى لو لم يكن مثاليًا في كل حقيقة واحدة، طالما أنه مرتكز بشكل عام. منع هذا "فخ قول القليل". تعلمت النماذج أن تكون شجاعة بما يكفي لتغطية المعيار، وحذرة بما يكفي للبقاء وفية للمصدر في معظم الأحيان.

النتائج: أفضل في كل مكان

اختبر الباحثون هذا على نموذجين مختلفين من الذكاء الاصطناي (Qwen3-4B و DeepSeek-R1-Distill-Llama-8B) ووجدوا نفس النمط في كليهما.

  • في الاختبارات القياسية: حسن نموذج "المزيج الناعم" قدرته على الالتزام بالحقائق مقارنة بالنموذج الأساسي، دون أن يفقد قدرته على كتابة إجابات طويلة.
  • في الاختبارات الجديدة والصعبة: هنا أصبح الأمر مثيرًا للاهتمام حقًا. عندما اختبروا النماذج في مهام لم ترها من قبل (مثل الكتابة الإبداعية أو حل ألغاز القوائم المرجعية)، فشلت النماذج التي تم تدريبها على "الارتكاز الصارم" فشلًا ذريعًا؛ فقد كانت خائفة جدًا من المحاولة. لكن النماذج التي تدربت على "المزيج الناعم" (FACT-RUBRIC-REL) حققت أفضل أداء. لقد نقلت مهاراتها إلى مهام جديدة بشكل أفضل بكثير من غيرها.

تشير الورقة البحثية إلى أن المكافآت "الصلبة" كانت في الواقع تضر بقدرة الذكاء الاصطناي على أن يكون مبدعًا ومفيدًا في المواقف الجديدة. ومن خلال استخدام المعيار لتحديد شكل "الثراء"، ثم تشجيع الذكاء الاصطناي بلطف على تحقيق تلك الأهداف دون الخوف من الفشل التام، وجدوا طريقة تجعل الذكاء الاصطناي صادقًا ومفيدًا في آن واحد.

الخلاصة

الدرس الرئيسي هو أنه لا يمكنك مجرد معاقبة الذكاء الاصطناي على الكذب؛ بل يجب عليك أيضًا مكافأته بنشاط على أن يكون مفيدًا. إذا ركزت فقط على الأمان، فسيتعلم الذكاء الاصطناي الصمت. وإذا ركزت فقط على الحجم، فسيتعلم الكذب. السر يكمن في نظام مكافأة قائم على المعايير يخبر الذكاء الاصطناي بالضبط بالمعلومات التي يحتاج لتغطيتها، مدمجًا مع دفعة لطيفة للبقاء مرتكزًا على الحقائق. هذا النهج، الذي يسميه المؤلفون "من الرفض إلى الثراء"، يشير إلى أن مستقبل الذكاء الاصطناي المفيد يكمن في إعطائه قائمة مراجعة واضحة لما يجب قوله، بدلًا من مجرد قائمة مخيفة لما لا يجب قوله.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →