Factuality on Demand: Controlling the Factuality-Informativeness Trade-off in Text Generation
تقدم هذه الورقة البحثية "التوليد المُتحكّم فيه بالواقعية" (FCG)، وهو إطار عمل يتيح للمستخدمين تحديد قيود الواقعية في توليد النصوص للتنقل بين المقايضة بين الدقة والإخبارية، مما يثبت أن التدريب على بيانات اصطناعية يعزز بشكل كبير قدرة النموذج على الموازنة بين هذين الهدفين المتعارضين.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً آلياً ذكياً ومطلعاً جداً. هذا الروبوت يعرف الكثير، لكن لديه شخصية مراوغة: فأحياناً يكون متأكداً بنسبة 100% من حقيقة ما، وفي أحيان أخرى يكون مجرد تخمين أو يختلق أشياء ليبدو مثيراً للاهتمام.
عندما تسأل هذا الروبوت سؤالاً، فإنه يواجه معضلة:
- الخيار (أ): يمكنه تقديم إجابة قصيرة ومملة وصادقة بنسبة 100%، لكنها قد تفتقر إلى التفاصيل الممتعة.
- الخيار (ب): يمكنه تقديم إجابة طويلة ومثيرة وتفصيلية، ولكن هناك خطر في أن تكون بعض تلك التفاصيل مختلقة أو خاطئة.
عادةً، يختار الروبوت أحد الخيارين، ولا يمكنك حقاً أن تقول له: "مهلاً، أريد إجابة دقيقة بنسبة 90%"، أو "أعطني الحقائق بنسبة 100% فقط، بغض النظر عن مدى قصر الإجابة".
المشكلة: الروبوت لا يستمع
حاول الباحثون في هذه الورقة البحثية إصلاح ذلك ببساطة عبر قولهم للروبوت: "يرجى أن تكون أكثر واقعية!" أو "أعطني إجابة دقيقة بنسبة 80%".
لسوء الحظ، لم يستمع الروبوت. الأمر يشبه طلبك من صديق ثرثار أن "يكون موجزاً" بينما هو في منتصف سرد قصة؛ سيستمر في الكلام فحسب. حتى عندما طلب منه الباحثون أن يكون صارماً للغاية (دقة 100%)، لم يستطع القيام بذلك بشكل موثوق. فإما أنه يعطي إجابة خاطئة أو يتوقف عن الكلام تماماً.
الحل: تدريب الروبوت باستخدام "فلتر الحقيقة"
ابتكر الفريق نظاماً جديداً يسمى توليد التحكم في الواقعية (FCG). بدلاً من مجرد الطلب من الرالب بلطف، قرروا تدريبه كطالب.
إليكم كيف فعلوا ذلك، باستخدام تشبيه بسيط:
1. مرحلة "المسودة":
أولاً، طلبوا من الروبوت كتابة سيرة ذاتية طويلة ومفصلة لشخص مشهور دون أي قواعد. كتب الروبوت قصة ضخمة.
2. مرحلة "فحص الثقة":
بعد ذلك، طلبوا من الروبوت النظر في كل جملة كتبها وتقييم مدى تأكده من أن الجملة حقيقية.
- الجملة: "القمر مصنوع من الجبن." -> الروبوت يقول: "أنا متأكد بنسبة 0% أن هذا صحيح."
- الجملة: "القمر يدور حول الأرض." -> الروبوت يقول: "أنا متأكد بنسبة 100% أن هذا صحيح."
3. مرحلة "التحرير":
الآن، وضعوا قاعدة محددة. أخبروا الروبوت: "إذا كنت تريد إعطائي إجابة دقيقة بنسبة 80%، يجب عليك حذف الجمل التي لست متأكداً منها بأقل قدر ممكن حتى تصل إلى علامة الـ 80% تلك."
فعلوا ذلك رياضياً. إذا طُلب من الروبوت إجابة دقيقة بنسبة 80%، فإنهم يأخذون مسودته الطويلة، ويقصون الحقائق "المتذبذبة"، ويحتفظون بالحقائق "الصلبة". فعلوا ذلك لمستويات مختلفة (80%، 90%، 100%).
4. مرحلة "الدراسة":
أخذوا كل هذه الأمثلة المعدلة (السؤال + "كن دقيقاً بنسبة 80%" + الإجابة المعدلة) واستخدموها لـ إعادة تدريب الروبوت. علموه: "عندما ترى الرقم 80، فأنت تعرف بالضبط كيف تعدل أفكارك لتصل إلى ذلك الهدف".
النتائج: روبوت يمكنه ضبط نفسه
بعد هذا التدريب، أصبح الروبوت أفضل بكثير في اتباع التعليمات.
- قبل التدريب: إذا طلبت منه دقة 100%، كان غالباً ما يفشل أو يعطي إجابة فارغة.
- بعد التدريب: عندما يُطلب منه دقة 100%، كان يقدم إجابات صحيحة تماماً. وعندما يُطلب منه دقة 80%، كان يقدم إجابات أطول وأكثر إثارة للاهتمام مع بقائها صحيحة في معظمها.
استعارة "المقايضة":
فكر في مخرجات الروبوت مثل سلطة الفواكه.
- الواقعية (الحقيقة) هي عدد الفواكه الطازجة والحقيقية في الطبق.
- الإخبارية (المعلوماتية) هي حجم وعاء الفاكهة.
عادةً، إذا أردت وعاءً يحتوي على فاكهة طازجة بنسبة 100%، فسيتعين عليك رمي كل شيء تقريباً، مما يتركك بوعاء صغير جداً. وإذا أردت وعاءً ضخماً، فسيتعين عليك تضمين بعض الفاكهة التالفة أو المشكوك فيها.
وجد الباحثون أن طريقة التدريب الجديدة هذه سمحت للروبوت بصنع وعاء أكبر (مزيد من المعلومات) مع الحفاظ على نفس مستوى النضارة (الواقعية) كما في السابق. لقد قاموا بنقل الحد الأقصى، مما سمح بمزيد من سلطة الفواكه اللذيذة دون الفاكهة السيئة.
ملخص
تظهر الورقة البحثية أنه لا يمكنك مجرد إخبار ذكاء اصطناعي ذكي بأن "يكون أكثر واقعية" وتتوقع أن يعمل ذلك. بدلاً من ذلك، يجب عليك إظهار أمثلة له لكيفية تحرير إجاباته لتلبية أهداف دقة محددة. بمجرد تدريبه بهذه الطريقة، يمكن للروبوت أن يعمل مثل "مفتاح الضبط": يمكنك تدوير المقبض نحو "دقة عالية، تفاصيل قليلة" أو "دقة متوسطة، تفاصيل كثيرة"، وسيقدم لك بالضبط ما طلبته.
ملاحظة: اختبر الباحثون هذا تحديداً في كتابة السير الذاتية للأشخاص. لم يختبروا ذلك في النصائح الطبية، أو الوثائق القانونية، أو تطبيقات واقعية أخرى محددة في هذه الورقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.