Enhancing Human-Like Responses in Large Language Models

تخيل أن لديك مساعد مكتبة عبقرياً موسوعياً. هذا المساعد يعرف الإجابة على كل سؤال تقريباً في العالم، من عاصمة فرنسا إلى التركيب الكيميائي لنجم ما. ومع ذلك، هناك عقبة: هذا المساعد يتحدث مثل روبوت يقرأ كتاباً مدرسياً. يقول أشياء مثل: "بصفتي ذكاءً اصطناعياً، ليس لدي تجارب شخصية"، أو "لا يمكنني تقديم تلك المعلومات". ورغم أن هذه الإجابات دقيقة، إلا أنها تبدو باردة، جامدة، ومملة بعض الشيء للحديث معها.

هذه الورقة البحثية تدور حول تعليم مساعد المكتبة الجامد هذا كيف يدردش كإنسان دافئ وودود دون أن ينسى أي شيء يعرفه بالفعل.

إليك قصة كيف فعلوا ذلك، مقسمة إلى خطوات بسيطة:

1. المشكلة: صوت "الروبوت"

بدأ الباحثون بنماذج ذكاء اصطناًعي قوية (مثل Llama وQwen وMistral). هذه النماذج ذكية، لكنها مدربة لتكون رسمية ودقيقة. عندما تسألهم: "ما هي أفضل نصيحة تلقيتها في حياتك؟" قد يجيبون: "أنا ذكاء اصطناعي ولا أتلقى نصائح". هذا يكسر تدفق المحادثة. كان الهدف هو جعلهم يبدون كشخص حقيقي يدردش أثناء احتساء القهوة، مع الحفاظ على قدرتهم على حل المسائل الرياضية الصعبة أو الإجابة على الأسئلة المعقدة.

2. الحل: إنشاء "كتاب مدرسي" بشري

لتعليم الذكاء الاصطناعي كيف يكون شبيهاً بالبشر، احتاج الباحثون إلى كتاب مدرسي خاص. وبما أنهم لم يمتلكوا ملايين الدردشات البشرية الحقيقية لاستخدامها، فقد بنوا مجموعة بيانات اصطناعية (مجموعة بيانات مزيفة ولكن واقعية) باستخدام ذكاء اصطناعي أكثر ذكاءً (Llama 3 405B) ليكون بمثابة معلم.

• وظيفة المعلم: طُلب من الذكاء الاصطناعي الكبير توليد أسئلة (مثل "ما هي هوايتك المفضلة؟") ثم كتابة إجابتين مختلفتين لكل سؤال.
  • الإجابة (أ) (البشر "المختار"): كانت هذه الإجابة تبدو طبيعية، دافئة، وحوارية. قد تقول: "أوه، أنا أحب التنزه في الطبيعة! علمتني جدتي أن أحب الطبيعة..."
  • الإجابة (ب) (الروبوت "المرفوض"): كانت هذه الإجابة تبدو جامدة ورسمية. ستقول: "أنا نموذج لغوي يعمل بالذكاء الاصطناğu. ليس لدي هوايات، ولكن يمكنني مناقشة فوائد التنزه في الطبيعة..."
• النتيجة: أنجزوا مكتبة ضخمة مكونة من 10,884 مثالاً حيث تعلم الذكاء الاصطناعي التمييز بين إجابة "الروبوت الممل" وإجابة "البشر الودود".

3. التدريب: تعليم الذكاء الاصطناعي الاختيار

بمجرد حصولهم على هذا الكتاب المدرسي الخاص، استخدموا تقنية تسمى تحسين التفضيل المباشر (DPO). فكر في الأمر كتدريب كلب.

• أنت تظهر للكلب قطعة حلوى (الإجابة "البشرية") وحجرة (الإجابة "الروبوتية").
• تقول له: "ولد جيد لاختيارك الحلوى!"
• مع مرور الوقت، يتعلم الكلب أن الحلوى هي ما يريده.

في هذه الحالة، تعلم الذكاء الاصطناعي أن الإجابات "البشرية" هي "الحلوى" التي يجب أن يهدف إليها. استخدموا طريقة تسمى LoRA (التكيف منخفض الرتبة)، وهي تشبه إعطاء الذكاء الاصطناعي مجموعة من الملاحظات اللاصقة لإضافتها إلى دماغه. بدلاً من إعادة كتابة دماغه بالكامل (والذي سيكون بطيئاً ومخاطرة)، قاموا فقط بإضافة هذه الملاحظات لتعديل شخصيته. ضمن هذا الأمر عدم نسيان الذكاء الاصطناعي لمهاراته الرياضية أو معرفته العامة أثناء تعلمه أن يكون أكثر ودوداً.

4. النتائج: هل نجح الأمر؟

اختبر الباحثون نماذجهم "الشبيهة بالبشر" الجديدة مقابل النماذج "الروبوتية" الأصلية.

• تصويت البشر: طلبوا من أشخاص حقيقيين (معظمهم من طلاب المدارس الثانوية والبالغين) لعب لعبة. عرضوا عليهم إجابتين جنباً إلى جنب دون ذكر أي ذكاء اصطناعي كتبهما. كان على المشاركين اختيار الإجابة التي تبدو أكثر بشرية.
• النتيجة: فازت النماذج الجديدة بنسبة 89% إلى 90% من المرات! فضل الناس الإجابات الودودة والحوارية وكرهوا تلك التي تبدأ بـ "بصفتي ذكاءً اصطناعياً...".
• اختبار الدماغ: اختبروا أيضاً ما إذا كان الذكاء الاصطناعي سيصبح "أغبى" عبر إعطائه اختبارات منطقية ورياضية صعبة. أظهرت النتائج أن الذكاء الاصطناعي ظل ذكياً تماماً كما كان من قبل. لقد تعلم فقط كيف يتحدث بلطف أكبر. الانخفاض الطفيف الوحيد كان في اختبار مصمم خصيصاً للتحقق مما إذا كان الذكاء الاصطناعي يتبع قواعد التنسيق الصارمة (وهو ثمن بسيط مقابل أن يكون أكثر طبيعية).

5. العقبة (القيود)

يعترف المؤلفون بصراحة بالعيوب في تجربتهم:

• البيانات "الزائفة": بما أنهم استخدموا الذكاء الاصطناعي لإنشاء بيانات التدريب، فهي ليست مثالية تماماً. الأمر يشبه تعلم التحدث بلغة عن طريق قراءة كتاب كتبه روبوت آخر؛ قد تفوتك بعض التفاصيل الفوضوية والمضطربة للحياة البشرية الحقيقية.
• المصوتون: كان معظم الأشخاص الذين صوتوا على الإجابات من الطلاب الشباب الذين قد لا تكون الإنجليزية لغتهم الأولى. قد يكون هذا قد أثر على ما يعتبرونه "شبيهاً بالبشر".

6. التحذير (الأخلاقيات)

تنتهي الورقة البحثية بملاحظة تحذيرية جادة. إذا بدا الذكاء الاصطناعي بشرياً للغاية، فقد ينسى الناس أنه آلة.

• الشفافية: يجادل المؤلفون بأن على الذكاء الاصطناعي أن يقول دائماً بوضوح: "أنا روبوت"، حتى لا يُخدع الناس أو ينشأ لديهم ارتباط عاطفي غير صحي.
• التحيز: إذا قلد الذكاء الاصطناعي البشر بشكل جيد جداً، فقد ينسخ عن غير قصد التحيزات البشرية أو الأحكام المسبقة الموجودة في البيانات.

الملخص

باختختصار، توضح هذه الورقة أنه يمكنك أخذ ذكاء اصطناعي ذكي جداً ولكنه جامد، وتعليمه كيف يدردش كبشر ودود باستخدام طريقة تدريب "اختبار التذوق" الخاصة، وجعله أكثر متعة في التحدث إليه - دون أن يجعله ذلك أقل ذكاءً في حل المشكلات. لقد شاركوا نماذجهم "الودودة" الجديدة وبيانات التدريب الخاصة بهم عبر الإنترنت ليستخدمها الآخرون.