Alignment Makes Language Models Normative, Not Descriptive
تُظهر هذه الورقة أنه بينما يعمل محاذاة ما بعد التدريب على تحسين النماذج اللغوية للاستخدام البشري، فإنه يحولها جوهرياً من كونها نماذج وصفية سلوكية تمثل السلوك البشري الفعلي في التفاعلات الاستراتيجية المعقدة متعددة الجولات، إلى نماذج تنبؤية معيارية تتفوق فقط في الإعدادات التي تتوافق فيها الخيارات البشرية مع الحلول المثالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك نسختين من مساعد آلي ذكي للغاية.
- النسخة أ (النموذج الأساسي): هذا هو الروبوت مباشرة بعد انتهائه من قراءة الإنترنت بأكمله. إنه يعرف كل ما قاله أو كتبه أو تجادل فيه البشر. إنه خام، غير مصفى، وفوضوي أحياناً. يمكن أن يكون فظاً، استراتيجياً، مخادعاً، أو حتى مجنوناً قليلاً، لأن هذا هو بالضبط كيف يتحدث ويتصرف البشر في الواقع.
- النسخة ب (النموذج المتوافق): هذا هو نفس الروبوت، لكنه ذهب إلى "مدرسة حسن السلوك". قام البشر بتدريبه ليكون مهذباً، عادلاً، متعاوناً، وأن يفعل دائماً الشيء "الصحيح". هذا هو الروبوت الذي تريده لكتابة بطاقة تهنئة بعيد ميلاد أو لمساعدتك في التخطيط لحفلة.
السؤال الكبير:
أراد الباحثون معرفة: أي الروبوتين أفضل في التنبؤ بما سيفعله الإنسان "الحقيقي" فعلياً في موقف صعب؟
التجربة: "لعبة الحياة"
وضع الباحثون كلا الروبوتين في سلسلة من الألعاب المعقدة حيث يتعين على البشر اتخاذ خيارات صعبة. فكر في هذه الألعاب كأنها:
- المساومة: محاولة تقسيم بيتزا مع صديق قد يغضب إذا أخذت الكثير منها.
- التفاوض: محاولة بيع سيارة لشخص يريد دفع أقل سعر ممكن.
- معضلة السجين: تقرير ما إذا كنت ستثق في شريكك أم ستخونه لإنقاذ نفسك.
سألوا الروبوتين: "إذا كان هناك إنسان حقيقي في هذا الموقف، فماذا سيختار؟"
النتيجة المفاجئة
هنا تكمن المفاجأة: الروبوت "المهذب" (المتوافق) كان سيئاً جداً في التنبؤ بالبشر الحقيقيين في هذه الألعاب.
- في الألعاب متعددة الجولات (على المدى الطويل): عندما استمرت اللعبة لعدة جولات، بدأ البشر يتصرفون كبشر حقيقيين. لقد غضبوا، وانتقموا، وعقدوا صفقات، وكذبوا، وتكيفوا بناءً على ما حدث سابقاً.
- الروبوت الأساسي (الفوضوي) توقع هذه التحركات بدقة شبه مثالية. لقد فهم أن البشر ليسوا لطفاء دائماً؛ بل ينتقمون أحياناً.
- الروبوت المتوافق (المهذب) استمر في التخمين بأن البشر سيكونون عادلين ومتعاونين. لقد فشل فشلاً ذريعاً لأن البشر في هذه الألعاب غالباً ليسوا عادلين.
- النتيجة: فاز الروبوت الفوضوي 10 أضعاف ما فاز به الروبوت المهذب.
لماذا حدث هذا؟
فكر في الروبوت المتوافق كطالب درس فقط "إجابات الكتاب المدرسي".
- في الكتاب المدرسي، الإجابة "الصحيحة" للتفاوض هي عادة أن تكون عادلاً وتصل إلى حل وسط.
- لكن في الحياة الواقعية، غالباً ما يمارس الناس أساليب الخداع، أو يغضبون، أو يحاولون خداع الطرف الآخر.
- ولأن الروبوت المتوافق تم تدريبه ليكون هو "الشخص الجيد"، فقد نسي كيف يتنبأ بـ "الشخص السيئ". لقد افترض أن الجميع يحاولون أن يكونوا جيدين أيضاً.
أما الروبوت الأساسي، فقد رأى بيانات "العالم الحقيقي". لقد عرف أن البشر معقدون، وغير عقلانيين أحياناً، وغالباً ما تحركهم التجارب السابقة (مثل: "لقد خدعتني في المرة الماضية، لذا سأخدعك الآن").
متى كان الروبوت المهذب أفضل؟
الروبوت المهذب فاز بالفعل، ولكن في حالات محددة وبسيطة جداً:
- الألعاب ذات الجولة الواحدة: إذا لعبت لعبة مرة واحدة ولم ترَ الشخص الآخر مجدداً، يميل البشر إلى التصرف مثل "الكتاب المدرسي" (عقلانيون وعادلون). وقد خمن الروبوت المهذب ذلك بشكل صحيح.
- الخيارات البسيطة: إذا كان عليك فقط الاختيار بين تذكرتين لليانصيب (بدون استراتيجية، أو خصم)، كان الروبوت المهذب أفضل في اتباع قواعد اللعبة.
الدرس الكبير
يكشف هذا البحث عن مقايضة جوهرية:
- إذا كنت تريد روبوتاً "يساعدك" (يكتب رسائل البريد الإلكتروني، يكون مهذباً، يتبع القواعد)، فأنت تريد النموذج المتوافق.
- إذا كنت تريد روبوتاً "يفهم" البشر (يتنبأ بكيفية تصويت الجمهور، أو كيف ينهار السوق، أو كيف يتقاتل الناس في مفاوضات)، فأنت في الواقع تريد النموذج الأساسي.
الاستعارة:
تخيل أنك تحاول التنبؤ بالطقس.
- النموذج المتوافق يشبه تطبيق طقس يتنبأ دائماً بأن الجو سيكون "مشمس ومثالي" لأن هذا ما يريده الناس أن يكون عليه الطقس. إنه رائع لتخطيط نزهة، لكنه سيء جداً في التنبؤ بالعاصفة.
- النموذج الأساسي يشبه راداراً خاماً يظهر المطر والبرد والأعاصير. إنه فوضوي ومخيف، لكنه يخبرك بالضبط بما سيحدث حتى تتمكن من الاستعداد.
الخلاصة:
نحن نفترض غالباً أن جعل الذكاء الاصطناعي "أكثر أماناً" و"أكثر لطفاً" يجعله أكثر ذكاءً. يقول هذا البحث: ليس بالضرورة. عندما نجبر الذكاء الاصطناي على أن يكون "جيداً"، فإننا دون قصد نجعله أعمى عن الواقع الفوضوي والاستراتيجي، وأحياناً "السيئ"، لكيفية تصرف البشر في الواقع. إذا كنت تريد محاكاة السلوك البشري، فقد تحتاج إلى إيقاف تشغيل فلتر "حسن السلوك".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.