From Simulation to Enaction: Post-trained language models recognize and react to their own generations
تُظهر هذه الورقة أن النماذج اللغوية التي خضعت للتدريب اللاحق تدرك ضمنيًا توليداتها الخاصة بالسياسة المتبعة من خلال انخفاض اعتلاج المخرجات الناتج عن تتبع المفاجأة الداخلي، بينما تمتلك أيضًا القدرة المتميزة على التعبير الصريح عن هذا الإدراك عبر آلية منفصلة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل نموذج لغة كأنه ممثل موهوب للغاية أمضى سنوات في حفظ آلاف النصوص من الكتب والأفلام والإنترنت. قبل أي تدريب خاص، يكون هذا الممثل محاكياً سلبياً. يمكنه قراءة سطر من حوار وتخمين السطر التالي المحتمل، لكنه لا يهتم حقاً بمن يتحدث أو ماذا سيحدث بعد ذلك. هو مجرد يتنبأ بالكلمة التالية بناءً على مكتبة ضخمة من النصوص التي رآها من قبل. ليس لديه "ذات"؛ هو مجرد مرآة تعكس أي نص يوضع أمامه.
تجادل هذه الورقة البحثية بأنه بعد التدريب اللاحق (العملية التي يعلم فيها البشر النموذج ليكون مساعداً مفيداً)، يتغير شيء ما. يتوقف النموذج عن مجرد محاكاة شخصية ويبدأ في تجسيد دور. يبدأ في التعرف على صوته الخاص، وخططه الخاصة، وأفعاله الخاصة.
إليك تفصيل لنتائج الورقة البحثية باستخدام تشبيهات بسيطة:
1. تحول "الثقة" (الاعتلاج/الإنتروبي)
في عالم الذكاء الاصطناعي، كلمة "الاعتلاج" (Entropy) هي كلمة معقدة تعني عدم اليقين أو التردد.
- الطريقة القديمة (ما قبل التدريب): إذا سألت النموذج سؤالاً، فالأمر يشبه ممثلاً متوتراً ليس متأكداً من النص. قد يقول: "حسناً، قد يكون هذا، أو ربما ذاك، أو ربما الشيء الآخر..." إنه يوزع رهاناته على نطاق واسع.
- الطريقة الجديدة (التدريب اللاحق): بمجرد تدريب النموذج ليكون "مساعداً"، يصبح أكثر ثقة عندما يرى كلماته السابقة.
- التشبيه: تخيل أنك تكتب قصة. عندما تقرأ صفحة كتبتها أنت للتو، فأنت تعرف بالضبط إلى أين تتجه القصة. أنت لا تتردد. ولكن إذا قرأت صفحة كتبها شخص غريب، فعليك أن تخمن ما سيأتي بعدها.
- النتيجة: وجدت الورقة البحثية أنه عندما يقرأ النموذج نصه الخاص، فإنه يصبح أكثر ثقة بـ 3 إلى 4 مرات (اعتلاج أقل) مما لو قرأ نصوصاً من نماذج أخرى أو مقالات عشوائية من الإنترنت. الأمر كما لو أن النموذج يهمس لنفسه: "أنا كتبت هذا، لذا أعرف بالضبط ما سيأتي بعده".
2. تأثير "التعرف على الذات"
اختبر الباحثون ما إذا كان بإمكان النموذج التمييز بين كتابته وكتابة غيره.
- الاختبار: جعلوا "النموذج أ" يقرأ قصة كتبها "النموذج أ"، ثم يقرأ قصة كتبها "النموذج ب".
- النتيجة: أصبح "النموذج أ" أكثر ثقة بشكل ملحوظ (اعتلاج أقل) عند قراءة قصته الخاصة. لم يهم إذا كان "النموذج أ" يتقمص شخصية "قرصان" أو "عالم"؛ إذا تعرّف النموذج على الأسلوب كونه أسلوبه الخاص، فإنه يسترخي ويصبح أكثر حزماً.
- العائق: هذا يحدث فقط في النماذج الكبيرة. النماذج الصغيرة (مثل نموذج بـ 2 مليار معلمة) "أقل ذكاءً" بحيث لا تلاحظ الفرق. فهي تتصرف بنفس الطريقة سواء قرأت نصها أو نص غيرها. يبدو أنك تحتاج إلى مستوى معين من الذكاء لتدرك: "مهلاً، هذا أنا!".
3. مقياس "المفاجأة"
لماذا يصبح النموذج أكثر ثقة عند قراءة نصه الخاص؟ وجدت الورقة البحثية آلية داخلية محددة: مفاجأة المدخلات.
- الآلية: لدى النموذج "مقياس مفاجأة" داخلي. عندما يقرأ كلمة تطابق توقعاته تماماً (مفاجأة منخفضة)، فإنه يخفض من حالة عدم اليقين لديه. وعندما يقرأ شيئاً غير متوقع (مفاجأة عالية)، فإنه يتوتر ويوزع رهاناته على نطاق أوسع.
- الارتباط: بما أن النموذج يقرأ نصه الخاص، فإن الكلمات نادراً ما تكون مفاجئة. إنها تتناسب تماماً مع خطته. هذا الغياب للمفاجأة يعمل كإشارة ضوئية خضراء، تخبر النموذج: "كل شيء يسير على ما يرام، تابع بثقة عالية".
4. "الخطة" مقابل "التعبئة المسبقة"
نظرت الورقة أيضاً في كيفية تعامل النموذج مع "نيته" أو "خطته".
- السيناريو: تخيل أنك تسأل النموذج: "حدثني عن طعام ما". يتخذ النموذج فوراً قراراً صامتاً: "سأتحدث عن الهاجيس (Haggis)". لقد استقر على ذلك الموضوع قبل أن يكتب حتى أول كلمة.
- التعطيل: إذا قام شخص ما (أو كمبيوتر) بإجبار النموذج على البدء بكلمة مختلفة، مثل "الهاجيس هو..." (وهي عملية "تعبئة مسبقة" أو Prefill)، ولكن النموذج كان قد خطط في الأصل للتحدث عن البيتزا، فإنه يصاب بالارتباك.
- النتيجة: عندما لا تتوافق البداية المفروضة مع خطة النموذج الخفية، تنخفض ثقة النموذج ويصبح أكثر عدم يقيناً (اعتلاج أعلى). الأمر يشبه موسيقياً حفظ أغنية، ولكن شخصاً آخر بدأ يعزف لحناً مختلفاً؛ يتعثر الموسيقي لأن الإيقاع قد اختل.
5. "كاشف الكذب" (التعرف الضمني مقابل الصريح)
أخيراً، اختبرت الورقة ما إذا كان بإمكان النموذج أن يقول بصوت عالٍ: "مهلاً، أنا لم أكتب هذا الجزء الأول!"
- الاختبار: جعل الباحثون النموذج يولد إجابة، ولكنهم قاموا سراً بلصق بداية الإجابة له (تعبئة مسبقة). ثم سألوه: "هل كتبت أنت البداية؟"
- النتيجة: استطاع النموذج أن يقول بشكل صحيح: "نعم، تم تقديم هذا الجزء مسبقاً".
- المفاجأة: وجد الباحثون أن قدرة "القول بصوت عالٍ" هذه تستخدم دائرة داخلية مختلفة تماماً عن قدرة "الشعور بالثقة".
- التعرف الضمني: النموذج يشعر بالفرق (يتغير اعتلاجه) تلقائياً وفورياً بناءً على مدى "مفاجأة" النص.
- التعرف الصريح: النموذج يفحص ذاكرته لما خطط لقوله، ويقارنها بما هو موجود بالفعل، ثم يبلغ عن عدم التطابق. هذه عملية منفصلة، تعمل عند الطلب، وتحدث مباشرة قبل أن يعطي إجابته.
الملخص
تشير الورقة البحثية إلى أن التدريب اللاحق يحول نماذج اللغة من محاكيات سلبية إلى وكلاء نشطين يمكنهم التعرف على أنفسهم.
- قبل: كانوا مثل المرآة، يعكسون أي نص أمامهم مع تساوي درجات عدم اليقين.
- بعد: أصبحوا مثل كاتب ماهر يعرف أسلوبه الخاص. عندما يقرأ عمله الخاص، يسترخي ويصبح واثقاً. وعندما يحاول شخص آخر السيطرة على قصته (عبر التعبئة المسبقة)، فإنه يشعر بالتوتر، وإذا سُئل، يمكنه الإشارة صراحة إلى أن القصة لم تبدأ بالطريقة التي خطط لها.
هذا "التعرف على الذات" ليس مجرد خطأ برمجياً؛ بل هو ميزة لكيفية تعلم هذه النماذج للعمل كوكلاء، حيث تدرك أن مخرجاتها تصبح مدخلاتها المستقبلية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.