Instruction-Tuned Language Models Cannot Sample from Distributions They Can Describe
تكشف هذه الورقة أن النماذج اللغوية الضبطية (instruction-tuned) تفشل في أخذ عينات حقيقية من توزيعات الاستجابة، حيث تنهار بدلاً من ذلك إلى مخرجات حتمية بسبب تدريب المحاذاة، ولكن يمكنها وصف هذه التوزيعات بدقة في استدعاء واحد، وهي فجوة "المعرفة/الأداء" (KNOWS/DOES) التي تتيح محاكاة أكثر دقة لبيانات الاستطلاع البشري من خلال وصف التوزيع أو اضطراب المطالبة (prompt perturbation).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول التنبؤ بالمستقبل عبر طرح مليون سؤال على كرة بلورية. في عالم الذكاء الاصطناعي، بدأ العلماء في استخدام "نماذج اللغات الكبيرة" (LLMs) كأنها تلك الكرة البلورية. فبدلاً من سؤال أشخاص حقيقيين عما يعتقدون بشأن السياسة أو الأفلام أو الاقتصاد، يطلب الباحثون من الذكاء الاصطناعي تقمص شخصيات أنواع مختلفة من الناس — مثل "مراهق من أوهايو" أو "معلم متقاعد من فلوريدا". يُسمى هذا "أخذ العينات السيليكونية" (silicon sampling). الفكرة بسيطة: إذا طلبت من الذكاء الاصطناي أن يمثل ألف شخص مختلف، فمن المفترض أن يعطيك ألف إجابة مختلفة، تماماً كما يفعل حشد حقيقي. ومن خلال حساب كل تلك الإجابات، يمكنك تخمين ما يفكر فيه المجتمع بأكمله. الأمر يشبه محاولة تخمين نكهة محل آيس كريم ضخم عن طريق تذوق ملعقة واحدة من كل زبون.
لكن هنا تكمن العقبة: لكي ينجح هذا، يجب أن يكون بمقدور الذكاء الاصطناعي "رمي النرد" في كل مرة تسأل فيها سؤالاً. إذا سألت مراهقاً حقيقياً: "هل تحب البيتزا؟"، فقد يقول "نعم" اليوم و"لا" غداً، أو ربما يكتفي برمي عملة معدنية في عقله. ومن المفترض أن يفعل الذكاء الاصطناعي الشيء نفسه، عبر توليد إجابة جديدة وعشوائية في كل مرة تضغط فيها على زر "إرسال". إذا لم يستطع الذكاء الاصطناعي رمي النرد فعلياً — أي إذا ظل عالقاً عند إجابة واحدة مهما سألته — فإن التجربة بأكملها ستنهار. لا يمكنك تخمين نكهة محل الآيس كريم إذا قال أول زبون تسأله "شوكولاتة"، ثم أجبر الذكتا الاصطناعي الـ 999 زبوناً التاليين على قول "شوكولاتة" أيضاً.
هذا هو بالضبط ما اكتشفه فريق من الباحثين في جامعة KAIST. فقد وجدوا أن نماذج الذكاء الاصطناعي التي نستخدمها اليوم تعاني من خلل غريب: فهي سيئة جداً في إجراء "أخذ العينات العشوائية" فعلياً، رغم أنها بارعة جداً في "إخبارك" كيف يبدو التوزيع العشوائي. الأمر يشبه ساحراً يمكنه وصف كيفية خلط مجموعة أوراق اللعب بدقة مثالية، ولكن عندما يُطلب منه سحب ورقة عشوائية، يسحب دائماً "آس السباتي" (Ace of Spades).
أطلق الباحثون على هذا المصطلح "فجوة المعرفة/الأداء" (KNOWS/DOES split). فالنموذج يعرف الإجابة؛ إذا سألته: "ما هي النسبة المئوية للأشخاص الذين يفضلون الخيار (أ) مقابل الخيار (ب)؟"، يمكنه إعطاؤك الرياضيات الدقيقة والمثالية. لكن النموذج لا يستطيع تنفيذ ذلك؛ فإذا طلبت منه التظاهر بأنه شخص ما وإعطاء إجابة واحدة، فإنه ينهار. وبدلاً من تقديم مجموعة متنوعة من الاستجابات، يظل عالقاً عند إجابة واحدة متكررة.
ولإثبات ذلك، أجرى العلماء سلسلة من الاختبارات. طلبوا من الذكاء الاصطناعي اختيار رقم عشوائي بين 1 و100. كنت تتوقع أن تكون الإجابات منتشرة في كل مكان، لكن بدلاً من ذلك، اختار الذكاء الاصطناعي الرقم 42 في 78% من المحاولات! وعندما طلبوا منه الاختيار بين خيارين بنسبة توزيع 70/30، لم يعطِ مزيجاً من الإجابات، بل اختار الخيار الذي يمثل نسبة الـ 70% في كل مرة. كان الأمر كما لو أن لدى الذكاء الاصطناعي "زهر نرد" داخلي مكسور وملتصق بجهة واحدة.
لقد توصل الفريق أيضاً إلى سبب حدوث ذلك. فقد قارنوا بين النسخ "الذكية" من هذه النماذج (التي تم تدريبها على اتباع التعليمات وأن تكون مفيدة) وبين نسخها "الخام" (التي لم تُدرّب بعد على الدردشة). كانت النماذج الخام أفضل بكثير في رمي النرد. أما النماذج "الذكية"، فقد تم تدريبها لتكون متسقة ومفيدة للغاية، مما أفقدها القدرة على أن تكون عشوائية. لقد كان هذا أثراً جانبياً لمحاولة جعل الذكاء الاصطناعي طالباً جيداً؛ فقد تعلم دائماً إعطاء الإجابة "الصحيحة"، حتى عندما كانت المهمة هي أن يكون عشوائياً.
إذن، ماذا يمكننا أن نفعل إذا احتجنا لاستخدام نماذج الذكاء الاصطناعي هذه في الاستطلاعات؟ وجد الباحثون خدعتين ذكيتين.
أولاً، إذا كنت تريد فقط معرفة الرأي العام لجمهور ما (تقدير المجتمع)، فلا تطلب من الذكاء الاصطناعي التظاهر بأنه 100 شخص مختلف. بدلاً من ذلك، اطلب من الذكاء الاصطناعي سؤالاً واحداً: "إذا سألت 100 شخص هذا السؤال، فكيف ستكون النتائج؟". الذكاء الاصطناي بارع في وصف التوزيع. وعندما جربوا "مسار الوصف" (Describe Pathway)، انخفض الخطأ في توقعاتهم بأكثر من النصف مقارنة بالطريقة القديمة المتمثلة في طلب التظاهر بأن الذكاء الاصطناعي العديد من الأشخاص.
ثانياً، إذا كنت تحتاج حقاً لأن يعطيك الذكاء الاصطناعي 100 إجابة فردية مختلفة (ربما للعبة فيديو حيث يحتاج كل شخصية إلى شخصية فريدة)، فلا يمكنك مجرد طرح نفس السؤال 100 مرة؛ إذ سيكرر الذكاء الاصطناعي نفسه. بدلاً من ذلك، ابتكر الباحثون طريقة تسمى "آرغيل المشوش بالحث" (Prompt-Perturbed Argyle - PPA). تتضمن هذه الطريقة تغيير طريقة طرح السؤال قليلاً في كل مرة — مثل تغيير ترتيب خيارات الإجابة، أو تغيير صياغة السؤال، أو تغيير مكان وصف "الشخصية". هذه التغييرات الطفيفة كافية لـ "هز" (jiggle) نظام رمي النرد المكسور لدى الذكاء الاصطناعي، مما يجبره على إعطاء إجابة مختلفة في كل مرة. هذه الخدعة البسيطة قللت الخطأ بنسبة 21% دون تكلفة إضافية في المال أو الوقت.
باختصار، تشير الورقة البحثية إلى أنه بينما يعد الذكاء الاصطناعي مذهلاً في وصف كيفية عمل العالم، فإنه حالياً سيء جداً في التظاهر بأنه شخص عشوائي في هذا العالم. ولكن من خلال فهم هذه السمة الغريبة، لا يزال بإمكاننا استخدام هذه الأدوات القوية للحصول على إجابات جيدة، علينا فقط أن نسألهم بالطريقة الصحيحة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.