The Judge Knows When It Knows: Calibrated Abstention for LLM-Based A/B-Test Prediction
تُظهر هذه الدراسة أنه بينما لا تستطيع النماذج اللغوية الكبيرة متعددة الوسائط التنبؤ بنتائج اختبارات (A/B) الحقيقية بشكل موثوق من خلال لقطات الشاشة وحدها بسبب انحياز مشترك نحو الملصقات غير الموثوقة، إلا أنها يمكن أن تحقق دقة ذات مغزى من خلال معايرة تنبؤاتها لتحديد والامتناع عن الحالات غير المؤكدة، وهو قصور يحاكي عدم قدرة الخبراء البشريين على التفوق على الصدفة رغم وجود توافق عالٍ بين المقيمين.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق يحاول حل لغز: "أي من هذين المشتبه بهما هو المذنب؟" في عالم المواقع الإلكترونية، تكون "المشتبه بهم" هي نسختان مختلفتان قليلاً من صفحة ما، و"المذنب" هو النسخة التي تجعل المزيد من الناس يشترون شيئاً ما أو يشتركون في خدمة. يُسمى هذا اختبار (A/B). عادةً، لكي نجد الفائز، يتعين علينا الانتظار والمراقبة بينما يتفاعل أشخاص حقيقيون مع الموقع لأيام أو أسابيع. ولكن مؤخراً، وصل نوع جديد من المحققين: الذكاء الاصطناعي. والسؤال الكبير الذي يطرحه الجميع هو: "هل يمكن للذكاء الاصطناعي أن ينظر إلى صورة للموقعين ويخبرنا فوراً أيهما سيفوز، مما يوفر علينا كل وقت الانتظار هذا؟"
لفهم هذه الورقة البحثية، تحتاج إلى معرفة بعض الأشياء حول كيفية قياس "الجودة" في العلم. أولاً، هناك الفرق بين أن تكون "مصيباً بالصدفة" وبين أن تكون "مصيباً بالمهارة". إذا خمنت "صورة" في رمي عملة معدنية، فستكون محقاً بنسبة 50% بمجرد الصدفة. إذا ادعى محقق أنه عبقري ولكنه يصيب بنسبة 51% فقط، فهو لا يفعل أي شيء مميز حقاً. يستخدم العلماء درجة خاصة تسمى "كوهنز كابا" (لنسمها "درجة المهارة") لتجريد عامل الحظ ومعرفة ما إذا كان لدى المحقق عقل حقاً. ثانياً، هناك مشكلة "التحيز المشترك". تخيل معلماً وطالباً نشأ كلاهما في نفس البلدة؛ قد يتفقان على كل شيء، ليس لأن الطالب ذكي، بل لأن كلاهما تعلم نفس الحقائق الخاطئة من والديهما. إذا كان الذكاء الاصطناعي والناس الذين وضعوا بيانات الاختبار قد تعلموا نفس "الحكمة الشعبية"، فقد يتفقون على الإجابة، لكن هذا لا يعني أن الذكاء الاصطناعي يمكنه التنبؤ بالمستقبل.
هذه الورقة هي تقرير صادق جداً وصارم جداً من فريق يُدعى "سكووش" (Squoosh) حاول الإجابة على ذلك السؤال الكبير. لم يكتفوا بطلب التخمين من الذكاء الاصطناعي فحسب؛ بل نصبوا له فخاً. لقد وضعوا قواعدهم قبل البدء، تماماً مثل عالم يكتب وصفة قبل الطبخ، حتى لا يتمكنوا من تغيير القواعد لجعل الذكاء الاصطناعي يبدو أفضل لاحقاً. استخدموا مكتبة ضخمة من اختبارات المواقع الحقيقية ليروا ما إذا كان بإمكان الذكاء الاصطناعي التنبؤ بالفائزين بالفعل.
إليك المفاجأة: الذكاء الاصطناعي فاشل في مهمته الأساسية في الغالب. فعندما طلب الفريق من الذكاء الاصطناعي النظر في 330 اختباراً حقيقياً واختيار فائز في كل مرة، بالكاد فعل أفضل من التخمين العشوائي. في الواقع، بدا أن الذكاء الاصطناعي يتفق أكثر مع الاختبارات "غير الموثوقة" (حيث لم تكن النتيجة واضحة) أكثر من الاختبارات "الموثوقة". اتضح أن الذكاء الاصطناعي والناس الذين أنشأوا بيانات الاختبار كانوا يكررون نفس الأساطير القديمة حول ما يجعل الموقع جيداً، بدلاً من التنبؤ بما سيحدث فعلياً. وحتى استخدام ذكاء اصطناعي أذكى وأغلى ثمناً لم يساعد؛ فقد كان بنفس السوء. تنفي الورقة صراحةً فكرة أنه يمكننا ببساطة "شراء" ذكاء اصطناعي أفضل أو كتابة "أمر" (prompt) أفضل لحل هذه المشكلة. "البلورة السحرية" التي تتنبأ بفائزي المواقع من خلال لقطات الشاشة وحدها؟ إنها غير موجودة.
ومع ذلك، لا تقول الورقة إن الذكاء الاصطناعي عديم الفائدة. بل تقول إن الذكاء الاصطناعي هو محقق "صادق". اكتشف الفريق خدعة خاصة: إذا أخبروا الذكاء الاصطناعي: "خمن فقط إذا كنت متأكداً تماماً، وإلا فقل 'لا أعرف'"، يصبح الذكاء الاصطناعي بارعاً بشكل مفاجئ في المرات التي يتحدث فيها. عندما يتفق فريق الحكام الداخلي للذكاء الاصطناعي بقوة على إجابة ما، فإنه يصيب الفائز الصحيح بنسبة 31% من المرات في الاختبارات الموثوقة. قد يبدو هذا منخفضاً، ولكن تذكر أن الخبراء البشريين الحقيقيين (الذين لديهم سنوات من الخبرة) يصيبون أيضاً بنسبة 29% في المتوسط. الذكاء الاصطناعي ليس عبقرياً خارقاً؛ إنه مجرد أداة تعرف متى تخمن ومتى لا تفعل.
النتيجة الأكثر أهمية تتعلق بالثقة. تُظهر الورقة أنه عندما يتفق مجموعة من نماذج الذكاء الاصطناعي مع بعضهم البعض، فهذا لا يعني أنهم على حق؛ بل يعني غالباً أنهم جميعاً يكررون نفس التحيز المشترك. إنه يشبه هيئة محلفين حيث يكون الجميع أقارب؛ سيصوتون جميعاً بنفس الطريقة، لكن هذا لا يجعل الحكم صحيحاً. تثبت الورقة أن هذا "التحيز المشترك" يحدث مع البشر أيضاً. فعندما سألوا 15 خبيراً بشرياً حقيقياً لتخمين الفائزين، اتفق الخبراء مع بعضهم البعض بقوة، لكنهم كانوا مخطئين بنفس قدر وقوعهم في الخطأ مثل الذكاء الاصطناعي.
إذاً، ما هي الخلاصة النهائية؟ تخلص الورقة إلى أننا لا نستطيع بناء أداة تتنبأ بفائزي المواقع بيقين 100%. بدلاً من ذلك، الأداة الأفضل هي "أداة فحص مُعايرة" (Calibrated Screening Instrument). إنه نظام يقول: "أنا واثق من أن هذا سيفوز"، أو "لست متأكداً، لا تسألني". إنه صادق بشأن حدوده. وتُظهر الورقة أيضاً أنك لست بحاجة إلى ذكاء اصطناعي ضخم ومكلف للغاية للقيام بذلك؛ فالنسخة الأصغر والأرخص تعمل بنفس الكفاءة إذا استخدمت خدعة "الصدق". القيمة الحقيقية ليست في الحصول على الإجابة في كل مرة؛ بل في معرفة الأوقات التي لا يجب أن تثق فيها بالإجابة. تنتهي الورقة بنشر جميع بياناتها، وتجاربها الفاشلة، وقواعدها، لتثبت أن أهم اكتشاف أحياناً هو الاعتراف بأن الخدعة السحرية لا تعمل، ولكن نسخة دقيقة وصادقة جداً منها قد تكون مفيدة بما يكفي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.