في عالم الذكاء الاصطناائي، غالباً ما يتم الحكم على النماذج اللغوية الكبيرة من خلال سؤال واحد بسيط: هل يمكنها الحصول على الإجابة الصحيحة؟ عندما يطلب مستخدم حلاً لمسألة رياضية، أو سطراً من البرمجيات، أو تشخيصاً طبياً، فإن الاختبار المعياري هو ما إذا كان النموذج سينتج استجابة واحدة صحيحة. هذا النهج يعامل الآلة كطالب يؤدي امتحاناً نهائياً، حيث الدرجة الأعلى هي كل ما يهم. ومع ذلك، في كثير من مواقف العالم الحقيقي، لا تكفي إجابة واحدة. فالعالم الذي يصمم دواءً جديداً قد يحتاج إلى رؤية عشرة هياكل كيميائية مختلفة تعمل جميعها، حتى يتمكن من اختيار الهيكل الأسهل في التصنيع. ومهندس البرمجيات الذي يصلح ثغرة أمنية قد يرغب في عدة طرق مختلفة لترقيع الكود ليرى أيها الأكثر أماناً. في هذه السيناريوهات، تكمن قيمة الآلة ليس في قدرتها على إنتاج مخرج واحد مثالي، بل في قدرتها على توليد مجموعة غنية من الخيارات المتميزة والمفيدة. وكان التحدي الذي يواجه الباحثين هو كيفية قياس هذه القدرة. فالاختبارات التقليدية غالباً ما تحصي عدد المرات التي أصاب فيها النموذج، أو تكتفي باختيار أفضل إجابة من قائمة وتتجاهل الباقي. وهذا يخطئ الهدف تماماً عندما يكون الهدف هو الحصول على مجموعة متنوعة من الاحتمالات الصالحة للاختيار من بينها.

لقد طور فريق من الباحثين في مركز ريكن (RIKEN) لعلوم الحوسبة في اليابان طريقة جديدة للنظر إلى هذه المشكلة. فقد أنشأوا بيئة اختبار متخصصة، أطلقوا عليها اسم "معيار مرجعي" (benchmark)، صُممت خصيصاً لمعرفة مدى جودة قدرة الذكاء الاصطناعي على توليد إجابات متنوعة ومفيدة لمهمة واحدة. وبدلاً من السؤال: "هل حصلت على الإجابة الصحيحة؟"، يسأل منهجهم: "كم عدد الإجابات المختلفة والمفيدة حقاً التي وجدتها؟". لقد بنوا هذا الاختبار باستخدام خمسة أنواع مختلفة جداً من مشكلات العالم الحقيقي، تتراوح من تصميم الجزيئات الكيميائية إلى إصلاح أخطاء البرمجيات والبحث عن الأدلة الطبية. ولكل مشكلة، حددوا بدقة ما الذي يعتبر نتيجة "مفيدة" وكيفية التمييز بين النتائج المختلفة. فعلى سبيل المثال، في تصميم الجزيئات، قد تبدو إجابتان مختلفتين في الظاهر، ولكن إذا كانتا تشتركان في نفس الهيكل الكيميائي الأساسي، فإنهما تُعدان نتيجة مفيدة واحدة. ثم قام الباحثون بتشغيل نماذج متنوعة عبر هذه المهام، وطلبوا منها المحاولة عدة مرات، وحصوا عدد الحلول الفريدة والصالحة التي جمعتها.

تكشف نتائج هذه الدراسة حقيقة مذهلة حول كيفية عمل هذه الآلات. فقد وجد الباحثون أن النماذج الأفضل في إنتاج إجابة واحدة عالية الجودة ليست بالضرورة هي النماذج التي تنتج أفضل مجموعة من الإجابات المتنوعة. وفي الواقع، فإن ترتيب أي نموذج هو "الأفضل" يتغير اعتماداً على عدد المحاولات المسموح بها. فالنموذج الذي يتصدر المشهد عند إعطائه محاولة واحدة فقط، قد يتراجع عندما يُمنح عشرين محاولة، بينما قد يبدأ نموذج آخر ببطء لكنه ينتهي بالكشف عن نطاق أوسع من الحلول المفيدة. وهذا يشير إلى أن الإعدادات المستخدمة لتشغيل هذه النماذج تهم أكثر مما كان يُعتقد سابقاً. واكتشف الباحثون أن زيادة "درجة الحرارة" (temperature)، وهو إعداد يجعل مخرجات النموذج أكثر عشوائية وتنوعاً، أدت غالباً إلى مجموعة أوسع بكثير من النتائج المفيدة، رغم أنها قد تقلل أحياناً من جودة أي إجابة منفردة. وعلى العكس من ذلك، فإن ميزة "التفكير" (thinking)، التي تشجع النموذج على التفكير خطوة بخطوة قبل الإجابة، حسنت جودة الإجابات الفردية، لكنها لم تساعد دائماً النموذج في إيجاد حلول أكثر تميزاً.

ولعل الأهم من ذلك، أن الدراسة أظهرت أن مجرد النظر إلى مدى اختلاف الإجابات في ظاهرها ليس كافياً لمعرفة ما إذا كانت مفيدة حقاً. فهناك طريقة شائعة للحكم على التنوع وهي التحقق مما إذا كانت الكلمات أو الرموز في الإجابات مختلفة عن بعضها البعض. وقد وجد الباحثون أن هذا الفحص السطحي هو مؤشر ضعيف على ما إذا كان النموذج قد وجد بالفعل حلولاً جديدة وصالحة. إذ يمكن للنموذج أن ينتج عشر إجابات تبدو مختلفة تماماً عن بعضها البعض، لكنها تمثل جميعها الحل الأساسي نفسه، مما يفشل في تقديم التنوع الذي يحتاجه المستخدم فعلياً. ومن خلال استخدام نظام يتحقق من المحتوى الفعلي ومعنى الإجابات مقابل القواعد المحددة للمهمة، تمكن الباحثون من قياس "التغطية" الحقيقية للنتائج. ووجدوا أن هذا المقياس الأعمق غالباً ما يؤدي إلى استنتاجات مختلفة حول أي النماذج والإعدادات هي الأفضل أداءً.

اختبر الفريق أربعة نماذج لغوية كبيرة مختلفة عبر هذه المجالات الخمسة: تصميم الجزيئات، وإصلاح مستودعات البرمجيات، وإيجاد الأخطاء في الكود، وتشخيص الحالات الطبية، والبحث عن أدلة لدعم الأسئلة المعقدة. وقاموا بتشغيل كل نموذج بإعدادات مختلفة، مثل تغيير مستوى العشوائية وتفعيل أو تعطيل عملية "التفكير". ثم قاموا بقياس عدد النتائج المتميزة والصالحة التي أنتجها كل نموذج مع زيادة عدد المحاولات. وأظهرت البيانات أنه بالنسبة لمعظم المهام، فإن النموذج الذي كان الأفضل في البداية لم يكن هو الأفضل بعد العديد من المحاولات. فعلى سبيل المثال، في مهمة تصميم الجزيئات، كان أحد النماذج هو الرائد بعد محاولة واحدة، ولكن بحلول الوقت الذي أُجريت فيه عشرون محاولة، كان نموذج آخر قد كشف عن عدد أكبر بكثير من الهياكل الكيميائية الفريدة. وقد انطبق هذا النمط على كافة المهام، مما يشير إلى أن الاستراتيجية المثلى لتوليد إجابة واحدة تختلف غالباً عن الاستراتيجية المثلى لتوليد مجموعة من الإجابات.

كما بحثت الدراسة فيما إذا كان إخبار النموذج صراحةً بتجنب تكرار نفسه سيساعد. ففي بعض الحالات، حاول الباحثون فرض التنوع عبر مطالبة النموذج بتوليد أفكار جديدة تختلف عما قاله للتو. ووجد الباحثون أن هذا النهج لم ينجح بشكل موثوق. فبينما ساعد في بعض المهام المحددة مثل البحث عن الأدلة، إلا أنه قلل في الواقع من عدد الحلول المفيدة في مهام أخرى، مثل إصلاح البرمجيات. وهذا يشير إلى أن مجرد طلب التنوع لا يضمن أن يجد النموذج أرضية جديدة وصالحة. بدلاً من ذلك، فإن الطريقة التي يتم بها تهيئة النموذج، وخاصة الإعدادات التي تتحكم في عشوائيته، تلعب دوراً أكثر حيوية في تحديد ما إذا كان بإمكانه استكشاف نطاق واسع من الاحتمالات المفيدة.

تغير هذه النتائج طريقة تفكيرنا في تقييم الذكاء الاصطناعي. فمنذ سنوات، كان التركيز منصباً على الحصول على الإجابة الواحدة الأفضل. ولكن مع استخدام هذه الآلات في مهام أكثر تعقيداً حيث يكون امتلاك الخيارات أمراً بالغ الأهمية، أصبحت الطريقة القديمة لقياس النجاح غير كافية. لقد أظهر عمل الباحثين أن مجموعة محدودة من الإجابات المرشحة هي موضوع دراسة بحد ذاته. فهي ليست مجرد مجموعة من المحاولات التي تؤدي إلى فائز واحد؛ بل هي مشهد من الاحتمالات التي يمكن رسم خرائطها وقياسها. ومن خلال استخدام طريقتهم الجديدة، التي يسمونها "تغطية المهام المتحقق منها" (validated task coverage)، أظهروا أنه يمكننا تقييم مدى جودة استكشاف النموذج لهذا المشهد بشكل مباشر. وتشير النتائج إلى أنه للحصول على أقصى استفادة من هذه الأدوات، قد نحتاج إلى التوقف عن البحث عن الإجابة الواحدة الأفضل والبدء في تقدير اتساع الخيارات التي يمكنها توفيرها.

إن تداعيات هذا البحث تمتد إلى ما هو أبعد من مجرد اختيار النموذج الصحيح. فهي تشير إلى أن الطريقة التي نتفاعل بها مع هذه الأنظمة قد تحتاج إلى التغيير. فإذا كان المستخدم بحاجة إلى مجموعة متنوعة من الحلول، فقد يحتاج إلى ضبط الإعدادات لتشجيع المزيد من الاستكشاف، حتى لو كان ذلك يعني قبول فكرة أن الإجابات الفردية قد تكون أقل كمالاً بقليل. توفر الدراسة طريقة ملموسة لاختبار ومقارنة هذه الأساليب المختلفة، متجاوزة الأفكة الغامضة عن "الإبداع" أو "التنوع" إلى عدّ واضح وقابل للقياس للنتائج المفيدة. لقد أتاح الباحثون أدواتهم وبياناتهم للجمهور، مما يسمح للآخرين باختبار نماذج وإعدادات جديدة وفقاً لهذا المعيار الجديد. وهذا يفتح الباب لفهم أكثر دقة لما يمكن لهذه الآلات القيام به، محولاً التركيز من نقطة نجاح واحدة إلى النطاق الكامل لإمكاناتها.

في النهاية، تقدم الورقة تحولاً هادئاً ولكن جوهرياً في المنظور. فهي تجادل بأن قيمة الذكاء الاصطناعي لا تكمتم فقط في قدرته على أن يكون مصيباً، بل في قدرته على أن يكون مفيداً بطرق عديدة ومختلفة. ومن خلال بناء اختبار يقيس تراكم النتائج المتميزة والصالحة، قدم الباحثون عدسة جديدة للنظر إلى هذه الأدوات القوية. لقد أثبتوا أن الطريق إلى أفضل مجموعة من الإجابات ليس هو دائماً نفس الطريق المؤدي إلى أفضل إجابة واحدة، وأن الإعدادات التي نختارها يمكن أن تحدث فرقاً عميقاً في تنوع الحلول التي نتلقاها. لا يدعي هذا العمل أنه حل كل مشكلة في تقييم الذكاء الاصطناعي، ولكنه يوفر طريقة واضحة وقابلة للتكرار لطرح سؤال تم تجاهله لفترة طويلة جداً: كم عدد الأشياء المفيدة التي يمكن لهذه الآلة أن تجدها حقاً؟