HugSelect: An Explainable Multi-Criteria Decision-Support Framework for foundation-model selection

تخيل أنك تسير داخل مكتبة ضخمة وفوضوية، حيث تمتد الرفوف لتصل إلى السحاب وتختفي في الضباب. هذه ليست مكتبة للكتب، بل هي مكتبة لـ "نماذج التأسيس" (foundation models)—تلك الدوائر العصبية العملاقة والقابلة لإعادة الاستخدام التي تشغل كل شيء، من برامج الدردشة الآلية إلى أدوات التشخيص الطبي. في عالم هندسة البرمجيات، تشبه هذه النماذج محركات السيارات؛ لا يمكنك ببساطة اختيار أحدها لمجرد أنه يبدو رائعاً أو لأنه العلامة التجارية الأكثر شهرة، بل تحتاج لمعرفة ما إذا كان يناسب هيكل سيارتك الخاص، وهل يعمل بالوقود الذي تملكه، وهل سيتعطل عندما تصطدم بمطب.

المشكلة هي أن هذه المكتبة تنمو بسرعة كبيرة بحيث لا يستطيع أي بشر قراءة كل الملصقات. عادةً، يقوم الناس بجلب العنصر الأكثر تحميلاً أو يطلبون النصيحة من روبوت فائق الذكاء (ذكاء اصطناعي). لكن سؤال الروبوت يشبه سؤال ساحر عن وصفة طعام؛ قد يعطيك إجابة لذيذة، لكن ليس لديك أدنى فكرة كيف صنعها، وأحياناً قد يختلق الأمور من خياله. هذه الورقة البحثية، التي كتبها فريق من الباحثين، تطرح سؤالاً بسيطاً ولكنه صعب: كيف نختار المحرك المناسب لسيارتنا عندما تكون المكتبة أكبر من أن تُقرأ، والساحر غامض بعض الشيء؟ إنهم يقترحون طريقة جديدة للاختيار لا تعتمد على التخمين فحسب، بل تشرح لماذا اختارت ما اختارته، محولةً التخمين السحري إلى قائمة مراجعة واضحة وقابلة للتدقيق.

---

المشكلة: فخ "مسابقة الشعبية"

في الوقت الحالي، إذا أردت العثور على نموذج تأسيسي على منصات مثل Hugging Face، فالأمر يشبه إلى حد كبير التسوق لشراء هاتف جديد بناءً فقط على عدد الأشخاص الذين اشتروه. ترى قائمة مرتبة حسب "عدد التحميلات" أو "الإعجابات". لكن الشعبية ليست هي الأداء. مجرد كون النموذج مشهوراً لا يعني أنه يمكنه القيام بالمهمة المحددة التي تحتاجها، مثل ترجمة اللغات القديمة أو العمل على حاسوب محمول صغير.

يجادل المؤلفون بأن اختيار النموذج لا ينبغي أن يكون مجرد بحث بكلمات مفتاحية أو مسابقة شعبية. إنه قرار هندسي برمجي معقد. عليك موازنة الاحتياجات الوظيفية (هل يمكنه كتابة الكود؟)، والقيود التشغيلية (هل يتناسب مع ذاكرتي؟)، والمخاوف المتعلقة بالجودة (هل هو موثوق؟). الاعتماد فقط على الشعبية أو سؤال ذكاء اصطناعي "صندوق أسود" يتركك في الظلام حول سبب اختيار نموذج معين.

الحل: HugSelect، "أمين المكتبة القابل للتفسير"

إليك HugSelect. لا تفكر في HugSelect ككرة سحرية، بل كأمين مكتبة منظم للغاية ومنطقي للغاية، قرأ كل كتاب في المكتبة ودوّن ملاحظات تفصيلية عن كل صفحة.

إليك كيف يعمل HugSelect، باستخدام تشبيه ممتع:

تخيل أنك تبحث عن نوع معين من السيارات. تقول لأمين المكتبة: "أريد سيارة يمكنها القيادة على الثلج، وبها فتحة سقف، وتكلفتها أقل من 20,000 دولار".

• الطريقة القديمة (الشعبية): يشير أمين المكتبة إلى السيارة الأكثر شعبية في صالة العرض، حتى لو كانت سيارة مكشوفة بدون مدفأة.
• الطريقة القديمة (الذكاء الاصطناني السحري): يقول أمين المكتبة: "أعتقد أن هذه السيارة رائعة!" لكنه لا يستطيع إخبارك لماذا أو ما هي مواصفات المحرك.
• طريقة HugSelect: يخرج أمين المكتبة جدول بيانات ضخم. يتحقق من عمود "الثلج"، وعمود "فتحة السقف"، وعمود "السعر" لكل سيارة. يعطي كل سيارة درجة بناءً على مدى مطابقتها لاحتياجاتك. ثم يسلمك تقريراً يقول فيه: "السيارة (أ) حصلت على 90 نقطة لأن بها فتحة سقف وهي رخيصة، لكنها خسرت نقاطاً لأنها ليست جيدة في الثلج. السيارة (ب) حصلت على 85 نقطة لأنها مثالية للثلج، لكنها باهظة الثمن."

يقوم HugSelect بالضبط بهذا بالنسبة لنماذج الذكاء الاصطناعي. فهو يبني "قاعدة معرفية" ضخمة تضم 71,274 نموذجاً. هو لا ينظر فقط إلى العنوان؛ بل يقرأ وصف النموذج، ويفحص الكود، بل ويقوم بمسح آلاف المناقشات المجتمعية (مثل سلاسل نقاشات Reddit ومواقع الأسئلة والأجوبة) ليرى ما يعتقده الناس الحقيقيون حول موثوقية النموذج وسرعته.

كيف يعمل: المكونات الثلاثة

لبناء "بطاقة النقاط" الخاصة به لكل نموذج، يمزج HugSelect ثلاثة أنواع من المكونات:

1. البيانات الوصفية (Metadata): الحقائق الصلبة، مثل نوع الترخيص (هل هو مجاني للاستخدام؟) وحجم الملف.
2. الميزات الوظيفية (Functional Features): ما يمكن للنموذج فعله حقاً. هل ذكر الوصف أنه يمكنه التعامل مع الصور؟ هل يمكنه التفكير في المسائل الرياضية؟ يقرأ HugSelect النص للعثور على هذه القدرات.
3. الجودة المتصورة (Perceived Quality): هذا هو عمود "النميمة". فهو يحلل ما يقوله المجتمع. إذا كان الناس يشتكون باستمرار من أن نموذجاً ما يتوقف عن العمل كثيراً، فإن HugSelect يخفض درجته في "الموثوقية". إذا قال الناس إنه سريع جداً، فإنه يحصل على دفعة في "الأداء".

بمجرد حصوله على كل هذه البيانات، يستخدم طريقة رياضية تسمى نموذج المجموع الموزون (Weighted Sum Model - WSM). تخيل أنك تضع درجات لطالب. إذا كانت "الرياضيات" تمثل 50% من الدرجة و"الفن" 10%، فإن HugSelect يجمع الدرجات بناءً على ما يهمك أكثر. إذا قلت: "أنا لا أهتم بالسرعة، أحتاج فقط أن يكون موثوقاً"، يقوم HugSelect بتعديل الأوزان ويعيد ترتيب القائمة فوراً.

ماذا وجدوا: النتائج

اختبر الباحثون HugSelect ليروا ما إذا كان يعمل بالفعل. لم يكتفوا بالتخمين؛ بل أخضعوه لسلسلة من الاختبارات الصارمة.

• اختبار القراءة: تحققوا مما إذا كان بإمكان HugSelect قراءة أوصاف النماذ ومراجعات المجتمع بشكل صحيح. لقد أصاب بنسبة 80% فيما يتعلق بالميزات و 84% فيما يتعلق بسمات الجودة. هذا جيد جداً لروبوت يقرأ نصوصاً بشرية غير منظمة!
• المواجهة: قارنوا HugSelect بأربعة أنظمة ذكاء اصطناعي تجارية شهيرة (مثل ChatGPT وClaude وGemini). أعطوا جميع الأنظمة 44 سيناريو مختلفاً، مثل "ابحث عن نموذج لبوت أسئلة وأجوبة طبية".
  • وجد HugSelect "عائلة" النماذج الصحيحة بنسبة 91% من المرات.
  • وجد النموذج بالتحديد بنسبة 61% من المرات.
  • كان هذا منافساً لأنظمة الذكاء الاصطناعي التجارية الكبيرة (بعضها كان أفضل قليلاً في إيجاد النموذج المحدد، وبعضها أسوأ قليلاً)، لكن HugSelect كان لديه ميزة واحدة ضخمة: الشفافية. الأنظمة التجارية كانت تعطي إجابة فقط، بينما قدم HugSelect الإجابة بالإضافة إلى الرياضيات الكامنة وراءها، موضحاً بدقة أي الميزات جعلت النموذج يربح أو يخسر نقاطاً.

عامل "لماذا يهم هذا الأمر"

أهم ما يفعله HugSelect هو جعل القرار قابلاً للتدقيق. في هندسة البرمجيات، لا يمكنك ببساك قول: "الذكاء الاصطناعي أخبرني أن أستخدم هذا". أنت بحاجة لمعرفة لماذا حتى تتمكن من شرح ذلك لمديرك، أو عميلك، أو مفتش السلامة.

أجرى الباحثون أيضاً "دراسة مستخدمين" مع 10 أشخاص لديهم خبرة في الذكاء الاصطناعي. وجد هؤلاء الأشخاص أن HugSelect مفيد وسهل الاستخدام. لقد أعجبوا بقدرته على توضيح المقايضات. على سبيل المثال، كان بإمكانهم رؤية أن النموذج (أ) كان أسرع ولكن أقل موثوقية، بينما كان النموذج (ب) أبطأ ولكنه صلب للغاية. هذا يساعد البشر على اتخاذ قرارات أفضل بدلاً من الثقة العمياء في صندوق أسود.

الخلاصة

تشير هذه الورقة البحثية إلى أننا بحاجة للتوقف عن معاملة اختيار نماذج الذكاء الاصطناعي كأنها لعبة حظ أو مسابقة شعبية. من خلال بناء نظام يقرأ التفاصيل الدقيقة، ويستمع للمجتمع، ويشرح رياضياتة، يقدم HugSelect طريقة لاختيار الأداة المناسبة للمهمة بثقة. هو لا يدعي الكمال—فالباحثون يقرون بأن التعليقات المجتمعية قد تكون فوضوية، وأن "الحقيقة المطلقة" لما هو "أفضل" نموذج قد تكون صعبة. لكنه يثبت أنه مع المزيج الصحيح من البيانات والمنطق الواضح، يمكننا تحويل مكتبة نماذج الذكاء الاصطاي الفوضوية إلى صندوق أدوات منظم وقابل للتفسير.

باختًا: HugSelect هو أمين المكتبة الذي لا يكتفي بالإشارة إلى الكتاب الأكثر شعبية، بل يفتحه، ويحدد أفضل أجزائه، ويخبرك بالضبط لماذا هو الخيار الصحيء لقصتك.