RA-ClipScore: Making Generative Model Evaluation More Interpretable

تخيل عالماً تستطيع فيه الحواسيب ابتكار صور واقعية للغاية لدرجة أنها قد تخدع عينيك. هذا هو مجال الذكاء الاصطناعي التوليدي، وهو فرع من العلوم حيث تتعلم الآلات كيفية إنشاء الفن، والوجوه، والمناظر الطبيعية من الصفر. لفترة طويلة، كانت الطريقة الوحيدة للحكم على ما إذا كانت هذه الأحلام الرقمية جيدة أم لا هي طرح سؤال بسيط: "هل تبدو هذه كالأشياء الحقيقية؟" لكن هذا يشبه الحكم على فيلم كامل من خلال إطار واحد ضبابي فقط. كنا بحاجة إلى طريقة أفضل لفهم لماذا تبدو الصورة جيدة أو سيئة. وهنا يأيد مفهوم "مقاييس التقييم" (evaluation metrics)—وهي أدوات تعمل كبطاقة تسجيل لأعمال الذكاء الاصطناعي الفنية. إحدى الأدوات الشهيرة، وتسمى CLIP، تشبه أمينة مكتبة فائقة الذكاء قرأت ملايين الكتب ورأت ملايين الصور؛ يمكنها أن تخبرك ما إذا كانت الصورة تطابق وصفاً معيناً. ومع ذلك، حتى أمينة المكتبة هذه لديها نقاط عمياء. فهي بارعة في قول "نعم، هذا كلب"، لكنها تجد صعوبة في شرح أين يقف الكلب أو ما إذا كان للكلب رجل إضافية غريبة. إذا لم نتمكن من رؤية هذه الأخطاء الصغيرة، فقد نعلم ذكاءنا الاصطناعي عن طريق الخطأ إنتاج صور منحازة أو معيبة، وهي مشكلة كبيرة إذا أردنا استخدامها في مهام مهمة مثل التشخيص الطبي أو السيارات ذاتية القيادة.

تقدم هذه الورقة البحثية نظارة أكثر حدة لفحص فن الذكاء الاصطناعي، تسمى RA-CLIPScore. أدرك المؤلفون، وهم فريق من الباحثين من السويد، أن الأدوات القديمة كانت بدائية للغاية. كانت تشبه كشافاً يضيء فقط مركز الغرفة، تاركةً الزوايا في الظلام. تم تصميم الطريقة الجديدة، RA-CLIPScore، لتسليط الضوء على كل زاوية من زوايا الصورة، بحيث لا تتحقق فقط مما هو موجود في الصورة، بل وأين يوجد وكيف يتناسب مع بعضه البعض.

المشكلة: بطاقة تسجيل "مقاس واحد يناسب الجميع"

تخيل أنك تقوم بتقييم مقال لطالب. الطريقة القديمة في القيام بذلك (باستخدام أدوات مثل FID أو CLIPScore القياسي) كانت تتمثل في إعطاء المقال رقماً واحداً، مثل "85/100". هذا الرقم يخبرك أن المقال "جيد"، لكنه لا يخبرك ما إذا كان الطالب قد كتب كلمة "قطة" لتصبح "بطة"، أو إذا كان قد وضع الخاتمة في البداية تماماً. في عالم صور الذكاء الاصطناعي، يعني هذا أننا قد نغفل عن حقيقة أن النموذج يضع رأس الشخص باستمرار في الزاوية السفلية من الصورة، أو أنه يخلط بالخطأ بين "الأطفال" و"اللحى" بطرق مستحيلة.

وجد الباحثون أن أداة CLIP الشهيرة، التي تعمل كدماغ لهذه البطاقات، لديها سمة غريبة: لقد تم تدريبها على اختيار إجابة واحدة مثالية. إذا سألتها: "هل هذه صورة لبومة بيضاء؟" فعليها أن تختار بين "نعم" و"لا"، وبذلك تنسى التفاصيل الدقيقة. الأمر يشبه القاضي الذي يهتم فقط بالحكم النهائي ويتجاهل الأدلة. وهذا يجعل من الصعب اكتشاف متى يفشل الذكاء الاصطناعي بطرق محددة وغريبة.

الحل: محقق مع عدسة مكبرة

اقترح المؤلفون طريقة جديدة تسمى RA-CLIPScore (الدرجة المعتمدة على CLIP الواعية بالمنطقة والسمة). فكر في هذا كتحويل مقيم الذكاء الاصطناعي إلى محقق يحمل عدسة مكبرة. بدلاً من النظر إلى الصورة بأكملها دفعة واحدة وإعطاء درجة واحدة، يقوم RA-CLIPScore بتفكيك الصورة إلى قطع صغيرة من أحجية (تسمى "رقع" أو patches) ويسأل سؤالاً محدداً جداً عن كل قطعة.

إليك كيف يعمل الأمر، خطوة بخطوة:

1. خدعة "نعم ولا" (الطلبات المزدوجة): كانت الأدوات القديمة تسأل: "هل توجد بومة بيضاء؟" وتحصل على إجابة مربكة إذا كانت الصورة غير منظمة. الطريقة الجديدة تسأل سؤالين في نفس الوقت: "هل هذه صورة لبومة بيضاء؟" وَ "هل هذه صورة بدون بومة بيضاء؟". ومن خلال مقارنة الإجابات لكليهما، يمكن للنظام تحديد مقدار وجود البومة بالضبط، دون أن يرتبك بسبب أشياء أخرى في الصورة. إنه يشبه سؤال صديق: "هل هذه بيتزا؟" و "هل هذه ليست بيتزا؟" في آن واحد للحصول على إجابة أوضح.
2. التكبير (رموز الرقع المحلية): بدلاً من التحديق في الصورة بأكملها، ينظر RA-CLIPScore إلى مربعات صغيرة من الصورة بشكل فردي. فهو يتحقق مما إذا كان "البومة البيضاء" موجودة بالفعل على البومة، أم أنها تطفو بالخطأ في السماء. هذا يسمح له برصد الأخطاء المكانية—مثل النموذج الذي يضع دائماً غيتاراً في الزاوية العلوية اليسرى، رغم أن الغيتارات الحقيقية تُحمل في المنتصف.
3. بطاقة التسجيل (التباعد): بمج once يتحقق النظام من جميع القطع، فإنه يقارن صور الذكاء الاصطناعي بالصور البشرية الحقيقية. إنه يحسب "التباعد" (divergence)، وهو مجرد طريقة منمقة لقول "ما مدى اختلاف هاتين المجموعتين؟". إذا كان الذكاء الاصطناعي يضع البوم في السماء بنسبة 100% من الوقت، بينما توجد البوم الحقيقية عادة فوق الأشجار، فإن الدرجة ترتفع، مما ينذرنا بأن هناك خطأ ما.

ماذا وجدوا: الذكاء الاصطناعي لديه "تحيز"

اختبر الباحثون هذه الأداة الجديدة على عدة نماذج شهيرة تولد الوجوه وأشياء أخرى. وجدوا بعض الأشياء المفاجئة التي أغفلتها الأدوات القديمة تماماً:

• تحيز "خشبة المسرح المركزية": اكتشفوا أن بعض نماذج الذكاء الاصطناعي لديها عادة بوضع الأشياء في منتصف الصورة تماماً، بينما تكون الصور الحقيقية أكثر عشوائية. على سبيل المثال، عند توليد صور لـ "هواتف بقرص دوار"، كان الذكاء الاصطناعي يضعها باستمرار في المنتصف، بينما تظهر الصور الحقيقية في أماكن متنوعة.
• "الغيتار المائل": وُجد أن أحد النماذج، BigGAN، يرسم دائماً تقريباً الجيتارات الكهربائية بزاوية 45 درجة. الجيتارات الحقيقية تُحمل في أوضاع شتى، لكن الذكاء الاصطناعي لديه عادة جامدة.
• إزاحة "البوريتو": مال نموذج آخر، LDM، إلى وضع البوريتو في الجزء العلوي من الصورة، مما أدى لإزاحته عن المكان الذي يظهر فيه عادة في الحياة الواقعية.

هذه ليست مجرد هفوات صغيرة؛ إنها انحيازات منهجية. إذا استخدمت صور الذكاء الاصط هذه لتدريب سيارة ذاتية القيادة أو ماسح طبي، فقد تتعلم الآلة أن "السيارات دائماً في المنتصف" أو "خلايا السرطان دائماً في المنتصف"، وهو أمر قد يكون خطيراً في العالم الحقيقي.

الاختبار البشري: هل يطابق أعيننا؟

للتأكد من أن أداهم الجديدة ليست مجرد رياضيات من أجل الرياضيات، طلب المؤلفون من بشر حقيقيين لعب لعبة. عرضوا على الناس أزواجاً من الصور المولدة بالذكاء الاصطناعي وسألوا: "أي مجموعة تبدو أكثر تنوعاً وطبيعية؟"

كانت النتائج مذهلة. لقد طابقت مقياس التباعد الإقليمي للسمة الواحدة (R-SaD)، وهو جزء من RA-CLIPScore، الرأي البشري تماماً. كان الارتباط 1.0، مما يعني أنه عندما قال البشر "هذا يبدو متنوعاً"، قال المقياس "نعم"، وعندما قالوا "هذا يبدو غريباً"، وافقهم المقياس. في المقابل، كانت المقاييس القديمة والشائعة مثل FID أو "التغطية" (Coverage) تطابق الرأي البشري بنسبة تتراوح بين 30% إلى 70% فقط. اتضح أن الأدوات القديمة كانت غالباً عمياء عن الأشياء التي تجعل الصورة تبدو "غير طبيعية" بالنسبة للعين البشرية.

لماذا يهم هذا

تخلص الورقة البحثية إلى أننا بحاجة للتوقف عن قبول رقم واحد كدرجة نهائية لفن الذكاء الاصطناعي. مجرد كون الصورة تبدو "جيدة" من بعيد لا يعني أنها عادلة أو دقيقة أو آمنة. يمنحنا RA-CLIPScore طريقة للنظر تحت الغطاء ورؤية أين يعاني الذكاء الاصطناعي بالضبط. إنه يوضح لنا أن نماذج الذكاء الاصطناعي يمكن أن تطور عادات غريبة، مثل وضع الأشياء دائماً في نفس المكان، ويعطينا الأدوات لإصلاحها.

باختصار، لقد صنع المؤلفون مجهراً أفضل للعالم الرقمي. لقد أثبتوا أنه من خلال النظر في التفاصيل الصغيرة والمواقع المحددة للأشياء، يمكننا فهم الذكاء الاصطناعي بشكل أفضل بكثير مما كنا عليه من قبل. هذا لا يساعدنا فقط في صنع صور أجمل؛ بل يساعدنا في بناء ذكاء اصطناعي أكثر موثوقية وأقل عرضة لارتكاب أخطاء سخيفة ومنحازة.