Scalable Question-Centric Text-to-Image Evaluation: Reliable Ranking, Fine-Grained Diagnosis, and Cost-Aware Routing

في عالم الذكاء الاصطناعي سريع التطور، ظهرت فئة محددة من البرمجيات التي يمكنها استحضار صور من لا شيء سوى جملة واحدة. هذه الأنظمة، المعروفة بنماذج "النص إلى الصورة"، تستمع إلى وصف المستخدم — مثل "قطة حمراء تجلس على سجادة زرقاء" — وتولد تمثيلاً بصرياً لذلك المشهد. لسنوات، كانت الطريقة الأساسية للحكم على مدى جودة عمل هذه الآلات هي النظر إلى الصورة النهائية ومنحها درجة واحدة. فإذا بدت الصورة جيدة بشكل عام، اعتُبر النموذج قوياً. ومع ذلك، مع تحسن هذه الأدوات، ظهرت مشكلة: غالباً ما تحقق النماذج المختلفة درجات إجمالية متشابهة بينما تمتلك نقاط قوة ونقاط ضعف متباينة تماماً. فقد يكون أحدها بارعاً في رسم الحيوانات ولكنه سيئ جداً في إظهار النصوص، بينما قد يتبع نموذج آخر تعليمات معقدة بدقة ولكنه يعاني مع الأشكال البسيطة. وهذا يجعل من الصعب على المستخدمين اختيار الأداة المناسبة لمهمة محددة، حيث لا يمكن لرقم واحد أن يكشف عن التفاصيل الدقيقة لما يمكن للنموذج القيام به فعلياً.

ولحل هذه المشكلة، قدم فريق من الباحثين من شركة "تشاينا يونيكوم" (China Unicom) طريقة جديدة لاختبار هذه الأنظمة تسمى QC-T2I-Bench. فبدلاً من معاملة المطالبة (prompt) ككتلة واحدة غير قابلة للتجزئة، تقوم طريقتهم بتفكيك كل طلب إلى سلسلة من الأسئلة الصغيرة والمحددة. إذا طلب المستخدم "قطة حمراء على سجادة زرقاء"، فإن النظام لا يسأل فقط: "هل الصورة جيدة؟"، بل يسأل: "هل هناك قطة؟"، "هل القطة حمراء؟"، "هل هناك سجادة؟"، و"هل السجادة زرقاء؟". ومن الأهمية بمكان أن الباحثين قاموا أيضاً برسم خريطة لكيفية اعتماد هذه الأسئلة على بعضها البعض؛ فهم يدركون أنه إذا فشل النظام في رسم القطة، فلا يمكنه بالضرورة النجاح في رسم فراء القطة الأحمر. ومن خلال تنظيم هذه الأسئلة في هيكل منطقي، يمكن للفريق تحديد مكان فشل النموذج بدقة، وما إذا كان هذا الفشل خطأً أساسياً أم خطأً أكثر تعقيداً لا يحدث إلا عند دمج متطلبات متعددة.

اختبر الباحثون هذا النهج على ثلاثة عشر مولداً مختلفاً للصور مفتوحة المص المصدر، باستخدام مطالبات باللغتين الإنجليزية والصينية. ووجدوا أنه بينما أدت بعض النماذج أداءً جيداً في المهام البسيطة، فإن قدرتها على التعامل مع الطلبات المعقدة انخفضت بشكل حاد مع زيادة عدد المتطلبات. عندما كانت المطالبة تحتوي على متطلبات لقدرتين مختلفتين فقط، نجحت النماذج في إنشاء صورة مثالية بنسبة 80.7% من الوقت. ومع ذلك، عندما تطلبت المطالبة سبع قدرات متميزة أو أكثر في آن واحد، انخفض معدل النجاح إلى 37.2%. لم يكن هذا التراجع مجرد مسألة إضافة المزيد من الأخطاء، بل كشف أن النماذج تعاني بشكل كبير من أجل الحفاظ على جميع قطع اللغز المعقد معاً في وقت واحد. كما أظهرت الدراسة أنه من خلال فهم هذه التبعيات، استطاع الباحثون التمييز بين نموذج لا يستطيع ببساطة رسم جسم معين، وبين نموذج يمكنه رسم الجسم ولكنه يفشل عندما يُطلب منه إضافة تفاصيل محددة إليه.

وبعيداً عن مجرد ترتيب النماذج، يسمح هذا التفصيل الدقيق بتطبيق أكثر عملية: "التوجيه الواعي بالتكلفة". في العالم الحقيقي، يتطلب تشغيل مولدات الصور هذه على أجهزة كمبيوتر قوية مالاً وطاقة. وقد أظهر الباحثون أن السجلات التفصيلية نفسها المستخدمة لتشخيص الأخطاء يمكن استخدامها لاختيار النموذج الأكثر كفاءة لمهمة معينة تلقائياً دون الحاجة إلى تدريب نظام جديد. فمن خلال تحليل المتطلبات المحددة لطلب المستخدم، استطاع نظامهم اختيار مولد أقل تكلفة في التشغيل ولكن يظل ملتزماً بمعايير الجودة. وفي اختباراتهم، طابقت هذه الطريقة أداء نموذج رفيع المستوى مع استخدام طاقة حوسبة أقل بنسبة 21.3% لكل صورة. وهذا يشير إلى أن مستقبل استخدام هذه الأدوات لا يكمن فقط في جعلها أكثر ذكاءً، بل في استخدام فهم أعمق لقدراتها المحددة لمطابقة الأداة المناسبة للمهمة المناسبة، مما يوفر الموارد مع الحفاظ على الجودة العالية.