Benchmarking Frontier Text-to-Image Models on Image-Description Prompts
تقيم هذه الورقة أربعة من النماذج الرائدة لتحويل النص إلى صورة (Gemini 3 Pro Image، وFLUX.2، وIdeogram 3.0، وHunyuan 3.0) بناءً على 48 مطالبة شديدة التعقيد، كاشفةً أن نموذج Gemini 3 Pro Image يتصدر بنتيجة 84.8/100، مع تسليط الضوء على أن الأنظمة الحالية تعاني أساساً في عد الأشياء، والدقة الهندسية، ووضوح النصوص.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في همهمة الحوسبة الحديثة الهادئة، برز نوع جديد من الفنانين، فنان لا يرسم بالفرشاة أو الصلصال، بل بالكلمات. هذه هي أنظمة تحويل النص إلى صورة، وهي برامج حاسوبية تستمع إلى وصف بشري وتحاول رسم صورة تطابقه. لسنوات، تم اختبار هذه الأنظمة بطلبات بسيطة، مثل "قطة تجلس على حصيرة"، حيث تؤدي فيها ببراعة مدهشة. لكن العالم الحقيقي نادراً ما يكون بهذه البساطة. فعندما يطلب المستخدم شيئاً محدداً ومعقداً — مثل مشهد يحتوي على أربعة كراسي حمراء بالضبط، ولافتة مكتوب عليها كلمة "OPEN" بحروف واضحة، وانعكاس في بركة ماء يمتثل لقوانين الفيزياء — غالباً ما تتعثر هذه البرامج. قد ترسم ثلاثة كراسي بدلاً من أربعة، أو تشوه الحروف على اللافتة، أو تجعل الانعكاس يطفو في الهواء. إن فهم سبب فشل هذه الأنظمة، وأيها يفشل بأقل قدر، أمر بالغ الأهمية لأي شخص يأمل في استخدامها في أعمال جادة، من تصميم الإعلانات إلى إنشاء لوحات القصة (storyboards). الفجوة بين نظام يعمل جيداً في المهام السهلة ونظام يمكنه التعامل مع متطلبات الواقع الفوضوية والمفصلة هي حيث يكمن الاختبار الحقيقي للذكاء.
وضع فريق من الباحثين هدفاً لقياس هذه الفجوة عبر إخضاع أربعة من أكثر أنظمة توليد الصور تقدماً لاختبار صارم. لم يطلبوا من الحواسيب رسم صور بسيطة؛ بدلاً من ذلك، غدوهم بثمانٍ وأربعين من أصعب الأوصاف المتاحة في مجموعة كبيرة من تعليقات الصور الواقعية. اختيرت هذه المطالبات لأنها تتطلب دقة: أعداد محددة من الأشياء، وترتيبات مكانية معينة، ونص مقروء مدمج داخل المشهد. الأنظمة التي تم اختبارها هي Hunyuan 3.0، وGemini 3 Pro Image، وBlack Forest Labs FLUX.2، وIdeogram 3.0. ولضمان حكم عادل وغير منحاز، استخدم الباحثون عملية ذكية مكونة من خطوتين. أولاً، عمل نموذج ذكاء اصطناعي واحد ككاتب، حيث أنشأ قائمة مرجعية مفصلة لما يجب أن تبدو عليه الصورة المثالية لكل مطالبة محددة، بينما كان ينظر أيضاً إلى الصورة الفعلية التي أنتجها النظام لتدوين أي عيوب واضحة. بعد ذلك، استخدم نموذج ذكاء اصطناعي مختلف تماماً، يعمل كحكم، تلك القائمة المرجعية لتقييم الصورة. هذا الفصل ضمن أن النموذج الذي يقرر ما الذي يجب البحث عنه لم يكن هو نفسه النموذج الذي يقرر ما إذا كانت الصورة قد اجتازت الاختبار، مما أزال التحيز الذي يمكن أن يحدث عندما يقيم النظام عمله الخاص.
كشفت النتائج عن انقسام واضح في القدرات. برز نظامان، Gemini 3 Pro Image وFLUX.2، كقادة، حيث سجلا 84.8 و82.3 من أصل 100، على التوالي. وتبعهما فجوة كبيرة، حيث سجل Ideogram 3.0 نسبة 65.7 وسجل Hunyuan 3.0 نسبة 63.3. لم يكن الفرق بين أفضل وأدنى أداء مجرد مسألة أخطاء صغيرة؛ بل كان فرقاً جوهرياً في كيفية تعاملهما مع التعقيد. الأنظمة الرائدة نجحت عموماً في ضبط الصورة الكبيرة، لكنها أخطأت أحياناً في عد الأشياء أو أدخلت خللاً هندسياً طفيفاً، مثل اندماج عجلة بشكل غريب مع إطار. في المقابل، عانت الأنظمة المتأخرة مع الأساسيات؛ فقد فشلت تكراراً في تضمين العناصر المطلوبة بالكامل، مثل حذف عنصر محدد من المشهد، أو شوهت النص، مما جعل الكلمات غير قابية للقراءة كخربشات بدلاً من حروف واضحة. على سبيل المثال، عندما طُلب منها رسم صندوق بريد على شكل سيارة مع عنوان محدد عليه، نجح النظام الأعلى تقييماً في ضبط كل التفاصيل، بينما فشل النظام الأقل تقييماً في جعل صندوق البريد يبدو كالسيارة على الإطلاق، وأغفل العنوان، ورسم إطارين فقط بدلاً من أربعة.
تسلط الدراسة الضوء على أنه بينما تتحسن هذه الأنظمة، إلا أنها لا تزال تفتقر إلى فهم أصيل للقواعد الرمزية المنفصلة. فهي ممتازة في التقاط المزاج العام واللون والتكوين، لكنها تعاني مع المنطق الدقيق المطلوب لعد الأشياء أو تهجئة الكلمات بشكل صحيح. وجد الباحثون أن أصعب التحديات لكل نظام كانت التسمية التسلسلية الدقيقة، مثل ترقيم منصات البداية من خمسة إلى ثمانية، وعدّ أعداد محددة من الناس أو الأشياء. حتى النظام الأفضل أداءً، Gemini 3 Pro Image، فقد نقاطاً في هذه المهام، وإن كان فعل ذلك بمعدل أقل بكثير من الآخرين. أظهرت الأنظمة المتأخرة، وخاصة Ideogram 3.0، نمطاً يتمثل في حذف عناصر مطلوبة بالكامل، مما يشير إلى أنها أحياناً "تستسلم" أمام التعليمات المعقدة بدلاً من محاولة تنفيذ التفاصيل بشكل خاطئ. هذا التمييز حيوي للمستخدمين: إذا كان المشروع يتطلب مشهداً يحتوي على العديد من الأشياء المتميزة، فإن الأنظمة الرائدة أكثر موثوقية، ولكن إذا كان الهدف هو توليد نص داخل صورة، فحتى أفضل الأنظمة لا تزال تكافح لإتقان ذلك في كل مرة.
في نهاية المطاف، يثبت هذا البحث أن القدرة على اتباع التعليمات المعقدة هي الحدود الجديدة لتوليد الصور. الفجوة بين الأفضل والبقية ليست مسألة أسلوب أو براعة فنية، بل هي مسألة اتساق منطقي. أثبت النظامان الرائدان قدرتهما على تحمل الأعباء الثقيلة للمتطلبات التكوينية، بينما تظل الأنظمة الأخرى عرضة لأخطاء جوهرية تكسر وهم الواقع. ومع انتقال هذه الأدوات من كونها مجرد فضول تجريبي إلى أدوات إنتاجية، سيعتمد اختيار النظام الذي سيتم استخدامه بشكل كبير على المهمة المحددة. بالنسبة للصور الجوية البسيطة، قد تكون الاختلافات ضئيلة، ولكن بالنسبة للطلبات التي تتطلب دقة، توفر الأنظمة الرائدة مستوى من الموثوقية لم تستطع الأنظمة الأخرى مضاهاته بعد. المسار نحو المستقبل يتضمن صقل هذه الأنظمة لتفهم قواعد العد والنص والمكان بشكل أفضل، وتحويلها من فنانين يخمنون التفاصيل إلى أدوات يمكنها تنفيذها بيقين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.