Vision2Code: A Multi-Domain Benchmark for Evaluating Image-to-Code Generation
تقدم الورقة البحثية Vision2Code، وهو معيار وإطار تقييم متعدد المجالات وخالٍ من الكود المرجعي، يقيم توليد الكود من الصور عبر رندرة مخرجات النماذج وتقييمها باستخدام معايير محددة لكل مجال، مما يكشف عن فجوات كبيرة في الأداء في المجالات البصرية المكانية والمعقدة، بينما يثبت أن المخرجات المفلترة يمكن أن تحسن تدريب النماذج بشكل فعال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك رسماً معقداً، مثل مخطط هندسي لمنزل، أو رسماً كيميائياً، أو رسماً بيانياً مالياً. الآن، تخيل أنك تطلب من كمبيوتر أن ينظر إلى هذه الصورة ويكتب مجموعة التعليمات (الكود) الدقيقة اللازمة لرسمها مرة أخرى من الصفر.
هذا هو جوهر ما يدور حوله بحث Vision2Code. إنه "اختبار" جديد (معيار مرجعي) صُمم لمعرفة مدى براعة نماذج الذكاء الاصطناعي في تحويل الصور مرة أخرى إلى كود قابل للتعديل.
إليك تفصيل للأفكية الرئيسية للبحث باستخدام تشبيهات بسيطة:
1. المشكلة: فجوة "البكسل مقابل المخطط"
فكر في الصورة على أنها صورة فوتوغرافية لكعكة. إذا نظرت فقط إلى الصورة، يمكنك رؤية الكعكة، لكن لا يمكنك بسهولة تغيير نكهة الكريمة أو تحريك حبة الكرز دون تعديل البكسلات (مما سيجعل الأمر يبدو سيئاً).
ومع ذلك، إذا كان لديك الوصفة (الكود)، يمكنك بسهولة تغيير الكريمة إلى الشوكولاتة أو تحريك حبة الكرز.
- الاختبارات القديمة: كانت الاختبارات السابقة للذكاء الاصطناعي مثل سؤال: "هل يمكنك رسم كعكة تشبه هذه الصورة؟" لقد ركزت على مواضيع ضيقة (مثل الرسوم البيانية فقط) أو كانت تتطلب وجود الوصفة الأصلية لدى الذكاء الاصطناعي للمقارنة بها.
- الاختبار الجديد (Vision2Code): هذا الاختبار يسأل: "هل يمكنك النظر إلى هذه الصورة الفوتوغرافية لكعكة وكتابة وصفة جديدة، إذا تم اتباعها، ستنتج كعكة تشبه الأصلية تماماً وتعمل بنفس الطريقة؟" والأهم من ذلك، أن الاختبار لا يعطي الذكاء الاصطناعي الوصفة الأصلية؛ بل يعطيه الصورة فقط.
2. التحدي: الأمر ليس مجرد نوع واحد من الرسومات
أدرك المؤلفون أن رسم مخطط أعمدة يختلف تماماً عن رسم غرفة ثلاثية الأبعاد أو لوحة دوائر إلكترونية.
- التشبيه: تخيل اختباراً يتوجب عليك فيه رسم خريطة.
- المخططات والرسوم البيانية: مثل رسم خريطة مترو الأنفاق. يجب أن تتصل الخطوط ببعضها، ويجب أن تكون أسماء المحطات صحيحة.
- الكيمياء: مثل رسم جزيء. إذا استبدلت ذرة بأخرى، يصبح الشيء بأكمله خاطئاً.
- الوثائق: مثل نسخ صفحة جريدة كثيفة. كل كلمة وكل عمود له أهميته.
- المشاهد ثلاثية الأبعاد: مثل رسم غرفة ذات عمق. إذا بدت الطاولة وكأنها عائمة أو مسطحة، فإن الرسم يعتبر فاشلاً.
يغطي Vision2Code 15 نوعاً مختلفاً من الصور عبر هذه الفئات الست. إنه يشبه "الألعاب الأولمبية متعددة الرياضات" للرسم بالذكاء الاصطناعي، بدلاً من كونه سباقاً قصيراً لنوع واحد محدد من الصور.
3. نظام التقييم: "ناقد الفن الصارم"
كيف يتم تقييم رسم الذكاء الاصطنا؟
- الطريقة القديمة: كانت بعض الاختبارات تقارن ببساطة بين الصورة الجديدة والصورة القديمة بكسل ببكسل (مثل التحقق مما إذا كانت الصورتان متطابقتين تماماً). وهذا أمر سيء لأن إزاحة بسيطة في خط ما قد تبدو مثالية للإنسان ولكنها تفشل في فحص البكسل.
- طريقة Vision2Code: يستخدمون مُقيّماً يعتمد على نموذج لغوي بصري (VLM Rater) يعمل كناقد فني صارم.
- يقوم الذكاء الاصطناعي بتوليد الكود.
- يتم تشغيل الكود لإنشاء صورة جديدة.
- يقوم "الناقد" بمقارنة الصورة الجديدة بالأصلية.
- اللمسة المميزة: يستخدم "الناقد" كتب قواعد مختلفة لمهام مختلفة.
- بالنسبة لرسم كيميائي، يقول كتاب القواعد: "إذا كانت الذرات خاطئة، ستحصل على صفر، حتى لو كانت الألوان تبدو جميلة".
- بالنسبة لمخطط بياني، يقول كتاب القواعد: "إذا كانت الأرقام على المحور خاطئة، فقد فشلت".
- لديهم أيضاً "حواجز حماية". إذا ارتكب الذكاء الاصطناعي خطأً فادحاً وواضحاً (مثل رسم جزيء مقلوب)، يتم خفض الدرجة تلقائياً، بحيث لا يمكن للذكاء الاصطناعي خداع النظام برسم جميل ولكنه خاطئ.
4. النتائج: الذكاء الاصطناعي جيد في بعض الأشياء، وسيئ في أخرى
اختبر البحث 9 نماذج مختلفة من الذكاء الاصطناعي (بعضها مجاني وبعضها باهظ الثمن).
- الأخبار الجيدة: النماذج الأفضل أصبحت بارعة جداً في رسم المخططات والرسوم البيانية. يمكنها النظر إلى مخطط أعمدة وكتابة الكود لإعادة إنتاجه بشكل شبه مثالي.
- الأخبار السيئة: تعاني النماذج في المهام المعقدة والمحددة.
- المشاهد ثلاثية الأبعاد: غالباً ما يحولون الأجسام ثلاثية الأبعاد إلى ثنائية الأبعاد، مما يفقدها الإحساس بالعمق.
- الكيمياء والدوائر الإلكترونية: يخلطون بين الرموز أو التوصيلات.
- الوثائق: يفوتهم النص أو يفسدون التنسيق.
- الخلاصة: مجرد كون الذكاء الاصطناعي ذكياً في رسم رسم بياني بسيط لا يعني أنه يفهم الهيكل العميق لمخطط دائرة إلكترونية. المهارة هنا "تعتمد على المجال".
5. خدعة "التدريب الذاتي"
جرب البحث أيضاً خدعة ذكية لجعل الذكاء الاصطناعي أفضل دون الحاجة إلى المزيد من المعلمين البشر.
- الفكرة: يحاول الذكاء الاصطناعي رسم صورة. يقوم "الناقد" بتقييمه.
- الفلتر (المصفاة): إذا حصل الذكاء الاصطناعي على درجة جيدة في المحاولة الأولى، ولكنه فشل في إعادة إنشاء رسمه الخاص عندما طُلب منه القيام بذلك مرة أخرى، فهذا يعني أن الذكاء الاصطناعي حالفه الحظ أو حفظ نمطاً بدلاً من فهم الهيكل حقاً.
- النتيجة: من خلال تدريب الذكاء الاصطناعي فقط على الأمثلة التي حصل فيها على درجة جيدة ولكنه تعثر في المحاولة الثانية، ساعدوا النموذج على تعلم الأجزاء "المخادعة". أدى ذلك إلى تعزيز أداء نموذج أصغر (Qwen3.5-9B) بشكل كبير، مما يثبت أن هذا "الناقد" يمكنه تعليم الذكاء الاصطناٍ كيفية الرسم بشكل أفضل.
الملخص
Vision2Code هو اختبار جديد، أكثر عدلاً وشمولية للذكاء الاصطناعي. إنه يتوقف عن السؤال "هل يبدو هذا مثل الصورة؟" ويبدأ في السؤال "هل يعيد هذا الكود بناء هيكل الصورة فعلياً؟". إنه يوضح أنه بينما أصبح الذكاء الاصطناعي بارعاً في المخططات البسيطة، إلا أنه لا يزال أمامه طريق طويل قبل أن يتمكن من إعادة إنشاء المخططات العلمية المعقدة، أو المشاهد ثلاثية الأبعاد، أو الوثائق الكثيفة بشكل مثالي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.