🤖 machine learning

Symbolic Graphics Programming with Large Language Models

تقدم هذه الورقة SGP-GenBench لتقييم قدرة النماذج اللغوية الكبيرة على توليد برامج الرسوميات الرمزية (SVGs)، وتقترح نهجاً للتعلم التعزيزي بمكافآت قابلة للتحقق يعزز بشكل كبير جودة التوليد والمواءمة الدلالية، مما يمكّن النماذج مفتوحة المصدر من مضاهاة أداء الأنظمة الرائدة.

المؤلفون الأصليون: Yamei Chen, Haoquan Zhang, Yangyi Huang, Zeju Qiu, Kaipeng Zhang, Yandong Wen, Weiyang Liu

نُشر 2026-08-10

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yamei Chen, Haoquan Zhang, Yangyi Huang, Zeju Qiu, Kaipeng Zhang, Yandong Wen, Weiyang Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول وصف صورة لصديق لم يرها من قبل. قد تقول له: "ارسم سيارة حمراء بجانب دراجة زرقاء". لكن اللغة الطبيعية فوضوية؛ فهي مليئة بهوامش الخطأ. قد يرسم صديقك سيارة كبيرة جدًا، أو دراجة تطفو في الهواء، أو لونًا أحمر يبدو أقرب إلى الوردي. هذا هو الصراع اليومي للحواسيب التي تحاول تحويل الكلمات إلى صور. لفترة طويلة، علم العلماء الحواسيب كيف "تحلم" بالصور باستخدام البكسلات، مثل رسام رقمي يلطخ الألوان على لوحة فنية. لكن هناك طريقة أخرى: البرمجة الرسومية الرمزية (Symbolic Graphics Programming). بدلاً من لطخ البكسلات، يكتب الكمبيوتر وصفة دقيقة — مجموعة من التعليمات الرياضية — لبناء الصورة قطعة بقطعة، تماماً مثل تجميع مجموعة "ليغو" (LEGO) أو اتباع مخطط معماري صارم. هذه الطريقة دقيقة للغاية، لكن من الصعب جداً إتقانها.

هنا يأتي دور نماذج اللغات الكبيرة (LLMs). هذه هي العقول الاصطناعية فائقة الذكاء التي يمكنها كتابة الأكواد، وإلقاء النكات، والإجابة على الأسئلة. إنها بارعة في اتباع التعليمات، ولكن هل يمكنها كتابة "المخططات" المحددة المطلوبة لبناء صورة مثالية من وصف بسيط؟ هذا هو السؤال الكبير الذي تعالجه هذه الورقة البحثية. أراد الباحثون معرفة: هل يمكن لهذه العقول الاصطناعية أن تتعلم لتصبح مهندسين معماريين بارعين للمشاهد البصرية، بحيث تكتب الكود الدقيق اللازم لبناء عالم معقد، وإذا لم تتمكن من فعل ذلك بمفردها، فهل يمكننا تعليمها لتصبح أفضل؟

قصة الورقة البحثية: تعليم الذكاء الاصطناعي الرسم عبر الكود

بدأ الباحثون باختبار أحدث ما توصل إليه العلم. قاموا ببناء اختبار ضخم يسمى SGP-GenGenBench، وهو يشبه اختبار قيادة ضخم لفناني الذكاء الاصطناعي. قدموا لمختلف نماذج الذكاء الاصطناعي قائمة من الأوامر (Prompts)، تتراوح من البسيطة ("سيارة حمراء") إلى المعقدة ("ثلاثة أشخاص يركبون على ظهور فيلة"). كان الهدف هو معرفة ما إذا كان بإمكان الذكاء الاصطناعي كتابة الكود (تحديداً نوع يسمى SVG، أو الرسومات المتجهة القابلة للتوسع) الذي سيقوم بإظهار ما طُلب منه بالضبط.

كانت النتائج متباينة نوعاً ما. النماذج "الرائدة" (Frontier models) — وهي النماذج باهظة الثمن والمغلقة المصدر التي تستخدمها شركات التكنولوجيا الكبرى — أبلت بلاءً حسناً. استطاعت في الغالب ضبط الأشكال والألوان بشكل صحيح. لكن النماذج مفتوحة المصدر، وهي المجانية التي يمكن لأي شخص استخدامها ودراستها، واجهت صعوبات. فغالباً ما كانت تكتب أكواداً لا تعمل على الإطلاق، أو ترسم أشياء لا تشبه الوصف المطلوب بتاتاً. كان الأمر يشبه طلب بناء منزل من مبتدئ؛ قد يضع السقف، لكن الجدران ستكون مائلة، أو قد يكون الباب مفقوداً تماماً.

لذا، سأل الفريق: كيف نصلح النماذج مفتوحة المصدر؟

لم يكتفوا بتغذية النماذج بمزيد من الأمثلة للحفظ، بل استخدموا تقنية تسمى التعلم التعزيزي (Reinforcement Learning - RL). فكر في هذا الأمر كتدريب كلب، ولكن للكمبيوتر.

المحاولة: يحاول الذكاء الاصطناعي كتابة الكود الخاص بصورة ما.
التحقق: يقوم الكمبيوتر بتحويل الكود إلى صورة فعلية.
المكافأة: يقوم "حَكَم" فائق الذكاء (ذكاء اصطناعي آخر مدرب على فهم الصور) بمقارنة النتيجة بالوصف الأصلي.
- إذا كتب الذكاء الاصطناعي كوداً تعطل أو لم يتمكن من إظهار الصورة، يحصل على صفر.
- إذا كانت الصورة تشبه الوصف، يحصل على درجة عالية.
- إذا كانت الصورة قريبة ولكن بها بعض الأخطاء، يحصل على درجة متوسطة.

يتعلم الذكاء الاصطناعي بعد ذلك من هذه الدرجات. يدرك قائلاً: "أوه، عندما أضع الشمس في الزاوية العلوية اليسرى، ترتفع الدرجة. وعندما أنسى وضع العجلات على السيارة، تنخفض الدرجة". عبر آلاف المحاولات، يتعلم الذكاء الاصطناعي قواعد اللعبة.

النتائج المفاجئة

كانت النتائج مبهرة. فبعد هذا "المعسكر التدريبي"، لم يتحسن النموذج مفتوح المصدر (Qwen-2.5-7B) قليلاً فحسب، بل قفز إلى مستوى يمكنه فيه منافسة أفضل النماذج مغلقة المصدر. لقد انتقل من رسم خربشات فوضوية ومكسورة إلى إنشاء رسومات متجهة نظيفة، مفصلة، ودقيقة.

لكن الجزء الأكثر إثارة للاهتمام لم يكن مجرد النتيجة النهائية؛ بل كان كيف غير الذكاء الاصطناعي سلوكه أثناء التعلم. راقب الباحثون تطور "عملية التفكير" لدى الذكاء الاصطناعي ووجدوا حيلتين رائعتين بدأ باستخدامهما:

تفكيك الأشياء: في البداية، كان الذكاء الاصطناعي يحاول رسم كائن معقد (مثل دراجة نارية) في كتلة واحدة كبيرة وفوضوية من الكود. ومع تقدمه في التعلم، بدأ بتفكيك الدراجة النارية إلى أجزاء أصغر يمكن التحكم بها: "أولاً، سأرسم الهيكل. ثم، سأضيف العجلات. الآن، لنضف المقود". كان الأمر يشبه طباخاً توقف عن محاولة رمي جميع المكونات في القدر دفعة واحدة وبدأ في تحضير كل مكون بعناية.
إضافة تفاصيل "اختيارية": بدأ الذكاء الاصطناعي في إضافة أشياء لم تُطلب منه صراحة ولكنها تجعل الصورة تبدو أكثر واقعية. إذا طلبت منه "أشخاصاً يجلسون حول طاولة مع كعكة"، فقد يبدأ الذكاء الاصطناعي في إضافة حبيبات السكر فوق الكعكة أو فتات على الطاولة. وإذا طلبت مشهداً شاطئياً، فقد يضيف أمواجاً أو رمالاً. لم تكن هذه أخطاءً، بل كانت خيارات إبداعية جعلت المشهد يبدو مكتملاً وطبيعياً، مما أظهر أن الذكاء الاصطناعي بدأ يفهم سياق المشهد، وليس فقط الكلمات الحرفية.

لماذا يهم هذا؟

تشير الورقة البحثية إلى أن هذه الطريقة هي وسيلة قوية لتعليم الحواسيب كيفية "الرؤية" و"الرسم" دون الحاجة إلى ملايين الأمثلة المثالية للبدء. فمن خلال استخدام نظام مكافأة يتحقق مما إذا كانت الصورة تطابق الكلمات، يتعلم الذكاء الاصطناعي كيفية مواءمة مهاراته اللغوية مع مهاراته البصرية.

وجد الباحثون أن هذا النهج يعمل بشكل جيد لدرجة أن النموذج مفتوح المصدر، الذي بدأ وهو يعاني، انتهى به الأمر ليكون على قدم المساواة مع الأنظمة التجارية الأكثر تقدماً. كما اكتشفوا أن الذكاء الاصطناعي لم يكتفِ بحفظ الإجابات؛ بل تعلم استراتيجية تفكيك المهام المعقدة إلى خطوات أصغر يمكن التحكم فيها وإضافة تفاصيل مفيدة لجعل النتيجة النهائية أفضل.

باختصار، تظهر هذه الورقة أنه مع التدريب الصحيح — حيث يتلقى الذكاء الاصطناعي تغذية راجعة فورية حول ما إذا كان "رسمه" يطابق الوصف — يمكننا تحويل نموذج لغوي أساسي إلى مبرمج رسومي دقيق، مبدع، وعالي الكفاءة. إنها خطوة نحو ذكاء اصطناعي لا يكتفي بالتخمين لما يجب أن تبدو عليه الصورة، بل يعرف بالفعل كيفية بنائها، سطراً برمجياً دقيقاً تلو الآخر.

ملخص تقني: البرمجة الرسومية الرمزية باستخدام النماذج اللغوية الكبيرة

بيان المشكلة

أظهرت النماذج اللغوية الكبيرة (LLMs) قدرات قوية في تخليق البرامج، ومع ذلك، لا تزال قدرتها على توليد البرامج الرسومية الرمزية (SGPs) — وتحديداً الكود الذي يُرسم إلى محتوى مرئي دقيق وقابل للتنفيذ — غير مستكشفة بشكل كافٍ. بخلاف توليد الصور من النص التقليدي الذي يعتمد على تمثيلات البكسل الكامنة، تتطلب البرامج الرسومية الرمزية (SGPs) من النموذج ترجمة اللغة الطبيعية إلى كود رسمي مهيكل (مثل رسومات Scalable Vector Graphics أو SVG). تتطلب هذه المهمة استدلالاً مكانياً دقيقاً، ودقة هندسية، ومنطق تركيبي، مما يسد الفجوة بين الأوصاف اللغوية المجردة والمخرجات المرئية الحتمية. تعالج الورقة سؤالين أساسيين:

إلى أي مدى يمكن للنماذج اللغوية الكبيرة الحالية توليد برامج رسومية رمزية (SGPs) بفعالية؟
كيف يمكن تحسين قدرات التوليد للنماذج اللغوية الكبيرة، وخاصة النماذج مفتوحة المصدر، لتضاهي الأنظمة المملوكة الرائدة؟

المنهجية

1. بناء المعيار المرجعي: SGP-GenBench

لتقييم توليد الـ SGP بشكل منهجي، قدم المؤلفون SGP-GenBench، وهو معيار مرجعي واسع النطاق يتكون من ثلاثة مكونات متكاملة:

توليد المشاهد (COCO-val): 1,024 مثالاً من MS-COCO لتقييم المشاهد المعقدة التي تحتوي على كائنات وتفاعلات متعددة.
توليد الكائنات (SGP-Object): 930 مثالاً يركز على التصوير عالي الدقة لكائن واحد.
التوليد التركيبي (SGP-CompBench): 3,200 مطالبة (prompt) تختبر ثلاثة أبعاد تركيبية محددة:
- ربط السمات (Attribute Binding): اتساق اللون، الشكل، والملمس.
- العلاقات المكانية: العلاقات المكانية ثنائية وثلاثية الأبعاد والضمنية.
- القدرة العددية (Numeracy): التوليد الدقيق لأعداد محددة من الكائنات (من 3 إلى 10 عناصر).

تشمل مقاييس التقييم الأمانة الدلالية (CLIP-Score، DINO-Score، VQA-Score، HPS v2) والجودة التركيبية (يتم الحكم عليها عبر مطالبات محددة للسمات، العلاقات، ودقة العد).

2. التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR)

لتحسين توليد الـ SGP، يقترح المؤلفون نهج تعلم تعزيزي (RL) باستخدام تحسين السياسة النسبي للمجموعات (GRPO). لا يتطلب هذا الأسلوب وجود برامج SVG حقيقية (ground-truth) أو مجموعات بيانات مقترنة من الصور والكود. بدلاً من ذلك، يستفيد من نماذج الرؤية التأسيسية الخارجية لتوفير إشارات مكافأة قابلة للتحقق.

تصميم المكافأة:
يتم تحليل دالة المكافأة $r(s, c, x)$ لـ SVG مُولد $s$ ، ووصف $c$ ، وصورة مرجعية اختيارية $x$ إلى:

بوابة صلاحية التنسيق ( $r_{fmt}$ ): فحص ثنائي يضمن أن المخرج يتبع هيكلية <THINK>/<ANSWER> محددة ويتم رندرتها بنجاح إلى صورة نقطية (raster image) دون أخطاء. المخرجات غير الصالحة تحصل على مكافأة صفر.
المحاذاة الإدراكية:
- المحاذاة بين النص والصورة ( $r_{Text}$ ): تحسب تشابه جيب التمام (cosine similarity) بين الوصف والصورة المُندرة باستخدام مشفر لغوي بصري تبايني (مثل SigLIP).
- المحاذاة بين الصورة والصورة ( $r_{Image}$ ): عند توفر صورة مرجعية، تحسب التشابه بين الصورة المُندرة والمرجع باستخدام مشفر رؤية ذاتي الإشراف (مثل DINO).

إجمالي المكافأة هو مجموع مرجح لهذه المكونات، محكوم ببوابة الصلاحية. يسمح هذا للنموذج بالتعلم من الصور الخام والمطالبات النصية دون الحاجة إلى شروح برمجية صريحة.

المساهمات الرئيسية

SGP-GenBench: تقديم معيار مرجعي شامل يقيم النماذج اللغوية الكبيرة عبر دقة الكائنات، وتماسك المشاهد، والاتساق التركيبي (السمات، العلاقات المكانية، والقدرة العددية).
توليد SGP المدفوع بالتعلم التعزيزي: إطار عمل مبتكر لما بعد التدريب يستخدم مكافآت المحاذاة عبر الوسائط (النص-الصورة، والصورة-الصورة) لضبط النماذج اللغوية الكبيرة لتوليد SVG. يتيح هذا النهج للنماذج مفتوحة المصدر تحقيق أداء يقارب الأنظمة المملوكة الرائدة.
تحليل السلوك الناشئ: تحليل معمق يكشف أن تدريب التعلم التعزيزي يحفز استراتيجيات ناشئة محددة:
- التفكيك (Decomposition): يتعلم النموذج تفكيك الكائنات المعقدة إلى عناصر بسيطة يمكن التحكم بها (على سبيل المثال، فصل الدراجة النارية إلى عجلات، إطار، وأضواء) بدلاً من توليد كتل كود متجانسة.
  টি التفصيل السياقي (Contextual Detailing): يقوم النموذج تلقائياً بتوليد تفاصيل ذات صلة دلالية وغير مطلوبة (مثل إضافة أمواج إلى مشهد الشاطئ أو حبيبات سكر إلى الكعكة) لتعزيز تماسك المشهد وواقعيته.

النتائج التجريبية

أداء المعيار المرجعي

النماذج المملوكة مقابل مفتوحة المصدر: تتفوق النماذج المملوكة الرائدة (مثل Claude 3.7 Sonnet Thinking، Gemini 2.5 Pro) بشكل كبير على النماذج مفتوحة المصدر في SGP-GenBench. ويرتبط الأداء بقوة مع قدرات البرمجة العامة.
تأثير التعلم التعزيزي (RL): نجح نموذج Qwen-2.5-7B الذي تم ضبطه بالتعلم التعزيزي في تقليص الفجوة مع الأنظمة المملوكة بشكل كبير.
- حسن درجاته التركيبية الإجمالية من 8.8 (الأساسي) إلى 60.8، متفوقاً على النماذج المفتوحة الأخرى مثل DeepSeek-R1 و QwQ-32B.
- حقق أعلى درجة VQA (0.596) عبر جميع النماذج، متجاوزاً قليلاً Claude 3.7 Sonnet Thinking.
- أظهر دقة تفصيلية فائقة في المقارنات النوعية، حيث ولد أشكالاً هندسية وعناصر مشاهد أكثر دقة من النماذج المرجعية.

دراسات الاستئصال (Ablation Studies)

نماذج التضمين (Embedding Models): استخدام SigLIP كمشفر نص-صورة أدى إلى تجذر (grounding) وتنوع أقوى مقارنة بـ CLIP، خاصة في تقسيمات الصور الواقعية (COCO).
سلسلة الأفكام (CoT): وُجد أن التلقين الصريح بسلسلة الأفكام ليس ضرورياً للأداء الكمي؛ حيث يعمل كود الـ SVG نفسه كأثر استدلال ضمني.
أفضل من N مقابل التعلم التعزيزي (Best-of-N vs. RL): أظهر تحليل عينات Best-of-N أنه بينما يحسن زيادة العينات الأداء، فإن المكاسب من تدريب RL هي مكاسب نوعية ولا يمكن تكرارها عبر أخذ العينات القياسي ضمن ميزانيات حوسبة عملية (يتطلب الأمر ملايين العينات لمطابقة المكاسب الناتلة عن 1,000 خطوة من RL).

الأهمية والادعاءات

تذهب الورقة إلى أن البرمجة الرسومية الرمزية تقدم عدسة دقيقة وقابلة للتفسير لدراسة التجذر عبر الوسائط. من خلال إجبار النماذج اللغوية الكبيرة على توليد كود قابل للتنفيذ بدلاً من البكسلات الكامنة، تكشف هذه المهمة عن أوجه قصور محددة في الاستدلال المكاني والمنطق التركيبي.

يدعي المؤلفون أن التعلم التعزيزي بالمكافآت عبر الوسائط يوفر آلية قابلة للتوسع لضخ المعرفة البصرية في النماذج اللغوية الكبيرة دون الحاجة إلى مجموعات بيانات صور-برامج منسقة ومكلفة. وتظهر النتائج أن النماذج مفتوحة المصدر يمكن تدريبها للاقتراب من قدرات الأنظمة المغلقة الرائدة في توليد رسومات متجهة معقدة ومتوافقة دلالياً. علاوة على ذلك، فإن السلوكيات الناشئة المرصودة (التفكيك والتفصيل السياقي) تشير إلى أن التعلم التعزيزي لا يحسن إشارة المكافأة فحسب، بل يعزز أيضاً فهماً أكثر عمقاً وهيكلية للمشاهد المرئية.