🤖 machine learning

Generative Visual Code Mobile World Models

تقدم الورقة البحثية gWorld، وهو نموذج جديد لنماذج عالم واجهة المستخدم الرسومية للهواتف المحمولة يستفيد من نموذج لغوي بصري واحد للتنبؤ بحالة الواجهة التالية ككود ويب قابل للتنفيذ بدلاً من البكسلات الخام، مما يحقق رندرة بصرية عالية الدقة وتوليداً دقيقاً للنصوص مع التفوق بشكل كبير على النماذج الحالية الأكبر حجماً في الدقة.

المؤلفون الأصليون: Woosung Koh, Sungjun Han, Segyu Lee, Se-Young Yun, Jamin Shin

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Woosung Koh, Sungjun Han, Segyu Lee, Se-Young Yun, Jamin Shin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "Generative Visual Code Mobile World Models" (التي تقدم نموذج gWorld) باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: "البلورة السحرية الضبابية"

تخيل أنك تحاول تعليم روبوت كيفية استخدام هاتفك الذكي. للقيام بذلك، يحتاج الروبوت إلى "بلورة سحرية" (نموذج عالم - World Model) يمكنها التنبؤ بـ: "إذا نقرتُ على هذا الزر، كيف سيبدو شكل الشاشة التالية؟"

المحاولات الحالية لبناء هذه البلورة السحرية تعاني من عيب رئيسي:

نموذج "النصوص فقط": تحاول بعض النماذج وصف الشاشة التالية باستخدام الكلمات (مثل: "الزر يتحول للون الأزرق"). هذا سريع، لكنه يشبه وصف فيلم عن طريق قراءة السيناريو الخاص به؛ فأنت تفقد كل التفاصيل البصرية، مثل نوع الخط الدقيق، أو درجة اللون، أو التنسيق.
نموذج "مولد البكسلات": تحاول نماذج أخرى رسم الشاشة التالية بكسل تلو الآخر، مثل فنان يرسم لوحة. ورغم أن هذه الصور تبدو جميلة، إلا أن هذه النماذج سيئة للغاية في رسم النصوص؛ فهي غالبًا ما تنتج حروفًا غير مفهومة، أو أزرارًا مشوهة، أو تنسيقات غريبة. ولإصلاح ذلك، تحتاج إلى "مصنع" ضخم وبطيء متعدد الخطوات يتضمن أدوات ذكاء اصطناعي أخرى للتحقق من النص وإصلاح الأخطاء. الأمر يشبه توظيف رسام، ثم مدقق إملائي، ثم مهندس معماري، ثم محرر، فقط لرسم زر واحد.

الحل: "المخطط الهندسي للمعماري"

يقترح المؤلفون طريقة جديدة لبناء البلورة السرية. بدلاً من مطالبة الذكاء الاصطناعي بـ رسم الصورة (بكسلات) أو وصفها (نصوص)، يطلبون منه كتابة الكود الذي يبني هذه الصورة.

فكر في الأمر كالتالي:

الطريقة القديمة (مولد البكسلات): تطلب من فنان رسم نسخة طبق الأصل من موقع إلكتروني. قد يضبط الألوان، لكن النص قد يبدو كخربشات.
الطلط الجديدة (gWorld): تطلب من مهندس معماري بارع كتابة المخطط الهندسي (كود HTML/CSS) لهذا الموقع.

لأن الذكما الاصطناعي يكتب كودًا (وهو أمر هيكلي ومنطقي)، فهو يعرف تمامًا كيفية وضع زر، وكيفية تهجئة كلمة، وكيفية ترتيب التنسيق. وعندما يتم "تشغيل" هذا الكود (في متصفح)، فإنه يتحول فورًا إلى صورة حادة ومثالية للشاشة التالية.

ما هو gWorld؟

gWorld هو اسم نظام الذكاء الاصطناعي الجديد الذي بناه المؤلفون.

إنه "نموذج عالم": يأخذ الشاشة الحالية وفعلًا معينًا (مثل "النقر هنا") ويتنبأ بالشاشة التالية.
يتحدث لغة "الكود": بدلاً من إخراج ملف صورة، فإنه يُخرج كود ويب (HTML/CSS).
مفتوح وسريع: أصدر المؤلفون "الأوزان" (العقل) الخاصة بالنموذج مجانًا. ولأنه يتخطى "المصنع" البطيء والمعقد للطرق الأخرى، فهو سريع للغاية، حيث يتنبأ بالشاشة التالية في أقل من ثانية.

كيف علموا النموذج؟

لا يمكنك ببساطة أن تطلب من ذكاء اصطناعي كتابة كود لشاشة لم يسبق له رؤيتها. لذا بنى المؤلفون "مصنع تدريب" خاصًا:

إعادة تدوير البيانات القديمة: أخذوا سجلات موجودة بالفعل لبشر يستخدمون الهواتف (مسارات النقرات والمسحات).
المترجم: استخدموا ذكاءً اصطناعيًا فائق الذكاء للنظر إلى صورة "ما بعد" الفعل البشري وترجمة تلك الصورة إلى كود نظيف ويعمل بشكل صحيح.
خطوة التفكير المنطقي: علموا الذكاء الاصطناعي أيضًا أن "يفكر بصوت عالٍ" أولاً. قبل كتابة الكود، يشرح لماذا ستتغير الشاشة (على سبيل المثال: "المستخدم نقر على 'إرسال'، لذا يجب أن تختفي الرسالة الإلكترونية وتظهر رسالة 'تم الإرسال'").

النتائج: لماذا يهم هذا؟

اختبر المؤلفون gWorld مقابل 8 نماذج أخرى رفيعة المستوى (بعضها أكبر بـ 50 مرة وأكثر تكلفة).

الدقة: كان gWorld الأكثر دقة في التنبؤ بالشاشة التالية؛ فقد ضبط النص والتنسيق بشكل مثالي.
الكفاءة: حقق هذه النتائج مع حجم نموذج أصغر بكثير. الأمر يشبه سيارة رياضية مدمجة تهزم شاحنة ضخمة في سباق.
"حد باريتو" (Pareto Frontier): في الرسوم البيانية، خلق gWorld خطًا جديدًا "للأفضل الممكن". لا يمكنك الحصول على دقة أفضل دون جعل النموذج أكبر بكثير، وgWorld هو الأفضل بالفعل بالنسبة لحجمه.
اختبار العالم الحقيقي: اختبروه حتى على تطبيقات ولغات (مثل الكورية) لم يسبق له رؤيتها من قبل، ولا يزال يعمل بشكل جيد للغاية.

"سحر" المخطط الهندسي

تسلط الورقة الضوء على رؤية أساسية: شاشات الهاتف تعتمد في الغالب على الهيكل والنصوص، وليس الصور المعقدة.
بينما قد تحتوي بعض الشاشات على صور (مثل عرض الكاميرا)، فإن معظمها عبارة عن قوائم، وأزرار، ونصوص. ولأن gWorld يكتب الكود، فإنه يعامل الشاشة كوثيقة مهيكلة. وهذا يعني أنه لا يرتكب أخطاء إملائية أو أخطاء في التنسيق، وهو أكبر نقطة ضعف لنماذج "رسم البكسلات".

الملخص

تقدم الورقة البحثية gWorld، وهو نوع جديد من الذكاء الاصطناعي يتنبأ بكيفية تغير شاشة الهاتف بعد تفاعل المستخدم معها. بدلاً من محاولة "رسم" الشاشة التالية (مما يؤدي إلى نصوص ضبابية وأخطاء)، يقوم gWorld بكتابة الكود لبناء الشاشة. هذا النهج أسرع، وأكثر دقة، ويتطلب قوة حوسبة أقل، وينتج نصوصًا وتنسيقات مثالية، مما يضع معيارًا جديدًا لكيفية تعلم وكلاء الذكاء الاصطناعي (AI Agents) استخدام هواتفنا.

ملخص تقني: نماذج العالم لبرمجيات الواجهات الرسومية للهواتف المحمولة عبر توليد الكود المرئي

بيان المشكلة

تهدف نماذج العالم (WMs) للواجهات الرسومية (GUI) للهواتف المحمولة إلى التنبؤ بحالات الواجهة المستقبلية لتعزيز أداء الوكيل (Agent) أثناء التدريب والاستدلال. تواجه النهج الحالية مقايضة حرجة:

نماذج العالم القائمة على النصوص: تضحي بالدقة البصرية من خلال تجريد مساحة البكسل إلى نصوص، مما يؤدي لفقدان السمات الهيكلية والمكانية والجمالية الحرجة (مثل الأيقونات، والخطوط).
نماذج العالم البصرية (القائمة على البكسل): تعاني في دقة عرض النصوص وديناميكيات الواجهات الرسومية المنفصلة. تعتمد النماذج البصرية الحالية (مثل VIMO) على خطوط إنتاج معقدة متعددة المراحل تتضمن التعرف الضوئي على الحروف (OCR) خارجي، وقناع للنصوص، ونماذج انتشار (Diffusion Models)، ونماذج لغوية كبيرة مغلقة الأوزان لملء النصوص. ينتج عن ذلك عبء حسابي كبير، وزمن انتقال مرتفع، وضعف في قابلية إعادة الإنتاج بسبب الأوزان المغلقة.

علاوة على ذلك، تقوم الاختبارات المعيارية الحالية بتبسيط المشكلة عبر تحويل الإجراءات إلى نصوص أو اختبار سيناريوهات داخل التوزيع فقط، مما يفشل في تقييم التعميم الصفري (Zero-shot generalization) أو مساحات الإجراءات البصرية الأصلية.

المنهجية

يقترح المؤلفون gWorld، وهو نموذج جديد لنماذج عالم الواجهات الرسومية للهواتف المحمولة عبر توليد الكود القابل للرندرة (Renderable Code Generation). بدلاً من توليد البكسلات مباشرة، يتنبأ النموذج بالحالة التالية للواجهة ككود ويب (HTML/CSS) قابل للتنفيذ والذي يتم رندرته إلى بكسلات.

البنية الأساسية

النموذج: يعتمد gWorld على نماذج الرؤية واللغة (VLMs) مفتوحة الأوزان، وتحديداً نسخ مضبوطة بدقة من Qwen3 VL (بمعلمات 8 مليار و32 مليار).
التمثيل: يخرج النموذج كود ويب مهيكل. يستفيد هذا من الأولويات اللغوية لنموذج الرؤية واللغة (VLM) لضمان دقة عرض النصوص، ومن تدريبه المسبق على كود الويب المهيكل لضمان توليد بصري عالي الدقة.
هدف التدريب: يتم تدريب النموذج على التنبؤ بكل من مسار الاستدلال ( $R_t$ ) والكود الممثل للحالة التالية ( $S^{code}_{t+1}$ ) بناءً على حالة الصورة الحالية ( $S_t$ ) والإجراء ( $A_t$ ).

إطار توليد البيانات

بما أنه لا توجد مجموعات بيانات لتوليد نماذج عالم الواجهات الرسومية القائمة على الكود، فقد قدم المؤلفون إطاراً لتخليق بيانات التدريب:

إعادة توظيف المسارات: يتم تحويل مسارات سياسة الوكيل للهواتف المحمولة غير المتصلة بالإنترنت (من AitW، وGUIOdyssey، وAndroidControl، وAMEX) إلى ثلاثيات انتقالية $(S_t, A_t, S_{t+1})$ .
إعادة الوسم عبر الوسائط: يتم تحويل صورة الحالة التالية الحقيقية ( $S^{image}_{t+1}$ ) إلى كود ويب قابل للرندرة ( $S^{code}_{t+1}$ ) باستخدام نموذج رائد (Gemini 3 Flash) عبر أمر (Prompt) "تحويل الصورة إلى كود".
استدلال التطلع للأمام (Look-ahead Reasoning): يتم تخليق مسارات الاستدلال ( $R_t$ ) باستخدام النموذج الرائد مع وصول "تطلع حر للأمام" إلى الحالة التالية الحقيقية. يقوم هذا بتفكيك المشكلة إلى التنبؤ بتغيرات الحالة بلغة طبيعية أولاً، ثم تحويلها إلى كود، مما يضمن التوافق بين الاستدلال والمخرج النهائي.

الاختبار المعياري: MWMBENCH

قدم المؤلفون MWMBENCH، وهو اختبار معياري شامل يتكون من 6 مجموعات بيانات:

داخل التوزيع (ID): 4 مجموعات بيانات (AitW, GUIOdyssey, AndroidControl, AMEX).
خارج التوزيع (OOD): مجموعتان جديدتان:
- AndroidWorld: مجموعة تُجمع آلياً من اختبار AndroidWorld المعياري.
- KApps: مسارات منسقة يدوياً باللغة الكورية تضم تطبيقات كورية شهيرة (مثل Baemin، وKakaoTalk)، لاختبار التعميم متعدد اللغات والإقليمي.
الميزات الرئيسية: يقيم MWMBENCH النماذج في الوسيط البصري الأصلي (مع الحفاظ على الإحداثيات الأصلية للإجراءات) بدلاً من تحويل الإجراءات إلى نصوص، ويتضمن تقييماً خارج التوزيع للتعميم الصفري.

المساهمات الرئيسية

نماذج gWorld: أول نماذج عالم للواجهات الرسومية للهواتف المحملة، مفتوحة الأوزان، ومنفردة وذاتية الاحتواء (8B و32B) تعمل عبر توليد الكود القابل للرندرة.
إطار توليد البيانات: إطار عمل يقوم تلقائياً بتخليق بيانات تدريب ضخمة قائمة على الكود مع مسارات استدلال من مسارات السياسة الموجودة.
MWMBENCH: مجموعة اختبار معياري جديدة تتيح التقييم المنهجي لنماذج العالم البصرية عبر إعدادات داخل التوزيع وخارج التوزيع مع مساحات إجراءات بصرية أصلية.
التحقق التجريبي: إثبات أن النمذجة القائمة على الكود تتفوق على التوليد القائم على البكسل والتجريد القائم على النصوص، مما يضع حدوداً جديدة لمفهوم (Pareto frontier) من حيث الدقة مقابل حجم النموذج.

النتائج

أظهرت التقييمات المكثفة عبر 6 اختبارات معيارية (4 داخل التوزيع، 2 خارج التوزيع) ما يلي:

الأداء: حققت نماذج gWorld 8B و32B أفضل وثاني أفضل دقة تعليمات (IAcc.) عبر جميع الاختبارات. لقد تفوقت على 8 نماذج رائدة مفتوحة الأوزان (بما في ذلك Llama 4 402B وQwen3 VL 235B) التي تصل أحجامها إلى 50.25 ضعف حجمها.
حد باريتو (Pareto Frontier): وضع gWorld حداً جديداً لباريتو، محققاً دقة أعلى بعدد أقل بكثير من المعلمات مقارنة بالنماذج الرائدة الحالية.
المتانة: أظهرت النماذج قدرة قوية على التعميم في اختبارات OOD (AndroidWorld وKApps)، مع عدم تراجع الأداء بشكل ملحوظ مقارنة بإعدادات ID.
دقة الرندرة: قلل النهج القائم على الكود من الأخطاء الهيكلية بشكل شبه كامل، حيث سجلت معدلات فشل الرندرة أقل من 1% (مقارنة بأكثر من 30% لبعض النماذج المرجعية).
قوانين القياس (Scaling Laws): يتبع الأداء قانون قوة متوقع مع حجم مجموعة البيانات (من 37 ألف إلى 240 ألف عينة)، مما يشير إلى إمكانية تحقيق مكاسب إضافية مع المزيد من البيانات.
التأثير اللاحق: يؤدي دمج gWorld في وكيل سياسة (M3A) عبر الانتشار العرضي وتقدير القيمة إلى مكاسب كبيرة في الأداء (على سبيل المثال، تحسن متوسط الدقة بنسبة +22.4% مقارنة باستخدام السياسة وحدها أو استخدام دالة قيمة بدون نموذج عالم).
الكفاءة: يعد gWorld أسرع بكثير من نماذج العالم البصرية السابقة (مثل VIMO). يبلغ زمن الانتقال من النهاية إلى النهاية 0.55 ثانية (8B) و 1.30 ثانية (32B)، مقارنة بـ 160 ثانية المسجلة لـ VIMO.

الأهمية والادعاءات

يزعم البحث أن نمذجة العالم عبر الكود القابل للرندرة توفر أساساً عملياً لوكلاء الواجهات الرسومية للهواتف المحمولة القابل للتوسع والفعال. من خلال نقل التمثيل من البكسلات إلى الكود، يحافظ gWorld على هيكل الواجهة ودقة النصوص مع تجنب تعقيد وزمن انتقال خطوط الإنتاج متعددة المراحل القائمة على البكسل.

يؤكد المؤلفون أن:

هذا النهج يحل المقايضة بين الدقة البصرية ودقة النصوص.
يتيح إنشاء نماذج عالم مفتوحة الأوزان وقابلة لإعادة الإنتاج تتفوق على البدائل المغلقة أو البصرية الأكبر حجماً.
الطريقة عالية الكفاءة، مما يجعل نمذجة العالم في الوقت الفعلي أمراً ممكناً لوكلاء الهواتف المحمولة.
توفر الاختبارات المعيارية وإطار توليد البيانات المقدمة بنية تحتية ضرورية للبحوث المستقبلية في نمذجة عالم الواجهات الرسومية للهواتف المحمولة.

يظل البحث متواضعاً فيما يتعلق بالقيود، مشيراً إلى أن المحتوى الواقعي للغاية (مثل الصور الطبيعية المعقدة في مشغلات الفيديو) يصعب إعادة بنائه بدقة عالية عبر كود الويب، ومع ذلك، فإن هذا لا يؤثر بشكل كبير على الفائدة الدلالية لمعظم مهام الواجهة الرسومية. كما يُقترح في العمل المستقبلي دمج ذاكرة عاملة صريحة للارتباطات طويلة الأمد.