🤖 AI

Visual-ERM: Reward Modeling for Visual Equivalence

تقدم هذه الورقة البحثية Visual-ERM، وهو نموذج مكافأة توليدي متعدد الوسائط يقيم مهام تحويل الرؤية إلى كود من خلال التقييم المباشر للتفاوتات البصرية الدقيقة في الفضاء المُصوّر، متجاوزاً بذلك قيود إشارات المكافأة الحالية لتحسين أداء التعلم التعزيزي وتوسيع نطاق الأداء عند الاختبار بشكل كبير عبر مهام إعادة بناء المخططات والجداول والرسوم المتجهة (SVG).

المؤلفون الأصليون: Ziyu Liu, Shengyuan Ding, Xinyu Fang, Xuanlang Dai, Penghui Yang, Jianze Liang, Jiaqi Wang, Kai Chen, Dahua Lin, Yuhang Zang

نُشر 2026-03-16

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ziyu Liu, Shengyuan Ding, Xinyu Fang, Xuanlang Dai, Penghui Yang, Jianze Liang, Jiaqi Wang, Kai Chen, Dahua Lin, Yuhang Zang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مهندس معماري انتهيت للتو من رسم مخطط هندسي رائع لمنزل. سلمت هذا المخطط إلى روبوت بناء، وبدأ الروبوت في تشييد المنزل.

في الماضي، إذا أردت التحقق مما إذا كان الروبوت قد قام بعمل جيد، فقد كنت تسأله: "هل اتبعت التعليمات؟" وتتحقق من نص التعليمات مقابل ملاحظات الروبوت. أو ربما كنت تلتقط صورة سريعة للمنزل المكتمل وتقارنها بصورة مخططك، بحثاً عن اختلافات واضحة مثل "هل يوجد سقف؟"

المشكلة:
كانت الأساليب القديمة معيبة.

"فحص النص" كان أعمى: كان بإمكان الروبوت كتابة تعليمات مثالية ولكن يبني جداراً مائلاً. بدا النص صحيحاً، لكن المنزل كان خاطئاً.
"فحص الصورة السريعة" كان غامضاً للغاية: إذا بنى الروبوت المنزل بطوب بلون خاطئ أو نافذة مائلة قليلاً، فقد تقول مقارنة الصور السريعة: "يبدو متشابهاً بنسبة 99%!" لأن الشكل العام موجود. لقد فاتتها التفاصيل الدقيقة والحاسمة التي تجعل المنزل صالحاً للسكن.

تقدم هذه الورقة حلاً جديداً يسمى Visual-ERM.

الحل الجديد: "المفتش الخبير"

فكر في Visual-ERM ليس كروبوت، بل كـ مفتش بناء فائق الذكاء وشديد الملاحظة.

إليك كيف يعمل، خطوة بخلف أخرى:

1. لعبة "الرسم والمقارنة"

بدلاً من مجرد قراءة ملاحظات الروبوت، يقوم Visual-ERM بأخذ مخرجات الروبوت (الكود) ويبني المنزل (يرسم الصورة) أمام عينيه مباشرة. ثم يضع منزل الروبوت بجانب المخطط الأصلي تماماً.

2. وضع "المحقق"

بينما قد يكتفي المفتشون القدامى بالقول "عمل جيد" أو "عمل سيء"، يعمل Visual-ERM كمحقق. إنه يركز بدقة ويجد بالضبط ما هو الخطأ.

المفتش القديم: "المنزل يبدو جيداً."
Visual-ERM: "انتظر! الباب الأمامي في الجانب الخاطئ (خطأ في الهيكل)، الطلاء على المدخنة بدرجة لون خاطئة (خطأ في النمط)، والرقم الموجود على صندوق البريد هو '6' بدلاً من '9' (خطأ في البيانات)."
إنه لا يعطي مجرد درجة تقييمية؛ بل يقدم تقريراً مفصلاً مع تصنيف لدرجة الخطورة (بسيط، متوسط، أو حرج).

3. تعليم الروبوت (التعلم المعزز)

هذا هو الجزء السحري. في الماضي، كانت الروبوتات تتعلم من خلال التخمين والحصول على إشارة غامضة بـ "جيد" أو "سيء". الآن، يعمل Visual-ERM كـ مدرب صارم ولكن متعاون.

يحاول الروبوت بناء المنزل.
يقوم Visual-ERm بالتفتيش ويقول: "لقد صنعت السقف بشكل صحيح، لكنك دهنت النوافذ باللون الأزرق بدلاً من الأخضر. أصلح ذلك."
يحاول الروبوت مرة أخرى، مستخدماً تلك الملاحظات المحددة.
بمرور الوقت، يتعلم الروبوت بناء منازل ليست فقط "صحيحة إلى حد كبير"، بل متطابقة تماماً مع المخطط.

لماذا يعد هذا أمراً هاماً؟

تخيل أنك تحاول تعليم طالب كيفية رسم خريطة.

قبل: كنت تخبره: "خريطتك تشبه الحقيقية بنسبة 90%". لم يكن يعرف ما هو الخطأ. كان يستمر في ارتكاب نفس الأخطاء.
الآن (Visual-ERM): أنت تقول له: "النهر عريض جداً، الجبل في المكان الخاطئ، وقد نسيت البوصلة". الآن يعرف الطالب بالضبط ما الذي يجب إصلاحه.

تظهر الورقة أنه عندما استخدموا هذا "المفتش الخبير" لتدريب نماذج الذكاء الاصطناعي:

أصبحت النماذج أفضل بكثير في تحويل المخططات البيانية إلى كود.
أصبحت أفضل في تحويل الجداول إلى نصوص.
أصبحت أفضل في تحويل الرسومات إلى كود.

فخ "تلاعب المكافأة" (Reward Hacking)

تذكر الورقة أيضاً مشكلة مضحكة تسمى "تلاعب المكافأة".
تخيل طالباً يحاول الغش في اختبار. إذا كان المعلم يتحقق فقط مما إذا كان الطالب قد كتب بعض الكلمات، فقد يكتب الطالب كلمات غير مفهومة فقط للحصول على درجة نجاح.

الذكاء الاصطناعي القديم: كان الروبوت "يغش" عبر إنشاء كود يبدو صحيحاً للحاسوب البسيط ولكنه في الواقع معطل.
Visual-ERM: نظرًا لأنه بارع جداً في رصد التفاصيل البصرية الدقيقة (مثل بكسل مفقود أو لون خاطئ)، لا يمكن للروبوت الغش. يجب عليه بناء المنزل بشكل صحيح لاجتياز التفتيش.

الملخص

Visual-ERM هو أداة جديدة تعلم الذكاء الاصطناعي ليكون فناناً وبناءً أفضل. بدلاً من مجرد التحقق مما إذا كانت "الفكرة" صحيحة، فإنه يتحقق مما إذا كانت الصورة النهائية مثالية. إنه يعمل كمعلم صارم، مفصل، وعادل يساعد الذكاء الاصطناعي على التعلم من خلال إظهار مكان الخطأ بالضبط، مما يؤدي إلى نتائج ذات جودة أعلى بكثير في تحويل الصور إلى كود.

إليك ملخص تقني مفصل لورقة البحث "Visual-ERM: Reward Modeling for Visual Equivalence".

1. بيان المشكلة

تتناول الورقة التحديات في مهام "الرؤية إلى كود" (Vision-to-Code)، حيث يجب على النماذج إعادة بناء مدخلات بصرية مهيكلة (مخططات، جداول، رسومات SVG) إلى كود قابل للتنفيذ أو نص مهيكل (مثل Markdown، أو Python، أو كود SVG) بدقة بصرية عالية.

بينما حقق الضبط الدقيق الخاضع للإشراف (SFT) نتائج جيدة، إلا أن التعلم التعزيزي (RL) يواجه عقبات بسبب غياب إشارات المكافأة الموثوقة. تعاني آليات المكافأة الحالية من قصورين رئيسيين:

المقاييس القائمة على النص (مثل مسافة التعديل Edit Distance، وTEDS): تعمل هذه المقاييس في المجال النصي البحت، متجاهلة الإشارات البصرية الحرجة مثل المحاذاة، والتباعد، والتنسيق. وهي عرضة لظاهرة "اختراق المكافأة" (reward hacking)، حيث تولد النماذج نصوصاً تسجل درجات عالية نصياً ولكنها تُنتج صوراً غير صحيحة بصرياً عند رندرتها.
تشابه مشفر الرؤية (مثل DINO): تعتمد هذه الطريقة على تضمينات ميزات خشنة (coarse-grained). وبين أنها تلتقط التشابه الدلالي العام، إلا أنها تفشل في اكتشاف الاختلافات دقيقة التفاصيل (مثل أخطاء قيم البيانات المحددة، أو الأخطاء المطبعية في النصوص، أو التغييرات الطفيفة في التنسيق)، وغالباً ما تكون غير حساسة للدقة الهيكلية المطلوبة لمهام التحليل.

المشكلة الجوهرية هي غياب نموذج مكافأة يمكنه تقديم تغذية راجعة دقيقة، وقابلة للتفسير، وغير مرتبطة بمهمة محددة عبر تقييم المخرجات مباشرة في الفضاء البصري المُرندر (Rendered Visual Space).

2. المنهجية: Visual-ERM

يقترح المؤلفون Visual-ERM (نموذج مكافأة التكافؤ البصري)، وهو نموذج مكافأة توليدي متعدد الوسائط مصمم لتقييم جودة "الرؤية إلى كود" عبر مقارنة صورة الحقيقة الأرضية (GT Image) مع صورة التنبؤ المُرندرة (Rendered Prediction Image).

أ. البنية الأساسية ومسار التدريب

توليد البيانات:
- تتكون بيانات التدريب من أزواج صور: $(I_{GT}, \hat{I}_{pred})$ .
- يتم توليد $\hat{I}_{pred}$ عن طريق رندرة مخرجات نموذج "الرؤية إلى كود" (أو نسخة مشوهة من نص الحقيقة الأرضية).
- يتم حقن الأخطاء عبر طريقتين: (1) التعديل (Edit): تشويه نص الحقيقة الأرضية باستخدام نماذج قوية لإنشاء أخطاء محكومة؛ (2) الاستدلال (Infer): أخذ عينات من الأخطاء الطبيعية من نماذج أضعف.
التعليق الدقيق (التقطير/Distillation):
- لإنشاء إشراف عالي الجودة، استخدم المؤلفون مسار تقطير؛ حيث استغلوا نموذجاً قوياً مملوكاً (GPT-5-mini) لتحليل أزواج الصور وتوليد تعليقات مهيكلة.
- تشمل التعليقات فئات أخطاء محددة، ومواقعها، وأوصافها، ودرجات شدتها (من 1 إلى 3).
- أنتجت هذه العملية مجموعة بيانات تضم حوالي 340 ألف حالة موزعة على المخططات (Charts)، والجداول (Tables)، ورسومات SVG.
تدريب النموذج:
- تم بناء Visual-ERM على نموذج Qwen3-VL-8B-Instruct.
- تم تدريبه عبر الضبط الدقيق الخاضع للإشراف (SFT) باستخدام هدف "الاحتمال اللوغاريتمي السالب" للتنبؤ بتعليقات التباين المهيكلة بناءً على زوج الصور.
- بخلاف نماذج المكافأة التمييزية التي تخرج قيمة عددية واحدة (Scalar)، فإن Visual-ERM هو نموذج توليدي، حيث يخرج كائن JSON يفصل الأخطاء المحددة.

ب. التكامل في التعلم التعزيزي وتوسيع وقت الاختبار

التعلم التعزيزي (RL): يعمل Visual-ERM كدالة مكافأة في مسار تعلم تعزيزي يعتمد على خوارزمية GRPO.
- يولد النموذج الكود $\leftarrow$ يُرندر صورة $\leftarrow$ يقارن Visual-ERM الصورة بالحقائق الأرضية $\leftarrow$ يخرج قائمة التباينات.
- تُحسب المكافأة بناءً على مجموع درجات الشدة للأخطاء المكتشفة، مع تطبيعها لتكون في النطاق [0, 1].
- تُضاف "مكافأة نجاح الرندرة" (RSR) لضمان أن الكود قابل للتنفيذ.
توسيع وقت الاختبار (Test-Time Scaling - TTS): يتيح Visual-ERM عملية صقل ذاتي تكرارية. يولد النموذج مخرجاً أولياً، ثم يقوم Visual-ERM بنقده بتقديم تغذية راجعة محددة، ويقوم النموذج بتعديل المخرج بناءً على هذه التغذية، وتكرار العملية لتحسين الدقة.

ج. المعيار المرجعي: VC-RewardBench

لتقييم نماذج المكافأة مباشرة، قدم المؤلفون VisualCritic-RewardBench (VC-RewardBench).

المحتوى: 1,335 حالة عالية الجودة من أزواج الصور مع تعليقات دقيقة تم التحقق منها بشرياً.
التقييم: يستخدم "النموذج اللغوي كحكم" (LLM-as-Judge) لمطابقة التباينات المتوقعة مع الحقيقة الأرضية، وحساب الدقة (Precision)، والاستدعاء (Recall)، وF1، بالإضافة إلى الارتباط في درجات الشدة.

3. المساهمات الرئيسية

نموذج Visual-ERM: نموذج مكافأة توليدي متعدد الوسائط يوفر تغذية راجعة دقيقة، وقابلة للتفسير، وغير مرتبطة بمهمة محددة. فهو يتجاوز الدرجات العددية ليقدم تحليلاً تشخيصياً (مثل: "عدم تطابق تسمية محور Y"، "لون العمود غير صحيح").
التحليل المنهجي: يثبت أن المقاييس النصية وتشابه مشفر الرؤية غير كافية لتعلم تعزيزي (RL) لمهام "الرؤية إلى كود" بسبب انحياز النمط (modality bias) ونقص القابلية للتفسير.
VC-RewardBench: معيار جديد مخصص لتقييم الحكم على التباينات الدقيقة بين الصور في البيانات البصرية المهيكلة.
إطار عمل موحد: يوضح أن نموذج مكافأة واحد يمكنه تحسين الأداء بفعالية عبر مهام متنوعة (Chart-to-Code، Table-to-Markdown، SVG-to-Code) وفي كل من تدريب التعلم التعزيزي (RL) وتوسيع وقت الاختبار (TTS).

4. النتائج التجريبية

قيمت الورقة Visual-ERM في ثلاث مهام رئيسية باستخدام Qwen3-VL-8B-Instruct كعمود فقري للسياسة (Policy Backbone).

من مخطط إلى كود (ChartMimic):
- حسن Visual-ERM النموذج الأساسي بمقدار +8.4 نقطة في المتوسط.
- تفوق بشكل كبير على التعلم التعزيزي القائم على DINO (+4.9 مقابل زيادة قدرها +8.4).
- حتى عند البدادة من خط أساس قوي (VinciCoder)، قدم Visual-ERM مكاسب مستمرة (+10.1).
من جدول إلى Markdown (OmniDocBench, olmOCRBench):
- أظهرت المكافآت القائمة على النص (TEDS) والمبنية على DINO تراجعاً في الأداء أو مكاسب ضئيلة بسبب اختراق المكافأة وعدم تطابق الأنماط.
- حقق Visual-ERM تحسناً ثابتاً قدره +2.7، حيث نجح في موازنة التعرف على النص والتنسيق الهيكلي.
من SVG إلى كود (UniSVG):
- حقق Visual-ERM تحسناً متوسطاً قدره +4.1.
- على عكس مكافآت DINO (التي أدت لتدهور نموذج VinciCoder القوي)، حسن Visual-ERM كلاً من النماذج الضعيفة والقوية، مما أظهر متانة عالية.
أداء المعيار المرجعي (VC-RewardBench):
- تفوق Visual-ERM (8B) بشكل حاسم على Qwen3-VL-235B-Instruct واقترب من النماذج المغلقة الرائدة (مثل GPT-5، Gemini-3) في اكتشاف التباينات الدقيقة.
- حقق متوسط درجة F1 بلغ 44.7 (مطابقة ناعمة) مقارنة بـ 32.4 لنموذج 235B.
توسيع وقت الاختبار (Test-Time Scaling):
- أدى دمج Visual-ERM في حلقة انعكاس (Reflection Loop) إلى تعزيز الأداء بشكل أكبر، بإضافة +3.1 إلى +8.0 نقطة اعتماداً على المهمة والنموذج الأساسي.

5. الأهمية

تحول في النموذج المعرفي (Paradigm Shift): تجادل الورقة بأن الإشراف بالمكافأة البصرية الدقيقة ضروري وكافٍ لتعلم "الرؤية إلى كود" التعزيزي، بغض النظر عن خصوصية المهمة. وتثبت أن تقييم النتيجة المُرندرة يتفوق على تقييم النص أو التضمينات.
الكفاءة: توضح أن نموذجاً متخصصاً بحجم 8B (مثل Visual-ERM) يمكنه التفوق على نماذج عامة ضخمة بحجم 235B في مهام نمذجة المكافأة المحددة، مما يشير إلى أن التدريب المستهدف أكثر فعالية من التوسع بالقوة الغاشمة (Brute-force scaling).
القابلية للتفسير: من خلال توليد تقارير أخطاء مهيكلة بدلاً من الدرجات العددية فقط، يتيح Visual-ERM توسيع وقت الاختبار عبر الانعكاس، وهي قدرة لا تدعمها المكافآت العددية.
القدرة على التعميم: هذا النهج غير مرتبط بمهمة محددة، حيث نجح في توحيد إشارة المكافأة للمخططات، والجداول، والرسومات المتجهة، مما يبسط مسار العمل لمهام التوليد متعدد الوسائط المعقدة.