🤖 AI

SeePhys Pro: Diagnosing Modality Transfer and Blind-Training Effects in Multimodal RLVR for Physics Reasoning

تقدم الورقة البحثية SeePhys Pro، وهو معيار يكشف أن النماذج متعددة الوسائط الحالية تعاني في عملية نقل الوسائط من النص إلى الصور، وتوضح أن المكاسب الظاهرية الناتجة عن تدريب التعزيز عبر التغذية الراجعة لتعلم التعزيز (RLVR) متعدد الوسائط تنبع غالباً من الإشارات النصية المتبقية بدلاً من الاستدلال البصري الحقيقي.

المؤلفون الأصليون: Kun Xiang, Terry Jingchen Zhang, Zirong Liu, Bokai Zhou, Yueling Tang, Junjie Yu, Jiacong Lu, Shangrui Huang, Heng Li, Likui Zhang, Kunkun Liu, Changzheng Zhang, Yangle Fang, Boqiang Guo, Hui-Ling Zhe

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kun Xiang, Terry Jingchen Zhang, Zirong Liu, Bokai Zhou, Yueling Tang, Junjie Yu, Jiacong Lu, Shangrui Huang, Heng Li, Likui Zhang, Kunkun Liu, Changzheng Zhang, Yangle Fang, Boqiang Guo, Hui-Ling Zhen, Dandan Tu, Yinya Huang, Xiaodan Liang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم طالباً كيفية حل مسألة في الفيزياء. لديك طريقتان لتقديم المعلومات له:

طريقة الكتاب المدرسي: تكتب المسألة بالكلمات، تصف الإعداد، الأرقام، والقواعد.
طريقة الرسم التخطيطي: ترسم صورة للإعداد، وتضع علامات على الأجزاء، وتكتب الأرقام مباشرة على الرسم.

من الناحية البديهية، تتوقع أن يحل الطالب الذكي المسألة بنفس الكفاءة سواء أعطيته الكلمات أو الصورة، طالما أن المعلومات هي نفسها. لكن هذه الورقة البحثية، SEEPHYS PRO، اكتشفت أن هذا ليس صحيحاً بالنسبة لنماذج الذكاء الاصطناي الحالية. في الواقع، يتراجع أداؤهم بشكل كبير عند الانتقال من الكلمات إلى الصور.

إليك تفصيل لما وجده الباحثون، باستخدام تشبيهات بسيطة.

1. اختبار "نفس القصة، تنسيق مختلف"

أنشأ الباحثون اختباراً خاصاً يسمى SEEPHYS PRO. فكر فيه كأنه "تحدي ترجمة" للذكاء الاصطناعي.

لكل مسألة فيزياء، أنشأوا أربع نسخ تحكي القصة ذاتها تماماً ولكن تغير طريقة تقديم المعلومات:

المستوى 1 (نص فقط): "كتلة وزنها 5 كجم وهي على منحدر." (كل المعلومات في الكلمات).
المستوى 2 (الهيكل في الصورة): يرسمون المنحدر والكتلة، لكن النص لا يزال يقول "5 كجم". (الشكل عبارة عن صورة، والأرقام عبارة عن كلمات).
المستوى 3 (المتغيرات في الصورة): يرسمون المنحدر، والكتلة، ويكتبون "5 كجم" مباشرة على الكتلة في الصورة. (الشكل والأرقام الآن داخل الصورة).
المستوى 4 (صورة كاملة): المسألة بأكملها، بما في ذلك التعليمات والأرقام، مكتوبة بخط اليد على ورقة وممسوحة ضوئياً كصورة واحدة.

الاكتشاف:
عندما حاولت نماذج الذكاء الاصطناعي إجراء هذه الاختبارات، انخفض أداؤها بشكل حاد مع انتقال المعلومات من النص إلى الصور.

عنق زجاجة "قراءة الملصقات": حدث أكبر انخفاض في الأداء عند المستوى 3. هذا هو المستوى الذي كان على الذكاء الاصطناعي فيه "ربط" المتغيرات بالصورة (على سبيل المثال: "حسناً، هذا الخط المتعرج هو سلك، والرقم '12' بجانبه يعني 12 فولت").
التشبيه: تخيل طباخاً يمكنه اتباع وصفة مكتوبة بدقة (المستوى 1). إذا سلمته صورة للمكونات مع ملصقات عليها (المستوى 3)، فإنه فجأة ينسى كيف يطبخ. يمكنه رؤية الصورة، لكنه لا يستطيع ربط ملصق "كوبان من الدقيق" بكيس الدقيق الفعلي الموجود في الصورة. إنه يرتبك بسبب الارتباط البصري.

2. تجربة "التدريب مع عصبة العينين"

بعد ذلك، طرح الباحثون سؤالاً ثانياً: إذا دربنا نماذج الذكاء الاصطناعي هذه باستخدام التعلم المعزز (RL) على آلاف مسائل الفيزياء التي تحتوي على صور، فهل ستصبح أفضل في قراءة الصور؟

لاختبار ذلك، أعدوا تجربة "التدريب الأعمى".

التدريب العادي: يرى الذكاء الاصطناعي نص المسألة و الصورة.
التدريب الأعمى: يرى الذكاء الاصطناعي نص المسألة، لكن الصورة محجوبة تماماً (سوداء). الأمر يشبه تدريب طالب على حل مسائل الفيزياء بينما يرتدي عصبة عين، لكن المعلم يستمر في إعطائه مكافآت "الإجابة الصحيحة".

النتيجة الصادمة:
على الرغم من أن الذكاء الاصطنا-ي تم تدريبه بدون أي صور على الإطلاق (باستخدام شاشات سوداء فقط)، إلا أنه أصبح أفضل في حل الاختبارات "غير المحجوبة" حيث كانت الصور موجودة.

التشبيه: تخيل طالباً يتدرب لاختبار القيادة وهو يجلس في سيارة نوافذها مطلية باللون الأسود. هو لا يرى الطريق أبداً. ومع ذلك، عندما يخوض الاختبار الحقيقي والنوافذ مفتوحة، يقود بشكل أفضل.
لماذا؟ وجد الباحثون أن الذكال الاصطناعي لم يكن يتعلم "رؤية" الطريق. بدلاً من ذلك، كان يتعلم طرقاً مختصرة. لقد حفظ الأنماط في النصوص، وأسلوب الأسئلة، أو الإجابات النموذجية. لقد تعلم تخمين الإجابة الصحيحة بناءً على "روح" النص، وليس من خلال تحليل الرسم التخطيطي بصرياً.

3. "خدعة السحر" في الدقة

تخلص الورقة البحثية إلى أنه عندما نرى ارتفاعاً في درجات الذكاء الاصطناعي، لا ينبغي لنا أن نهلل فحسب. بل نحتاج أن نسأل: هل تعلموا حقاً الرؤية، أم أنهم أصبحوا فقط أفضل في التخمين بناءً على تلميحات النص؟

"الربح الأعمى": تحسن أداء الذكاء الاصطناعي حتى عندما كانت صور التدريب عديمة الفائدة (سوداء). هذا يثبت أن التحسن جاء من النص وأنماط البيانات، وليس من الفهم البصري.
الفجوة لا تزال قائمة: حتى بعد التدريب، ظل الذكاء الاصطناعي يعاني أكثر مع النسخ المعتمدة على الصور (المستوى 3 و4) مقارنة بنسخ النصوص فقط. "فجوة النمط" (الفرق بين أداء النص وأداء الصورة) لم تغلق.

الملخص

المشكلة: نماذج الذكاء الاصطناعي الحالية "ثقيلة نحو النصوص". إنها بارعة في قراءة مسائل الفيزياء ولكنها سيئة في "رؤيتها"، خاصة عندما يتعين عليها قراءة الأرقام والملصقات مباشرة من الرسم التخطيطي.
الفخ: طرق التدريب القياسية (التعلم المعزز) يمكن أن تجعل الذكاء الاصطناعي يبدو أكثر ذكاءً من خلال تحسين مهارات التخمين القائمة على النصوص، حتى لو لم يتعلم فعلياً تفسير الأدلة البصرية.
الدرس: لجعل الذكاء الاصطناعي "يرى" حقاً، لا يمكننا فقط قياس ما إذا كان يحصل على الإجابة الصحيحة. يجب أن نختبر ما إذا كان يحصل على الإجابة الصحيحة بسبب النظر إلى الصورة تحديداً، وليس فقط لأنه تعرّف على نمط النص.

تقول الورقة البحثية باختصار: لا تنخدعوا بالدرجات العالية. إذا كان بإمكان الذكاء الاصطناعي حل مسألة دون النظر إلى الصورة، فهو لم يتعلم الرؤية حقاً.

ملخص تقني: SEEPHYS PRO

بيان المشكلة

تواجه أنظمة الذكاء الاصطناعي متعددة الوسائط تحديًا حاسمًا في اتساق الوسائط (modality consistency): وهي القدرة على الحفاظ على سلوكيات استدلال متطابقة عند تقديم معلومات متكافئة في أشكال مختلفة (على سبيل المثال، النص مقابل المخططات). غالبًا ما تُقيّم المعايسات الحالية النماذج بناءً على تنسيق مدخلات واحد، مما يحجب ما إذا كانت التحسينات في دقة الإجابة النهائية ناتجة عن استدلال حقيقي ثابت التمثيل أم عن اختصارات خاصة بوسيط معين. وتتفاقم هذه الفجوة بشكل خاص في الفيزياء، حيث غالبًا ما تُحدد المخططات بنية النظام الفيزيائي وربط المتغيرات، بدلاً من مجرد توضيح النص. وتواجه التقييمات الحالية صعوبة في التمييز بين الإخفاقات في إدراك المخطط، وقراءة المتغيرات، والتجريد الفيزيائي، والاستدلال الرمزي اللاحق.

المنهجية

1. معيار SEEPHYS PRO

قدم المؤلفون SEEPHYS PRO، وهو معيار دقيق لنقل الوسائط يستند إلى مبدأ "نفس الفيزياء، تمثيل مختلف".

التصميم: يتم تحويل كل مسألة فيزياء أصلية إلى أربعة متغيرات متوافقة دلاليًا تنتقل تدريجيًا بالمعلومات الحرجة للمهمة من اللغة إلى الرؤية:
- المستوى 1 (L1): نص فقط (جميع البنية، والمتغيرات، والكميات موجودة في اللغة).
- المستوى 2 (L2): البنية في الصورة (الطوبولوجيا/العلاقات الفيزيائية في الصورة؛ بينما تظل المتغيرات في النص).
- المستوى 3 (L3): البنية + المتغيرات في الصورة (يتضمن المخطط تسميات وقيمًا عددية).
- المستوى 4 (L4): صورة مُصورة بالكامل (تحويل نص المسألة، والمعادلات، والمخطط إلى مدخل بصري واحد، بما في ذلك النص المكتوب بخط اليد).
بناء البيانات: مستمدة من أكثر من 5,000 صفحة PDF عبر مجموعات البيانات العامة، والكتب الدراسية، والأولمبيادات، والامتحانات. تحتوي مجموعة البيانات على 1,000 سؤال أصلي (4,000 متغير إجمالي) تغطي ستة تخصصات فيزيائية (الميكانيكا، الكهرومغناطيسية، البصريات، الديناميكا الحرارية، الموجات، الفيزياء الحديثة).
المقاييس: يحدد المعيار مقاييس محددة لتفكيك الأداء:
- فجوات النقل (Transfer Gaps): $\Delta S$ (النقل الهيكلي من L1 إلى L2)، $\Delta V$ (تأسيس المتغيرات من L2 إلى L3)، $\Delta R$ (الرندرة من L3 إلى L4)، و $\Delta T$ (إجمالي الفجوة).
- الاتساق (Consistency): النسبة المئوية للمسائل التي تم حلها بشكل صحيح عبر المستويات الأربعة في آن واحد.

2. تشخيصات وقت التدريب (التدريب الأعمى)

للتحقق مما إذا كان التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR) يحسن حقًا التأسيس البصري أم أنه يستغل مجرد اختصارات إحصائية، طور المؤلفون مجموعتين كبيرتين من بيانات الفيزياء للتعلم التعزيزي (PhysRL-40K و PhysRL-8K).

ضبط التدريب الأعمى (Blind Training Control): إعداد ضبط سلبي حيث يتم حجب جميع الصور التدريبية (استبدالها بصور سوداء)، مما يجعل حالات التدريب غير قابلة للحل بصريًا.
المقارنة: يتم تدريب النماذج عبر التعلم التعزيزي القياسي (مع الصور) والتعلم التعزيزي الأعمى (بدون صور)، ويتم تقييمها على مجموعات تحقق غير محجوبة.
تحليل الآلية: يستخدم المؤلفون حذف النصوص، وحذف النصوص المستهدف، واستئصال معدل حجب الصورة، وضبط تشبع التنسيق لعزل مصادر مكاسب الأداء في التدريب الأعمى.

النتائج الرئيسية

هشاشة وقت الاستدلال

يكشف التقييم عبر 15 نموذجًا لغويًا كبيرًا متعدد الوسائط (MLLMs) (مفتوحة ومغلقة المصدر) عن هشاشة كبيرة تحت تأثير نقل الوسائط:

تدهور الأداء: ينخفض متوسط الدقة من 49.2% (L1) إلى 35.8% (L4)، مما يؤدي إلى متوسط إجمالي فجوة نقل قدره 13.4 نقطة مئوية.
عنق زجاجة تأسيس المتغيرات: يحدث أكبر انخفاض في الأداء أثناء الانتقال من المستوى 2 إلى المستوى 3 ( $\Delta V = 7.4$ )، حيث يجب على النماذج تأسيس المتغيرات والتسميات من الصورة. يشير هذا إلى أن التعرف على هيكل المخطط أقل إشكالية من قراءة وربط الكميات العددية المحددة بالكيانات الفيزيائية.
عدم الاتساق: حتى النماذج الرائدة (مثل GPT-5.4، Claude-4.7-Opus) تظهر اتساقًا منخفضًا عبر المستويات الأربعة (على سبيل المثال، 32.6% لـ GPT-5.4)، مما يعني أن النموذج الذي يحل مسألة نصية غالبًا ما يفشل عندما تُقدم نفس المسألة بصريًا.
الخط المرجعي البشري: يُظهر طلاب الثانوية البشر (54.0% في L1) قدرة أكبر على الصمود، حيث يتحسن أداؤهم فعليًا بشكل طفيف عند الانتقال من النص إلى الهيكل (L1→L2)، بينما تتدهور النماذج.

تشخيصات وقت التدريب

مكاسب التدريب الأعمى: من المثير للدهشة أن التدريب الأعمى (التدريب مع صور محجوبة) يحسن الدقة في مجموعات التحقق غير المحجوبة. بالنسبة لـ Qwen3-VL-4B، رفع التدريب الأعمى دقة المستوى الأول من 9.9% إلى 20.9%، ودقة المستوى الرابع من 6.4% إلى 13.0%.
عدم سد الفجوة: على الرغم من مكاسب الدقة، فشل التدريب الأعمى في سد فجوات نقل الوسائط. تظل إجمالي الفجوة ( $\Delta T$ ) وفجوة تأسيس المتغيرات ( $\Delta V$ ) كبيرة أو حتى تتسع بعد التدريب.
آلية المكاسب: يكشف تحليل الآلية أن المكاسب العمياء مدفوعة بـ الإشارات النصية المتبقية (مثل قوالب المسائل، خيارات الإجابة، النطاقات العددية) والانتظامات على مستوى مجموعة البيانات بدلاً من الأدلة البصرية الصالحة.
- حذف النصوص من بيانات التدريب يلغي المكاسب العمياء.
- تستمر المكاسب العمياء حتى عند تشبع مكافآت التنسيق، مما يستبعد كون الامتثال البسيط للتنسيق هو السبب الوحيد.
التحقق عبر المعايسات الأخرى: تمتد هذه النتائج إلى معايسات الرياضيات والفيزياء الخارجية (مثل MathVerse و PhyX)، مما يشير إلى أن التعلم التعزيزي القائم على النتيجة فقط غالبًا ما يعزز الاختصارات غير البصرية بدلاً من تعزيز التأسيس البصري الحقيقي.

الأهمية والادعاءات

تجادل الورقة بأن التقييمات الحالية للاستدلال متعدد الوسائط غير كافية إذا اعتمدت فقط على دقة الإجابة النهائية. يدعي المؤلفون ما يلي:

غياب ثبات التمثيل: نماذج MLLM الرائدة ليست بعد نماذج استدلال ثابتة التمثيل؛ فهي حساسة للغاية لكيفية ترميز المعلومات، حيث يعد تأسيس المتغيرات نمط فشل رئيسي.
محدودية RLVR: يمكن للتعلم التعزيزي بالمكافآت القائمة على النتيجة فقط أن يحسن أداء المعيار دون تحسين قدرة النموذج فعليًا على استخدام الأدلة البصرية. "المكاسب" الملحوظة في التعلم التعزيزي القياسي قد تنبع إلى حد كبير من تعلم النموذج استغلال الاختصارات النصية والتوزيعية بدلاً من تعلم تأسيس الاستدلال في الصور.
الضرورة التشخيصية: يجب أن تقيم الأبحاث المستقبلية الاستدلال متعدد الوسائط من خلال متانة نقل الوسائط و تشخيصات التأسيس في وقت التدريب (مثل ضوابط التدريب الأعمى) للتمييز بين التعلم البصري الحقيقي وتحسينات الأداء القائمة على الاختصارات.

تسلط هذه الدراسة الضوء على الحاجة إلى معايسات وبروتوكولات تدريب تختبر صراحةً ما إذا كانت التحسينات تعتمد على أدلة بصرية حرجة للمهمة، بدلاً من مجرد اختبار ما إذا كان النموذج يمكنه الوصول إلى الإجابة الصحيحة عبر مسارات بديلة غير بصرية.