ملخص تقني: Physics-R1: مجموعة بيانات أولمبياد مدققة ووصفة للاستدلال الفيزيائي البصري

بيان المشكلة

يعتمد مجال الاستدلال الفيزيائي متعدد الوسائط بشكل كبير على معايير التقييم (benchmarks) لغوية-بصرية لتقييم قدرات النماذج. ومع ذلك، فإن بناء هذه المعايير نادراً ما يخضع للتدقيق، مما يؤدي إلى ثلاث فجوات منهجية حرجة تشوه المقارنات بين النماذج وتضخم التصنيفات الرائدة:

1. تلوث التدريب والتقييم (Train-Eval Contamination): غالباً ما تحتوي مجموعات التدريب العامة (مثل SciInstruct وUGPhysics-Train) على مسائل معاد صياغتها أو مشابهة جداً لمجموعات التقييم. تفشل عمليات التدقيق التقليدية أحادية المرحلة القائمة على $n$-gram في اكتشاف حالات "المادة المظلمة لإعادة الصياغة" هذه.
2. انزياح الترجمة (Translation Drift): تعتمد المعايير متعددة اللغات غالباً على ترجمات إنجليزية لمسائل كُتبت أصلاً بلغات أخرى. يمكن لهذه الترجمات أن تضعف المحتوى المعلوماتي (المفردات، الحالة الإعرابية، النطاق)، مما يؤدي إلى تقدير ناقص منهجي لقدرة النموذج على النسخ المترجمة مقارنة بالأصول.
3. تشبع التنسيق والجدة (Format and Novelty Saturation): غالباً ما تكون المعايوهات الحالية مشبعة بأسئلة الاختيار من متعدد (MCQs) أو تفتقر إلى الجدة، مما يسبب استقرار الأداء عند "سقف الحدود المغلقة" حيث يقود التنسيق وألفة المهمة النتائج بدلاً من الاستدلال الحقيقي.

المنهجية

يقترح البحث تدقيقاً شاملاً لخط سير عملية التقييم ويقدم وصفة تدريب ومجموعة بيانات مقابلة لمعالجة هذه الفجوات.

1. خط أنابيب التدقيق ثلاثي المراحل

لاكتشاف التلوث الذي يتملص من فحوصات $n$-gram القياسية، طبق المؤلفون بروتوكول تدقيق ثلاثي المراحل يتم تطبيقه ثنائياً بين مجموعات التدريب ومجموعات التقييم:

• المرحلة 1 (N-gram): تحسب تشابه جاردر لـ 5-grams ($J \ge 0.4$) لاكتشاف النسخ المتطابقة حرفياً أو شبه المتطابقة.
• المرحلة 2 (Embedding): تستخدم mxbai-embed-large لحساب تشابه جيب التمام ($\cos \ge 0.85$) لاكتشاف النسخ المعاد صياغتها التي تغفلها المرحلة الأولى.
• المرحلة 3 (LLM-Judge): يقوم حكم من نماذج اللغة الكبيرة Haiku-4.5 بتصنيف مرشحي المرحلة الثانية كإما نسخ متطابقة وثيقة (إعادة صياغة أو تغييرات عددية لنفس المسألة) أو جيران من نفس الموضوع (فيزياء ذات صلة ولكن بإعدادات مختلفة). يتم استبعاد النسخ المتطابقة الوثيقة فقط.

2. بناء البيانات

• PHYSCORP-A: مجموعة بيانات متعددة الوسائط مكونة من 6,432 سجلاً تم بناؤها عبر تطبيق التدقيق ثلاثي المراحل على مجمع ما قبل التدقيق المكون من 14,294 سجلاً. تتضمن مصادر مثل الأولمبياد الفيزيائي الإستوني (مع تسميات صعوبة أصلية)، ومذكرات كيفين زو، وسبعة أولمبيادات دولية.
• PHYSR1CORP: مجمع تدريب تعزيزي (RL) مغلق التنسيق مكون من 2,268 سجلاً (اختيار من متعدد وعددي فقط) مستمد من PHYSCORP-A، ومدقق بصرامة ضد ستة تقييمات فيزيائية عامة.
• PHYSOLYM-A: مجموعة تقييم أولمبياد محجوزة مكونة من 500 مسألة. هي بنسبة 99.8% من مصدر جديد (تم الكشف عن تداخل واحد مع OlympiadBench-Physics بدلاً من حذفه) وتتضمن مجموعة فرعية ثنائية اللغة (إنجليزية/إستونية) للتحليل عبر اللغات.

3. وصفة Physics-R1

Physics-R1 هي وصفة مرجعية للتعلم التعزيزي (RL) باستخدام GSPO (تحسين سياسة التسلسل الجماعي) و DAPO (القص المنفصل وأخذ العينات الديناميكي)، تبدأ من نقطة انطلاق باردة من Qwen3-VL-8B-Thinking.

• دالة المكافأة: يوصي المؤلفون بـ مكافأة صحة ثنائية ($r \in \{0, 1\}$) بناءً على مطابقة الإجابة المستخرجة داخل الصندوق مع الحل الذهبي. ويجادلون بأنها مثالية للتباين تحت نظام GSPO مع مزايا طبيعية للمجموعات، وقوية ضد قنوات "جودهارت" (Goodhart) حيث تحسن النماذج الوسطاء التنسيقيين (مثل هيكل LaTeX) بدلاً من الصحة الفيزيائية. تم ذكر دالة مكافأة كثيفة مكونة من خمسة عناصر (تشمل الوحدات، قوانين الحفظ، والصيغة الرمزية) كدراسة استئصالية (ablation).
• المنهج الدراسي: يستخدم منهجاً دراسياً للصعوبة بأسلوب MM-Eureka، حيث يتم إسقاط المطالبات التي يحقق فيها النموذج الأساسي 0/N أو N/N من عمليات التشغيل (rollouts).

النتوات الرئيسية

يكشف التدقيق والتجارب عن ثلاث نتائج رئيسية:

1. التلوث الخفي: بينما تجتاز مجموعات التدريب العامة تدقيق $n$-gram أحادي المرحلة (0 إصابة)، يكشف التدقيق ثلاثي المراحل عن تلوث كبير. على سبيل المثال، في SciInstruct، كشف التدقيق عن 4,846 مرشحاً لإعادة الصياغة، تأكد من بينها 134 نسخة متطابقة وثيقة بواسطة حكم LLM.
2. فارق الترجمة: في 59 مسألة أولمبياد مزدوجة (إستونية/إنجليزية)، حقق Claude Sonnet 4.5 دقة صارمة بنسبة 30.5% على النص الإستوني الأصلي، لكنه حقق 13.6% فقط على الترجمة الإنجليزية. هذا الفارق البالغ 17 نقطة يشير إلى أن الترجمات الإنجليزية تقلل منهجياً من قدرة النموذج للنماذج ذات النقل القوي عبر اللغات.
3. تدرج التنسيق والجدة: على أوزان Sonnet 4.5 المتطابقة، ينخفض الأداء بمقدار 46 نقطة عبر المعايير: 79.7% في PhyX (اختيار من متعدد) $\leftarrow$ 50.4% في OlympiadBench-Physics (مفتوح النهايات) $\leftarrow$ 33.4% في PHYSOLYM-A المدقق (مفتوح النهايات، مصدر جديد). يوضح هذا التدرج أن المعايوهات الحالية مشبعة بالتنسيق والألفة بدلاً من عمق الاستدلال.

النتائج

تظهر Physics-R1، المدربة على PHYSR1CORP المدقق باستخدام مكافأة ثنائية، قابلية التدريب لمجموعة البيانات المنقحة:

• PHYSOLYM-A: ترفع النموذج الأساسي 8B من 8.0% إلى 26.3% (متوسط 3 بذور)، أي تحسن قدره +18.3 نقطة. وهي تتخلف عن Sonnet 4.5 بمقدار 7.1 نقطة، لكنها تتفوق على جميع النماذج مفتوحة المصدر (بما في ذلك Qwen3-VL-32B) والواجهات البرمجية المغلقة غير التابعة لـ Sonnet.
• PhysReason: تتحسن من 23.9% إلى 39.6%، متجاوزة Qwen3-VL-32B و Gemini 2.5 Pro.
• OlympiadBench-Physics: تتحسن من 46.2% إلى 46.2% (ملاحظة: يذكر الملخص ارتفاع قدره +6.9 pp، مما يعني الانتقال من ~39.3% إلى 46.2% في التقسيم المحدد المستخدم، رغم أن الجدول يظهر 46.2±1.5 لمتوسط 3 بذور).
• PhyX (MCQ): تتحسن من 77.8% إلى 77.8% (مستقرة، حيث غالباً ما تكون أسئلة الاختيار من متعدد مشبعة).

يشير البحث إلى أن المكافأة الثنائية تتفوق على المكافأة الكثيفة في المهام مفتوحة النهايات (+8.9 pp في PhysReason، +6.4 pp في PHYSOLYM-A) بينما تؤدي بشكل مماثل في الأسئلة المشبعة من نوع MCQ.

الأهمية والادعاءات

يضع البحث نفسه كتدخل منهجي بدلاً من كونه طفرة خوارزمية بحتة. وتتمثل مساهماته الرئيسية في:

• إثبات قابلية التدريب: من خلال إظهار أن نموذجاً مدرباً على مجموعة بيانات مدققة بصرامة يتحسن بشكل كبير في تقييم محجوز وخالٍ من التلوث (PHYSOLYM-A)، يثبت المؤلفون أن الركود السابق في معايير الاستدلال الفيزيائي كان جزئياً بسبب تلوث البيانات والتشبع، وليس فقط بسبب قيود النماذج.
• بروتوكول القياس: يجادل البحث بأن القياس الدفاعي للفيزياء متعدد الوسائط يتطلب ثلاث خصائص: تدقيق ثلاثي المراحل، معايير ذهبية باللغة الأصلية، وتقييم مفتوح النهايات من مصدر جديد.
• إصدار الأدوات: يوفر إصدار PHYSCORP-A، و PHYSR1CORP، و PHYSOLYM-A، ووصفة Physics-R1 للمجتمع الأدوات اللازمة لإعادة إنتاج هذه النتائج وبناء نماذج مستقبلية على بيانات نظيفة.

يدعي المؤلفون بتواضع أن Physics-R1 هي "وصفة مرجعية" وأن المكافأة الثنائية هي "الافتراض القابل للنشر"، مع الاعتراف بأن المكافأة الكثيفة وحساسيات البذور المحددة تتطلب المزيد من الدراسات الاستئصالية. لا يدعي العمل حل جميع تحديات الاستدلال الفيزيائي (على سبيل المثال، تظل نظرية الاضطراب في المستوى الجامعي صعبة)، ولكنه يضع خط أساساً أكثر نقاءً لقياس التقدم.