ملخص تقني: SciMIF

بيان المشكلة

تطور تطبيق النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) في المجالات العلمية من مجرد الإجابة على الأسئلة البسيطة إلى نماذج معقدة مثل الوكلاء العلميين المستقلين. ومع ذلك، تركز طرق التقييم الحالية بشكل أساسي على الصحة العلمية (ما إذا كانت الإجابة النهائية دقيقة واقعياً) بدلاً من الالتزام بالتعليمات (ما إذا كان النموذج يلبي القيود التشغيلية الصريحة).

تقيم معايير قياس اتباع التعليمات العامة الحالية (مثل IF-Eval وFollowBench) القيود المتعلقة بالتنسيق والطول والأسلوب، لكنها تفتقر إلى القيود العلمية الخاصة بالمجال. وفي المقابل، تقيم المعايير العلمية الحالية (مثل SciBench وMMMU) الاستدلال والمعرفة، لكنها لا تختبر بشكل منهجي قدرة النموذج على اتباع التعليمات التشغيلية متعددة الخطوات والمعقدة. وتخفي هذه الفجوة قدرتين متمايزتين: فقد ينتج النموذج إجابة صحيحة علمياً ولكنها تنتهك الوحدات أو التنسيقات المطلوبة، أو قد يلتزم بدقة بالتنسيق مع الاعتماد على استدلال علمي غير صالح. علاوة على ذلك، يعد اتباع التعليمات العلمية تحدياً فريداً نظراً لاعتماده على المعرفة الخاصة بالمجال، والاختلافات الدلالية بين التخصصات، والاعتماد المتكرر على المدخلات متعددة الوسائط (مثل الهياكل الجزيئية، وصور المجهر).

المنهجية

1. تصنيف القيود العلمية

يقدم المؤلفون SciMIF (اتباع التعليمات العلمية متعددة الوسائط)، وهو معيار مصمم لتقييم النماذج اللغوية الكبيرة متعددة الوسائط عبر خمسة تخصصات علمية: الكيمياء، والجغرافيا، والأحياء، وعلوم المواد، والفيزياء.

بناءً على تحليل 22 مهمة متميزة عبر هذه التخصصات، وضع المؤلفون تصنيفاً هرمياً يتكون من:

• 10 مجموعات من القيود الوظيفية: وهي تلتقط المتطلبات المشتركة عبر المجالات، وتشمل: الإجراء (Procedure)، العدد (Number)، الطريقة (Method)، الوحدة (Unit)، التنسيق (Format)، المصطلحات (Terminology)، الدقة (Precision)، الحرف (Letter)، الهيكل (Structure)، والاختيار (Selection).
• التجسيدات الخاصة بكل تخصص: بينما تُعد المجموعات الوظيفية مشتركة، فإن معانيها الملموسة تختلف؛ فعلى سبيل المثال، يتطلب قيد "المصطلحات" تسمية جزيئية صالحة في الكيمياء، وعناوين هرمية في الجغرافيا، وتقنيات توصيف في علوم المواد.
• مخزن القيود: يتضمن المعيار النهائي 42 قيداً متميزاً مشتقة من المجموعات العشر، ومكيفة لتناسب أعراف كل تخصص.

2. مسار بناء البيانات

يتم بناء SciMIF من خلال تعزيز 13 مجموعة بيانات علمية موجودة بشكل منهجي (بإجمالي 2,527 عينة) عبر مسار مكون من أربع خطوات:

1. تحضير البذور (Seed Preparation): اختيار العينات التي تحتوي على سؤال ($q$)، ومدخل بصري اختياري ($I$)، وإجابة مرجعية ($a$)، ونوع مهمة ($t$).
2. التعرف على القيود: تحديد القيود الموجودة بالفعل بشكل ضمني في الاستعلام الأصلي لتجنب التكرار.
3. حقن القيود:
   • القيود العلمية: حقن قيود خاصة بالمجال تتوافق مع نوع المهمة.
   • القيود العامة: حقن قيود تشغيلية عامة (مثل تنسيق المخرجات، وحالة الأحرف) دون تغيير الصحة العلمية للإجابة المرجعية.
   • التحقق: يضمن الفحص الآগত المزدوج وجود القيد المحقون في الاستعلام وأن تظل الإجابة الصحيحة صالحة.
4. التحقق البشري: يقوم مدخّلان بمراجعة العينات للتأكد من التماسك المنطقي، والطلاقة، ودقة الالتزام بالقيود. ويتم مراجعة العينات الإشكالية أو استبعادها.

3. مقاييس التقييم

يستخدم المعيار ثلاثة مقاييس لتقييم الأداء:

• معدل الالتزام بالقيود (CSR): متوسط نسبة القيود المستوفاة عبر جميع التعليمات.
• معدل إرضاء التعليمات (ISR): نسبة التعليمات التي تم استيفاء جميع القيود المرتبطة بها بالكامل.
• نسبة اتباع المتطلبات المفككة (DRFR): تقيس الامتثال على مستوى المتطلبات الفردية المفككة عبر إجمالي عدد القيود.

يستخدم التحقق طرقاً قائمة على البرامج النصية (للتحققات الحتمية مثل التنسيق والوحدات) وبروتوكولات "النموذج اللغوي كحكم" (للتحققات الدلالية مثل خطوات الاستدلال).

النتائج الرئيسية

1. التفاوت في الأداء عبر التخصصات

يكشف تقييم النماذج المغلقة المصدر (مثل GPT-5.2، وClaude-Sonnet-4.6) والمفتوحة المصدر (مثل Qwen3.5، وInternVL3.5) عن تباين كبير:

• الكيمياء: تمثل التحدي الأكبر، حيث حقق أفضل نموذج أداءً (GPT-5.2) معدل ISR بنسبة 46.33% فقط.
• الأحياء وعلوم المواد: تظهر أداءً أعلى (ISR يتراوح بين 72-78%).
• الجغرافيا: تقدم أيضاً صعوبات كبيرة بسبب التسلسلات الهرمية المكانية.
• الفيزياء: تحقق عموماً أعلى درجات DRFR بمتوسط 92.2%.

2. حجم النموذج وهندسته المعمارية

• مفارقة التوسع (Scaling Paradox): لا يؤدي زيادة عدد معاملات النموذج إلى تحسينات خطية في اتباع التعليمات. على سبيل المثال، في سلسلة Qwen3.5، كان نموذج 122B أداؤه أسوأ قليلاً (51.37% ISR) من نموذج 27B (50.41% ISR).
• المصادر المغلقة مقابل المفتوحة: تتفوق النماذج مغلقة المصدر باستمرار على نظيراتها مفتوحة المصدر في جميع التخصصات، مما يشير إلى مزايا في جودة البيانات واستراتيجيات المحاذاة.

3. تحليل مجال القيود

• القيود العامة مقابل العلمية: تؤدي النماذج أداءً أفضل بكثير في القيود العلمية (المرتبطة دلالياً بالمهمة) مقارنة بالقيود العامة (التنسيق/الهيكل). بالنسبة لـ GPT-5.2، بلغ DRFR للقيود العلمية 88.74% مقابل 74.65% للقيود العامة.
• التحديات الدقيقة: تعاني النماذج أكثر مع قيود "الحرف" (Letter) و"العدد" (Number)، والتي تتطلب معالجة رمزية دقيقة وتعرفاً على الكيانات الخاصة بالمجال (مثل عد الروابط الكيميائية مقابل عد الحروف).

4. الصحة مقابل الالتزام

النتيجة الحاسمة هي الارتباط الضعيف بين الصحة العلمية والالتزام بالتعليمات:

• حققت حوالي 30% فقط من العينات كل من الصحة العلمية والالتزام الكامل بالتعليمات (صحيحة ومتبعة).
• حوالي 20% من العينات كانت صحيحة علمياً ولكنها انتهكت القيود (صحيحة ولكن منتهكة).
• أكثر من 30% من العينات اتبعت التعليمات ولكن أنتجت إجابات علمية غير صحيحة (غير صحيحة ولكن متبعة).
• يؤكد التحليل الإحصائي (اختبار Pearson $\chi^2$) أنه بينما يرتبط كل من الصحة والالتزام إيجابياً، إلا أن قوة هذا الارتباط متواضعة ($\phi$ تتراوح بين 0.06 و0.20)، مما يشير إلى أنهما قدرتان متمايزتان.

الأهمية والمساهمات

يدعي البحث ثلاث مساهمات رئيسية:

1. تصنيف مستمد من الخبراء: إنشاء تصنيف شامل للقيود العلمية يغطي خمسة تخصصات وعشر مجموعات وظيفية، مما يلتقط القدرات المشتركة والمتطلبات الخاصة بكل مجال.
2. إطار عمل قابل للتوسع: منهجية لتحويل المهام العلمية الحالية إلى تقييمات لاتباع التعليمات من خلال التعرف على القيود الضمنية وحقن قيود متوافقة دون تغيير الإجابات المرجعية.
3. المعيار والتقييم: بناء SciMIF وتقييم النماذج اللغوية الكبيرة متعددة الوسائط التمثيلية، مما يكشف عن:
   • تباين كبير في الأداء بين التخصصات.
   • صعوبات شديدة مع القيود الدقيقة.
   • فجوة واضحة بين الصحة العلمية والالتزام بالتعليمات.

يخلص المؤلفون إلى أن النماذج اللغوية الكبيرة متعددة الوسائط الحالية ليست موثوقة بعد للتطبيقات العلمية الصارمة التي تتطلب قيوداً تشغيلية دقيقة. ويقترحون أن تركز الأبحاث المستقبلية على المحاذاة الموجهة للمجال، ودمج الأدوات الخارجية (مثل المحركات الرمزية) للقيود الدقيقة، والتحسين من أجل تحقيق الصحة والالتزام معاً بدلاً من معالجتهما بشكل منفصل.