💬 NLP

SciCoQA: Quality Assurance for Scientific Paper--Code Alignment

تقدم الورقة البحثية SciCoQA، وهي مجموعة بيانات تضم 635 تباينًا بين الورقة العلمية والكود البرمجي مستمدة من مشكلات واقعية وتوليد اصطناعي لتقييم وتسليط الضوء على أوجه القصور في النماذج اللغوية الكبيرة في ضمان التنفيذ الأمين للمنشورات العلمية.

المؤلفون الأصليون: Tim Baumgärtner, Iryna Gurevych

نُشر 2026-03-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tim Baumgärtner, Iryna Gurevych

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ (شيف) نشرت للتو كتاب طهي مشهورًا. في كتابك، تصف وصفة "كعكة الشوكولاتة السرية" بالتفصيل: "اخلط الدقيق، والسكر، والكاكاو. اخبزها على درجة حرارة 350 فهرنهايت لمدة 30 دقيقة".

الآن، تخيل أن أحد المعجبين حاول خبز الكعكة باستخدام تعليماتك، لكنه شاهد أيضًا الفيديو الذي نشرته عبر الإنترنت يوضح كيف صنعتها. لاحظ في الفيديو أنك أضفت سرًا كوبًا من الإسبريسو وخبزتها لمدة 45 دقيقة، رغم أن الكتاب لم يذكر ذلك.

إذا خرجت الكعكة مذهلة، فقد يعتقد المعجب: "رائع، الكتاب يعمل!". ولكن إذا خرجت الكعة سيئة، أو إذا حاول خباز آخر اتباع الكتاب بدقة وفشل لأنه افتقد الإسبريسو السري، فستواجه مشكلة في قابلية التكرار (reproducibility problem). "الكتاب" (الورقة العلمية) و"الفيديو" (كود الكمبيوتر) لا يتطابقان.

هذا هو بالضبط ما يحاول بحث SCICOQA حله.

المشكلة الكبرى: "أزمة قابلية التكرار"

في عالم العلوم (خاصة الذكاء الاصطناعي وعلوم الكمبيوتر)، ينشر الباحثون أوراقًا تصف اكتشافاتهم. ولإثبات أنهم لا يكذبون، يشاركون أيضًا كود الكمبيوتر الخاص بهم. الهدف هو أن يتمكن أي شخص آخر من قراءة الورقة، وتشغيل الكود، والحصول على نفس النتيجة تمامًا.

لكن غالبًا ما يكون الكود غير مطابق لما تقوله الورقة.

ربما تقول الورقة "استخدم صيغة رياضية معينة"، لكن الكود يستخدم صيغة مختلفة قليلاً.
ربما نسيت الورقة ذكر خطوة حاسمة، لكن الكود يتضمنها.
ربما يحتوي الكود على "غش" خفي يجعل النتائج تبدو أفضل مما هي عليه في الواقع.

لسنوات، كان على البشر التحقق يدويًا من الكود مقابل الورقة للعثور على هذه التناقضات. ولكن مع وجود ملايين الأوراق ومستودعات الكود، لا يستطيع البشر مواكبة ذلك. الأمر يشبه محاولة تدقيق مكتبة من مليون كتاب عن طريق قراءة كل كلمة بنفسك.

الحل: SCICOQA (المحقق بين الكود والكتاب)

ابتكر المؤلفون أداة جديدة تسمى SCICOQA. فكر فيها كأنها محقق ذكي للغاية مصمم خصصًا للمقارنة بين ورقة علمية (كتاب الوصفة) وبين الكود الخاص بها (فيديو تعليمي) للعثور على الاختلافات.

لتدريب هذا المحقق، احتاجوا إلى "دليل تدريب" ضخم مليء بأمثلة على التناقضات. لقد بنوا هذا الدليل بطريقتين:

الحالات الواقعية (ملفات "الجريمة الحقيقية"): بحثوا في مشكلات GitHub الحقيقية (حيث يشتكي الناس من وجود أخطاء برمجية) وتقارير قابلية التكرار (حيث يحاول الناس نسخ دراسة ما ويفشلون). ووجدوا حوالي 92 مثالاً حقيقيًا حيث لم يتطابق الكود مع الورقة.
الحالات الاصطناعية (ملفات "المحاكاة"): نظرًا لأن التناقضات الحقيقية نادرة ويصعب العثور عليها، استخدموا ذكاءً اصطناعيًا لـ اختراع تناقضات جديدة. أخذوا كودًا حقيقيًا، وأجروا عليه تغييرات طفيفة وواقعية (مثل استبدال صيغة رياضية)، وصنعوا 543 تناقضًا وهميًا. هذا يشبه استخدام مدرسة تعليم القيادة لجهاز محاكاة لتعليم الطلاب كيفية التعامل مع الحوادث التي لم يختبروها فعليًا بعد.

كيف اختبروا المحققين؟

أخذ المؤلفون 22 من أكثر نماذج الذكاء الاصطناعي تقدمًا في العالم (مثل GPT-5 و Gemini وغيرها) وطلبوا منهم القيام بدور "المحقق بين الكود والكتاب". أعطوا الذكاء الاصطناعي ورقة وكودها وسألوه: "ما هو المختلف بين هذين الاثنين؟"

النتائج: الذكاء الاصطناعي جيد، لكنه ليس جيدًا بما يكفي
كانت النتائج بمثابة جرس إنذار:

أفضل ذكاء اصطناعي: تمكنت النماذج الأعلى أداءً (Gemini 3.1 Pro و GPT-5 Mini) من العثور على حوالي 47% فقط من التناقضات الحقيقية.
الأدلة المفقودة: كان الذكاء الاصطناعي بارعًا في رصد الاختلافات الواضحة (مثل "الكود يستخدم زرًا أحمر، بينما الورقة تقول أزرق"). ومع ذلك، كان سيئًا للغاية في رصد المعلومات المفقودة. إذا نسيت الورقة ذكر خطوة ما، بينما تضمنها الكود، فإن الذكاء الاصطناعي غالبًا ما يفشل في ملاحظة ذلك.
مشكلة "القصة الطويلة": الأوراق العلمية والأكواد يمكن أن تكون ضخمة (آلاف الصفحات من النصوص). عندما كان على الذكاء الاصطناعي قراءة مستند طويل جدًا، انخفض أداؤه بشكل كبير. إنه مثل محاولة تذكر كل تفاصيل فيلم مدته 10 ساعات بعد مشاهدته مرة واحدة؛ ستبدأ في نسيان الأجزاء الوسطى.

لماذا هذا مهم؟

يجادل المؤلفون بأنه مع تسارع العلم وأتمتته (مع وجود "علماء ذكاء اصطناعي" يكتبون أوراقهم وأكوادهم الخاصة)، فإننا بحاجة إلى طريقة للتحقق تلقائيًا مما إذا كان الذكاء الاصطناعي صادقًا أم لا.

حاليًا، لا يمكننا الوثوق تمامًا بالذكاء الاصطناعي ليكون الحكم النهائي على الحقيقة العلمية. إذا كتب الذكاء الاصطناعي ورقة وكودًا، ولم يكن لدينا أداة يمكنها تحديد الاختلافات بشكل موثوق، فقد ينتهي بنا الأمر بالكثير من العلوم "المزيفة" التي تبدو حقيقية ولكنها لا تعمل.

الخلاصة

SCICOQA هو معيار جديد (اختبار) يوضح لنا مدى المسافة التي يجب قطعها. إنه يثبت أنه بينما يصبح الذكاء الاصطناعي أكثر ذكاءً، فإنه لا يزال يكافح ليكون "مدقق حقائق" مثاليًا للعلوم. إنه ليس مستعدًا لاستبدال المراجعين البشريين بعد، ولكنه خطوة أولى حاسمة نحو بناء مستقبل يكون فيه العلم شفافًا، وموثوقًا، وقابلاً للتكرار.

باختصار: لقد بنينا اختبارًا لنرى ما إذا كان بإمكان الذكاء الاصطناعي كشف العلماء (أو غيرهم من الذكاء الاصطناعي) عندما لا يتطابق الكود الخاص بهم مع قصتهم. الذكاء الاصطناعي يحاول جاهدًا، لكنه لا يزال يفتقد حوالي نصف الأدلة. نحن بحاجة إلى تعليمه بشكل أفضل قبل أن نتركه يدير مختبر العلوم بأكمله.

إليك ملخص تقني مفصل لورقة البحث بعنوان "SCICOQA: ضمان الجودة لمطابقة الأوراق العلمية مع الكود البرمجي".

1. بيان المشكلة

تواجه المجتمعات العلمية "أزمة إعادة إنتاج"، حيث غالبًا ما تفشل الأكواد البرمجية المرافقة للمنشورات العلمية في تنفيذ المنهجيات الموصوفة في النص بأمانة. تظهر هذه التناقضات بين الورقة والكود في أشكال عدة:

الاختلافات: ينفذ الكود منطقًا مختلفًا عما ورد في الورقة (على سبيل المثال، استخدام معيار L1 بدلاً من L2).
حذف من الورقة: يتضمن الكود مكونات حاسمة مفقودة من النص.
حذف من الكود: الخطوات الموصوفة في الورقة غائبة عن المستودع البرمجي.

تعد عمليات المراجعة اليدوية الحالية غير كافية بسبب حجم المشاركات وتعقيد الكود. علاوة على ذلك، فإن صعود "العلماء الاصطناعيين" (الوكلاء المستقلين الذين يولدون الأوراق والأكواد) يستلزم وجود أدوات مؤتمتة للتحقق من مدى أمانة المخرات المولدة. تركز الاختبارات المعيارية الحالية إما على الأخطاء داخل النص أو التناقضات المحلية بين الكود والتعليقات، وتفتقر إلى مجموعة بيانات لـ المطابقة الشاملة بين الأوراق العلمية الكثيفة ومستودعات الكود متعددة الملفات.

2. المنهجية: بناء مجموعة بيانات SCICOQA

قدم المؤلفون SCICOQA، وهي مجموعة بيانات تضم 635 تناقضًا بين الورقة والكود، مصممة لتقييم النماذج اللغوية الكبيرة (LLMs) في مهمة المطابقة هذه. يتضمن بناء مجموعة البيانات نهجًا هجينًا يجمع بين جمع البيانات من العالم الحقيقي والتوليد الاصطناعي.

أ. مصادر البيانات

بيانات من العالم الحقيقي (92 حالة):
- مشكلات GitHub: تم سحب مستودعات مرتبطة بأوراق بحثية (2020–2025). تم تصفية المشكلات باستخدام Qwen3 والتحقق منها يدويًا لضمان أنها تبلغ عن تناقضات محددة بين الورقة والكود.
- أوراق إعادة الإنتاج: استُخرجت من تحديات إعادة إنتاج تعلم الآلة ومسارات إعادة الإنتاج في المؤتمرات. تم استخراج التناقضات باستخدام GPT-5 والتحقق منها يدويًا.
- المجالات: تتركز أساسًا في علوم الحاسوب (الذكاء الاصطنا الاصطناعي، تعلم الآلة، الرؤية الحاسوبية، معالجة اللغات الطبيعية).
البيانات الاصطناعية (543 حالة):
- لتوسيع نطاق مجموعة البيانات وتغطية مجالات غير علوم الحاسوب (الفيزياء، البيولوجيا الكمية، الرياضيات، الهندسة الكهربائية)، استخدم المؤلفون GPT-5 لتوليد تعديلات برمجية في مستودعات علمية حقيقية.
- عملية التوليد: تم توجيه النموذج لإدخال تغييرات "صغيرة وذات معنى مفاهيمي" تخلق صراعًا دلاليًا بين الورقة والكود (مثل تغيير دالة الخسارة أو إضافة طبقة غير موثقة) دون إدخال أخطاء برمجية بسيطة أو عدم تطابق في المعلمات الفائقة (hyperparameters).
- المجالات: تغطي علوم الحاسوب، الهندسة الكهربائية، الفيزياء، الإحصاء، البيولوجيا الكمية، والرياضيات.

ب. تصنيف التناقضات

تصنف مجموعة البيانات التناقضات حسب:

النوع: اختلاف، حذف من الورقة، حذف من الكود.
الفئة: الخوارزمية، النموذج، دالة الخسارة، التقييم، البيانات، التدريب.

ج. إطار التقييم

المهمة: بالنظر إلى ورقة (نص) وقاعدة الكود الخاصة بها، يجب على النموذج توليد قائمة بالتناقضات.
التحكيم: يقوم نموذج (LLM-as-a-Judge) وهو (GPT-OSS 20B) بتقييم ما إذا كانت التناقضات المتوقعة تطابق الحقيقة الأرضية (ground truth).
المقاييس: تعتمد بشكل أساسي على الاستدعاء (Recall) (اكتشاف جميع التناقضات الموضحة)، حيث أن الدقة (Precision) أقل أهمية في عمليات الفرز الأولية، ومع ذلك يتم تحليل المقايضة بين الدقة والاستدعاء.

3. المساهمات الرئيسية

مجموعة بيانات SCICOQA: أول اختبار معياري واسع النطاق مخصص للكشف عن عدم المحاذاة الدلالية بين الأوراق العلمية وتنفيذاتها البرمجية، ويغطي 635 حالة عبر مجالات علمية متعددة.
مسار البيانات الاصطناعية: طريقة قوية لتوليد تناقضات واقعية بين الورقة والكود في المجالات التي تندر فيها الأمثلة الواقعية، والتي تم التحقق من صحتها من خلال ارتباط قوي ( $r=0.94$ ) بين أداء النموذج على البيانات الاصطناعية والبيانات الواقعية.
تحليل شامل: تصنيف مفصل لأنواع وفئات التناقضات، مما يوفر فهمًا مهيكلًا لكيفية تباين التنفيذ عن النظرية.
اختبار أداء أحدث النماذج: تقييم 22 نموذجًا لغويًا كبيرًا (بما في ذلك GPT-5 وGemini 3.1 Pro وGPT-OSS وQwen3 وDeepSeek) في مهام الاستدلال عبر الوسائط ذات السياق الطويل.

4. النتائج

يكشف التقييم أن النماذج اللغوية الكبيرة الحالية تعاني بشكل كبير في هذه المهمة، مما يسلط الضوء على فجوة في ضمان الجودة العلمية المؤتمتة.

الأداء العام: حققت أفضل النماذج أداءً (Gemini 3.1 Pro و GPT-5 Mini) استدعاءً قدره 46.7% فقط على البيانات الواقعية. وهذا يعني أنها تفقد أكثر من نصف التناقضات الفعلية.
الاصطناعي مقابل الواقعي: يوجد ارتباط قوي ( $r=0.94$ ) بين الأداء على البيانات الاصطناعية والبيانات الواقعية، مما يؤكد أن المجموعة الاصطناعية هي بديل موثوق للتوسع.
صعوبة التناقض:
- حذف من الكود هو الأسهل في الاكتشاف.
- الاختلافات متوسطة الصعوبة.
- الحذف من الورقة (حيث يحتوي الكود على ميزات غير مذكورة في الورقة) هي الأكثر تحديًا، حيث يجب على النماذج التمييز بين المصنوعات الهندسية الصالحة والمنطق العلمي غير الموثق دون مرجع نصي.
طول السياق: يتدهور الأداء مع زيادة عدد التوكنات (tokens) المدخلة. تعاني النماذج بشكل كبير مع المدخلات التي تتجاوز 100 ألف توكن (متوسط حجم المطالبة المركبة هو ~57 ألف توكن).
دراسة الاستبعاد (الكود فقط): يؤدي حذف الورقة من المدخلات إلى انخفاض هائل في الأداء (انخفاض متوسط الاستدعاء بنسبة ~19.2 نقطة مئوية)، مما يؤكد أن الاستدلال عبر الوسائط ضروري ولا يمكن استبداله بتحليل الكود وحده أو المعرفة البارامترية.
التحيز للمجال: تؤدي النماذج أداءً أسوأ في البيانات الحديثة (2025)، مما يشير إلى اعتمادها على تلوث بيانات التدريب المسبق بدلاً من الاستدلال الحقيقي.

5. الأهمية والآثار المترتبة

محدودية الذكاء الاصطناعي الحالي: تظهر النتائج أن أكثر النماذج اللغوية الكبيرة تقدمًا لا يمكنها بعد العمل كحكام مستقلين للصلاحية العلمية. إن انخفاض معدل الاستدعاء يجعلها غير موثوقة لضمان إعادة الإنتاج دون إشراف بشري.
مستقبل العلم: مع زيادة انتشار "العلماء الاصطناعيين"، تعد أدوات مثل SCICOQA بالغة الأهمية للتحقق من أن الكود المولد ينفذ المنهج العلمي بأمانة.
ضمان الجودة: تجادل الورقة بضرورة دمج الكشف المؤتمت عن التناقضات في عمليات مراجعة الأقران ومسارات إعادة الإنتاج لزيادة نطاق النزاهة العلمية.
دعوة للعمل: يشجع المؤلفون على تبني مسارات إعادة الإنتاج بشكل أوسع لالتقاط التناقضات الواقعية بشكل منهجي وتوسيع مجموعة البيانات بما يتجاوز التوليد الاصطناعي.

في الختام، يكشف SCICOQA عن عقبة حرجة في أتمتة التحقق العلمي. وبينما تظهر النماذج اللغوية الكبيرة إمكانات في الدقة، فإن عدم قدرتها على استدعاء جميع التناقضات باستمرار يشير إلى أن التحقق الذي يتضمن العنصر البشري سيظل ضروريًا في المستقبل المنظور.