Experiments or Outcomes? Probing Scientific Feasibility in Large Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان: "تجارب أم نتائج؟ استقصاء الجدوى العلمية في النماذج اللغوية الكبيرة."

1. صياغة المشكلة

تعالج الورقة الفجوة في فهم كيفية أداء النماذج اللغوية الكبيرة (LLMs) في مهمة تقييم الجدوى العلمية (Scientific Feasibility Assessment). تتضمن هذه المهمة تحديد ما إذا كان ادعاء علمي (فرضية) يتوافق مع المعرفة الراسخة، وما إذا كانت التجارب الملموسة يمكن أن تدعم هذا الادعاء أو تفنده.

يصيغ المؤلفون هذا الأمر كـ مهمة استدلال تشخيصي حيث يجب على النموذج التنبؤ بتسمية ثنائية (ممكن/FEASIBLE أو غير ممكن/INFEASIBLE) وتقديم تبرير. التحدي الجوهري يكمكمن في عزل كيفية تأثير أنواع مختلفة من الأدلة — وتحديداً الأوصاف التجريبية (المنهجيات/التصاميم) مقابل النتائج التجريبية (المخرجات) — على حكم النموذج، ومدى قوة هذه الأحكام عندما تكون الأدلة غير مكتملة.

2. المنهجية

يقترح المؤلفون إطار عمل معرفي مضبوط (Controlled Knowledge Framework) لتقييم النماذج اللغوية الكبيرة بشكل منهجي تحت ظروف أدلة متغيرة.

أ. الإعداد التجريبي

• النماذج التي تم تقييمها: خمسة نماذج لغوية كبيرة مملوكة لجهات مختلفة من فئات وموردين مختلفين: gpt-5.1 ، gpt-4o ، Gemini-2.5-Pro ، Gemini-2.5-Flash ، و Grok-4.1-fast.
• مجموعات البيانات:
  • MATTER-OF-FACT: ادعاءات مقترنة بأوراق بحثية مصدرية حيث قد تدعم الأدلة الفرضية، أو تعارضها، أو تعالجها جزئياً.
  • REASONS: عبارات علمية مدعومة صراحةً بالأدبيات المستشهد بها (إعداد الجدوى الإيجابية).
• التحكم في تسرب البيانات (Data Leakage Control): تم تطبيق تصفية ما بعد تاريخ الانقطاع بناءً على تواريخ انقطاع معرفة النماذج وتواريخ نشر الأوراق البحثية لتقليل مخاطر تسرب التدريب المسبق.

ب. ظروف الأدلة المضبوطة

تقيم الدراسة النماذج اللغوية الكبيرة تحت أربعة إعدادات سياقية ($x$) إلى جانب فرضية ($h$):

1. H (الفرضية فقط): $x = \emptyset$. تعتمد فقط على المعرفة البارامترية (الداخلية).
2. H+E (الفرضية + التجارب): $x = E^*$. توفر أوصاف التجارب ولكن بدون نتائج.
3. H+O (الفرضية + النتائج): $x = O^*$. توفر ملخصات النتائج ولكن بدون إجراءات تجريبية.
4. H+E+O (الفرضية + التجارب + النتائج): $x = (E^*, O^*)$. توفر سياقاً كاملاً.

ج. تحليل الاستقرار والمتانة

لاختبار المتانة في ظل المعلومات الناقصة، قدم المؤلفون بروتوكول الكشف الجزئي (Partial Revelation Protocol):

• المعايتير: $k_1$ (كسر التجارب التي تم الكشف عنها) و $k_2$ (كسر النتائج التي تم الكشف عنها)، وتم اختبارهما عند المستويات $\{0, 0.5, 1.0\}$.
• أخذ العينات: بالنسبة للمستويات الجزئية ($k < 1$)، يتم أخذ عينات فرعية بشكل عشوائي منتظم بدون استبدال. تُحسب النتائج كمتوسط عبر 5 عمليات تشغيل مستقلة لمراعاة التباين.
• المقاييس: الدقة (Accuracy)، ودرجة F1 الكلية (Macro-F1)، ومعامل ارتباط ماتيوس (MCC)، وROUGE لتشابه التفسير. والأهم من ذلك، يقيسون التدهور غير الرتيب (non-monotonic degradation) (حيث ينخفض الأداء مع زيادة الأدلة) ومعدلات ما دون خط الأساس (below-baseline rates) (حيث يكون الأداء بالدليل الجزئي أسوأ من الأداء بدون دليل).

3. المساهمات الرئيسية

1. إطار العمل المعرفي المضبوط: منهجية مبتكرة لفصل آثار أوصاف تصميم التجربة عن نتائج المخرجات على أحكام الجدوى.
2. تحليل الاستقرار: كمي دقيق لمتانة النماذج، مما يكشف أن الأدلة الجزئية غالباً ما تؤدي إلى استدلال هش بدلاً من التدهور التدريجي السلس.
3. النتائج التجريبية: أثبتت أن النماذج اللغوية الكبيرة الحالية تظهر أنماط فشل محددة عند التعامل مع الأدلة العلمية، مما يتحدى الافتراض القائل بأن "المزيد من السياق هو الأفضل دائماً".

4. النتائج واللقاءات الرئيسية

السؤال البحثي الأول (RQ1): خط الأساس للمعرفة الداخلية

في إعداد (الفرضية فقط - H)، تحقق النماذج دقة غير ضئلة، مما يشير إلى امتلاكها تصورات أولية عامة حول الجدوى العلمية. ومع ذلك، فإن هذه الأحكام هشة وتعتمد على المعقولية العامة بدلاً من القيود الصريحة.

السؤال البحثي الثاني (RQ2): التجارب مقابل النتائج

• النتيجة 1: النتائج أكثر استقراراً من التجارب.
  • توفير النتائج (H+O) يحسن أو يحافظ باستمرار على الدقة مقارنة بخط الأساس.
  • توفير التجارب فقط (H+E) يؤدي في كثير من الأحيان إلى تدهور الأداء، وأحياناً ينخفض إلى ما دون خط الأساس للفرضية فقط.
  • التفسير: تواجه النماذج اللغوية الكبيرة صعوبة في استنتاج النتائج المحتملة من التصاميم التجريبية وحدها. تسبب أوصاف التجارب غموضاً تفشل النماذج في حله، بينما توفر بيانات النتائج قيوداً اتجاهية صريحة.
• التيجة 2: المزيد من الأدلة ليس أفضل بالضرورة.
  • حالة H+E+O لا تتفوق باستمرار على H+O. في بعض الحالات، يؤدي إضافة أوصاف التجارب إلى النتائج إلى عرقلة عملية اتخاذ القرار.

السؤال البحثي الثالث (RQ3): المتانة تحت المعلومات الجزئية

• النتيجة 3: التدهور غير الرتيب والعدائي.
  • لا يتدهور الأداء بشكل سلس مع إزالة الأدلة.
  • الأدلة الجزئية (مثل الكشف بنسبة 50%) غالباً ما تؤدي إلى أداء أسوأ من الأدلة الكاملة وأسوأ من عدم وجود أدلة.
  • يشير هذا إلى أن السياق العلمي الجزئي يمكن أن يضلل النموذج فعلياً، مما يجعله يلتزم بشكل مفرط باستنتاجات خاطئة بناءً على بيانات مجزأة.

تحليل أنماط الفشل

حدد المؤلفون ثلاثة قيود منهجية في النماذج اللغوية الكبيرة الحالية:

1. المواءمة السطحية بدلاً من الصلاحية الاستدلالية: تعطي النماذج الأولوية للمطابقات اللفظية/الموضوعية بين الفرضيات وأوصاف التجارب، متجاهلةً الاختلافات الحرجة في المتغيرات (مثل الجرعة، أو النهايات الطرفية).
2. الافتقار إلى بوابة صلة الأدلة: تفشل النماذج في التساؤل عما إذا كانت الأدلة المقدمة تختبر الفرضية بالفعل؛ فهي تحاول التوفيق بين السياقات غير المتطابقة بدلاً من رفضها.
3. الارتكاز (Anchoring) تحت المعلومات الجزئية: ترتكز النماذج على الشظايا المتاحة وتلتزم بها بشكل مفرط، وتفشل في العودة إلى حالة عدم اليقين عندما تكون الأدلة ناقصة.

5. الأهمية والآثار المترتبة

• القيمة التشخيصية: تكشف الدراسة عن أنماط الفشل (الهشاشة، الأدلة الجزئية العدائية) التي لا تظهر في التقييمات القياسية ذات السياق الكامل أو اختبارات التوليد المعزز بالاسترجاع (RAG).
• نشر سير العمل العلمي: تشير النتائج إلى أن مجرد استرجاع المزيد من الأوراق أو التفاصيل التجريبية لا يضمن بالضرورة استدلالاً علمياً أفضل. في الواقع، قد يكون توفير أوصاف تجريبية ناقصة ضاراً.
• الاتجاهات المستقبلية: يتطلب تحسين تقييم الجدوى العلمية آليات تنمذج صراحةً صلة الأدلة، وعدم اليقين، ومواءمة المتغيرات، بدلاً من الاعتماد على الاستيعاب السلبي للسياق الإضافي. يدعو المؤلفون إلى إجراء تقييمات تشخيصية قبل نشر النماذج اللغوية الكبيرة في سير العمل العلمي الحرج.

الخلاصة: تعامل النماذج اللغوية الكبيرة الحالية الجدوى العلمية كمهمة تصنيف سطحية. وبينما تعد أدلة النتائج مفيدة للغاية، فإن أوصاف التجارب بدون نتائج غالباً ما تسبب الهشاشة. إن الاستدلال العلمي المتين يتطلب تجاوز مجرد استرجاع السياق إلى التحقق الهيكلي من الأدلة.