🤖 AI

LLM Jaggedness Unlocks Scientific Creativity

تقدم هذه الورقة معيار SciAidanBench لتوضيح أن التطور غير المتكافئ، أو "المسنن"، لقدرات النماذج اللغوية الكبيرة عبر المجالات العلمية يمكن استغلاله استراتيجيًا من خلال أساليب التجميع لتعزيز الإبداع العلمي المدفوع بالذكاء الاصطناعي بشكل كبير بما يتجاوز حدود أي نموذج منفرد.

المؤلفون الأصليون: Shray Mathur, J. Anibal Boscoboinik, Esther H. R. Tsai, Kevin G. Yager

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shray Mathur, J. Anibal Boscoboinik, Esther H. R. Tsai, Kevin G. Yager

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول بناء "آلة أفكار" فائقة لمساعدة العلماء على ابتكار تجارب واكتشافات جديدة. قد تفترض أن هذه الآلات (نماذج الذكاء الاصطناعي)، كلما أصبحت أكبر وأذكى، ستصبح أفضل في كل شيء بطريقة سلسة ومتوقعة.

لكن هذه الورقة البحثية تجادل بأن الأمر لا يعمل بهذا الشكل؛ بل إن تقدم الذكاء الاصطناعي هو تقدم "متعرج" (Jagged).

لا تنظر إلى نموذج الذكاء الاصطناعي كطريق سلس ومستوٍ، بل كـ سلسلة جبال صخرية. بعض أجزاء الجبل هي قمم شاهقة حيث يكون الذكاء الاصطناعي عبقرياً؛ وأجزاء أخرى هي وديان سحيقة حيث يتعثر ويفشل. وأحياناً، جعل الجبل أكثر ارتفاعاً (زيادة حجم النموذج) لا يساعد في رفع الوديان؛ بل قد يجعل المنحدرات أكثر حدة.

إليك تفصيل لما وجده الباحثون، باستخدام تشبيهات بسيطة:

١. المشهد "المتعرج"

قام الباحثون ببناء اختبار يسمى SciAidanBench. تخيل صندوقاً ضخماً يحتوي على ١٥٥ سؤالاً علمياً مفتوح النهايات، تتراوح من "كيف نكتشف قوة جديدة في الطبيعة؟" إلى "كيف نوصل الدواء إلى خلايا محددة؟".

لقد طرحوا هذه الأسئلة على ٣٠ نموذجاً مختلفاً من نماذج الذكاء الاصطناعي. لم يكتفوا بطلب إجابة واحدة صحيحة فحسب؛ بل أرادوا من النماذج توليد أكبر عدد ممكن من الأفكار الفريدة والمترابطة.

الاكتشاف:

العام مقابل العلمي: الذكاء الاصطناعي البارع في الكتابة الإبداعية العامة (مثل كتابة قصة) ليس بالضرورة بارعاً في الإبداع العلمي. الأمر يشبه طباخاً ماهراً جداً في صنع الكعك ولكنه سيء جداً في شواء اللحم. المهارات لا تنتقل بسلاسة.
تأثير "الانفجار": حتى أكثر نماذج الذكاء الاصطناعي ذكاءً هي نماذج غير متسقة. ففي بعض الأسئلة، تمر بحالة "انفجار" من العبقرية وتولد ٥٠ فكرة رائعة. وفي السؤال التالي، قد تولد فكرتين فقط. النماذج الأقوى لا تقوم بمجرد القيام بالمزيد من كل شيء؛ بل تمتلك فقط تقلبات أوسع بين المستوى "المقبول" والمستوى "المذهل".
الخبير "المدبب": داخل نموذج واحد، قد يكون الذكاء الاصطناعي عبقرياً في الفيزياء ولكنه يعاني في علم الأحياء. معرفته ليست غطاءً ناعماً؛ بل هي مجموعة من القمم الحادة.

٢. تحويل "التعرج" إلى قوة خارقة

عادةً ما يعتقد الناس أن هذه المهارات غير المتساوية هي خلل أو "عيب". لكن الباحثين يقولون: لا، بل هي ميزة.

إذا كان لديك فريق من الأشخاص حيث كل واحد منهم جيد في أشياء مختلفة، يمكنك بناء فريق خارق. حاول الباحثون ثلاث طرق لدمج هذه النماذج "المتعرجة" لإنشاء نموذج ميتا (Meta-Model) (أي فريق من نماذج الذكاء الاصطناعي التي تعمل معاً):

التفكير لفترة أطول (حوسبة وقت الاستدلال - Inference-Time Compute):
- التشبيه: تخيل أنك تطلب من طالب حل مسألة رياضية. إذا تركته يلقي بأول إجابة تخطر بباله، فقد تكون خاطئة. أما إذا قلت له: "خذ ٥ دقائق للتفكير، واكتب خطواتك، وتحقق من عملك"، فسيصبح أفضل بكماً.
- النتيجة: عندما سُمح للذكاء الاصطناعي بـ "التفكير" لفترة أطول (توليد المزيد من خطوات الاستدلال الداخلي قبل الإجابة)، أنتج أفكاراً علمية أكثر إبداعاً بشكل ملحوظ.
تجميع المعرفة (الموجه - The Router):
- التشبيه: تخيل مستشفى. أنت لا تطلب من جراح القلب أن يعالج كسراً في الساق. بل توجه المريض إلى المختص.
- النتيجة: بنى الباحثون نظاماً ينظر إلى السؤال. إذا كان السؤال عن الفيزياء، فإنه يرسله إلى الذكاء الاصطناعي الأفضل في الفيزياء. وإذا كان عن علم الأحياء، فإنه يرسله إلى خبير علم الأحياء. هذا "الموجه" (Router) تفوق على أي نموذج ذكاء اصطناعي منفرد لأنه يستخدم دائماً الخبير المناسب للمهمة.
العصف الذهني الجماعي:
- التشبيه: تخيل مجموعة من الفنانين في غرفة. الفنان (أ) يرسم خطاً. الفنان (ب) يرى هذا الخط ويضيف شكلاً. الفنان (ج) يرى الشكل ويضيف لوناً. إنهم يبنون على عمل بعضهم البعض.
- النتيجة: ترك الباحثون خمسة نماذج مختلفة من الذكاء الاصطناعي تتناوب على إضافة أفكار إلى قائمة واحدة. يقترح أحد النماذج فكرة، ثم يقرأها النموذج التالي ويحاول تحسينها أو التوسع فيها. هذا "التفاعل المتسلسل" للأفكار خلق مجموعة أغنى من الحلول مما يمكن لأي نموذج بمفرده.

٣. الفريق النهائي (Top-5-Parallel)

جمع الباحثون الطرق الثلاث معاً. أخذوا أفضل خمسة نماذج، وتركوا كل منها يفكر بعمق، وجعلواهم يعملون معاً في جلسة عصف ذهني حيث يمكنهم رؤية أفكار بعضهم البعض.

النتيجة: هذا "الفريق الخارق" تفوق على كل نموذج ذكاء اصطناعي بمفرده. لم يكتفوا بتقديم أداء أفضل قليلاً، بل قاموا بتنعيم الحواف المتعرجة. حيث كان لدى أحد النماذج "وادي" (نقطة ضعف)، كان لدى نموذج آخر "قمة"، ومعاً غطوا الجبل بأكمله.

الخلاصة

تخلص الورقة البحثية إلى أنه لا ينبغي لنا فقط محاولة بناء ذكاء اصطناعي "مثالي" واحد يكون جيداً في كل شيء. بدلاً من ذلك، يجب علينا تقبل حقيقة أن أنظمة الذكاء الاصطناعي غير متساوية. ومن خلال التعرف على نقاط قوتها وضعفها المحددة، ومن خلال جعلها تعمل معاً في فرق، يمكننا إطلاق مستوى من الإبداع العلمي لا يمكن لأي آلة بمفردها أن تحققه أبداً.

باخت-اختصار: الذكاء الاصطناعي ليس آلة سلسة ومثالية. إنه مشهد صخري ومتعرج. ولكن إذا عرفت كيفية التنقل بين الصخور وجمعت المتسلقين المناسبين معاً، يمكنك الوصول إلى أعلى القمم.

ملخص تقني: التعرج في النماذج اللغوية الكبيرة يفتح آفاق الإبداع العلمي

بيان المشكلة

مع تقدم الذكاء الاصطناعي، لا تتحسن قدرات النماذج بشكل موحد عبر المهام أو المجالات أو المقاييس. بدلاً من ذلك، يتبع التقدم مسار "الحدود المتعرجة" (Jagged Frontier)، حيث تكون الكفاءة غير متساوية وغير منتظمة. وبينما حددت الأدبيات السابقة التعرج عبر المهام، ومقاييس النماذج، وعمق الاستدلال، وتعقيد المشكلات، فإن التوصيف المنهجي لهذه الظاهرة، وتحديداً في سياق توليد الأفكار العلمية، لا يزال غير مستكشف بشكل كافٍ. ويفترض المؤلفون أن الإبداع العلمي، بكونه عملية مفتوحة النهايات وتوليدية، يوفر عدسة مثالية للكشف عن هذه التفاوتات في القدرات. علاوة على ذلك، بينما تعتمد الجهود السابقة لتحسين تنوع النماذج اللغوية الكبيرة على تدخلات تدريبية مكثفة حوسبياً أو سير عمل متعدد النماذج مهيكل يحد من التوليد مفتوح النهايات، تبرز الحاجة إلى فهم كيفية تسخير هذه الحواف المتعرجة، بدلاً من مجرد محاولة تسويتها، لتعزيز الاكتشاف العلمي المدعوم بالذكاء الاصطناعي.

المنهجية

للتحقيق في ذلك، قدم المؤلفون SciAidanBench، وهو مجموعة بيانات معيارية تضم 155 سؤالاً علمياً مفتوح النهايات تم تنسيقها من قبل باحثين في مختبر بروكهافن الوطني (Brookhaven National Laboratory). تغطي الأسئلة ستة مجالات علمية: الفيزياء (المقسمة إلى: الأساسية، والفيزياء الفلكية، والسينكروترون، وفيزياء المادة المكثفة)، والكيمياء، والأحياء، وعلم الأعصاب، وعلم النانو، والعلوم البيئية. وقد صيغت الأسئلة لتشجيع توليد المفاهيم (مثل: "اقترح طريقة لـ...") بدلاً من مجرد استرجاع الحقائق.

تقيم الدراسة 30 متغيراً لـ 19 نموذجاً أساسياً من 8 مزودين (بما في ذلك OpenAI وAnthropic وGoogle ونماذج محلية مثل LLaMA 3.3 وMistral). يتبع بروتوكول التقييم منهجية AidanBench:

التوليد التكراري: لكل سؤال، يُطلب من النموذج توليد فكرة أولية ( $r_1$ )، ثم يُعاد توجيهه تكرارياً لتوليد أفكار لاحقة ( $r_2, r_3, \dots$ ) مع الحفاظ على سياق المخرجات السابقة.
التقييم مزدوج القيود: يجب أن تكون كل فكرة جديدة متماسكة (منطقية ومتسقة مع السؤال) ومبتكرة (متميزة عن جميع الاستجابات السابقة).
مقاييس التسجيل:
- الابتكار القائم على التضمين (Embedding-based): المسافة الجيبية (Cosine distance) بين الاستجابة الجديدة والاستجابات السابقة باستخدام نموذج تضمين مدرب مسبقاً.
- الابتكار القائم على النموذج اللغوي (LLM-based): يقوم نموذج لغوي حكم (o1-mini) بتقييم درجات التشابه مقابل الاستجابات السابقة.
- التماسك: يقوم نموذج لغوي حكم بتقييم الاتساق المنطقي على مقياس من 0 إلى 100.
- يتوقف التوليد عندما تنخفض الاستجابة عن عتبات الابتكار (<0.15) أو التماسك (<15). ويُستخدم إجمالي عدد الاستجابات الصالحة كمؤشر للقدرة الإبداعية.

المساهمات الرئيسية

SciAidanBench: أول معيار مصمم خصيصاً لقياس الإبداع العلمي للنماذج اللغوية الكبيرة عبر توليد أفكار مستدام ومفتوح النهايات عبر مختلف المجالات العلمية الفرعية.
توصيف التعرج (Characterization of Jaggedness): تقديم عرض منهجي يوضح أن التعرج يتجلى في ثلاثة مستويات متميزة:
- عبر المهام: التحسينات العامة في الإبداع لا تترجم بالضرورة إلى إبداع علمي.
- على مستوى المطالبة (Prompt-Level): تظهر النماذج الأقوى تبايناً عالياً، حيث تظهر "دفقات" من الإبداع في أسئلة محددة بينما تعاني في أخرى.
- على مستوى المجال: تظهر النماذج الفردية ملفات تعريف داخلية مجزأة، مع نقاط قوة غير متساوية عبر المجالات العلمية الفرعية.
الفرق الميتا-نموذجية (Meta-Model Ensembles): اقتراح وتقييم استراتيجيات التجميع التي تعامل التعرج كمورد. قدم المؤلفون آليات لدمج النماذج:
- الحوسبة وقت الاستدلال (Inference-Time Compute): الاستفادة من رموز الاستدلال (Reasoning tokens) لتوسيع مساحة الحلول.
- تجميع المعرفة (Knowledge Pooling): توجيه الأسئلة إلى النماذج ذات نقاط القوة في مجالات محددة.
- العصف الذهني (Brainstorming): تمكين صقل الأفكار عبر النماذج حيث تبني النماذج على مخرجات بعضها البعض.
- Top-5-Parallel: تكوين يدمج الآليات الثلاث معاً.

النتائج

التباين عبر المهام: بينما يوجد ارتباط إيجابي بين الإبداع العام والعلمي ( $r=0.76$ )، إلا أن العلاقة ليست موحدة. فالنماذج التي تحتل مراتب عالية في الإبداع العام لا تحتل بالضرورة مراتب عالية في الإبداع العلمي. على سبيل المثال، أظهرت نماذج OpenAI إبداعاً عاماً قوياً لكنها وصلت إلى مرحلة الثبات (Plateau) في المهام العلمية، بينما تفوقت نماذج Anthropic في الإبداع العلمي مقارنة بأدائها العام.
التباين على مستوى المطالبة: تظهر النماذج الأقوى (مثل o3-high وGemini-2.5-Pro) توزيعات استجابة أوسع، مما يشير إلى أن متوسط درجاتها المرتفع مدفوع بـ "دفقات" من الإبداع العالي في مطالبات محددة بدلاً من التحسن المنتظم. أما النماذج الأضعف فتظهر توزيعات ضيقة ومنخفضة باستمرار.
تجزؤ المجالات: تظهر النماذج الأعلى أداءً طفرات متميزة في الأداء عبر المجالات الفرعية. فعلى سبيل المثال، تفوق Gemini-2.5-Pro في فيزياء المادة المكثفة ولكنه كان أضعف في علم النانو، بينما كان Claude-3.7-Sonnet-Thinking-16k الأقوى في علم الأعصاب ولكنه كان أضعف في الفيزياء الأساسية.
تفوق الفرق (Ensemble Superiority):
- الحوسبة وقت الاستدلال: تفوقت نماذج الاستدلال (مثل Claude-3.7-Sonnet-Thinking) بشكل كبير على النسخ غير المستندة إلى الاستدلال، حيث تتبع الأداء الفعلي لاستهلاك الرموز (Tokens) بدلاً من الميزانية المخصصة.
- تجميع المعرفة: تفوق فريق "الموجه" (Router)، الذي وجه الأسئلة إلى النموذج الأفضل أداءً لكل مجال محدد، على أقوى نموذج فردي في كل مجال.
- العصف الذهني: تفوق فريق "Top-5" (الذي يأخذ عينات من أفضل خمسة نماذج فردية) على جميع النماذج الفردية. ومع ذلك، فإن فريق "Top-5 Vendors" (الذي نوّع بين المزودين ولكن ليس بالضرورة بين القدرات) فشل في التفوق على أقوى نموذج فردي، مما يشير إلى أن مستوى القدرة أكثر أهمية من تنوع المزودين وحده.
- Top-5-Parallel: حقق هذا الفريق، الذي يجمع بين الحوسبة وقت الاستدلال، وتجميع المعرفة، والعصف الذهني، أعلى الدرجات في كل من معايير الإبداع العام والعلمي، متفوقاً على أي نموذج فردي أو أي فريق يعتمد آلية واحدة.

الأهمية والادعاءات

تجادل الورقة بأن التعرج ليس مجرد قصور بل هو مورد هيكلي في تقدم الذكاء الاصطناعي. وبدلاً من النظر إلى ملفات القدرة غير المتساوية كعيوب يجب تسويتها عبر التوسع أو المحاذاة، يوضح المؤلفون أنه يمكن تسخير هذه التباينات. ومن خلال تنظيم نماذج متباينة عبر فرق "ميتا-نموذجية"، يمكن تحويل التجزئة إلى تآزر، مما يضاعف توليد الأفكار العلمية بما يتجاوز حدود أي نموذج واحد.

يخلص المؤلفون إلى أن المكاسب المستقبلية في توليد الأفكال العلمية مفتوحة النهايات قد تنبع بشكل متزايد من الأنظمة التي تتعرف صراحةً على "الذكاء المتعرج" وتقيسه وتنسقه. ويقترحون أن الأبحاث المستقبلية يجب أن تستكشف الاضطرابات المتعمدة في المطالبات (مثل التلقيح عبر المجالات - cross-domain seeding) للوصول إلى أنماط إبداعية غير مستغلة، واستقصاء الهياكل المثلى للفرق (هرمية مقابل أفقية) للفرق التعاونية. يضع هذا العمل SciAidanBench كمعيار لتوليد الأفكار العلمية وكإطار عمل للكشف عن التباين الهيكلي في قدرات النماذج وتسخيره.