Do LLMs Know a Good Hypothesis When They See One? Logit-Based Energy Scoring Outperforms Prompted LLM-as-Judge for Scientific Hypothesis Ranking
تُثبت هذه الورقة أن طريقة تسجيل الطاقة القائمة على اللوجيت (logit)، والتي تستفيد من الثقة الجوهرية للنموذج اللغوي الكبير، تتفوق بشكل كبير على نهج "النموذج اللغوي الكبير كحكم" (LLM-as-judge) القائم على التلقين في ترتيب الفرضيات العلمية عبر تخصصات متعددة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
لطالما كان العلم حواراً بين ما نعرفه وما قد نكتشفه. فعندما يقف الباحث أمام مشكلة معقدة، يجب عليه أولاً أن يتخيل تفسيراً ممكناً، أي فرضية، تتناسب مع الحقائق التي جمعها. ولعقود من الزمن، اعتمدت هذه الخطوة كلياً على الحدس البشري، ولكن أداة جديدة دخلت المختبر: النموذج اللغوي الكبير. هذه برامج حاسوبية قوية تدربت على كميات هائلة من النصوص، ويمكنها الآن كتابة الجمل، وتلخيص الأبحاث، وحتى اقتراح أفكار علمية جديدة. ومع ذلك، يظل هناك سؤال جوهري دون إجابة: إذا كان بإمكان الكمبيوتر توليد قائمة من التفسيرات الممكنة لظاهرة ما، فكيف نعرف أي منها هو الصحيح بالفعل؟ المعيار الحالي للإجابة على هذا هو أن نطلب من برنامج حاسوبي آخر، أكثر ضخامة، أن يقرأ القائمة ويختار الأفضل بينها، تماماً مثل معلم يصحح اختباراً. ومع ذلك، فإن هذه الطريقة تشوبها ثغرة: فهي غالباً ما تفضل الأفكار التي تبدو مألوفة أو مكتوبة بأسلوب جيد، بدلاً من تلك التي تكون جديدة حقاً أو سليمة علمياً.
قرر فريق من الباحثين في مختبر أوك ريدج الوطني (Oak Ridge National Laboratory) اختبار نهج مختلف. فبدلاً من مطالبة النموذج بمقارنة الأفكار وإعطاء رأي لفظي، طلبوا منه ببساطة أن "يشعر" بثقل كل فكرة. لقد عاملوا ثقة الحاسوب الداخلية كإشارة. فعندما يقرأ النموذج جملة يتوقع رؤيتها، يشعر بنوع من اليقين؛ وعندما يقرأ شيئاً غريباً أو غير مرجح، يشعر بالمفاجأة. تساءل الباحثون عما إذا كان هذا الشعور الداخلي الخام يمكن أن يكون حكماً أفضل على الحقيقة العلمية من التصنيف الرسمي المنطوق. وقد سعوا لمعرفة ما إذا كان بإمكان الكمبيوتر التعرف على فرضية جيدة ببساطة من خلال مدى ملاءمتها الطبيعية لقصة ورقة بحثية علمية، دون أن يُطلب منه صراحةً اتخاذ قرار.
ولاختبار ذلك، جمع الباحثون مجموعة ضخمة مكونة من 1,323 ورقة علمية حقيقية من اثني عشر مجالاً مختلفاً، تتراوح من علم الفلك والفيزياء إلى القانون والأعمال. ولكل ورقة، أخذوا المعلومات الخلفية والسؤال المحدد الذي كان العلماء يحاولون الإجابة عليه. ثم ابتكروا تحدياً للنماذج الحاسوبية: قائمة من ست عشرة فرضية محتملة. كانت واحدة فقط منها هي الفرضية الحقيقية التي استخدمها العلماء الأصليون؛ أما الخمس عشرة الأخرى فكانت بدائل مكتوبة ببراعة ولكنها غير صحيحة. كان الهدف هو معرفة ما إذا كان بإمكان الكمبيوتر تحديد الفرضية الصحيحة الوحيدة من بين حشد من الخمس عشرة فرضية خاطئة.
أجرى الفريق هذا الاختبار باستخدام سبعة نماذج حاسوبية مختلفة، تتراوح من البرامج الصغيرة مفتوحة المصدر إلى الأنظمة الضخمة المملوكة لشركات. وقارنوا بين طريقتين للحكم على الفرضيات. الطريقة الأولى كانت النهج التقليدي: حيث حثوا نموذجاً تجارياً ضخماً على قراءة جميع الخيارات الستة عشر وترتيبها صراحةً من الأفضل إلى الأسوأ. أما الطريقة الثانية فكانت النهج الجديد: حيث قاموا بتغذية كل فرضية في النموذج واحدة تلو الأخرى، جنباً إلى جنب مع السياق الخلفي، وقاسوا درجة الثقة الداخلية للنموذج. استندت هذه الدرجة إلى مدى احتمالية أن تظهر الكلمات المحددة للفرضية تالياً، بالنظر إلى السياق. وقد فعلوا ذلك مرتين، مرة باستخدام حساب احتمالي قياسي، ومرة باستخدام مقياس خام لطاقة النموذج الداخلية، والتي تلتقط قوة التنبؤ قبل أن يتم تنعيمها.
كانت النتائج مفاجئة وغيرت فهمنا لكيفية عمل هذه الأدوات. فالطريقة التقليدية، حيث يُطلب من نموذج ضخم أن يعمل كحكم ويرتب القائمة، كان أداؤها ضعيفاً؛ إذ حددت الفرضية الأعلى صحة في حوالي 16.6% فقط من الحالات. في المقابل، كانت الطريقة التي اعتمدت على الثقة الداخلية للنموذج، دون أي تعليمات صريحة للترتيب، أفضل أداءً بشكل ملحوظ. وعندما نظر الباحثون في أفضل مزيج من النموذج وطريقة التقييم، وجدوا أن نموذجاً مفتوح المصدر وصغيراً نسبياً، يستخدم مقياس الطاقة الخام، قد حدد الفرضية الصحيحة في 53.1% من الحالات. وهذا يعني أن برنامجاً حاسوبياً متواضعاً، "يشعر" بالنص فحسب، كان أكثر فعالية بأكثر من ثلاث مرات في العثور على الفكرة العلمية الصحيحة من نظام أكثر ضخامة وتطوراً تم إخباره صراحةً بالمقارنة والترتيب.
كما كشفت الدراسة أن حجم النموذج لا يضمن أداءً أفضل. فقد كان التكوين الأكثر نجاحاً هو نموذج يحتوي على مليار معلمة فقط، وهو حجم ضئيل مقارنة بالأنظمة الضخمة المستخدمة غالباً في الاستنتاج المعقد. وفي الواقع، لم تكن أكبر النماذج المختبرة هي الأفضل دائماً عندما طُلب منها ترتيب الفرضيات. وأشار الباحثون إلى أن إشارة الثقة الداخلية لم تكن موحدة عبر جميع النماذج؛ فبالنسبة لبعضها، كان مقياس الطاقة الخام أداة قوية، بينما كان للبعض الآخر أثراً أقل فعالية. وهذا يشير إلى أن طريقة بناء النموذج وتدريبه تهم أكثر من حجمه المحض عندما يتعلق الأمر بهذه المهمة المحددة. كما وجدت الدراسة أن الطريقة كانت تعمل بشكل ثابت عبر معظم التخصصات العلمية، رغم أن الاختلافات بين المجالات كانت صغيرة لدرجة أنها لا يمكن اعتبارها قواعد قطعية.
إن أحد أهم الدروس المستفادة من هذا العمل هو أن الطريقة التي نطلب بها حالياً من الحواسيب تقييم الأفكار العلمية قد تكون معيبة. فمن خلال إجبار النموذج على صياغة تفضيل وترتيب الخيارات، قد نكون بصدد إدخال أخطاء تخفي فهمه الحقيقي. ويقترح الباحثون أن الاحتمالات الداخلية للنموذج، أي ثقته الهادئة في تسلسل معين من الكلمات، قد تكون مؤشراً أكثر صدقاً وموثوقية على المعقولية العلمية من أحكامه المنطوقة. وهذا لا يعني أن المشكلة قد حُلت؛ إذ يقر الباحثون بأن اختبارهم استخدم فرضيات من أوراق بحثية نُشرت بالفعل، مما قد يجعل النماذج تتعرف على الصياغات المألوفة بدلاً من فهم العلم حقاً. وهم يقترحون أن الخطوة التالية هي اختبار هذه الأساليب على أفكار جديدة تماماً وغير منشورة، حيث تكون الإجابة غير معروفة، مما يتطلب من الخبراء البشر الحكم على النتائج.
في نهاية المطاف، يقدم هذا البحث مساراً جديداً للذكاء الاصطاذي الموثوق في العلوم. فهو يشير إلى أننا لسنا بحاجة إلى الاعتماد على مناظرات لفظية معقدة بين البرامج الحاسوبية لإيجاد الإجابة الصحيحة. بدلاً من ذلك، قد نتمكن من الثقة في الإشارات الداخلية الهادئة للنموذج، مما يسمح حتى للأدوات الأصغر والأكثر سهولة في الوصول للعب دور حيوي في عملية الاكتشاف العلمي. وتخلص الدراسة إلى أنه بينما تظل للأساليب الحالية حدود، فإن إمكانية استخدام الثقة الجوهرية للنموذج لتقييم الفرضيات العلمية هي إمكانية حقيقية وتستحق المزيد من الاستكشاف.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.