Frontier language models recover scientific quality but predictably diverge from human reviewers
بينما تنجح النماذج اللغوية الرائدة في استعادة هرميات الجودة العلمية الراسخة وتحقيق توافق بين النماذج أعلى من المراجعين البشر، إلا أنها تقلل بشكل منهجي من قيمة الأصالة وتظهر توافقاً ضعيفاً مع البشر في تحديد نقاط ضعف الأوراق البحثية، مما يكشف عن عدم تماثل هيكلي في عملية المراجعة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
يعتمد العلم على عملية تسمى "مراجعة الأقران"، حيث يقرأ الخبراء الأوراق البحثية الجديدة ويقررون ما إذا كان العمل جيداً بما يكفي للنشر. يعمل هذا النظام كمرشح، مما يضمن دخول الأفكار عالية الجودة فقط إلى السجل العلمي. ومع ذلك، فقد انفجر عدد الأوراق البحثية التي يتم كتابتها، خاصة في مجال الذكاء الاصطنا_عي المتسارع. وقد أدى الحجم الهائل للمشاركات إلى إرهاق المتطوعين البشريين، مما جعل الكثيرين يتساءلون عما إذا كان بإمكان الحواسيب المساعدة. إن نماذج اللغات الكبيرة، وهي نفس أنظمة الذكاء الاصطناعي القوية التي يمكنها كتابة المقالات أو الإجابة على الأسئلة، يتم اختبارها الآن لمعرفة ما إذا كان بإمكانها العمل كمراجعين. والسؤال الكبير ليس فقط ما إذا كانت هذه الآلات قادرة على قراءة ورقة بحثية، بل ما إذا كانت تستطيع فهم ما يجعل الورقة جيدة حقاً، وما إذا كان حكمها يطابق حكم الخبراء البشريين.
وضع فريق من الباحثين نصب أعينهم الإجابة على هذا من خلال وضع ثلاثة من أكثر نماذج الذكاء الاصطناعي تقدماً تحت الاختبار. لقد جمعوا أكثر من ألف ورقة بحثية في مجال تعلم الآلة من مؤتمرات ودوريات رئيسية، بما في ذلك بعض الأوراق التي قُبلت على نطاق واسع وأخرى كانت أقل من ذلك. وطلبوا من أنظمة الذكاء الاصطناعي الثلاثة قراءة كل ورقة وتقييمها على مقي scale بسيط مكون من أربع نقاط عبر أربع فئات: مدى سلامة العلم، ومدى وضوح الكتابة، ومدى أهمية العمل، ومدى حداثة أو أصالة الأفكار. ثم قام الباحثون بدمج درجات نماذج الذكاء الاصطنا الثلاثة لإنشاء حكم توافقي واحد لكل ورقة. وقد فعلوا ذلك دون إخبار الذكاء الاصطناعي بالورقة التي قُبلت أو التي رُفضت، لضمان أن الآلات تحكم على المحتوى وحده.
أظهرت النتائج أن أنظمة الذكاء الاصطناعي كانت جيدة بشكل مفاجئ في رصد الجودة. فعندما نظر الباحثون في الدرجات، منح الذكاء الاصطناعي باستمرار درجات أعلى للأوراق من المؤتمرات رفيعة المستوى مقارنة بالورش الأصغر. كما منح درجات أعلى للمقالات في الدوريات التي استُشهد بها كثيراً من قبل علماء آخرين مقارنة بالمقالات المماثلة التي استُشهد بها أقل. وحتى بدون إخباره بالنتيجة، صنف الذكاء الاصطناعي الأوراق التي قُدمت كعروض شفهية (oral talks) بدرجة أعلى من تلك التي قُدمت كملصقات (posters). يشير هذا إلى أن الذكاء الاصطناعي يمكنه اكتشاف الإشارات الدقيقة للجودة العلمية التي استخدمها الخبراء البشريون لعقود للتمييز بين العمل الممتاز والعمل المتوسط.
ومع ذلك، وجدت الدراسة أيضاً خللاً واضحاً ومتسقاً في طريقة تفكير الذكاء الاصطناعي. فبينما اتفق البشر والآلات على الجودة الإجمالية للورقة، قلل الذكاء الاصطنا_عي بشكل منهجي من قيمة الأصالة. في نظام التقييم، كان من المفترض أن تُحتسب الأصالة بقدر أهمية الدقة التقنية أو الوضوح، لكن نماذج الذكاء الاصطناعي أعطتها باستمرار وزناً أقل. فقد مالوا إلى تفضيل الأوراق التي كانت متينة منهجياً ومكتوبة بشكل جيد، حتى لو لم تكن الأفكار جديدة بشكل خاص، بينما خفضوا تقييم الأوراق التي قدمت مفاهيم مبتكرة ولكنها قد تكون أقل صقلاً من الناحية الشكلية. ظهر هذا الانحياز في جميع نماذج الذكاء الاصطناي الثلاثة المختلفة، مما يشير إلى أنه نمط متجذر في كيفية تعلم هذه الأنظمة لتقييم النص العلمي، وليس مجرد خطأ في برنامج واحد.
كما بحث الباحثون عن كثب فيما قاله الذكاء الاصطناعي حول نقاط القوة والضعف في الأوراق، وقارنوا هذه التعليقات بتلك التي كتبها المراجعون البشريون. ووجدوا انقساماً غريباً في كيفية اتفاق الذكاء الاصطناعي والبشر. فعندما يتعلق الأمر بتحديد النقاط الجيدة للورقة، كان الذكاء الاصطنا_عي والبشر غالباً في اتفاق قوي. ولكن عندما يتعلق الأمر برصد العيوب أو نقاط الضعف، كان الذكاء الاصطنا_عي غالباً ما يغفل عن أشياء لاحظها البشر، أو يشير إلى مشكلات لم يلحظها البشر. لم يكن هذا الفارق مقتصرًا على الذكاء الاصطناعي فحسب؛ فحتى المراجعون البشريون غالباً ما اختلفوا مع بعضهم البعض أكثر في نقاط الضعف مما اختلفوا في نقاط القوة. يشير هذا إلى أن اكتشاف عيوب الحجة العلمية هو مهارة صعبة يصعب على أي شخص، بشراً كان أم آلة، إتقانها بشكل مثالي.
في النهاية، تظهر الدراسة أنه بينما يمكن للذكاء الاصطنا_عي أن يكون أداة قوية لفرز كميات كبيرة من الأبحاث وتحديد العمل عالي الجودة، فإنه ليس بديلاً مثالياً للحكم البشري. فالآلات ممتازة في التعرف على الاستحقاق الراسخ والمتانة التقنية، لكنها تعاني من المهمة الصعبة ذاتها التي يواجهها البشر: وهي رصد نقاط الضعف الدقيقة والحاسمة في الحجة. ويخلص الباحثون إلى أنه إذا استُخدمت هذه الأدوات في المستقبل، فيجب أن تقترن بالإشراف البشري، وتحديداً لضمان أن السعي وراء الكمال التقني لا يؤدي بالخطأ إلى تنحية الأفكار الأصلية والمبتكرة حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.