How Closely Do LLM Reviews Align with Human Peer Review?

تخيل عالماً حيث يتعين على كل فكرة علمية جديدة أن تمر عبر حارس بوابة قبل أن يتمكن من مشاركتها مع بقية العالم. لعقود من الزمن، كان هذا الحارس خبيراً بشرياً، وهو "المراجع النظير"، الذي يقرأ ورقة بحثية، ويتأمل نقاط قوتها وضعفها، ويعطيها درجة. الأمر يشبه إلى حد ما حكماً في برنامج مواهب، لكن بدلاً من الغناء، هم يحكمون على رياضيات معقدة وأكواد برمجية. ومؤخراً، دخل نوع جديد من الحكام إلى الساحة: الذكاء الاصطناعي، وتحديداً النماذج اللغوية الكبيرة (LLMs). هذه النماذج هي برامج حاسوبية فائقة الذكاء تدربت على كميات هائلة من النصوص، ويمكنها قراءة ورقة بحثية وكتابة مراجعة تماماً مثل البشر. ولكن هنا يكمن السؤال الكبير: هل "يفكر" هؤلاء الحكام الآليون حقاً مثل الحكام البشر، أم أنهم يكتفون بمحاكاة الكلمات فقط؟ إذا قال الذكاء الاصطناعي إن الورقة "جيدة"، فهل يعني ذلك نفس الشيء عندما يقول الإنسان إنها "جيدة"؟ هذا هو اللغز الذي يحاول العلماء حله، لأنه إذا بدأنا في استخدام الذكاء الاصطناعي لتقرير أي الأوراق العلمية ستُنشر، فنحن بحاجة إلى معرفة ما إذا كانوا يتبعون نفس القواعد التي يتبعها البشر الذين يحلون محلهم.

هذه الورقة البحثية تشبه تجربة مضبوطة ضخمة حيث أعد الباحثون ما يسمى بـ "مواجهة المراجعة". لقد أخذوا 300 ورقة علمية حقيقية من مؤتمر رئيسي في علوم الحاسوب (ICLR 2026) وطلبوا من ثلاثة نماذج مختلفة من الذكاء الاصطناعي — وهي GPT-5.4 من OpenAI، وGemini 3.1 Pro من Google، وClaude Opus 4.6 من Anthropic — أن تراجع هذه الأوراق. ولجعل المعركة عادلة، قام الباحثون بمطابقة الأوراق بحيث يكون لكل عرض "شفهي" (الأوراق من الفئة العليا، المتميزة) ورقة "ملصق" مماثلة (جيدة، ولكن ليست من الفئة العليا)، وورقة "مرفوضة". ثم قارنوا مراجعات الذكاء الاصطناعي بالمراجعات البشرية الفعلية والقرارات النهائية التي اتخذها المؤتمر.

كانت النتائج مزيجاً من "ليس سيئاً" و"مختلفة جداً". أولاً، الخبر الجيد: كانت جميع نماذج الذكاء الاصطناعي ذكية بما يكفي للتمييز بين ورقة مقبولة وأخرى مرفوضة؛ لقد استطاعت رؤية الغابة. ومع ذلك، فقد فشلت تماماً في رؤية الأشجار. فبينما أعطى المراجعون البشر درجات متميزة للأوراق "الشفهية" مقابل أوراق "الملصقات" (مدركين أن الأوراق الشفهية كانت أفضل قليلاً)، عاملتها نماذج الذكاء الاصطناعي بنفس الطريقة تماماً. لم يستطيعوا التمييز بين ورقة "جيدة" وورقة "عظيمة".

علاوة على ذلك، لم تكتفِ نماذج الذكاء الاصطناعي بإعطاء درجات مختلفة فحسب، بل كان لها شخصيات فريدة خاصة بها. كان Gemini من Google هو "الرجل اللطيف" في المجموعة، حيث أعطى درجات أعلى بشكل منهجي للجميع، حتى أنه منح درجات عالية لأوراق رفضها البشر. أما OpenAI وClaude فكانا أشبه بـ "النقاد القساة"، خاصة عندما يتعلق الأمر بالأوراق الشفهية من الفئة العليا، حيث كانوا في الواقع أكثر صرامة من البشر.

أخيراً، نظر الباحثون في "ما" الذي يشتكي منه المراجعون. اتفق البشر والذكاء الاصطناعي على الصورة الكبيرة، مثل "هذه التجربة ضعيفة" أو "الكتابة غير واضحة". ولكن عندما يتعلق الأمر بالتفاصيل، كانت لديهم أولويات مختلفة. كانت نماذج الذكاء الاصطراعي مهووسة بالمقارنات المفقودة مع الطرق الأخرى (الأسس المرجعية/baselines)، بينما كان المراجعون البشر أكثر قلقاً بشأن مقدار الطاقة الحاسوبية والتكلفة المالية التي سيتطلبها البحث.

باختختصار، تشير الورقة إلى أنه بينما يمكن للذكاء الاصطناعي أن يكون بمثابة عين ثانية مفيدة لالتقاط الأخطاء الواضحة، إلا أنه ليس جاهزاً لاستبدال الحكام البشر. يمكنه أن يخبرك إذا كانت الورقة "ناجحة" أو "راسبة"، لكنه يعاني في فهم الفروق الدقيقة التي تجعل الورقة ممتازة حقاً، كما أنه يهتم بأشياء تختلف عما يهتم به البشر. إن معاملة درجة الذكاء الاصطناعي على أنها مطابقة تماماً لدرجة البشر سيكون بمثابة الوثوق بروبوت ليحكم في مسابقة طبخ لأنه يستطيع التمييز بين الكعكة المحروقة والكعكة الطازجة، رغم أنه لا يملك أدنى فكرة عن معنى مذاق "الطعام الفاخر".