🤖 AI

PRAIB: Peer Review AI Benchmark of Behaviour of LLM-Assisted Reviewing

تقدم هذه الورقة PRAIB، وهو إطار عمل مرجعي مبتكر ودراسة تجريبية واسعة النطاق تحلل 11,000 مراجعة مُنشأة آلياً مقابل ملاحظات بشرية للكشف عن تباينات سلوكية جوهرية — مثل الانحياز الإيجابي، والثقة المفرطة، وإغفال نقاط الضعف الذرية — مما يوفر أداة تشخيصية لتحديد الموثوقية الحالية والقيود التي تواجهها النماذج اللغوية الكبيرة في عملية مراجعة الأقران.

المؤلفون الأصليون: Krzysztof Żurawicki, Julia Farganus, Arkadiusz Gaweł, Mateusz Bystroński, Tomasz Jan Kajdanowicz

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Krzysztof Żurawicki, Julia Farganus, Arkadiusz Gaweł, Mateusz Bystroński, Tomasz Jan Kajdanowicz

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل برنامج مواهب ضخم وعالي المخاطر، حيث يقدم آلاف العلماء أفضل أعمالهم ليتم تقييمها من قبل لجنة من الخبراء. لعقود من الزمن، تمت عملية "مراجعة النظراء" هذه بالكامل بواسطة البشر. ولكن مؤخرًا، دخل نوع جديد من الحكام إلى الساحة: الذكاء الاصطناعي (AI).

الورقة البحثية التي تسأل عنها، PRAIB، هي بمثابة اختبار ضخم لمراقبة الجودة، صُمم للإجابة على سؤال واحد كبير: هل "يفكر" الذكاء الاصطناعي حقًا مثل المحكم البشري، أم أنه مجرد روبوت مزخرف يبدو ذكيًا ولكنه لا يفهم العمل حقًا؟

إليك تفصيل لما وجده الباحثون، باستخدام بعض التشبيهات من الحياة اليومية.

1. الإعداد: الروبوت "الكسول" مقابل الخبير البشري

أخذ الباحثون 1,000 ورقة علمية حقيقية من مؤتمرات كبرى (ICLR و NeurIPS) وطلبوا من خمسة نماذج مختلفة من الذكاء الاصطناعي كتابة مراجعات لها. ثم قارنوا مراجعات الذكاء الاصطنا هذه بالمراجعات الفعلية التي كتبها خبراء بشر.

فكر في الأمر كأنك تطلب من مجموعة من الطلاب كتابة تقرير عن كتاب.

البشري: يقرأ الكتاب، ويحدد فقرات معينة، ويدقق في الرياضيات، ويكتب نقدًا مدروسًا.
الذكاء الاصطناعي: يقرأ الكتاب (أو يحاول ذلك)، ثم يكتب مراجعة تبدو وكأنها تقرير عن كتاب.

2. النتيجة الرئيسية: الذكاء الاصطناعي "واثق بزيادة" و"ثرثار بزيادة"

وجدت الدراسة أنه بينما تبدو مراجعات الذكاء الاصطناعي مثيرة للإعجاب على السطح، إلا أنها تتصرف بشكل مختلف تمامًا عن البشر.

مشكلة "الإطناب" (الثرثرة): كانت مراجعات الذكاء الاصطناعي غالبًا أطول وأكثر تعقيدًا من المراجعات البشرية.
- تشبيه: تخيل طباخًا بشريًا يقول: "الحساء يحتاج إلى المزيد من الملح". الطباخ الآلي، ومع ذلك، يكتب مقالاً من ثلاث صفحات يشرح تاريخ الملح، وكيمياء الصوديوم، وفلسفة التتبيل، لكنه ينسى فعليًا أن يقول إن الحساء يحتاج إلى ملح. يحاول الذكاء الاصطناعي أن يبدو ذكيًا باستخدام كلمات كبيرة وجمل طويلة، مما يجعل القراءة أصعب (درجات قابلية القراءة أقل).
مشكلة "الثقة": كان الذكاء الاصطناعي واثقًا للغاية في آرائه، حتى عندما كان مخطئًا.
- تشبيه: إذا كان المحكم البشري غير متأكد من ورقة ما، فقد يقول: "لست متأكدًا بنسبة 100%، ولكنني أعتقد أن..." أما الذكاء الاصطناعي، فيتصرف وكأنه يعرف كل شيء، معطيًا درجة مثالية بيقين 100%، حتى لو فاتته النقطة الأساسية. إنه يشبه طالبًا يخمن الإجابات في اختبار، ولكنه يضع علامة صح كبيرة وواثقة على ورقة الإجابة.
"التحيز الإيجابي": مال الذكاء الاصطناعي إلى إعطاء درجات أعلى من البشر. لقد كان "لطيفًا" أكثر من المحكمين البشر، وغالبًا ما تغاضى عن عيوب الورقة.

3. اختبار "التحديد": هل ينظر حقًا في الورقة؟

كان هذا الجزء الأكثر أهمية في الاختبار. تحقق الباحثون مما إذا كان الذكاء الاصطناعي ينظر حقًا إلى التفاصيل المحددة للورقة، مثل الشكل 4، أو المعادلة 12، أو الجدول 3.

البشري: "في الشكل 4، يظهر الرسم البياني ارتفاعًا مفاجئًا لا يبدو منطقيًا."
الذكاء الاصطناعي: "الأشكال معروضة بشكل عام جيد." (غامض وعام).

وجدت الدراسة أن العديد من نماذج الذكاء الاصطناعي فشلت في الإشارة إلى أجزاء محددة من الورقة. كانوا مثل سائح ينظر إلى خريطة متحف ويقول: "هناك الكثير من اللوحات هنا"، دون أن يتوقف أبدًا للنظر إلى لوحة معينة.

الاستثناء: أحد نماذج الذكاء الاصطناعي المحددة (يسمى OpenReviewer) تم تدريبه خصيصًا على بيانات المراجعة. لقد تصرف بشكل يشبه البشر أكثر بكثير، حيث أشار إلى أشكال محددة وكتب بأسلوب بدا طبيعيًا. وهذا يثبت أنه إذا قمت بتدريب ذكاء اصطناعي خصيصًا لهذه الوظيفة، فيمكنه القيام بعمل أفضل من الذكاء الاصطناعي العام.

4. مشكلة "الرياضيات"

الأوراق العلمية مليئة بالرياضيات. تحقق الباحثون مما إذا كان الذكاء الاصطناعي يتفاعل حقًا مع المعادلات أم أنه يتحدث حولها فقط.

بعض نماذج الذكاء الاصطناعي كانت جيدة بشكل مدهش في العثور على الرياضيات ومناقشتها.
ومع ذلك، تجاهلت نماذج أخرى الرياضيات تمامًا، وتعاملت مع ورقة فيزياء معقدة وكأنها تدوينة عابرة.

5. قضية "الاستشهادات المزيفة"

كانت إحدى العلامات الحمراء الكبرى التي وجدت في الدراسة هي أن نماذج الذكاء الاصطناعي غالبًا ما كانت تخترع مراجع.

تشبيه: إذا قال كاتب بشري: "كما أثبت سميث (2020)..."، فهو يقتبس من كتاب حقيقي. أما الذكاء الاصطناعي، فكان أحيانًا يقول: "كما أثبت سميث (2020)..." ولكن "سميث (2020)" لم يكن موجودًا في الواقع. لقد كان "هلوسة"؛ كذبة واثقة. وجدت الدراسة أن معظم نماذج الذكاء الاصطناعي فشلت في تقديم استشهادات حقيقية يمكن التحقق منها.

الخلاصة: الذكاء الاصطناعي هو "مساعد طيار"، وليس "الطيار"

تخلص الورقة إلى أنه لا يمكننا ببساطة استبدال المراجعين البشر بالذكاء الاصطناعي في الوقت الحالي.

الذكاء الاصطناعي جيد في: كتابة نصوص طويلة ومهذبة ومنظمة. يمكنه المساعدة في صياغة المراجعات أو التحقق من القواعد الأساسية.
الذكاء الاصطناعي سيء في: أن يكون صادقًا بشأن ثقته، والعثور على عيوب محددة في البيانات، وتقديم أدلة حقيقية يمكن التحقق منها.

الحكم النهائي:
فكر في الذكاء الاصطناعي كـ متدرب يتحدث ببراعة شديدة. يمكنه كتابة تقرير جميل، لكنه قد يفتقد التفصيل الحاسم بأن المحرك معطل لأنه مشغول جدًا باستخدام كلمات كبيرة. لا يزال الخبير البشري مطلوبًا ليكون المدير التنفيذي الذي يدقق في الحقائق، ويتحقق من الاستشهادات، ويتخذ القرار النهائي.

لقد أنشأ الباحثون "بطاقة تقييم" (PRAIB) لمساعدة مطوري المستقبل على بناء أدوات ذكاء اصطناعي أفضل لا تكتفي فقط بالظهور بمظهر الذكي، بل تعمل حقًا كـ مراجعين بشريين أذكياء وحذرين.

ملخص تقني: PRAIB: معيار الذكاء الاصطناعي لمراجعة النظراء - قياس سلوك المراجعة بمساعدة النماذج اللغوية الكبيرة

بيان المشكلة

أدى الحجم المتزايد للمشاركات العلمية إلى دفع استكشاف النماذج اللغوية الكبيرة (LLMs) لدعم وتعزيز عملية مراجعة النظراء. ومع ذلك، لا يزال من غير الواضح ما إذا كانت هذه النماذج تتعامل مع المخطوطات العلمية بطريقة تتسق مع المراجعين البشر أم أنها تكتفي بتوليد نصوص تشبه المراجعات بشكل سطحي. غالبًا ما تركز أساليب التقييم الحالية على التنبؤ بالتقييم الرقمي، أو مسارات "النموذج اللغوي كحكم" (LLM-as-a-Judge)، أو الإحصاءات النصية السطحية (مثل الفائدة، والقابلية للتحقق). وتتجاهل هذه الأساليب كثيرًا البعد الحاسم المتمثل في المواءمة البشرية: أي ما إذا كانت الأنماط السلوكية، والخصوصية، وأسلوب التفاعل للمراجعات التي يولدها الذكاء الاصطناعي تحاكي خبراء البشر. هناك حاجة إلى إطار تشخيصي لتحديد التباينات السلوكية المنهجية بين المراجعين البشر والآليين، خاصة مع تسارع استخدام الذكاء الاصطناب التوليدي في عملية المراجعة.

المنهجية

يقدم المؤلفون معيار PRAIB (الذكماك لتقييم الذكاء الاصطناعي لمراجعة النظراء)، وهو إطار متعدد الأبعاد مصمم لقياس الخصوصية، والأسلوب، وسلوك التفاعل للمراجعات المدعومة بالنماذج اللغوية الكبيرة. تتضمن المنهجية دراسة تجريبية واسعة النطاق تقارن المراجعات المولدة آليًا مقابل التغذية الراجعة البشرية.

الحصول على البيانات وإعدادها

مجموعة البيانات: تستخدم الدراسة مجموعة بيانات مكونة من 11,000 مراجعة تم إنتاجها لـ 1,000 ورقة بحثية من مؤتمرات ICLR وNeurIPS الممتدة بين الأعوام 2021–2025.
النماذج التي تم تقييمها: تم اختبار خمسة نماذج: ثلاثة نماذج مفتوحة المصدر (DeepSeek-V3، وGemma-3-12B-it، وQwen3.5-9B)، ونموذج واحد متخصص في المجال (OpenReviewer-8B)، ونموذج واحد رائد مملوك (GPT-5-2025-08-07).
استراتيجيات التلقين (Prompting): تم تقييم النماذج باستخدام نموذجين مختلفين من القوالب: نموذج أساسي "كسول" (غير مرتبط بمؤتمر محدد) وقوالب مفصلة خاصة بالمؤتمرات (متوافقة مع إرشادات ICLR/NeurIPS الرسمية).
المعالجة المسبقة: تم تحويل المخطوطات من صيغة PDF إلى Markdown باستخدام DeepSeek-OCR للحفاظ على الدقة الرياضية. تم قطع المراجعات عند 50,000 رمز (token) للتركيز على المتن الرئيسي.

إطار التقييم (PRAIB)

يحدد الإطار الأنماط السلوكية عبر عدة محاور:

التعقيد النصي والقابلية للقراءة:
- تشمل المقاييس: عدد الرموز (TKC)، نسبة النوع إلى الرمز (TTR)، سهولة القراءة حسب مقياس فليش (FRE)، ومستوى فليش-كينكايد للدرجة الصفية (F-K Grade).
- تقيس هذه المقاييس الثراء اللغوي، وتعقيد الجمل، والقابلية للقراءة مقارنة بالأساس البشري.
التفاعل مع المحتوى (الخصوصية):
- الإشارات المرجعية (Xref.): استخراج الإشارات المرجعية لعناصر محددة في المخطوطة (الأشكال، الجداول، المعادلات، النظريات) باستخدام التعبيرات النمطية (Regular Expressions).
- كشف المحتوى الرياضي: يقوم نموذج لغوي ثانوي (Qwen3.5-8B) بتصنيف ما إذا كانت المراجعة تتفاعل جوهريًا مع المحتوى الرياضي (مثل الاستشهاد بمعادلات محددة، أو تحليل البراهين). وقد تم التحقق من صحة ذلك مقابل التوصيفات البشرية بدقة 96.6%.
- الاستشهادات الخارجية: التحقق من الاستشهادات مقابل قواعد البيانات البيبليوغرافية الخارجية (Crossref، OpenAlex، DBLP) للكشف عن الهلوسة وضمان الواقعية.
اتفاق المراجعين:
- معامل كريبن دورف ( $\alpha$ ): يُستخدم لقياس الاتفاق بين المراجعين على مقاييس التقييم الترتيبية، مع مراعاة الاتفاق العرضي وطبيعة الدرجات المرتبة.
- الكشف الرياضي الشرطي: يقيس $P(+|+)$ (تفاعل النموذج مع الرياضيات في حال فعل البشر ذلك) و $P(+|-)$ (تفاعل النموذج مع الرياضيات في حال لم يفعل البشر ذلك) لتقييم المواءمة في التركيز التقني.
تغطية المعلومات:
- الاستخراج الذري (Atomic Extraction): يتم تفكيك المراجعات إلى نقاط قوة ونقاط ضعف "ذرية" (وحدات معلومات ذاتية الاحتواء).
- مقاييس التغطية: يتم حساب استدعاء النقاط الذرية (Atomic Recall) (نسبة النقاط البشرية التي غطاها النموذج)، والدقة (Precision)، وكثافة الخرائط (Mapping Density)، ونسبة الضغط (Compaction Ratio) لتحديد ما إذا كانت النماذج تغطي نفس الأرضية التقنية التي يغطيها البشر.

النتائج الرئيسية

1. التباين في الأنماط الأسلوبية والسلوكية

القابلية للقراءة: المراجعات المولدة بواسطة النماذج اللغوية أكثر تعقيدًا وصعوبة في القراءة بشكل ملحوظ من المراجعات البشرية. درجات سهولة القراءة حسب فليش للنماذج (13.7–21.3) أقل بكثير من الأساس البشري (39.1)، ومستويات درجة فليش-كينكايد أعلى (14.5–15.7 مقابل 12.1).
الطول: تميل النماذج اللغوية إلى إنتاج مراجعات أطول. متوسط GPT-5 هو 1,449 رمزًا (2.7 ضعف المتوسط البشري)، بينما حتى النماذج الأكثر تحفظًا مثل DeepSeek تتجاوز الطول البشري بنسبة 20%.
المفردات: نسب النوع إلى الرمز (TTR) أقل في النماذج اللغبية، مما يشير إلى انخفاض تنوع المفردات وتكرار الصياغات.

2. الخصوصية والتفاعل

الإشارات المرجعية: بينما تولد بعض النماذج (Qwen، GPT-5) عددًا كبيرًا من الإشارات المرجعية، تنتج نماذج أخرى (DeepSeek، Gemma) عددًا قليلاً جدًا. ومن الملاحظ أن OpenReviewer (المعدل بدقة) يطابق عدد الإشارات المرجعية البشرية بشكل وثيق (2.77 مقابل 2.26).
التفاعل الرياضي: تظهر النماذج الرائدة (GPT-5، Qwen) معدلات عالية من التفاعل الرياضي (75.8% و68.6%)، متجاوزة المعدل البشري (42.7%). ومع ذلك، فإن النماذج الأصغر (DeepSeek، Gemma) تقل عن المعدلات البشرية.
فشل الاستشهاد: فشلت جميع النماذج العامة تقريبًا في توليد استشهادات صالحة وقابلة للتحقق. فقط OpenReviewer أنتج بعض الاستشهادات القابلة للتحقق (33% تم التحقق منها)، وهو معدل مشابه للمعدل البشري (35%).

3. مواءمة التقييم والتحيز

الاتفاق: حقق GPT-5 أعلى اتفاق مع اللجان البشرية ( $\alpha_r \approx 0.36$ )، مساويًا أو متجاوزًا قليلاً خط الأساس البشري. أظهر DeepSeek أضعف مواءمة ( $\alpha_r \approx 0.14$ ).
التحيز: تظهر تقييمات النماذج اللغية تحيزًا إيجابيًا (ميل لإعطاء درجات أعلى) وتباينًا منخفضًا. فهي أقل تباينًا من التقييمات البشرية وغالبًا ما تتجمع عند الطرف العلوي من المقياس.
الثقة: تظهر النماذج اللغية ثقة مفرطة، حيث نادرًا ما تخصص درجات ثقة منخفضة (1 أو 2) والتي يستخدمها البشر بشكل متكرر.

4. تغطية المعلومات

الحجم مقابل الجودة: تولد النماذج اللغية باستمرار نقاط قوة ونقاط ضعف ذرية أكثر من البشر. ينتج GPT-5 ما يقرب من ثلاثة أضعاف خط الأساس البشري فيما يخص نقاط الضعف.
التغطية: بينما تغطي النماذج اللغية نسبة عالية من نقاط القوة التي حددها البشر (استدعاء ذري $\approx$ 0.89–0.94)، فإن تغطية نقاط الضعف أقل (0.70–0.93).
النمط: تميل النماذج الرائدة (GPT-5، Qwen) إلى تفكيك النقاط البشرية إلى نقاط فرعية أدق (كثافة خرائط عالية)، بينما يحافظ OpenReviewer على رسم خرائط أكثر توافقًا (واحد لواحد).

الأهمية والادعاءات

يزعم البحث أن PRAIB يوفر أداة تشخيصية للمجتمع لتحديد جوانب عملية المراجعة التي يمكن للنماذج اللغية دعمها بشكل موثوق اليوم والتي تتطلب مزيدًا من التطوير.

التباين السلوكي: تثبت الدراسة أن النماذج اللغية لا تكتفي بمحاكاة المراجعات البشرية؛ بل تظهر أنماطًا سلوكية متميزة، بما في ذلك الإسهاب الزائد، وانخفاض تنوع المفردات، والميل لتجاهل نقاط الضعف الذرية التي يلاحظها البشر.
قصور النماذج الحالية: النماذج العامة حاليًا غير مناسبة كبدائل كاملة للخبرة البشرية بسبب الإخفاق في واقعية الاستشهادات، والتحيز في التقييم الإيجابي، وعدم الاتساق في التفاعل مع عناصر المخطوطة المحددة.
إمكانية التعزيز: تظهر نماذج محددة، لا سيالما تلك التي تم ضبطها بدقة للمجال (OpenReviewer) أو النماذج الرائدة ذات التفاعل الرياضي القوي (GPT-5)، إمكانية واعدة لتعزيز المراجعات التقنية التي يقودها البشر، خاصة في التحليل الرياضي وتحديد الهياكل الرسمية.
الاتجاهات المستقبلية: يقترح المؤلفون مسارًا تآزريًا حيث تتولى النماذج الرائدة التحليل الرياضي، وتساعد النماذج المضبوطة بدقة في الصياغة الأسلوبية، بينما يحتفظ المراجعون البشر بالقرار النوعي النهائي والتحقق من الاستشهادات.

يخلص البحث إلى أنه بينما تسرع النماذج اللغية عملية المراجعة، فإن انحرافاتها السلوكية عن المعايير البشرية تستوجب تقييمًا دقيقًا وسير عمل هجين بين الإنسان والذكاء الاصطناعي بدلاً من الأتمتة الكاملة.