Evaluating LLM-Based Grant Proposal Review via Structured Perturbations
تُقيّم هذه الورقة مراجعات مقترحات المنح القائمة على النماذج اللغوية الكبيرة باستخدام اضطرابات هيكلية على ستة محاور للجودة، لتجد أن نهج التحليل "قسمًا بقسم" يتفوق على البنيات الأخرى، لكن النماذج الحالية لا تزال تعاني في اكتشاف الوضوح والتقييم الشمولي، مما يشير إلى أنها الأنسب كأدوات تكميلية بدلاً من أن تكون بدائل للمراجعين البشر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل برنامج مسابقات ضخم وعالي المخاطر، حيث يتنافس الباحثون على وعاء ذهبي محدود (التمويل الحكومي). للفوز، يجب عليهم تقديم "مقترح منحة" مفصل؛ وهو بمثابة مخطط لمشروع مستقبلي يعد بتغيير العالم.
في الوقت الحالي، هناك عدد كبير جداً من المتقدمين، ولا يوجد عدد كافٍ من الحكام البشر لقراءتهم جميعاً. إنه ازدحام مروري للأفكار. تساءل مؤلفو هذه الورقة البحثية: "هل يمكننا توظيف ذكاء اصطناعي (نموذج لغوي كبير أو LLM) ليكون هو الحكم؟"
ولمعرفة ذلك، لم يكتفوا بسؤال الذكاء الاصطناعي قراءة مقترح وإبداء رأي، فهذا يشبه طلب تصحيح اختبار من طالب دون وجود نموذج إجابة. بدلاً من ذلك، قاموا ببناء نظام "فخ" محكم لمعرفة ما إذا كان بإمكان الذكاء الاصطناعي رصد الأخطاء.
إليك تفصيل تجربتهم بكلمات بسيطة:
1. الإعداد: اختبار "اللعبة المكسورة"
أخذ الباحثون ستة مقترحات منح حقيقية وعالية الجودة (مثل ست ألعاب مثالية وتعمل بشكل جيد). ثم قاموا "بكسرها" بشكل منهجي بطرق محددة لإنشاء 42 نسخة مختلفة.
فكر في الأمر كأنك تأخذ سيارة مثالية وتصنع منها نسخاً معيبة مختلفة:
- كسر "الميزانية": جعلوا السيارة تكلف مليون دولار بدلاً من 10,000 دولار.
- كسر "الجدول الزمني": قالوا إن السيارة ستُبنى في يومين بدلاً من سنتين.
- كسر "الفريق": أزالوا المهندس الوحيد الذي يعرف كيفية بناء المحرك.
- كسر "الوضوح": أزالوا جميع الملصقات والتعليمات، تاركين قطع السيارة في كومة دون شرح لما تفعله.
بعد ذلك، قدموا هذه المقترحات "المكسورة" لثلاثة أنواع مختلفة من مراجعي الذكاء الاصطناعي لمعرفة ما إذا كان الذكاء الاصطناعي سيقول: "مهلاً، هذا لا يبدو منطقياً!"
2. مراجعو الذكاء الاصطنا الثلاثة
اختبروا ثلاث طرق مختلفة لقراءة الذكاء الاصطناعي للمقترحات:
- "القارئ السريع" (الأساس): قرأ الذكاء الاصطناعي المقترح بالكامل في لقمة واحدة ضخمة.
- النتيجة: شعر بالارتباك. مثل محاولة الشرب من خرطوم حريق، فقد أغفل معظم الأجزاء المكسورة.
- "فريق المتخصصين" (على مستوى القسم): طُلب من الذكاء الاصطناعي قراءة المقترح قسماً تلو الآخر (على سبيل المثال، الميزانية فقط، ثم الفريق فقط).
- النتيجة: كان هذا هو الفائز. من خلال التركيز على قطعة صغيرة واحدة في كل مرة، رصد الأخطاء بشكل أفضل بكثير.
- "مجلس الخبراء" (الشخصيات): أنشأوا غرفة اجتماعات افتراضية تضم خمس شخصيات مختلفة من الذكاء الاصطناعي: "موفر المال"، و"شرطة الأخلاقيات"، و"مروج التكنولوجيا"، و"المشكك"، و"بطل التأثير". تناظروا جميعاً، وصوتوا، ثم قام ذكاء اصطناعي "رئيس" بتلخيص القرار النهائي.
- النتيعة: كانت هذه الطريقة الأكثر تكلفة وأبطأ طريقة، لكنها لم تكن أفضل حالاً من "القارئ السريع". التعقيد الإضافي أضاف ضجيجاً فقط، ولم يضف وضوحاً.
3. المفاجآت الكبرى
وجدت الدراسة بعض الأشياء المثيرة للاهتمام حول كيفية تفكير الذكاء الاصطناعي مقارنة بالخبراء البشر:
- "الواضح" مقابل "الخفي":
- كان الذكاء الاصطناعي بارعاً في رصد التناقضات الواضحة. إذا قال المقترح "نحن نبني صاروخاً" بينما كان طلب التمويل لـ "خبز العجين"، فإن الذكاء الاصطناعي رصد ذلك فوراً.
- كان الذكاء الاصطناعي سيئاً جداً في رصد مشكلات "الوضوح". إذا استخدم المقترح مصطلحات غامضة أو نسي شرح اختصار ما، فإن الذكاء الاصطناعي يتجاهل الأمر ببساطة. لقد افترض أن النص منطقي لأنه جيد في تخمين السياق، بينما قد يقول الإنسان: "انتظر، ماذا يعني هذا المصطلح؟ هذا غير واضح."
- فجوة "الامتثال" مقابل "الرؤية":
- يبحث المراجعون البشر عن "الصورة الكبيرة": هل الفكرة عبقرية؟ هل ستغير العالم؟
- أما مراجعو الذكاء الاصطناعي فكانوا مهووسين بقوائم التحقق: هل ملأت نموذج الميزانية؟ هل ذكرت سياسة الأخلاقيات؟
- كان الذكاء الاصطناعي مثل أمين مكتبة صارم يتأكد مما إذا كانت الكتب موضوعة على الرف الصحيح، بينما كان البشر هم النقاد الذين يقررون ما إذا كانت الكتب قصصاً جيدة حقاً.
4. الحكم: الذكاء الاصطناعي كمساعد طيار، وليس القبطان
خلصت الورقة إلى أنه لا ينبغي لنا ترك الذكاء الاصطناعي يحل محل مراجعي المنح البشر بعد.
- لماذا؟ لأن الذكاء الاصطناعي غير متسق للغاية. أحياناً يكون عبقرياً، وأحياناً أخرى يغفل عن أكبر العلامات التحذيرية. كما أنه يعطي الأولوية لـ "اتباع القواعد" على حساب "الحكم على جودة الفكرة".
- الحل: الذكاء الاصطناعي هو مساعد رائع. تخيل مراجعاً بشرياً يستخدم الذكاء الاصطناعي كـ "مدقق إملائي للمنطق". يمكن للذكاء الاصطناعي المسح السريع للوثيقة ليقول: "مهلاً، الميزانية لا تتوافق مع الجدول الزمني،" أو "لقد نسيت ذكر الموافقة الأخلاقية." وهذا يحرر الخبير البشري للتركيز على الجزء الصعب: تحديد ما إذا كانت الفكرة البحثية تستحق التمويل حقاً.
الخلاصة
نحن نعيش حالياً في "فخ مالتوسي" (وهي طريقة منمقة للقول بأن الطلب يفوق العرض) فيما يتعلق بتمويل الأبحاث. لدينا الكثير من الأفكار، وعدد قليل جداً من الوقت لقراءتها.
تقول هذه الورقة: لا تترك الذكاء الاصطناه يقود السيارة بعد. سوف يصطدم إذا أعطيته طريقاً طويلاً ومعقداً. ولكن إذا سمحت له بالجلوس في مقعد الراكب بجانب السائق ليشير إلى الحفر (الأخطاء) واللوحات المفقودة (مشكلات الامتثال)، فيمكنه مساعدة السائق البشري للوصول إلى وجهته بشكل أسرع وأكثر أماناً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.