Large Language Models Threaten Double-blind Review
تُثبت هذه الورقة أن النماذج اللغوية الكبيرة يمكنها كشف هوية المؤلفين بفعالية في عمليات مراجعة الأقران مزدوجة التعمية من خلال تحديد البصمات المفاهيمية المستقرة في العناوين والملخصات، مما يهدد نزاهة نظام المراجعة الحالي.
تخيل العالم العلمي كسوق ضخم وصاخب حيث يأتي الباحثون بأحدث أفكارهم ليتم تقييمها. وللحفاظ على العدالة، تستخدم العديد من هذه الأسواق قاعدة خاصة تسمى "المراجعة مزدوجة التعمية". إنها تشبه لعبة الغموض حيث لا يعرف الشخص الذي يقيم الورقة (المُراجع) من كتبها، ولا يعرف الكاتب من هو الشخص الذي يقيمه. والهدف هو التأكد من أن الفكرة تُقيّم بناءً على جدارتها الخاصة فقط، وليس بناءً على ما إذا كان الكاتب بروفيسوراً مشهوراً من جامعة مرموقة أو طالباً في بداية طريقه. ولكي تنجح هذه اللعبة، يجب أن تكون الورقة بمثابة تنكر مثالي. من المفترض أن تكون "قصة أشباح" حيث يتم محو هوية المؤلف تماماً، تاركةً العلم وحده خلفها. ولكن ماذا لو ترك الأشباح وراءهم بصمة سرية لا يستطيع رؤيتها إلا آلة فائقة الذك؟ هذا هو السؤال الكبير الذي يطرحه العلماء اليوم، خاصة مع صعود الذكاء الاصطناعي (AI) الذي يمكنه قراءة وفهم اللغة بشكل أفضل من أي وقت مضى.
هذه الورقة هي قصة بوليسية حول ما إذا كان "تنكر الأشباح" هذا لا يزال فعالاً بالفعل. فقد وضع الباحثون اختباراً لمعرفة ما إذا كانت نماذج الذكاء الاصطناعي الحديثة، وتحديداً النماذج اللغوية الكبيرة (LLMs)، قادرة على معرفة من كتب ورقة علمية بمجرد قراءة عنوانها وملخصها (الملخص القصير في البداية). لم يستخدموا حِيلاً معقدة مثل النظر فيمن استشهد بهم المؤلف أو كيفية استخدامهم للفاصلة؛ بل قدموا للذكاء الاصطناعي الحد الأدنى من النص فقط. ثم طلبوا من الذكاء الاصطناعي تخمين المؤلف من بين قائمة تضم خمسة مشتبه بهم محتملين: المؤلف الحقيقي وأربعة خبراء آخرين يعملون في مواضيع مشابهة.
كانت النتائج مخيفة بعض الشيء بالنسبة للقواعد القديمة للعدالة. فعندما حاول الخبراء البشر لعب لعبة التخمين هذه، كانوا سيئين جداً فيها. فمن بين 100 محاولة، استطاع الإنسان تخمين المؤلف الحقيقي بشكل صحيح في 11 مرة فقط. لقد كانوا في الغالب يخمنون في الظلام، ويوزعون ثقتهم على العديد من المشتبه بهم. ولكن عندما لعب الذكاء الاصطناعي اللعبة نفسها، كانت القصة مختلفة. فقد تمكن الذكاء الاصطناत्मक من تخمين المؤلف الصحيح من المرة الأولى في 42 مرة من أصل 100. وهذا يجعله أفضل بقرابة أربع مرات من البشر!
تشير الورقة إلى أن الذكاء الاصطناعي لا يقوم بمجرد التخمين؛ بل هو يجد "بصمات مفاهيمية كامنة". فكر في الأمر بهذه الطريقة: حتى لو ارتدى شخصان نفس الزي وتحدثا نفس اللغة، فقد يكون لكل منهما طريقة فريدة في إمساك كوب القهوة أو سرد نكتة. في العلم، يمتلك الباحثون طرقاً فريدة في صياغة مشكلاتهم أو وصف أهدافهم. والذكاء الاصطناعي بارع جداً في القراءة ما بين السطور بحيث يمكنه رصد هذه الأنماط الدقيقة في العنوان والملخص، مما يقلص قائمة المشتبه بهم إلى عدد قليل من الأشخاص بثقة عالية.
كما تحققت الدراسة مما إذا كان هذا يحدث فقط مع العلماء المشهورين والمعروفين، ولم يكن الأمر كذلك. فقد كان الذكاء الاصطناعي بارعاً في تخمين مؤلفي الباحثين المبتدئين بقدر براعته في تخمين كبار الباحثين. ووجدت أيضاً أن الذكاء الاصطناعي يصبح أكثر مهارة عندما يكون "المشتبه بهم" أقل تشابهاً فيما بينهم، ولكن حتى عندما كان المشتبه بهم جميعاً خبراء في المجال نفسه تماماً، ظل الذكاء الاصطناत्मक يتفوق على البشر بكثير.
ومع ذلك، فإن الورقة حذرة في عدم القول بأن المراجعة مزدوجة التعمية قد انكسرت تماماً، أو أن الذكاء الاصطناعي يمكنه دائماً تسمية المؤلف بيقين 100%. بدلاً من ذلك، تقترح أن النظام أصبح "متسرباً". لا يمكن للذكاء الاصطناعي دائماً الإشارة إلى المؤلف الحقيقي الوحيد، لكن يمكنه تقليص مجموعة الاحتمالات لدرجة تجعل عدم الكشف عن الهوية ليس آمناً كما كنا نعتقد. إنه يحول "التنكر المثالي" إلى "تنكر ضبابي" لا يزال بإمكان آلة ذكية الرؤية من خلاله. وتخلص المؤلفة إلى أنه بينما لا يعد الذكاء الاصطناعي عصا سحرية تحل اللغز في كل مرة، إلا أنه قد غير قواعد اللعبة بما يكفي لجعلنا نعيد التفكير في كيفية الحفاظ على عدالة مراجعاتنا العلمية في عصر يمكن فيه للحواسيب قراءة عقولنا بشكل أفضل مما نفعل نحن.
ملخص تقني: النماذج اللغوية الكبيرة تهدد المراجعة مزدوجة التعمية
بيان المشكلة تعد المراجعة العلمية مزدوجة التعمية آلية أساسية في النشر العلمي تهدف إلى الحد من التحيز المرتبط بسمعة المؤلف، أو الانتماء المؤسسي، أو الظهور السابق. وتعتمد فعاليتها على الافتراض بأن المخطوطات مجهولة الهوية (المجردة من الأسماء، والانتماءات، والاستشهادات الصريحة) لا تحتوي على معلومات كافية للكشف عن مؤلفيها بشكل موثوق. وبينما أظهرت الأبحاث السابقة أنه يمكن استعادة هوية المؤلف باستخدام العلامات الأسلوبية، أو الأنماط المعجمية، أو الهياكل الببليوغرافية، تبحث هذه الدراسة في ثغرة أعمق: ما إذا كانت النماذج اللغوية الكبيرة (LLMs) قادرة على كشف هوية الأوراق العلمية باستخدام نصوص علمية دنيا فقط (العناوين والملخصات) عبر استنتاج "بصمات مفاهيمية كامنة". والسؤال الجوهري هو ما إذا كان افتراض عدم كشف الهوية يظل قائماً عندما يقتصر الاستنتاج على مجموعات ضيقة من الخبراء في نفس المجال، وعند إزالة الإشارات السطحية.
المنهجية أجرى المؤلفون تجربة ضبط لنسب المؤلفين باستخدام مجموعة بيانات تضم أكثر من 12,000 ورقة علمية نُشرت بين عامي 2024 و2025، تم الحصول عليها من (Semantic Scholar). ولضمان عدم اعتماد النماذج على بيانات التدريب المحفوظة، تم عزل مجموعة التقييم زمنياً بشكل صارم عن حدود تاريخ قطع البيانات للنماذج المستخدمة (Qwen2.5-72B و LLaMA3-70B، وكلاهما بحد قطع في عام 2023).
قيود المدخلات: تم تزويد النماذج فقط بعناوين الأوراق وملخصاتها. وتم استبعاد جميع المعرفات الصريحة، والانتماءات، والبيانات الببليوغرافية الوصفية.
مجموعات المرشحين: قُدم لكل ورقة مجموعة مغلقة من خمسة مرشحين: مؤلف حقيقي واحد وأربعة من المشتتات. وقد تباين بناء هذه المشتتات كما يلي:
عشوائية: مستمدة من مجالات غير ذات صلة.
خبراء المجال (Semantic Scholar): مؤلفون يُوصى بهم كعاملين في مواضيع مشابهة.
خبراء المجال (OpenAlex): مؤلفون تم استردادهم عبر (OpenAlex)، ويمثلون مجموعة أكثر اتساقاً وتأصلاً من الناحية المفاهيمية.
تعريفات الحقيقة الأرضية (Ground Truth): تم تعريف "المؤلف الحقيقي" بثلاث طرق لاختبار المتانة عبر التخصصات: المؤلف الأخير، والمؤلف الأكثر خبرة (الأعلى في عدد المنشورات)، والمؤلف الأقل خبرة (الأدنى في عدد المنشورات).
إطار التقييم: بدلاً من اشتراط تنبؤ واحد، استخدمت الدراسة إطار عمل يعتمد على الثقة في التصنيف. قامت النماذج بترتيب المرشحين وتخصيص درجات ثقة. تم إنشاء "مجموعة مشتبه بها" عبر تجميع المرشحين حتى يتجاوز احتمالهم التراكمي عتبة τ (على سبيل المثال، 0.5 أو 0.9). شملت المقاييس دقة (Top-k)، ومرتبة العائد المتوسط (MRR)، واستدعاء المجموعة المشتبه بها، وخطأ المعايرة المتوقع (ECE).
الخط المرجعي البشري: قامت مجموعة ضابطة مكونة من عشرين باحثاً من طلاب الدراسات العليا ذوي الخبرة في تعلم الآلة بنفس المهمة لوضع خط مرجعي بشري.
فحوصات الاستدلال المتقدمة: اختبرت الدراسة تجميع النماذج (الجمع بين تنبؤات Qwen و LLaMA) والتداول متعدد الجولات (الاستدلال التكراري) لمعرفة ما إذا كان التعقيد يحسن عملية نسب المؤلف.
النتائج الرئيسية
أداء متفوق للنماذج اللغوية الكبيرة: تفوقت النماذج اللغوية الكبيرة بشكل كبير على الباحثين البشر في تحديد المؤلفين من العناوين والملخصات وحدها.
دقة (Top-1): حققت النماذج اللغوية الكبيرة دقة تقارب 42% (Qwen2.5-72B)، مقارنة بـ 11% للباحثين البشر.
جودة التصنيف: حققت النماذج اللغوية الكبيرة مرتبة عائد متوسط (MRR) قدرها 0.623 مقابل 0.36 للبشر (بفارق دلالة إحصائية، p<0.001).
كفاءة المجموعة المشتبه بها: عند عتبة ثقة متوسطة (τ=0.5)، احتوت النماذج اللغوية الكبيرة المؤلف الحقيقي في 61.6% من الحالات مع تقليص المجموعة المشتبه بها إلى متوسط 1.95 مرشح. بينما احتفظ البشر بالمؤلف الحقيقي في 22% فقط من الحالات مع حجم مجموعة مشتبه بها مماثل.
البصمات المفاهيمية الكامنة: وجدت الدراسة أن انهيار عدم كشف الهوية مدفوع بـ "الانتظامات الكامنة" في كيفية تأطير الباحثين للمشكلات، ونطاق المساهمات، وتحديد موقع أعمالهم، وليس بالسمات الأسلوبية.
عندما كانت المشتتات مستمدة من مجالات غير ذات صلة، قفز الاستدعاء إلى 84.1%، مما يشير إلى أن النماذج تعتمد بقوة على التوافق الموضوعي.
حتى مع وجود مشتتات شديدة التشابه (خبراء OpenAlex بملفات بحثية متداخلة)، ظل الاستدعاء عند 51.5%، وهو أعلى بكثير من الخط المرجعي البشري.
الاختلافات حسب التخصص والأقدمية:
التخصص: كان تآكل عدم كشف الهوية أكثر وضوحاً في الطب (استدعاء 66% عند τ=0.5) منه في علوم الحاسوب (58%)، مما يشير إلى أن أعراف البحث الخاصة بكل مجال تضخم الإشارات القابلة لتحديد الهوية.
الأقدمية: كان التأثير ثابتاً عبر المؤلفين كبار السن وصغار السن، مما يشير إلى أن مخاطر عدم كشف الهوية لا تقتصر على الباحثين البارزين بل تشمل أيضاً العلماء في مقتبل حياتهم المهنية.
حدود التعقيد:
التجميع: أدى الجمع بين تنبؤات عدة نماذج إلى تحسينات طفيفة فقط مقارنة بأفضل نموذج منفرد.
التداول: أدى التداول متعدد الجولات في الواقع إلى تدهور الأداء، حيث زاد حجم المجموعة المشتبه بها وقلل الاستدعاء. يشير هذا إلى أن خطوات الاستدلال الإضافية تزيد من عدم اليقين بدلاً من تقديم إشارات جديدة لنسب المؤلف عند تقييد المدخلات بالملخصات القصيرة.
الأهمية والادعاءات تجادل الورقة بأن المراجعة مزدوجة التعمية تواجه عائقاً هيكلياً في عصر البحث المعزز بالذكاء الاصطناعي. وتتحدى النتائج الافتراض الأساسي بأن إزالة المعرفات الصريحة كافٍ للحفاظ على عدم كشف الهوية. ويدعي المؤلفون ما يلي:
عدم كشف الهوية احتمالي وليس مطلقاً: المراجعة مزدوجة التعمية لا تفشل بالمعنى المطلق (أي أن تحديد الهوية الكامل ليس مضموناً)، ولكنها تعاني من "ضعف متدرج". يمكن للنماذج اللغوية الكبيرة تقليص مجموعة المؤلفين المحتملين بشكل منهجي إلى مجموعة فرعية صغيرة عالية الثقة، وهو ما قد يكون كافياً للتأثير على توقعات المراجعين وسلوكهم.
الاستدلال يتجاوز الأسلوب: ينبع التهديد ليس من المحاكاة الأسلوبية أو الآثار الببليوغرافية، بل من المحتوى الدلالي نفسه—وتحديداً الطرق الفريدة التي يؤطر بها الباحثون المشكلات ويحددون بها المساهمات.
الآثار السياساتية: إن إرشادات إخفاء الهوية الحالية، التي تركز على السمات السطحية (الأسماء، الاستشهادات، الانتماءات)، قد تكون غير كافية. وتقترح الورقة ضرورة إعادة تقييم المجتمع البحثي لكيفية الحفاظ على عدم كشف الهوية والعدالة، مع الإقرار بأن الهوية يمكن استنتاجها من التأطير العلمي للعمل نفسه.
تختتم الورقة بتواضع، مشيرة إلى أنه بينما تقلل النماذج من عدم اليقين، إلا أنها لا تحدد دائماً المؤلف الصحيح بيقين تام. ومع ذلك، فإن التقليص المستمر لمجموعة المرشحين يمثل تحولاً كبيًراً في ملف المخاطر للمراجعة مزدوجة التعمية، مما يستوجب إعادة فحص سياسات المراجعة في منظومة متكاملة مع الذكاء الاصطناعي.