Benchmarking locally hosted language models for journal editorial work on a compact desktop workstation
تُظهر هذه الدراسة أن محطة عمل مكتبية مدمجة يمكنها استضافة نماذج لغوية ذات أوزان مفتوحة لمهام التحرير في المجلات بفعالية، مما يكشف أنه بينما لا يرتبط الأداء ارتباطاً وثيقاً بحجم النموذج، فإن دمج هذه النماذج مع فحوصات حتمية بسيطة يحقق كشفاً يقترب من المثالية لانتهاكات الإرشادات.
في عالم النشر الأكاديمي الهادئ وعالي المخاطر، يتصاعد نوع جديد من الضغوط. لعقود من الزمن، نما حجم الأوراق العلمية بشكل مطرد، لكن وصول أدوات الذكاء الاصطناعي القادرة على كتابة النصوص سرّع من هذا التدفق. يمكن للباحثين الآن إنتاج المزيد من العمل، وبسرعة أكبر، ولكن هذا يخلق عنق زجاجة عند البوابة: مكتب التحرير. فقبل أن تصل الورقة إلى المراجعين، يجب أن تجتاز سلسلة من الفحوصات لضمان اتباعها لقواعد المجلة، والاستشهاد بمصادر حقيقية، والمنطق السليم. تقليديًا، يتم إجراء هذه الفحوصات بواسطة محررين بشريين أو برمجيات حاسوبية بسيطة. والآن، يتساءل الناشرون عما إذا كان بإمكان الذكاء الاصطناعي المساعدة. ولكن هناك عقبة؛ فالمخطوطات التي تخضع للمراجعة سرية، فهي تحتوي على اكتشافات غير منشورة وبيانات خاصة. وتعمل معظم أنظمة الذكاء الاصطناعي القوية على خوادم مملوكة لشركات خارجية، وغالبًا ما يكون إرسال مخطوطة سرية إلى مثل هذه الخادم ممنوعًا بموجب السياسات. وهذا يترك المحررين أمام خيار صعب: الحفاظ على سرية العمل وإجراء الفحوصات يدويًا، أو إيجاد طريقة لتشغيل الذكاء الاصطناعي على أجهزتهم الخاصة، داخل جدرانهم الخاصة.
أدى هذا السؤال بباحث في مركز "رايكين" (RIKEN) لديناميكيات الأنظمة الحيوية إلى اختبار ما إذا كان حاسوب مكتبي مدمج يمكنه القيام بالمهمة. لم يكن الهدف هو العثور على أقوى ذكاء اصطناعي في العالم، بل معرفة ما إذا كان إصدار أصغر ومستضاف محليًا يمكنه القيام بعمل محرر المجلة. أعد الباحث اختبارًا صارمًا باستخدام محطة عمل مكتبية قياسية، من النوع الذي قد يمتلكه مختبر صغير أو مكتب تحرير بالفعل. وقد أنشأ سلسلة من ثماني مهام محددة تحاكي العمل التحريري الحقيقي، مثل التحقق مما إذا كانت المخطوطة تتبع قواعد التنسيق، والتحقق من تطابق الأرقام في أقسام مختلفة من النص، والتأكد من أن الإشارات إلى الأوراق الأخرى حقيقية. ولقياس النجاح، قام ببناء مجموعة من الإجابات "الحقيقية"، بما في ذلك مخطوطة تحتوي على أربعين خطأً محددًا تم زرعها فيها، ثم قام بتشغيل عشرين نموذجًا مختلفًا من نماذج الذكاء الاصطناعي مقابل هذه المهام. وتفاوتت أحجام هذه النماذج بشكل كبير، من برامج صغيرة جدًا تتسع بسهولة في جهاز كمبيوتر محمول إلى نماذج ضخمة تتطلب تقريبًا كامل ذاكرة سطح المكتب.
تحدت النتائج افتراضًا شائعًا في هذا المجال: وهو أن نماذج الذكاء الاصطناዊ الأكبر هي الأفضل دائمًا. فقد وجدت الدراسة عدم وجود صلة ثابتة بين حجم النموذج وقدرته على أداء العمل. في الواقع، اكتشف نموذج يشغل 17 جيجابايت من الذاكرة 33 خطأً من أصل الأربعين خطأً المزروعة، بينما اكتشف أكبر نموذج تم اختباره، والذي شغل 81 جيجابايت، 36 خطأً فقط. كان الفرق ضئيلاً، ومع ذلك تطلب النموذج الأكبر ما يقرب من خمسة أضعاف الذاكرة واستغرق وقتًا أطول بكثير للتشغيل. والأكثر إثارة للدهشة هو أنه ضمن نفس عائلة النماذج، تفوق إصدار أصغر أحيانًا على إصدار أكبر وأحدث. أشارت البيانات إلى أن مجرد شراء نموذج أكبر لا يضمن دعمًا تحريريًا أفضل.
بدلاً من الحجم، وجدت الدراسة أن الطريقة التي تُطرح بها المهمة والأدوات المتاحة للنموذج كانت أكثر أهمية بكثير. وتبين أن النهج الأكثر فعالية هو استراتيجية متعددة الطبقات. أولاً، قام برنامج حتمي بسيط — يستخدم الرياضيات الأساسية ومطابقة الأنماط ولا يستخدم الذكاء الاصطناعي على الإطلاق — بفحص المخطوطة. وجد هذا البرنامج غير الذكي 31 خطأً من أصل الأربعين في جزء من الثانية ولم يستخدم أي ذاكرة. وبعد ذلك، كانت هناك حاجة للذكاء الاصطناعي فقط للأخطاء التسعة المتبقية، والتي تتطلب فهم معنى الجمل أو إصدار أحكام حول السياق. وعندما تم الجمع بينهما، تمكنوا من رصد كل خطأ. تشير هذه النتيجة إلى أن المسار الأكثر كفاءة للمضي قدمًا ليس استبدال المحررين البشريين بعقل واحد عملاق، بل استخدام نص برمجي حاسوبي بسيط للتعامل مع الفحوصات الواضحة والقائمة على القواعد، ثم تخصيص الذكاء الاصطناعي للقرارات القليلة والمعقدة التي تتطلب حقًا فهمًا.
كما بحثت الدراسة في كيفية تعامل هذه النماذج مع العمل الأكثر ذاتية في مراجعة النظراء، مثل تحديد الانتقادات الرئيسية التي قد يثيرها المراجع البشري. وهنا، كان الأداء أكثر تواضعًا؛ إذ تمكن أفضل نموذج من استعادة ست نقاط فقط من أصل اثنتي عشرة نقطة رئيسية أثارها المراجعون البشريون في حالة واحدة. وهذا يشير إلى أنه بينما يمكن للذكاء الاصطناعي أن يكون مساعدًا مفيدًا في التحقق من القواعد والتنسيق، إلا أنه ليس جاهزًا بعد لاستبدال التفكير النقدي العميق للخبير البشري. وسلط البحث الضوء أيضًا على أن الأجهزة التي يعمل عليها النموذج لا تقل أهمية عن النموذج نفسه. فقد استخدم الكمبيوتر المكتبي المستخدم في الاختبار نظام ذاكرة موحد، مما سمح له بتشغيل نماذج لا تتسع لها بطاقات الرسوميات القياسية. ومع ذلك، لاحظت الدراسة أن سرعة الكمبيوتر كانت غالبًا محدودة بمدى سرعة قراءة البيانات من الذاكرة، وليس فقط بمقدار الذاكرة التي يمتلكها. وقد ساعدت إضافة كمبيوتر ثانٍ إلى الإعداد في بعض أجزاء العملية، لكنها لم تحل مشكلات حدود السرعة الأساسية للمهام الأكثر تطلبًا.
في نهاية المطاف، يوضح هذا العمل أن الدعم التحريري المفيد في متناول يد محطة عمل مكتبية مدمجة، بشرط تقسيم العمل بشكل صحيح. فالنظام الأكثر قدرة ليس نموذج ذكاء اصطناعي واحد ضخم، بل هو مزيج من فاحص سريع وبسيط للقواعد ونموذج أصغر وأكثر ذكاءً للتعامل مع التفاصيل الدقيقة. يسمح هذا النهج للمجلات بالحفاظ على السرية الصارمة، وإبقاء المخطوطات غير المنشورة على أجهزتها الخاصة، مع الاستفادة من كفاءة الأتمتة في الوقت نفسه. وتخلص الدراسة إلى أن مستقبل العمل التحريري سيكمن على الأرجح في هذا التقسيم للعمل: ترك الحسابات والتنسيق للحواسيب، وتوفير الذكاء الاصطناعي للحظات التي تتطلب حقًا حكمًا شبيهًا بالبشر.
ملخص تقني: قياس أداء النماذج اللغوية المستضافة محلياً في العمل التحريري للمجلات العلمية
بيان المشكلة أدى النمو المتسارع في حجم المنشورات العلمية، والذي تضاعف بفعل الذكاء الاصطناعي التوليدي، إلى خلق اختناق في العمليات التحريرية. وبينما توفر أدوات الذكاء الاصطناي إمكانات لزيادة الإنتاجية، فإن استخدامها في سير العمل التحريري مقيد بمتطلبات السرية؛ إذ غالباً ما تحتوي المخطوطات غير المنشورة على نتائج ملكية فكرية، وعادة ما تمنع سياسات الناشرين نقل هذه المخطوطات إلى خدمات الذكاء الاصطناعي الخارجية. وبناءً على ذلك، يجب على المجلات الاعتماد على نماذج لغوية مستضافة محلياً تعمل على أجهزة تحت سيطرتها الخاصة. علاوة على ذلك، لم يتم قياس قدرة هذه النماذج المستضافة محلياً على أداء مهام تحريرية محددة بشكل منهجي. كما أنه من غير الواضح ما إذا كانت القدرة التحريرية تتوسع بشكل يمكن التنبؤ به مع حجم النموذج، وهو افتراض شائع عند توفير الأجهزة، أم أن عوامل أخرى مثل هندسة الأوامر (prompt engineering)، أو الوصول إلى الأدوات، أو توليد النموذج تلعب دوراً أكثر أهمية.
المنهجية أنشأت الدراسة معياراً اختبارياً (benchmark) يتكون من ثماني مهام تحريرية مستمدة من "تعليمات المؤلفين" الخاصة بمجلة علمية، ومخطوطات تحتوي على عيوب تم زرعها والتحقق منها بشكل مستقل، ومراجعات نظراء منشورة لمسودة بحث (preprint). أُجري التقييم على محطة عمل مكتبية مدمجة (NVIDIA DGX Spark مع معالج GB10 Grace Blackwell SoC وذاكرة موحدة بسعة 119 جيجابايت) لمحاكاة قيود المختبر أو المكتب التحريري الصغير.
المهام:
الامتثال للإرشادات (T1): اكتشاف 40 انتهاكاً مزروعاً في مخطوطة (صُنفت إلى 25 انتهاكاً "سهلاً" و15 انتهاكاً "صعباً").
دعم مراجعة النظراء (T2): توليد نقاط مراجعة بناءً على مسودة بحث، مع التقييم مقابل 12 نقطة من ثلاث مراجعات منشورة.
تنسيق المراجع والاستعلام عن القواعد (T3): تحويل المراجع إلى نمط محدد والإجابة على استفسارات باللغة اليابانية حول إرشادات باللغة الإنجليزية.
مقاومة الهلوسة (T4): الإجابة على أسئلة تكون فيها الإجابة الصحيحة هي التصريح بعدم توفر المعلومات.
فحص الأشكال والجداول (T5): تحديد العيوب في الصور والبيانات الوصفية (metadata).
الاتساق العلمي الذاتي (T6): التوفيق بين الأرقام عبر أقسام مختلفة من المخطوطة.
القواعد المشروطة بالفئة (T7): تطبيق قواعد تُستثنى لفئات معينة من المخطوطات.
التحقق من المراجع باستخدام الأدوات (T8): استخدام استدعاءات مباشرة لـ Crossref وNLM Catalog للتحقق من المراجع.
النماذج: تم تقييم عشرين نموذجاً من النماذج ذات الأوزان المفتوحة (open-weight models) تتراوح أحجامها من 3.3 جيجابايت إلى 81 جيجابايت. شمل ذلك بنيات كثيفة (dense) وبنيات خليط الخبراء (MoE)، مع وجود أو عدم وجود مشفرات رؤية (vision encoders) أو قدرات استدعاء الأدوات.
الخطوط المرجعية (Baselines): تم تشغيل خط مرجعي حتمي يستخدم التعبيرات النمطية (regular expressions) والحسابات (بدون ذكاء اصطناعي) على نفس المهام لتحديد الحد الأدنى للأداء غير القائم على الذكاء الاصطناعي.
المقاييس: تم قياس الأداء من خلال معدلات الاكتشاف، والإيجابيات الكاذبة، ووقت التنفيذ الفعلي (wall-clock time)، واستهلاك الذاكرة. واستُخدمت معاملات ارتباط سبيرمان (Spearman rank correlations) لتحليل العلاقة بين حجم النموذج والدرجة المحققة.
المساهمات الرئيسية
بناء المعيار الاختباري: مجموعة شاملة من ثماني مهام تحريرية مستمدة من إرشادات حقيقية للمجلات وعيوب مزروعة، صُممت لاختبار النماذج المستضافة محلياً على أجهزة نموذجية للمؤسسات الصغيرة.
الخط المرجعي الحتمي: تقديم فاحص يعتمد على البرمجة النصية (script-based) بدلاً من النماذج، لقياس الجزء من العمل التحريري الذي يتطلب تفسيراً دلالياً مقابل المنطق القائم على القواعد.
التقييم الواقعي للأجهزة: تقييم 20 نموذجاً على محطة عمل واحدة مدمجة، بما في ذلك اختبار إنتاجية (throughput) عبر عقد متعددة باستخدام تقنية RDMA، مما يوفر بيانات حول سرعة الاستنتاج وقيود الذاكرة في سيناريو نشر واقعي.
تحليل الأوامر والتهيئة: مقارنة منهجية لهياكل الأوامر (النص الحر، قائمة التحقق، تقسيم المناطق)، ومستويات التكميم (quantization)، وتوليدات النماذج لعزل العوامل التي تؤثر على الأداء بعيداً عن حجم النموذج.
النتائج
الأداء مقابل حجم النموذج: عبر جميع المهام الثماني، لم يتم العثور على ارتباط رتيب متسق بين حجم وزن النموذج والأداء. كانت ارتباطات سبيرمان ضئيلة (∣ρ∣≤0.19). وفي بعض الحالات، تفوقت النماذج الأصغر حجماً على النماذج الأكبر ضمن نفس العائلة (على سبيل المثال، سجل نموذج بحجم 17 جيجابايت درجة أعلى من نموذج بحجم 65 جيجابايت في مهمة الامتثال للإرشادات).
التباين النوعي للمهام: لم يتصدر نموذج واحد جميع المهام. فالنموذج الأفضل في الامتثال للإرشادات (81 جيجابايت) جاء في المرتبة الخامسة في دعم مراجعة النظراء، وفشل في تحديد اختصارات المجلات بشكل صحيح في عمليات البحث عن المراجع. وعلى العكس من ذلك، برعت النماذج الأصغر (مثل 9.6 جيجابايت) في مهام بحث محددة.
الأداء الحتمي مقابل أداء النموذج:
في مهمة الامتثال للإرشادات (T1)، اكتشف الفاحص الحتمي 31 من أصل 40 انتهاكاً مزروعاً في أقل من 0.1 ثانية مع صفر استهلاك للذاكرة.
النموذج الأقوى (81 جيجابت) اكتشف 36 انتهاكاً، لكنه تطلب 81 جيجابايت من الذاكرة و722 ثانية.
أدى اتحاد الفاحص الحتمي مع أفضل نموذج إلى اكتشاف جميع الـ 40 انتهاكاً. وقد ساهم النموذج بـ 9 اكتشافات إضافية فقط، وهي في الغالب تلك التي تتطلب تفسيراً دلالياً للصياغة أو النطاق.
هيكل الأوامر: أثرت هندسة الأوامر بشكل كبير على النتائج. فعلى سبيل المثال، أدى هيكل أمر "قائمة التحقق" (checklist) إلى تحسين الاكتشاف لبعض النماذج بما يصل إلى 11 انتهاكاً مقارنة بالأوامر ذات النص الحر، بينما أدى إلى تراجع أداء نماذج أخرى.
قيود الأجهزة:
الذاكرة: بينما استوعب النموذج (81 جيجابايت) محطة العمل (119 جيجابايت)، فإن استضافة أفضل النماذج لجميع الفئات الأربع المتميزة من المهام في آن واحد سيتطلب 136 جيجابايت، مما يتجاوز سعة الجهاز.
مراحل الاستنتاج: في مهمة الامتثال للإرشادات (مخرجات طويلة)، استهلكت مرحلة التوليد (decode phase) ما بين 94-100% من وقت التنفيذ الفعلي. أما في مهمة دعم مراجعة النظراء (مدخلات طويلة)، فقد أصبحت مرحلة التجهيز (prefill phase) أكثر هيمنة، وإن كانت مرحلة التوليد لا تزال تستحوذ على معظم الوقت في معظم الظروف.
التوسع عبر العقد المتعددة: أدت إضافة عقدة ثانية عبر تقنية RDMA إلى زيادة إنتاجية مرحلة التجهيز (prefill) بمعدل 1.5-1.8 ضعف، ولكن كان تأثيرها ضئيلاً على إنتاجية مرحلة التوليد (زيادة بنسبة 1.5-17.5% اعتماداً على حجم النموذج)، مما يشير إلى أنه بالنسبة للمهام ذات المخرجات الطويلة، فإن عرض نطاق الذاكرة (memory bandwidth) هو العائق وليس التوازي الحسابي.
الأهمية تخلص الورقة إلى أنه بالنسبة لتدفقات العمل التحريرية، لا تتوسع القدرة بشكل خطي مع حجم النموذج، وأن اختيار النموذج بناءً على عدد المعلمات (parameters) وحده ليس استراتيجية شراء موثوقة. وتوضح الدراسة أن جزءاً كبيراً من الفحص التحريري (حوالي 75% من الانتهاكات المزروعة في هذا المعيار) يمكن التعامل معه بواسطة نصوص برمجية حتمية غير قائمة على الذكاء الاصطناعي.
يسمح هذا التقسيم للعمل بين المهام باستغلال الذكاء الاصطناعي لدعم العمل التحريري مع الحفاظ على السرية وتقليل التكاليف الحسابية. وتشير النتائج إلى أن محطة عمل مكتبية مدمجة كافية لهذا سير العمل، بشراً بشرط تنفيذ الطبقات الحتمية أولاً لإنشاء خط أساس وتقليل الحمل على النموذج اللغوي. وتؤكد الدراسة أن النموذج "الأفضل" يعتمد على المهمة، وأن استراتيجية النشر متعددة النماذج قد تكون أكثر فعالية من استخدام نموذج واحد ضخم.