Security Document Classification with a Fine-Tuned Local Large Language Model: Benchmark Data and an Open-Source System
يقدم هذا البحث TorchSight، وهو نظام محلي مفتوح المصدر يستخدم نموذج Qwen 3.5 27B مضبوطاً بدقة ومدرباً على أكثر من 78,000 عينة، والذي يحقق دقة أعلى بكثير (95.0%) في تصنيف الوثائق الأمنية مقارنة بالبدائل السحابية التجارية مع ضمان بقاء البيانات تحت السيطرة المحلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.
المشكلة الكبيرة: "السحابة" مقابل "الغرفة الآمنة"
تخيل أنك تعمل في بنك أو مستشفى. لديك آلاف الوثائق، وتحتاج إلى العثور على تلك التي تحتوي على كلمات مرور سرية، أو أرقام بطاقات ائتمان، أو خطط عسكرية مصنفة.
حالياً، لدى الشركات طريقتان رئيسيتان للقيام بذلك:
- طريقة "كتاب القواعد": يستخدمون برنامج كمبيوتر يبحث عن أنماط محددة، مثل سلسلة من الأرقام التي تشبه رقم بطاقة الائتمان. إنها سريعة، لكنها "غبية". إذا كتبت قصة عن رقم بطاقة ائتمان وهمي في درس تعليمي، سيصرخ البرنامج "تنبيه!" رغم أنه أمر آمن. كما أنها تفوت الأشياء التي لا تتبع أنماطاً واضحة ولكنها لا تزال خطيرة.
- طريقة "السحابة": يرسلون جميع وثائقهم إلى ذكاء اصطناعي ضخم وذكي في السحابة (مثل مساعد فائق الذكاء لدى شركة تقنية كبرى) ليقرأها. هذا الذكاء الاصطناعي ذكي جداً ويفهم السياق. ولكن، لاستخدامه، عليك إرسال وثائقك السرية خارج مبناك إلى مبنى شخص آخر. بالنسبة لبنك أو جهة عسكرية، هذه مخاطرة كبيرة؛ فلا يمكنهم السماح لأسرارهم بمغادرة المبنى.
حل الورقة البحثية: قام المؤلف ببناء نظام يسمى TorchSight. إنه يشبه توظيف حارس أمن فائق الذكضاء يعيش داخل مبناك. هذا الحارس ذكي بما يكفي لفهم السياق (على عكس كتاب القواعد) ولكنه لا يغادر المبنى أبداً (على عكس خدمة السحابة).
"الحارس" (نموذج الذكاء الاصطناني)
أخذ المؤلف عقلاً ذكاءً اصطناعياً ضخماً ومُدرباً مسبقاً (يسمى Qwen 3.5) وأعطاه "معسكراً تدريبياً" خاصاً.
- التدريب: لم يكتفوا بعرض وثائق عشوائية عليه، بل غدّوه بـ 78,358 مثالاً من الوثائق. بعضها كان تسريبات حقيقية، وبعضها أمثلة وهمية صنعتها نماذج ذكاء اصطناعي أخرى، وبعضها "فخاخ" مخادعة (وثائق تبدو خطيرة ولكنها في الواقع آمنة، أو العكس).
- النتيجة: أدى ذلك إلى إنشاء نسخة متخصصة من الذكاء الاصطناعي تسمى Beam. لقد تعلم التمييز بين السر الحقيقي والمثال غير الضار، وهو أمر عجزت عنه "كتب القواعد" وحتى نماذج "السحابة".
الاختبار الكبير: من هو أفضل حارس؟
وضع المؤلف حارس Beam الجديد في مواجهة أفضل حراس "السحابة" (مثل GPT-5 وClaude وGemini) وحراس "كتاب القواعد" القدامى. أعطواهم جميعاً نفس الـ 1,000 وثيقة لتصنيفها.
النتائج:
- حراس السحابة: أصابوا في حوالي 75% إلى 80% من الحالات. كانوا جيدين، لكنهم ارتكبوا الكثير من الأخطاء.
- كتاب القواعد: أصاب في حوالي 53% فقط. كان من السهل جداً تضليله.
- حارس Beam (المحلي): أصاب في 95% من الحالات.
مشكلة "الإنذار الخاطئ":
أهم جزء في أي نظام أمني ليس فقط الإمساك بالأشرار، بل عدم الصراخ "حريق!" عندما يحمل شخص ما مجرد شمعة.
- عندما نظرت حراس السحابة إلى الوثائق الآمنة (مثل وصفة طبخ أو مقال إخباري عام)، غالباً ما أصيبوا بالذعر. اعتقدوا أن 22% إلى 63% من الوثائق الآمنة كانت خطيرة. هذا من شأنه أن يجعل الفريق الأمني يفقد صوابه لأن عليهم فحص كل ملف آمن.
- أما Beam، فقد أصيب بالذعر في 2% فقط من الوثائق الآمنة. لقد عرف الفرق بين التهديد الحقيقي والملف غير الضار بشكل أفضل بكثير من الآخرين.
لماذا كان Beam جيداً جداً؟
توضح الورقة أن "الخلطة السرية" لم تكن مجرد حجم الذكاء الاصطناعي، بل كيفية تعليمه.
- أنشأ المؤلف "مجموعة قواعد" محددة (تصنيف) تضم 51 نوعاً مختلفاً من الأسرار (مثل "السجلات الطبية"، "الخطط العسكرية"، "كلمات المرور").
- طُلب من ذكاء السحابة "إيجاد الأسرار"، فقاموا بابتكار فئات خاصة بهم أو أصيبوا بالارتباك.
- تم ضبط Beam بدقة لاتباع الـ 51 فئة بصرامة. لقد تعلم التحدث بنفس لغة فريق الأمن. كان الأمر يشبه تعليم كلب الجلوس، والبقاء، وإحضار أشياء محددة، بدلاً من مجرد قول "كن مهذباً" له.
اختبار "العالم الخارجي"
للتأكد من أن Beam لم يكن مجرد يحفظ اختبار التدريب، اختبره المؤلف على مجموعة مختلفة تماماً مكونة من 500 وثيقة لم يسبق له رؤيتها (مثل رسائل التصيد الاحتيالي الحقيقية والسجلات الطبية من قواعد بيانات عامة).
- لا يزال Beam يسجل 93.8%.
- انخفضت درجات حراس السحابة بشكل ملحوظ، حيث سجل بعضهم 65% فقط.
- يثبت هذا أن Beam تعلم بالفعل مفهوم الأمن، وليس مجرد الإجابات المحددة لاختبار التدريب.
الخلاصة
تظهر الورقة أنك لست بحاجة لإرسال أسرارك إلى السحابة للحصول على ذكاء اصطناعي ذكي يحميها. من خلال تدريب ذكاء اصطناعي محلي على مجموعة بيانات ضخمة ومنسقة بعناية، يمكنك الحصول على نظام يتميز بـ:
- دقة أعلى: يجد المزيد من التهديدات الحقيقية.
- أقل إزعاجاً: يسبب إنذارات كاذبة أقل بكثير في الملفات الآمنة.
- الخصوصية: الوثائق لا تغادر جهاز الكمبيوتر الخاص بك أبداً.
لقد أطلق المؤلف النظام بأكمله (الكود، بيانات التدريب، ونموذج الذكاء الاصطناعي) مجاناً لكي يتمكن أي شخص من استخدامه لبناء "حارس الغرفة الآمنة" الخاص به.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.