ملخص تقني: تقييم التوليد المعزز بالاسترجاع (RAG) لتحليل البرمجيات الخبيثة القابل للتفسير

بيان المشكلة

بينما تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد لترجمة مؤشرات البرمجيات الخبيثة منخفضة المستوى (مثل استدعاءات واجهة برمجة التطبيقات API، وتعديلات السجل) إلى تفسيرات باللغة الطبيعية، فإن فعالية "التوليد المعزز بالاسترجاع" (RAG) في هذا المجال تحديداً لا تزال غير مؤكدة. الافتراض السائد هو أن حقن المعرفة الأمنية الخارجية عبر تقنية RAG يحسن جودة التفسير. ومع ذلك، يعتمد تحليل البرمجيات الخبيثة غالباً على أدلة مهيكلة (مثل تقارير VirusTotal) التي تحتوي بالفعل على بيانات سياقية كافية. ويفترض المؤلفون أن الاسترجاع العشوائي في مثل هذه السيناريوهات قد يؤدي إلى إدخال "ضجيج سردي"، أو سياق مشتت، أو كتابات عامة تؤدي إلى تدهور قدرة النموذج على استخراج الإشارات الجوهرية، مما قد يؤدي إلى تفسيرات مضللة في المسارات الأمنية الحرجة.

المنهجية

تجري الدراسة تقييماً تجريبياً لقابلية التفسير في النماذج اللغوية الكبيرة مع وبدون تقنية RAG، باستخدام تقارير VirusTotal المهيكلة كمدخل أساسي.

• مجموعة البيانات والبنية: تتكون مجموعة البيانات من 1,702 تقريراً من تقارير VirusTotal من مجموعة بيانات MalGPT، والتي تحتوي على مؤشرات مهيكلة مثل استدعاءات API وعمليات السجل. تستخدم خطة عمل RAG نظام LlamaIndex للتنسيق، وChromaDB لتخزين المتجهات، وOpenRouter كبوابة للنماذج اللغوية الكبيرة. يتم إنشاء التضمينات (Embeddings) باستخدام all-MiniLM-L6-v2 وtext-embedding-3-large من OpenAI. يتم تقسيم المستندات إلى قطع بحجم 1,024 رمزاً (token) مع تداخل قدره 100 رمز، ويستخدم الاسترجاع البحث عن التشابه بأعلى $k$ (top-$k$) مع عتبة 0.5.
• قاعدة المعرفة: يشمل مصدر الاسترجاع إطار عمل MITRE ATT&CK، والإرشادات البحثية (مثل خرائط MalGPT وCISA/MITRE)، والوثائق التقنية لـ VirusTotal، ومجموعات بيانات استخبارات البرمجيات الخبيثة (التصنيفات، وثغرات CVE).
• المطالبة بالنظام (System Prompt): تفرض مطالبة مهيكلة مكونة من 10 أقسام الاتساق، حيث تتطلب المخرجات تضمين الأحكام، والملخصات غير التقنية، والاستشهاد بالأدلة، وتصنيف عائلة البرمجيات الخبيثة، وتجميع مؤشرات الاختراق (IoCs)، والملخصات السلوكية، ودرجات الثقة، والتوصيات القابلة للتنفيذ.
• بروتوكول التقييم: تجري دراسة استئصال (Ablation Study) تقارن بين نماذج لغوية مختلفة (GPT OSS 21B، وDeepSeek-R1 671B، وGPT-5.1) تحت مطالبات متطابقة، وتختبرها باستخدام JSON الخاص بـ VirusTotal وحده مقابل JSON المعزز بالسياق المسترجع. لم يتم تطبيق أي ضبط دقيق (Fine-tuning) لعزل تأثيرات الاسترجاع.
• المقاييس: تُقاس جودة التفسير باستخدام مقياس BERTScore، الذي يقيم التشابه الدلالي مقابل خط أساس من نموذج GPT-5.1 (بدون RAG). تم اختيار هذا المقياس لقوته تجاه إعادة الصياغة وحساسيته تجاه الانحراف الدلالي الناتج عن الفقرات المسترجعة ذات الصلට الضعيف.

النتائج الرئيسية

تكشف التجارب أن تقنية RAG غالباً ما تؤدي إلى تدهور جودة التفسير بدلاً من تحسينها عندما تكون الأدلة المهيكلة موجودة بالفعل:

• تدهور الأداء: عبر نماذج متعددة، أدت إضافة السياق المسترجع عموماً إلى خفض درجات BERTScore. على سبيل المثال، حقق DeepSeek-R1 أعلى درجة له (0.8617) بدون RAG، بينما انخفض الأداء إلى 0.8583 و0.8582 مع نماذج تضمين مختلفة. وبالمثل، شهد GPT OSS 21B انخفاضاً كبيراً من 0.8407 (بدون RAG) إلى 0.8184 مع مسترجع all-MiniLM-L6-v2.
• الحساسية للتضمين (Embedding Sensitivity): بينما قدم text-embedding-3-large تحسينات طفيفة لنموذج GPT OSS 21B، إلا أنه لم يقدم أي فائدة لنموذج DeepSeek-R1.
• سبب التدهور: يعزو المؤلفون هذا الانخفاض إلى استرجاع فقرات متشابهة دلالياً ولكنها منخفضة الفائدة (مثل أوصاف البرمجيات الخبيثة العامة) التي تعمل كـ "سلبيات صعبة" (hard negatives). تعمل هذه المشتتات على تحويل انتباه النموذج نحو سرديات تبدو منطقية ولكنها غير ذات صلة، مما يضعف الإشارات المحددة الموجودة في تقارير VirusTotal المهيكلة.
• سلوك النموذج: يبدو أن النماذج الأقوى (مثل DeepSeek-R1) تتعامل مع السياق الإضافي باعتباره فائضاً عن الحاجة أو متناقضاً بشكل طفيف، مما يدعم الفرضية القائلة بأن المهمة هي مهمة استخراج إشارات وليست استكمال معرفة.

المساهمات الرئيسية

1. تحدي افتراضات RAG تجريبياً: يقدم العمل دليلاً على أن التطبيق الافتراضي لتقنية RAG على تفسير البرمجيات الخبيثة هو أمر عكسي النتائج عندما تتوفر أدلة مهيكلة عالية الجودة (تقارير VirusTotal).
2. إعادة صياغة المهمة: يجادل المؤلفون بأن تفسير البرمجيات الخبيثة هو في الأساس مهمة استخراج إشارات، وليس مشكلة استرجاع معرفة. وبالتالي، فإن إضافة سياق خارجي يمكن أن يؤدي إلى زيادة العبء المعرفي ومخاطر الخطأ دون إضافة قيمة.
3. توصيات التصميم: يحدد البحث استراتيجيات محددة للتخفيف من ضجيج الاسترجاع في سير العمل الأمني:
   • تخطي RAG عندما تكون التقارير المهيكلة كافية (باستخدام متنبئات كفاية السياق).
   • تطبيق أدوات إعادة ترتيب (re-rankers) مضبوطة مجالياً مع حدود صارمة لـ $k$ لتجنب السلبيات الصعبة.
   • استبدال تقسيم النوافذ الثابتة بقطع مركزة حول السلوك أو مؤشرات الاختراق (IoC) معززة بالبيانات الوصفية.
   • استكشاف البدائل مثل التوليد المعزز بالتخزين المؤقت (CAG) وهندسة السياق (Context Engineering).

الأهمية والادعاءات

يزعم البحث أنه في المسارات الأمنية الحرجة، تزداد مخاطر التحيز للأتمتة عندما تنحرف التفسيرات القائمة على RAG عن الأدلة الأساسية. يؤكد المؤلفون أن المحللين يستفيدون من الاتساق والقابلية للتتبع أكثر من السرد الموسع. ومن خلال إثبات أن RAG يمكن أن يقلل الأداء في المجالات القائمة على الاستدلال المهيكل، يدعو العمل إلى تحول في تصميم الأدوات: الانتقو من تركيب المعرفة عبر الاسترجاع إلى استخراج الإشارات المهيكلة. تشير النتائج إلى أنه بالنسبة للمهام التي يكون فيها الدليل المصدر شاملاً بالفعل، فإن "الضجيج" الناتج عن آليات الاسترجاء يفوق الفوائد المحتملة لحقن المعرفة الخارجية.