TTPrint: Evidence-Grounded TTP Extraction via Diverge-then-Converge Verification

ملخص تقني: TTPRINT

بيان المشكلة
يعد الاستخراج التلقائي لتقنيات MITRE ATT&CK من تقارير استخبارات التهديدات السيبرانية (CTI) غير المهيكلة مشكلة مفتوحة المجموعة ومتعددة الملصقات، تتطلب تحسيناً متزامناً للاستدعاء العالي (التقاط جميع التقنيات الموصوفة حقاً) والدقة العالية (تجنب الهلوسة بتقنيات غير مدعومة). تواجه الأساليب الحالية قيوداً كبيرة:

• الأساليب القائمة على القواعد والأساليب الخاضعة للإشراف: تعاني الأنظمة مثل TTPDrill أو نماذج المحولات (Transformers) المضبوطة بدقة (مثل LADDER و MITREtrieval) من صعوبة في التعميم عبر أساليب التقارير المتنوعة وأوصاف الهجمات المتطورة. فهي تعتمد غالباً على كلمات مفتاحية صريحة أو أنطولوجيات ثابتة، مما يؤدي إلى الفشل في التقاط السلوكيات الضمنية أو المصاغة بأساليب أخرى.
• نهج النماذج اللغوية الكبيرة (LLMs) أحادي المرحلة: رغم أن النماذج اللغوية الكبيرة تظهر وعوداً، إلا أن تطبيقها في خطوة استدلال واحدة يربط بين أهداف توليد الفرضيات والتحقق منها. هذا الربط يؤدي إلى نمطي فشل تراكميين: (1) تضحي النماذج بالتغطية لصالح الثقة، مما يؤدي إلى إغفال السلوكيات الأقل بروزاً، و(2) التباين اللفظي السطحي بين لغة التقارير التشغيلية والتعريفات المعيارية لـ MITRE، مما يتسبب في رسم خرائط خاطئة للتقنيات.

المنهجية: TTPRINT
يقترح المؤلفون TTPRINT، وهو مسار مكون من أربع مراحل مستوحى من سير عمل المحلل البشري، يستخدم تصميماً قائماً على مبدأ "التشعب ثم التقارب" لفصل التوليد الموجه نحو الاستدعاء عن التحقق الموجه نحو الدقة.

1. مرحلة التشعب (تعظيم التغطية):

   • استخراج السلوك: يتم تفكيك تقرير الـ CTI الخام إلى مجموعة من السلوكيات الهجومية الذرية والمستقلة. ومن الأهمية بمكان أن هذه المرحلة تحافظ على الآثار التقنية المحددة (أسماء الأدوات، سلاسل الأوامر، مسارات السجل) لمنع انهيار السياق، مما يضمن توفر تفاصيل كافية للمراحل اللاحقة لتحديد دقيق.
   • اقتراح تقنيات TTP: لكل سلوك ذري، يقترح النموذج اللغوي الكبير مجموعة واسعة من تقنيات MITRE ATT&CK المرشحة (حتى $k$ من المعرفات ذات المستوى الأب المتميز). تعطي هذه المرحلة الأولوية للاستدعاء، وتؤجل إصدار الحكم عمداً لضمان عدم استبعاد أي تقنية محتملة قبل الأوان.

2. مرحلة التقارب (التصفية بناءً على الأدلة):

   • تحديد نطاق الامتداد (Span Localization): يقوم خوارزمي حتمي بربط كل سلوك مقترح بنطاق جملة متصل ومحدد (نطاق الدليل) داخل التقرير الأصلي. هذا يقيد كل الاستدلال اللاحق بنطاق نصي قابل للتحقق بدلاً من سياق المستند الكامل، مما يقلل من الضوضاء ومخاطر الهلوسة.
   • التحقق من TTP: يقوم النموذج اللغوي الكبير بتقييم كل تقنية مرشحة مقابل ثلاثة مدخلات: نص السلوك، ونطاق الدليل المحدد، والتعريف الرسمي لـ MITRE ATT&CK. يخرج النموذج درجة ثقة ($c_{ver}$) تشير إلى ما إذا كان الدليل يدعم التقنية صراحةً.
   • تحديد العتبة: يتم الاحتفاظ بالمرشحين الذين يتجاوزون عتبة ثقة قابلة للضبط ($\tau$). يسمح هذا المعامل للممارسين بالتحكم صراحة في المقايضة بين الدقة والاستدعاء دون الحاجة لإعادة التدريب أو تغييرات هيكلية.

المساهمات الرئيسية

• المبدأ المعماري: تحدد الورقة البحثية أن ربط الدقة والاستدعاء في عملية الاستخراج أحادية المرحلة هو قيد هيكلي، وتقترح مبدأ "التشعب ثم التقارب"، الذي يفصل صراحةً بين توليد الفرضيات والتحقق القائم على الأدلة.
  * مسار TTPRINT: تنفيذ مبتكر يتميز بتحديد نطاق الامتداد الحتمي الذي يضمن إمكانية تتبع كل تنبؤ إلى فقرة مصدر محددة، مما يتيح إمكانية التدقيق الكامل.
• موارد التقييم:
  • TRAM-Clean: نسخة منظمة بعنافة من معيار TRAM المستخدم على نطاق واس_ع، حيث تم تصحيح الإيجابيات والسلبيات الكاذبة في التوصيفات الأصلية لتوف الله قاعدة مرجعية موثوقة.
  • TTPRINT-Bench: معيار جديد على مستوى المستند يتكون من 150 تقريراً كاملاً لـ CTI (من 2022 إلى 2025) مع توصيف أرضي مزدوج ومحكم، مصمم لتقييم الاستخراج من المستندات الكاملة غير المهيكلة بدلاً من الجمل المنعزلة.

النتائج
عند تقييمه على TRAM-Clean و TTPRINT-Bench، أظهر TTPRINT تحسينات كبيرة مقارنة بالنماذج المرجعية الرائدة:

• الأداء: حقق TTPRINT درجة Macro-F1 بلغت 76.48% على TRAM-Clean و 87.39% على TTPRINT-Bench. ويمثل هذا تحسناً بنسبة 63.5% و 29.4% على التوالي مقارنة بأفضل نموذج مرجعي (CoT GPT-4o).
• الدقة والاستدعاء: على عكس الأساليب أحادية المرحلة التي تكافح لموازنة كلا المقياسين، يعمل TTPRINT على تحسينهما في آن واحد. ففي TTPRINT-Bench، ارتفع الاستدعاء من 50.70% إلى 95.50%، وارتفعت الدقة من 69.90% إلى 82.15%.
• دراسات الاستئصال (Ablation Studies): تؤدي إزالة أي مرحلة (استخراج السلوك، تحديد نطاق الامتداد، أو التحقق) إلى تدهور كبير في الأداء. ومن الجدير بالذكر أن تحديد نطاق الامتداد يحسن كلاً من الدقة والاستدعاء عن طريق تقليل تشتت السياق ومخاطر الهلوسة.
• استقلالية النموذج: تظل فعالية المسار قائمة عبر ستة نماذج لغوية كبيرة مختلفة (بما في ذلك GPT-4o، وClaude Sonnet، وGemini، وQwen، وDeepSeek). وغالباً ما تتفوق النماذج الأصغر المزودة بمسار TTPRINT على النماذج الأكبر التي تستخدم التلقين أحادي المرحلة، مما يشير إلى أن التصميم المعماري هو المحرك الأساسي للأداء.
• حساسية العتبة: توفر عتبة التحقق $\tau$ تحكماً سلسًا ورتيبًا في جبهة الدقة والاستدعاء، مما يسمح للمستخدمين باختيار نقاط التشغيل لسيناريوهات الاستدعاء العالي (فرز SOC)، أو السيناريوهات المتوازنة، أو سيناريوهات الدقة العالية (الاستجابة الآلية).

الأهمية والادعاءات
تدعي الورقة أن TTPRINT يعالج فجوة حرجة في سير عمل محلل CTI من خلال توفير طريقة لاستخراج TTP عالية الاستدعاء ودقيقة، والتي يمكن تتبعها مباشرة إلى دليل المصدر. ومن خلال فصل التوليد عن التحقق، يخفف النظام من المقايضات المتأصلة في التلقين أحادي المرحلة للنماذج اللغوية الكبيرة. ويؤكد المؤلفون أن النهج مستقل عن النموذج، مما يسمح للمؤسسات التي لديها مخاوف بشأن سيادة البيانات بنشر نماذج لغوية كبيرة مفتوحة المصدر مستضافة محلياً دون التضحية بالأداء. ويهدف إصدار TRAM-Clean و TTPRINT-Bench إلى رفع مستوى المجال من التقييم على مستوى الجملة إلى الاستخراج على مستوى المستند الواقعي، مما يسهل الأبحاث المستقبلية في تحليل استخبارات التهديدات المؤتمت.

يحافظ المؤلفون على نطاق متواضع، مشيرين إلى أن النظام يستهدف التقارير باللغة الإنجليزية من كبار مزودي الأمن، ولا يحل حالياً حالات الغموض المتأصلة في تصنيف MITRE نفسه (على سبيل المثال، التقنيات المتجاورة دلالياً). كما يشيرون إلى أنه بينما يتم التحقق من جودة الاستخراج مقابل التوصيفات الخبيرة، فإن تأثير ذلك على المقاييس التشغيلية اللاحقة (مثل وقت الفرز) يتطلب دراسات نشر مضبوطة في المستقبل.