ملخص تقني: أنظمة بصمة الاستدلال للنماذج اللغوية الكبيرة

بيان المشكلة

لا يتحدد سلوك النماذج اللغوية الكبيرة (LLMs) من خلال أوزان النموذج فحسب؛ بل إن نظام الاستدلال — الذي يضم محرك الاستدلال، وخلفية الانتباه (attention backend)، ومنصة الأجهزة — يُدخل انحرافات عددية دقيقة ناتجة عن الطبيعة غير التجميعية للحسابات ذات الفاصلة العائمة. وبينما تُعامل هذه الانحرافات عادةً كآثار غير ضارة تعيق قابلية التكرار، تفترض هذه الورقة أنها تسرب معلومات بالغة الأهمية حول البنية التحتية الأساسية.

تحديداً، يمكن للمهاجم الذي يستطيع مراقبة سلوك (المدخل-الاستجابة) لنموذج لغوي كبير (دون الوصول إلى الحالات الداخلية أو احتمالات اللوغاريتمات/logits) استنتاج المكونات المحددة لمكدس الاستدلال (inference stack). هذا التسريب له تداعيات أمنية مباشرة: فمعرفة المحرك المحدد (مثل vLLM أو SGLang) يسمح للمهاجم باستهداف الثغرات الحرجة المعروفة في تلك التنفيذات، بينما يتيح تحديد منصة الأجهزة (مثل A100 مقابل H100) التحقق من ادعاءات الخدمة أو شن هجمات مستهدفة خاصة بالأجهزة.

المنهجية

يقترح المؤلفون طريقة للبصمة تتعامل مع نظام الاستدلال كصندوق أسود، من خلال تحليل المدخلات والمخرجات النصية فقط. ويتكون النهج من مرحلتين رئيسيتين:

1. نموذج التهديد

يُفترض أن المهاجم لديه:

• وصول الدردشة: القدرة على تقديم مطالبات (prompts) عشوائية ومراقبة الاستجابات النصية.
• المعرفة بالنموذج: النموذج اللغوي الكبير المحدد ونص النظام (system prompt) معروفان (يمكن استردادهما عبر طرق بصمة النماذج الموجودة أو هجمات استخراج المطالبة).
• وصول مرجعي دون اتصال (Offline): القدرة على تشغيل واستعلام مجموعة من الأنظمة المرجعية التي تغطي المكونات المرشحة لجمع بيانات التدريب.
• عدم الوصول إلى الاحتمالات (Logits): توزيعات الاحتمالات الداخلية أو الحالات الخفية غير متاحة.

2. بناء مجموعة المطالبات

لعزل الانحرافات العددية في مراحل الحوسبة المختلفة، صاغ المؤلفون أربع مجموعات متميزة من المطالبات ($P_1$ إلى $P_4$):

• $P_1$ (مطالبات الرموز النادرة): تحتوي على رموز نادرة (مثل رموز Unicode غير القياسية) مدمجة في النص. تختبر هذه المجموعة فك التشفير التلقائي (autoregressive decoding)، حيث يمكن للانحرافات الطفيفة في اختيار الرموز منخفضة الاحتمالية أن تغير التنبؤ النهائي.
• $P_2$ (مطالبات القرار الثنائي): مصممة لاستحضار رمز واحد مثل "نعم" أو "لا". تعزل هذه المجموعة مرحلة التعبئة المسبقة (prefill stage)، حيث لا يوجد توليد تلقائي لإخفاء الاختلافات الأولية في المعالجة.
• $P_3$ (مطالبات السياق الطويل): نصوص طويلة تتطلب من النموذج استخراج رقم محدد. تحفز هذه المطالبات التعبئة المسبقة المجزأة (chunked prefill)، مما يكشف عن الانحرافات الناتجة عن تقسيم السياقات الطويلة عبر عمليات مرور متعددة.
• $P_4$ (مطالبات التكرار): طلبات لتكرار جملة عدة مرات. تحفز هذه المطالبات إعادة استخدام بادئة ذاكرة التخزين المؤقت لـ KV (KV-cache prefix reuse)، مما يكشف كيفية إدارة وتحميل الحالات المخزنة مؤقتاً.

3. استخراج الميزات والتصنيف

• التضمين (Embedding): يتم تحويل الاستجابات إلى متجهات ميزات باستخدام وظائف تسجيل النقاط. على سبيل المثال، تستخدم $P_1$ و $P_3$ دوال المؤشر (1 إذا كان الرمز/الرقم المتوقع موجوداً، و0 خلاف ذلك)، بينما تقوم $P_4$ بتطبيع (normalize) عدد التكرارات.
• التصنيف: يتم دمج متجهات الميزات الناتجة وتغذيتها إلى مصنفات الغابة العشوائية (Random Forest) المدربة لتحديد ثلاثة تسميات مستهدفة: محرك الاستدلال، وخلفية الانتباه، ومنصة الأجهزة (GPU).
• التعامل مع العشوائية: بالنسبة لإعدادات درجة الحرارة (temperature) غير الصفرية، تقوم الطريقة بتجميع التنبؤات من عينات متعددة ($k$) لكل مطالبة باستخدام التصويت بالأغلبية للتخفيف من ضجيج أخذ العينات.

النتائج الرئيسية

قيم المؤلفون نهجهم على 30 تكويناً مختلفاً للنظام تجمع بين 4 محركات استدلال، و6 خلفيات انتباه، و3 أجهزة (Nvidia A100, H100, L4) عبر ثلاثة نماذج (Llama-3.2-3B, Qwen2.5-7B, Qwen3-4B).

فك التشفيد الحتمي (درجة الحرارة = 0)

• دقة مثالية: حققت الطريقة دقة بنسبة 100% في تحديد جميع المكونات الثلاثة (المحرك، الخلفية، الـ GPU) عبر جميع النماذج.
• كفاءة المطالبات: كان من الممكن تحقيق تحديد مثالي باستخدام 113 مطالبة فقط إجمالاً، رغم أن التركيبة المثلى للمطالبات تختلف باختلاف النموذج. تم تحديد محركات الاستدلال بشكل أسرع (موثوق بـ 10 مطالبات)، بينما تطلبت الخلفيات والأجهزة بيانات أكثر (100 مطالبة).

فك التشفيد العشوائي (درجة الحرارة > 0)

• المتانة: انخفضت الدقة مع زيادة درجة الحرارة بسبب ضجيج أخذ العينات، لكنها ظلت كبيرة.
  • محرك الاستدلة: بلغ متوسط الدقة ~80% عبر درجات حرارة مختلفة ($T \in \{0.3, 0.6, 0.9\}$).
  • خلفية الانتباه والـ GPU: تراوحت الدقة بين 46% إلى 78% اعتماداً على النموذج ودرجة الحرارة.
• التجميع: استقر الأداء بعد تجميع 10-20 عينة لكل مطالبة، مما يؤكد أن التصويت بالأغلبية يستعيد الإشارة بفعالية.

تحليل المتانة

ظلت عملية البصمة فعالة تحت متغيرات النشر الواقعية:

• نصوص النظام (System Prompts): ظلت الدقة عالية (~99.7%) حتى عند استخدام نصوص نظام خاصة بالتطبيقات بدلاً من النصوص الافتراضية.
• حجم الدفعة (Batch Size): أظهرت الإشارة قدرة جيدة على التعميم عبر أحجام دفعات مختلفة (التدريب على 32/64/128، والاختبار على 256)، مع انخفاض طفيف فقط في الدقة.
• المكونات المملوكة (Propriated Components): عندما يكون المكون (مثل GPU معين) غير مرئي أثناء التدريب، يظل تحديد المكونات الأخرى (المحرك، الخلفية) قوياً، رغم أن تحديد المكون غير المرئي نفسه ينخفض إلى مستوى الاختيار العشوائي.
• عدم تطابق درجة الحرارة: إذا اختلفت درجات حرارة التدريب والنشر بشكل كبير، تنخفض الدقة بشكل كبير، مما يشير إلى ضرورة مواءمة المهاجم لدرجة حرارة التدريب مع الهدف.

الأهمية والادعاءات

تدعي الورقة أنها أول طريقة لبصمة مكونات نظام استدلال النماذج اللغوية الكبيرة (المحرك، الخلفية، الأجهزة) باستخدام أزواج (المطالبة-الاستجابة) فقط دون الوصول إلى الاحتمالات (logits).

يؤكد المؤلفون على ما يلي:

1. التداعيات الأمنية: هذا التسريب ليس مجرد فضول تقني؛ فهو يوفر للمهاجمين المعرفة الدقيقة اللازمة لاستغلال الثغرات المعروفة في محركات الاستدلال واسعة الانتشار مثل vLLM وSGLang.
2. الصعوبة الجوهرية للدفاع: إن منع هذه البصمة هو أمر "صعب جوهرياً" لأن ذلك يتطلب القضاء على الاختلافات العددية بين مجموعات الأجهزة والبرمجيات المتنوعة. توحيد المكدس أمر غير واقعي للإنتاج، وإضافة الضجيج لإخفاء الإشارة يقلل من الفائدة (على سبيل المثال، كسر فك التشفيد الحتمي المطلوب لتوليد الأكواد البرمجية).
3. التخفيف الجزئي: تقترح الورقة أن تحديد معدل الطلبات (rate limiting) هو الدفاع الأكثر عملية، رغم إمكانية تجاوزه عبر هجمات Sybil. إضافة الضجيج ممكنة ولكنها تأتي بتكلفة عالية على فائدة التطبيق.

تخلص الورقة إلى أن مخرجات تعلم الآلة مرتبطة ارتباطاً وثيقاً ببيئة تنفيذها، وأن تجاهل هذا الارتباط يؤدي إلى تسريب المعلومات الذي يهدد سلامة وأمن النظام.