💬 NLP

How Vulnerable Are Edge LLMs?

تُثبت هذه الورقة أن التكميم وحده يفشل في حماية النماذج اللغوية الكبيرة المنشورة على الحافة من هجمات استخراج المعرفة، حيث تقدم إطار عمل CLIQ لاستعادة المعلومات الدلالية من النماذج المكممة بشكل منهجي وبكفاءة أكبر من طرق الاستعلام القياسية.

المؤلفون الأصليون: Ao Ding, Hongzong Li, Zi Liang, Zhanpeng Shi, Shuxin Zhuang, Shiqin Tang, Rong Feng, Ping Lu

نُشر 2026-03-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ao Ding, Hongzong Li, Zi Liang, Zhanpeng Shi, Shuxin Zhuang, Shiqin Tang, Rong Feng, Ping Lu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: خطر "الدماغ الجيبي" الأمني

تخيل أن لديك دماغاً ذكياً للغاية (نموذج لغوي كبير، أو LLM) يعيش عادةً في مركز بيانات ضخم ومكلف. ولجعله مفيداً لهاتفك أو حاسوبك المحمول، يقوم المهندسون بتصغيره وضغطه بحيث يمكنه العمل على جهازك دون الحاجة إلى الإنترنت. هذا ما يسمى بـ "النموذج اللغوي الطرفي" (Edge LLM).

ولجعل هذا "الدماغ الجيبي" صغيراً بما يكفي، يستخدمون تقنية تسمى "الكمية" (Quantization). فكر في الأمر كأنك تأخذ فيلماً عالي الدقة بدقة 4K وتقوم بضغطه ليصبح فيديو منخفض الدقة وباهت بدقة 144p لتوفير المساحة. لا تزال الصورة موجودة، لكنها تصبح مشوشة ومليئة بالضجيج.

السؤال الكبير: تسأل الورقة البحثية: "إذا جعلنا الذكاء الاصطناعي باهتاً (مشوشاً) وقمنا بتشغيله على جهاز ذي بطارية وسرعة محدودة، فهل سيكون آمناً؟ هل لا يزال بإمكان المخترق سرقة أسراره؟"

المفهوم الخاطئ: "الباهت يعني آمناً"

اعتقد الكثيرون أنه نظرًا لأن الذكاء الاصطناعي مضغوط (باهت) وأن الجهاز لديه قيود صارمة (لا يمكنك طرح مليون سؤال متتالي)، فإنه سيكون آمناً من المخترقين الذين يحاولون "سرقة" معرفته.

يقول المؤلفون: لا، ليس آمناً.

مجرد كون الفيديو باهتاً لا يعني أن حبكة الفيلم قد اختفت. يمكن لمخترق ذكي أن يكتشف بالضبط ما يعرفه الذكاء الاصطناعي، حتى من خلال هذا التشويش، إذا طرح الأسئلة الصحيحة.

الحل: المحقق "CLIQ"

تقدم الورقة طريقة جديدة تسمى CLIQ (الاستعلام الموجه عبر العناقيد - Clustered Instruction Querying). وإليك كيف تعمل باستخدام استعارة:

الطريقة القديمة (الاستقصاء العشوائي الساذج)

تخيل أنك تحاول تعلم مخطط متحف ضخم ومظلم (معرفة الذكاء الاصطناعي) عن طريق رمي السهام على خريطة.

المشكلة: إذا رميت السهام عشوائياً، فقد تصيب نفس الجدار عشر مرات متتالية، أو تفقد المعارض المثيرة للاهتمام تماماً.
النتيجة: أنت تضيع عدد سهامك المحدود (الاستعلامات) على أماكن مملة ومتكررة. أنت تتعلم القليل جداً عن المتحف.

طريقة CLIQ (الاستقصاء المنظم)

الآن، تخيل أنك محقق ذكي يقوم أولاً بتقسيم المتحف إلى غرف (عناقيد) بناءً على ما يوجد بداخلها (مثل "غرفة العلوم"، "غرفة التاريخ"، "غرفة الفن").

الاستراتيجية: بدلاً من رمي السهام عشوائياً، ترسل خبيراً واحداً إلى غرفة العلوم، وآخر إلى غرفة التاريخ، وآخر إلى غرفة الفن.
السحر: تطلب من كل خبير أن يجد أكثر شيء مثير للاهتمام في غرفته المحددة.
النتيجة: في نفس القدر من الوقت (أو بعدد أقل من السهام)، تحصل على خريطة كاملة وعالية الجودة للمتحف بأك. لم تضع وقتك في ضرب نفس الجدار مرتين.

ما وجدوه

اختبر الباحثون ذلك على نماذج ذكاء اصطناي حقيقية (مثل Qwen) تعمل على الهواتف مع ضغط شديد (INT4 و INT8).

الضغط ليس درعاً: على الرغم من أن الذكاء الاصطناعي كان "باهتاً" (مكمماً)، إلا أن المخترقين (باستخدام CLIQ) استطاعوا إعادة بناء سلوك الذكاء الاصطناعي بشكل شبه مثالي.
الهيكلية تتفوق على الكمية: لم يكن المخترقون بحاجة لطرح ملايين الأسئلة. كانوا بحاجة فقط لطرح الأسئلة الصحيحة بطريقة منظمة.
نموذج "الطالب": من خلال طرح هذه الأسئلة الذكية، تمكنوا من تدريب ذكاء اصطناعي جديد وصغير (نموذج "طالب") ليعمل تماماً مثل الذكاء الاصطناعي الكبير والسرّي (نموذج "المعلم"). وهذا يثبت أن المعرفة السرية قد سُرقت بنجاح.

لماذا يجب أن تهتم؟

هذه الورقة البحثية هي بمثابة جرس إنذار لكل من يبني ذكاءً اصطناعياً للهواتف، أو السيارات، أو الساعات الذكية.

الأسطورة: "إذا ضغطنا الذكاء الاصطناعي وشغلناه دون اتصال بالإنترنت، فسيكون آمناً".
الواقع: "إذا ضغطنا الذكاء الاصطنانا، فسيظل عرضة لمخترقين أذكياء يعرفون كيفية طرح الأسئلة الصحيحة".

الخلاصة:
لا يمكنك الاعتماد فقط على "تصغير الذكاء الاصطناعي" لحمايته. إذا كنت تريد الحفاظ على أسرار ذكائك الاصطناعي آمنة، فأنت بحاجة إلى دفاعات أفضل ضد الأسئلة الذكية، وليس مجرد ضغط أفضل. تشير الورقة إلى أن الطريقة التي نطرح بها الأسئلة (الهيكلية) أهم بكثير من جودة "بهتان" الذكاء الاصطناعي.

ملخص الاستعارة

فكر في الذكاء الاصطناعي كأنه مكتبة.

الكمية (Quantization) تشبه وضع الكتب في صناديق وطمس العناوين.
الاستعلامات العشوائية تشبه لصاً يركض بعمى، ويمسك بصناديق عشوائية ويأمل في العثور على كتاب.
CLIQ تشبه لصاً لديه خريطة لأقسام المكتبة. يذهب مباشرة إلى قسم "التاريخ"، يختار أهم كتاب، ثم ينتقل إلى "العلوم"، يختار أهم كتاب، وهكذا.

حتى مع وجود الصناديخ والضبابية، يمكن للص thief الذي يمتلك الخريطة (CLIQ) إعادة بناء مجموعة المكتبة بأكملة بشكل أسرع وأكثر دقة من اللص الذي يركض بعشوائية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "ما مدى ضعف نماذج اللغات الكبيرة (LLMs) عند الحافة؟"

1. بيان المشكلة

يتم نشر نماذج اللغات الكبيرة (LLMs) بشكل متزايد على أجهزة الحافة ذات الموارد المحدودة (مثل الهواتف الذكية، وإنترنت الأشياء) لتمكين الاستدلال منخفض التأخير والحفاظ على الخصوصية. ولتكييف هذه النماذج مع أجهزة الحافة، تخضع لعمليات تكميم شديدة الدقة (low-bit quantization) (مثل INT4 أو INT8)، مما يقلل من تكاليف الذاكرة والحوسبة ولكنه يؤدي إلى ضجيج في التقطيع وعدم استقرار في المخرجات.

السؤال الأمني الجوهري:
هل يعمل التكميم (Quantization) بفعالية على حماية هذه النماذج من استخراج المعرفة القائم على الاستعلام (query-based knowledge extraction) (سرقة النموذج)؟

الافتراض السابق: يعمل التكميم على إضعاف دقة النموذج، مما يجعل من الصعب على المهاجمين استعادة المعرفة الدلالية الأساسية أو السلوك من خلال الاستعلامات "الصندوق الأسود"، خاصة في ظل ميزانيات الاستعلام الصارمة (query budgets) (عدد محدود من التفاعلات بسبب قيود زمن الاستجابة، والطاقة، ومعدلات الاستخدام) المتأصلة في سيناريوهات الحافة.
الفجوة: بينما يضيف التكميم ضجيجاً، فإنه لا يمحو المعرفة الدلالية المشفرة في المعلمات (parameters). تبحث الورقة فيما إذا كان يمكن لـ الاستعلامات المهيكلة بعناقة تجاوز الضجيج والازدواجية الناتجة عن أخذ العينات العشوائية لاستخراج المعرفة السلوكية من نماذج الحافة المكممة بكفاءة.

2. المنهجية: CLIQ (الاستعلام التعليماتي العنقودي)

يقترح المؤلفون إطار عمل CLIQ (Clustered Instruction Querying)، وهو إطار لبناء استعلامات مهيكلة مصمم لتعظيم التغطية الدلالية مع تقليل الازدواجية في ظل ميزانيات استعلام صارمة. يعمل الإطار عبر ثلاث مراحل:

تقسيم الاستعلام الدلالي:
- يتم رسم خريطة لمجموعة أولية من التعليمات المرشحة في فضاء تضمين دلالي (semantic embedding space) باستخدام مشفر جمل (مثل Sentence-BERT).
- يقوم التجميع غير الخاضع للإشراف (مثل MiniBatchKMeans) بتقسيم المجموعة إلى $K$ من العناقيد الدلالية، حيث يمثل كل عنقود منطقة متميزة في فضاء التعليمات.
بناء استعلام مدرك للعناقيد:
- بدلاً من أخذ العينات العشوائية، يقوم CLIQ بتوليد مجموعة صغيرة من الاستعلامات التمثيلية لكل عنقود.
- يتم توجيه نموذج لغوي "معلم" (teacher) قوي باستخدام أمثلة خاصة بكل عنقود لتوليد تعليمات جديدة تتسم بـ:
  - التمثيل الدلالي: التقاط الجوهر الأساسي للعنقود.
  - التنوع: ضمان التباين داخل العنقود الواحد.
  - الضبط: الحفاظ على التعقيد المناسب لتجنب عدم الاستقرار في النماذج المكممة.
- يضمن ذلك توزيع ميزانية الاستعلام بالتساوي عبر المشهد الدلالي بدلاً من إهدارها في مطالبات متداخلة ومكررة.
إعادة بناء السلوك (التقطير - Distillation):
- يقوم المهاجم بجمع الاستجابات من نموذج الحافة المكمم (المعلم) باستخدام الاستعلامات التي تم إنشاؤها بواسطة CLIQ.
- يتم تدريب نموذج طالب (student model) مدمج لمحاكاة سلوك المعلم باستخدام أزواج (الاستعلام-الاستجابة) هذه.
- مقياس النجاح: إذا حقق النموذج الطالب دقة عالية (مطابقة أداء المعلم) باستخدام عدد محدود من الاستعلامات، فإن ذلك يثبت أنه تم استخراج معرفة سلوكية كبيرة.

3. المساهمات الرئيسية

كشف المخاطر الأمنية: تثبت الورقة أن التكميم ليس دفاعاً كافياً ضد استخراج النموذج. حتى في ظل التكميم الشديد (INT4/INT8) وميزانيات الاستعلام المحدودة، يمكن استعادة قدر كبير من المعرفة السلوكية.
إطار عمل CLIQ: تقديم طريقة استعلام مهيكلة ومبتكرة تتفوق على أخذ العينات العشوائية البسيطة من خلال تنظيم الاستعلامات دلالياً.
الأدلة التجريبية: تجارب شاملة تظهر أن تصميم الاستعلام هو العامل الحاكم في قابلية الاستخراج في بيئات الحافة، وليس مجرد دقة النموذج.

4. النتائج التجريبية

قيم المؤلفون إطار CLIQ باستخدام عائلة نماذج Qwen (Qwen2.5-7B كمعلم، وQwen3-1.7B/1.8B كطلاب) تحت تكميم INT4 وINT8.

تفوق الأداء:
- تفوق CLIQ باستمرار على "الاستعلامات الأصلية" (المأخوذة عشوائياً من مجموعات البيانات) في جميع المقاييس: BERT-F1، BLEU، ROUGE-1، ROUGE-L، وROUGE-Lsum.
- مثال: على نموذج طالب 1.7B مكمم بـ INT8، حقق CLIQ درجة BERT-F1 بلغت 84.35%، وهي أعلى بكثير من الـ 77.97% التي حققتها الاستعلامات الأصلية.
- في بعض الحالات، طابق النموذج الطالب المستخلص أو حتى تجاوز أداء النموذج المعلم الأصلي، رغم كون المعلم مكمماً.
كفاءة وديناميكيات التدريب:
- التقارب السريع: أظهرت النماذج المدربة بـ CLIQ مكاسب سريعة في الأداء خلال أول 200-300 خطوة تدريب، بينما أظهرت النماذج المدربة على استعلامات عشوائية مسارات مسطحة.
- كفاءة العينات: وصل CLIQ إلى تشبع الأداء بعد عدد أقل من الاستعلامات (حوالي 300) مقارنة بأخذ العينات العشوائية، التي تطلبت استعلامات أكثر للوصول إلى سقف أداء أدنى.
المتانة تجاه التكميم:
- ظل CLIQ فعالاً حتى تحت تكميم INT4 (الإعداد الأكثر صرامة)، محققاً درجة BERT-F1 بلغت 82.92% مقارنة بـ 80.03% للاستعلامات العشوائية. وهذا يؤكد أن السبر (probing) المهيكل يمكنه التغلب على الضجيج الناتج عن الدقة منخفضة البت.
تحليل الآلية:
- التغطية مقابل الازدواجية: أظهرت التصورات (UMAP) أن الاستعلامات العشوائية تتكتل بكثافة في مناطق دلالية محددة، تاركة فجوات. بينما وفر CLIQ تغطية موحدة عبر الفضاء الدلالي.
- التنوع داخل العنقود: قلل CLIQ من تشابه جيب التمام (cosine similarity) بين الاستعلامات داخل نفس العنقود، مما يضمن تعلم النموذج الطالب لأنماط متنوعة بدلاً من حفظ إشارات مكررة.

5. الأهمية والآثار المترتبة

تحول في نموذج أمن الحافة: تتحدى النتائج الافتراض القائل بأن نشر النماذج على أجهزة الحافة مع التكميم يوفر حماية متأصلة. تكمن الثغرة الأمنية الأساسية في استراتيجية الاستعلام، وليس فقط في دقة النموذج.
الآثار الدفاعية: مجرد تكميم النموذج ليس حماية كافية. يجب أن تأخذ الدفاعات المستقبلية لنماذج الحافة في الاعتبار:
- مراقبة وتحديد أنماط الاستعلام (لاكتشاف عمليات السبر المهيكلة).
- تنفيذ اضطراب المخرجات (output perturbation) أو حقن الضجيج المصمم خصيصاً لتعطيل التجميع الدلالي.
- إعادة التفكير في حدود معدل الوصول (rate limits) وضوابط الوصول للنماذج الموجودة على الأجهزة.
التأثير الأوسع: يسلط هذا العمل الضوء على فجوة حرجة في أمن منظومة "ذكاء الحافة" (Edge AI) المتنامية بسرعة، ويحث المطورين وصناع السياسات على معالجة خطر تسرب السلوك.

في الختام، تثبت الورقة أن بناء الاستعلام المهيكل (CLIQ) هو أداة قوية لاستخراج المعرفة من نماذج الحافة المكممة، مما يثبت أن التغطية الدلالية أكثر أهمية بكثير من حجم الاستعلام عند مهاجمة أو تقطير هذه النماذج.