ملخص تقني: التحقق غير المتماثل في عمليات نقل أجهزة الترميز (Tokenizers)

بيان المشكلة

تتناول الورقة ثغرة هيكلية في سلسلة توريد النماذج اللغوية الكبيرة (LLM) ذات الأوزان المفتوحة، وتحديداً ضمن مسارات نقل أجهزة الترميز الخالية من التدريب (training-free tokenizer transplant). فبينما يقوم المطورون بشكل متزايد بتكوين نماذج جديدة عبر دمج نقاط تفتيش (checkpoints) موجودة (مثل استخدام mergekit)، يتعين عليهم سد الفجوات المعجمية بين النموذج "المتبرع" (مصدر الرموز الجديدة) والنموذج "الأساسي" (المستقبل).

تعتمد مشغلات النقل الحالية (مثل OMP وCLP وWECHSEL وFOCUS) على إعادة بناء القاعدة المشتركة (shared-basis reconstruction). تقوم هذه الطرق بإعادة بناء تمثيل (embedding) الرمز الحصري للمتبرع في فضاء النموذج الأساسي عن طريق:

1. ملاءمة مجموعة متفرقة من المعاملات ($\beta$) لتمثيل رمز المتبرع كمجموع مرجح لرموز "مرساة" (anchor tokens) مشتركة في فضاء تمثيل المتبرع.
2. إعادة استخدام تلك المعاملات نفسها لتخليق التمثيل الجديد في فضاء النموذج الأساسي ($\hat{x}_b = \Phi_b^\top \beta$).

يحدد المؤلفون خللاً هندسياً حرجاً وهو: التحقق غير المتماثل (Asymmetric Realizability). حيث يمكن لمتجه المعاملات $\beta$ نفسه أن يؤدي إلى منطقة منخفضة الطاقة وخاملة إحصائياً في نطاق مرساة المتبرع، بينما يؤدي في الوقت ذاته إلى منطقة عالية البروز والاحتمالية في نطاق مرساة النموذج الأساسي. تسمح هذه الفجوة للمهاجم بالتلاعب بالآثار المعجمية للمتبرع لاستحثاث سلوكيات محددة عالية التردد في النموذج الأساسي دون تغيير الأوزان الداخلية للمتبرع أو كود عملية النقل.

المنهجية

يقترح المؤلفون هجوماً باستخدام "رمز كاسر" (breaker token) خالٍ من التدريب يستغل هذا التباين الهندسي. لا يتطلب الهجوم الوصول إلى التدرجات (gradients) للنموذج الأساسي ولا تعديل أوزان المحول (transformer) الخاصة بالمتبرع.

1. بناء الهجوم

يقوم المهاجم بإلحاق رمز جديد واحد $\tau^*$ بجهاز ترميز المتبرع ويقوم بصياغة متجه تمثيله $x_d(\tau^*)$ لتحقيق هدفين متضاربين:

• خمول المتبرع (Donor Inertness): يجب أن يظل الرمز غير مرئي إحصائياً في نموذج المتبرع (احتمالية انبعاث منخفضة). ويتحقق ذلك من خلال تقييد تمثيل الرمز ليكون في الاتجاهات "منخفضة الطاقة" لتوزيع الحالة الخفية للمتبرع (تحديداً، يكون متعامداً مع المكونات الرئيسية للتباين في المتبرع، والتي يُرمز لها بـ $U$).
• بروز الأساس (Base Salience): عند النقل، يجب أن يعاد بناء الرمز إلى اتجاه عالي البروز في النموذج الأساسي. يستهدف المهاجم المتوسط التجريبي للحالات الخفية للطبقة الأخيرة في النموذج الأساسي ($\mu_{base}$) المستمد من النصوص العامة.

2. إطار التحسين

يحل المهاجم مشكلة تحسين ثنائية الأهداف لإيجاد المعاملات المثلى $\alpha$ (أو مباشرة التمثيل $x_d$):
$$\mathcal{L}(\theta) = \underbrace{\| \hat{x}_b(\theta) - \mu_{base} \|_2^2}_{\text{بروز الأساس}} + \lambda \underbrace{\| U x_d(\theta) \|_2^2}_{\text{خمول المتبرع}} + \rho R(\theta)$$

• لـ OMP (البحث المتوازي المتعامد): يستخدم المهاجم استراتيجية اختيار دعم جشعة لاختيار مجموعة فرعية من المراسي المشتركة $S$ وحل المعاملات $\alpha$ التي تقلل من إسقاط المتبرع على $U$ مع تعظيم المحاذاة مع $\mu_{base}$.
• للمشغلات القابلة للتفاضل (CLP, WECHSEL, FOCUS): يقوم المهاجم بتحسين تمثيل المتبرع مباشرة باستخدام التدرج المنحدر، محاكياً الخريطة الأمامية لمشغل محدد أثناء عملية التحسين.

3. أنماط التحقق

توضح الورقة أن الشكل السطحي للرمز الكاسر يكون تحت سيطرة المهاجم. وبناءً على السلسلة النصية المختارة، يمكن للهجوم أن يظهر كـ:

• تدهور الخدمة: يهيمن الرمز على عملية التوليد، مما يتسبب في إخراج نصوص مكررة وغير مفهومة.
• تسميم السمعة: يتم إدراج الرمز (مثل لفظ نابٍ) بشكل متفرق ضمن سلاسل استدلال متماسكة في الأصل.
• العلامة المائية العدائية: يتم إلحاق علامة خفية بالمخرجات، مما يسمح للمهاجم بتتبع الاستخدام غير المصرح به للمفردات المخترقة.

المساهمات الرئيسية

1. تحديد التحقق غير المتماثل: تصنف الورقة رسمياً الخاصية الهندسية حيث تسمح إعادة بناء القاعدة المشتركة لمتجه معاملات واحد بأن يكون "صامتاً" في فضاء المتبرع ولكنه "صاخب" في فضاء الأساس. وقد تم إثبات ذلك عبر تحليل تفكيك القيم المفردة المعممة (GSVD) لقواميس المرساة المزدوجة.
2. بناء الرمز الكاسر: يقدم المؤلفون طريقة ملموسة وخالية من التدريب لبناء هذه الرموز. وقد أثبتوا أن نموذجاً واحداً من المتبرعين (مثل Gemma-2-2B) يمكن استخدامه لشن هجوم على 13 نموذجاً أساسياً مختلفاً عبر خمس عائلات من النماذج (Llama, Mistral, Qwen, Gemma, SmolLM2) ببساطة عن طريق إلحاق صفوف كاسرة مختلفة لكل هدف.
3. تقييم الدفاعات:
   • المرشحات الطيفية (Spectral Filters): تفشل أدوات الكشف الاستدلالية القياسية (مثل Magikarp، التي تتحقق من انهيار المعيار أو المحاذاة العشوائية) في اكتشاف الرموز الكاسرة لأن الرموز مصممة لمحاكاة التوزيع الإحصائي لرموز المتبرع الطبيعية (المحاكاة الطيفية).
   • ضبط LoRA الدقيق: يعمل ضبط LoRA بعد عملية النقل على كبح الهجوم فقط في المطالبات (prompts) التي تطابق مجموعة بيانات الضبط، أما في المطالبات خارج التوزيع (OOD)، فيستمر الهجوم بمعدل انبعاث تسلسلي (SER) مرتفع.
   • دمج الأوزان: دمج النموذج الأساسي المهاجم مع نموذج مرجعي نظيف لا يزيل الاتجاه المزروع؛ إذ يرث النموذج المدمج الصف الملوث.

النتائج التجريبية

قيم المؤلفون طريقتهم عبر 65 زوجاً من (المتبرع-الأساس) (بما في ذلك 20 زوجاً لـ "النخبة خفيفة الوزن" و65 زوجاً لـ "المقياس القياسي") باستخدام OMP، مع التحقق من العمل عبر المشغلات المختلفة (CLP, WECHSEL, FOCUS).

• عدم التماثل: في مجموعة النخبة خفيفة الوزن، حقق 13 من أصل 20 زوجاً أقصى معدل انبعاث تسلسلي (SER) قدره $\ge 0.2$ في النموذج الأساسي المهاجم مع الحفاظ على SER للمتبرع $\le 0.05$. حققت عدة أزواج انبعاثاً كاملاً (SER = 1.0) في الأساس بينما ظلت صامتة تماماً (SER = 0.0) في المتبرع.
• الحفاظ على المنفعة: احتفظت نماذج المتبرع التي تم إصلاحها بـدرجات المنفعة الأصلية (مثل MMLU وWikitext perplexity) في الاختبارات القياسية، مما يؤكد سرية الهجوم.
• الوصول عبر النماذج: نجح نموذج Gemma-2-2B واحد في مهاجمة 13 أساساً مختلفاً. تجاوز متوسط SER للأساس 0.99 في 8 من هذه النماذج، بينما ظل SER للمتبرع أقل من 0.014.
• فشل الدفاع: فشل ضبط LoRA الدقيق في تخفيف الهجوم على توزيعات خارج التوزيع (OOD) (مثل استمرار WikiText)، حيث ظل SER فوق 0.87 حتى بعد الضبط.

الأهمية والادعاءات

تدعي الورقة أن هندسة إعادة استخدام المعاملات هي معيار تصميم جوهري لمشغلات نقل أجهزة الترميز تم التغاضي عنه. ويرى المؤلفون أن:

• مخاطر سلسلة التوريد: سلسلة توريد تكوين الأوزان المفتوحة معرضة لهجمات "واحد-إلى-متعدد" حيث يمكن لمتبرع واحد خبيث أن يفسد مجموعة واسعة من النماذج التابعة دون الحاجة إلى تكيف خاص لكل ضحية.
• محدودية الدفاعات الحالية: إن أدوات التدقيق الاستدلالية (المرشحات الطيفية) واستراتيجيات التخفيف اللاحقة (LoRA، دمج الأوزان) غير كافية ضد هذا النوع المحدد من الهجمات الهندسية.
• دعوة للعمل: يقترح المؤلفون أنه يجب على مشغلات النقل المستقبلية تضمين تحقق من جانب المستقبل لصفوف التمثيل المُخلّقة (على سبيل المثال، التحقق من عدم التماثل في التحقق أو استخدام التدقيق السلوكي) بدلاً من الاعتماد فقط على افتراض أن إعادة استخدام المعاملات أمر آمن. كما يقدمون أداة تشخيصية ملموسة (طاقة عدم تماثل GSVD) لتقييم متانة المشغلات الجديدة.

لا تدعي الورقة كسر قدرات الاستدلال الجوهرية للنماذج بشكل عام، بل تسلط الضوء على فشل هيكلي محدد في طبقة التوافق التشغيلي (interoperability layer) لنظام النماذج اللغوية الكبيرة، والذي يسمح بالتلاعب المستهدف والمستمر والمتخفي لمخرجات النماذج.