🤖 AI

Functional Subspace Watermarking for Large Language Models

تقترح هذه الورقة البحثية "العلامة المائية للمجال الوظيفي" (FSW)، وهي إطار عمل قوي يرسخ إشارات الملكية في عمود فقري وظيفي مستقر ومنخفض الأبعاد للنماذج اللغوية الكبيرة لضمان الكشف الموثوق ضد الاضطرابات على مستوى المعلمات مثل الضبط الدقيق والكمية مع الحفاظ على فائدة النموذج.

المؤلفون الأصليون: Zikang Ding, Junhao Li, Suling Wu, Junchi Yao, Hongbo Liu, Lijie Hu

نُشر 2026-03-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zikang Ding, Junhao Li, Suling Wu, Junchi Yao, Hongbo Liu, Lijie Hu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تملك روبوت طباخاً موهوباً للغاية ومصنوعاً خصيصاً لك. لقد أمضيت سنوات في تدريبه لصنع "السوفليه" المثالي. والآن، تريد بيع هذا الروبوت، لكنك قلق: ماذا لو اشتراه شخص ما، ثم عدّل الوصفة قليلاً، أو غيّر الأسلاك الداخلية للروبوت، أو حتى نسخ "دماغه" ووضعه في روبوت أصغر وأرخص، ثم ادعى أنه هو من اخترع وصفة السوفليه؟

هذه هي المشكلة التي يحاول "الوسم المائي في الفضاء الفرعي الوظيفي" (Functional Subspace Watermarking - FSW) حلها بالنسبة للنماذج اللغوية الكبيرة (روبوتات الدردشة بالذكاء الاصطناعي).

إليك شرح مبسط لكيفية عمل هذه الورقة البحثية، باستخدام تشبيهات من الحياة اليومية.

المشكلة: "الوشم الهش"

حالياً، إذا أردت إثبات أن هذا الذكاء الاصطناعي ملك لك، فقد تحاول وضع "وشم رقمي" (علامة مائية) عليه.

الطريقة القديمة: تخيل أنك وضعت وشماً على شكل نقطة صغيرة على إصبع الروبوت. إذا قرر مالك الروبوت تصغير حجم الروبوت (الكمّنة/Quantization)، أو قطع إصبعاً منه (التقليم/Pruning)، أو إعادة تدريب الروبوت على بيانات جديدة (الضبط الدقيق/Fine-tuning)، فقد يُمحى هذا الوشم أو يتشوه. حينها يمكن للسارق أن يقول: "انظروا، لا يوجد وشم. هذا الروبوت ملكي".
التحدي: نماذج الذكاء الاصطناعي ضخمة ومعقدة. وتغيير إعداداتها لجعلها أسرع أو أصغر غالباً ما يؤدي إلى مسح هذه العلامات المائية البسيطة عن طريق الخطأ.

الحل: "روح الآلة"

يقترح مؤلفو هذه الورقة طريقة أكثر ذكاءً. فبدلاً من وشم الإصبع، هم يوشمون "روح الروبوت"—ذلك الجزء المحدد من دماغه الذي يجعله بارعاً حقاً في الطبخ.

يطلقون على ذلك اسم الفضاء الفرعي الوظيفي (Functional Subspace). فكر في الأمر كالتالي:

لكل ذكاء اصطناعي ملايين الإعدادات الداخلية (المعلمات/Parameters).
معظم هذه الإعدادات ليست سوى "ضجيج" أو تعديلات طفيفة.
لكن هناك مجموعة صغيرة ومحددة من الإعدادات هي جوهرية. إذا عبثت بها، سيتوقف الروبوت عن صنع السوفليه ويبدأ في صنع فطائر من الطين.
الاستنتاج: نظرًا لأن هذه الإعدادات الحرجة مهمة جداً لوظيفة الروبوت، فإن الروبوت لا يمكنه تغييرها دون أن يفقد قدرته على العمل. لذلك، هذه الإعدادات هي المكان الأكثر استقراراً لإخفاء العلامة المائية.

كيف يعمل الأمر (وصفة الخطوات الثلاث)

1. البحث عن "الخيط الذهبي" (الجزء الرياضي)

يستخدم الباحثون أداة رياضية خاصة (تسمى مشكلة القيم الذاتية المعممة/Generalized Eigenvalue Problem) للعثور على تلك المجموعة الصغيرة والمستقرة من الإعدادات.

تشبيه: تخيل "البلبل" (الدوامة) أثناء دورانها. إذا دفعتها بقوة، ستترنح. ولكن هناك محور محدد تدور حوله ولا يتغير أبداً مهما دفعتها بقوة. الباحثون يجدون هذا "المحور" في دماغ الذكاء الاصطناعي. هم يعلمون أنه إذا حاول الذكاء الاصطناعي تغيير هذا المحور، فسوف يكسر قدرته على الإجابة على الأسئلة. لذا، هذا المحور آمن لاستخدامه كعلامة مائية.

2. مرشح "غولدي لوكس" (القطع التكيفي)

هم لا يختارون أي جزء مستقر فحسب؛ بل يجب أن يكونوا حذرين.

حساس جداً: إذا اختاروا جزءاً يتغير بسهولة، فستختفي العلامة المائية عند تعديل الذكاء الاصطناعي.
باهت جداً: إذا اختاروا جزءاً غير مهم، فيمكن للذكاء الاصطناعي تغييره بسهولة لإخفاء العلامة المائية.
الحل: يستخدمون استراتيجية "غولدي لوكس" (التي تجد الشيء المناسب تماماً). إنهم يختارون الإعدادات "المثالية تماماً"—مستقرة بما يكفي لتنجو من التغييرات، ومهمة بما يكفي لكي لا يستطيع الذكاء الاصطناعي تجاهلها.

3. "الشبح في الآلة" (التضمين)

بمجرد العثور على هذا "الروح" المستقرة، يقومون بحقن رمز سري (العلامة المائية) فيها.

شبكة الأمان: يضيفون قاعدة: "يمكنك تغيير الرمز، ولكن يجب أن تعد بأن يظل طعم الروبوت كما هو". هذا يضمن أنه بينما يتم إخفاء الرمز السري في الداخل، فإن قدرة الروبوت على كتابة القصص أو حل المسائل الرياضية لن تسوء.

لماذا يعد هذا تغييراً جذرياً في قواعد اللعبة؟

اختبرت الورقة هذا الأسلوب ضد "اللصوص" (الهجمات):

الضبط الدقيق (Fine-tuning): قام السارق بإعادة تدريب الذككاء الاصطناعي على بيانات جديدة. النتيجة: نجت العلامة المائية.
الكمّنة (Quantization): قام السارق بضغط الذكاء الاصطناعي لجعله أصغر (مثل تحويل صورة عالية الدقة إلى صورة منخفضة الدقة). النتيجة: نجت العلامة المائية.
التقطير (Distillation): قام السارق بنسخ معرفة الذكاء الاصطناعي ونقلها إلى نموذج أصغر وأرخص. النتيجة: نجت العلامة المائية.

حتى عندما تم تعديل الذكاء الاصطناعي بشكل كبير، ظلت "الروح" سليمة، وظل الرمز السري موجوداً، مما يثبت حقوق المالك الأصلي.

الخلاصة

فكر في هذه الطريقة كأنها إخفاء علامة مائية في أساس المنزل بدلاً من رسمها على الباب الأمامي.

إذا قام لص بطلاء الباب (تغيير السطح)، فستختفي العلامة المائية.
ولكن إذا حاول اللص تحريك الأساس (تغيير المنطق الجوهري)، سينهار المنزل. وبما أنهم بحاجة لبقاء المنزل قائماً، فلا يمكنهم لمس الأساس.
لذلك، العلامة المائية في الأساس ستكون آمنة للأبد.

تقدم هذه الورقة لمبتكري الذكاء الاصطناعي وسيلة لإثبات: "هذا الذكاء الاصطناعي ملكي"، حتى لو حاول شخص ما تمويهه، أو تصغيره، أو نسخه. إنها درع غير مرئي وقوي لحماية الملكية الفكرية في عصر الذكاء الاصطناعي.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Functional Subspace Watermarking for Large Language Models" (FSW).

1. بيان المشكلة

أدى الانتشار السريع للنماذج اللغوية الكبيرة (LLMs) إلى تكثيف المخاوف بشأن ملكية النماذج ومنشئها. وبينما توجد تقنيات العلامات المائية للمحتوى (دمج إشارات في النص المُولد)، إلا أنها عرضة لهجمات التقطير (distillation attacks) حيث يقوم "النموذج الطالب" بإعادة إنتاج القدرات دون الحفاظ على الإشارات الموجودة على مستوى المخرجات.

تواجه العلامات المائية للنماذج، التي تدمج الملكية في أوزان النموذج أو تمثيلاته الداخلية، تحديًا حاسمًا: المتانة ضد الاضطرابات على مستوى المعلمات (parameters). غالبًا ما تفشل الطرق الحالية عندما يخضع النموذج لتعديلات واقعية مثل:

الضبط الدقيق (SFT/LoRA): تعديل الأوزان لمهام محددة.
الكمية (Quantization): تقليل الدقة (مثل INT4/INT8).
تقطير المعرفة (Knowledge Distillation): ضغط نموذج كبير في نموذج أصغر.
التقليم (Pruning): إزالة الخلايا العصبية أو الروابط.

تؤدي هذه التعديلات حتمًا إلى تشويه التمثيلات الداخلية، مما يتسبب في مسح العلامات المائية التقليدية أو جعلها غير قابلة للكشف. المشكلة الجوهرية تكمن في تحديد فضاء فرعي تمثيلي (representation subspace) يكون حاسمًا لأداء المهمة (لمنع إزالته) وفي الوقت نفسه مستقرًا تحت الضغط (للنجاة من التعديلات).

2. المنهجية: العلامة المائية للفضاء الفرعي الوظيفي (FSW)

يقترح المؤلفون إطار عمل FSW، وهو نظام يرسخ إشارات الملكية في "عمود فقري وظيفي" (functional backbone) منخفض الأبعاد للنموذج. تتبع المنهجية مسارًا مهيكلًا:

أ. استخراج التمثيل

يستخرج النظام تمثيلات الحالة الخفية ( $r(x)$ ) من طبقة وسيطة ثابتة في النموذج اللغوي الكبير. تعمل هذه الطبقة كعنق زجاجة للمعلومات للتنبؤ بالرمز التالي (next-token prediction)، مما يجعلها حاملًا مثاليًا للعلامات المائية على المستوى الدلالي.

ب. تحليل الهندسة وبناء الفضاء الفرعي

لإيجاد الفضاء الفرعي المستقر، يحلل FSW خاصيتين متنافستين لاتجاهات التمثيل:

الحساسية الوظيفية: تُقاس عبر مصفوفة معلومات فيشر (Fisher Information Matrix - $F$ ). الاتجاهات ذات الحساسية العالية تشفر المعرفة الجوهرية؛ واضطرابها يغير توزيع المخرات بشكل كبير، مما يجعلها مقاومة للتقليم.
الثبات تحت الضغط: يُقاس عبر مصفوفة الثبات تحت الضغط ( $C_A$ ). تقوم هذه المصفوفة بنمذجة التباين الناتج عن عمليات الضغط (الإسقاط الخطي، ضجيج الكمية، والحذف الهيكلي). الاتجاهات ذات التباين المنخفض في $C_A$ تظل مستقرة تحت الضغط.

ج. مشكلة القيم الذاتية المعممة (GEVP)

يصيغ FSW البحث عن الفضاء الفرعي الأمثل كمسألة GEVP:
$F u_i = \lambda_i C_A u_i$
تمثل القيمة الذاتية المعممة $\lambda_i$ درجة المتانة. تشير $\lambda_i$ العالية إلى اتجاه يكون حاسمًا للمهمة (عالي $F$ ) ومستقرًا تحت الضغط (منخفض $C_A$ ) في آن واحد.

د. التقطيع الطيفي التكيفي

إن مجرد اختيار أعلى- $k$ من القيم الذاتية قد يؤدي إلى تدهور فائدة النموذج، بينما اختيار القيم المنخفضة يؤدي إلى سهولة الإزالة. يقدم FSW استراتيجية تقطيع طيفي تكيفية لاختيار نطاق محدد من القيم الذاتية ( $\tau_{lower} \cdot \lambda_1 \le \lambda_i \le \tau_{upper} \cdot \lambda_1$ ) يوازن بين المتانة والفائدة.

هـ. دمج العلامة المائية والتحقق منها

الإسقاط المرتكز (Anchored Projection): يقوم النموذج بإسقاط التمثيلات في الفضاء الفرعي المحدد $U^*$ بالنسبة لمتوسط عالمي.
قيد اتساق المتجهات (Vector Consistency Constraint): يضمن دالة الخسارة ( $L_{con}$ ) بقاء إسقاطات النموذج المزود بالعلامة المائية قريبة من النموذج الأصلي، مما يحافظ على الأداء الدلالي.
الدمج: تقوم وظيفة تعتمد على الهامش (margin-based objective) بحقن مفاتيح سرية متعامدة في الفضاء الفرعي.
التحقق: يتم التحقق من الملكية عبر اختبار إحصائي على درجة كشف مجمعة ( $S$ )، تُحسب عبر مجموعة تحدي.

3. المساهمات الرئيسية

إطار عمل FSW: طريقة مبتكرة تدمج العلامات المائية في عمود فقري وظيفي يتم تحديده عبر GEVP، مما يفصل صراحةً بين الحساسية الحرجة للمهمة والتباين الناتج عن الضغط.
التقطيع الطيفي التكيفي: استراتيجية لاختيار أبعاد الفضاء الفرعي الأمثل، وتجنب انهيار الفائدة المرتبط بالاختيار الساذج لأعلى- $k$ .
قيد اتساق المتجهات: يضمن أن حقن العلامة المائية لا يخل بقدرات التوليد الأصلية للنموذج.
القابلية للتحقق الإحصائي: يحول التحقق من الملكية إلى اختبار إحصائي صارم مع معدل خطأ (FPR) منخفض بشكل مثبت.

4. النتائج التجريبية

قيم المؤلفون FSW عبر بنيات متنوعة (LLaMA-2/3, Qwen2.5, Mistral, DeepSeek) ومجموعات بيانات مختلفة.

الحفاظ الوظيفي: يحافظ FSW على أداء عالٍ للمهام. على سبيل المثال، في LLaMA-3-8B، كانت زيادة الارتياب (perplexity) هي +0.37 فقط، وظلت الدقة تنافسية مع الضبط الدقيق النظيف.
المتانة ضد الهجمات:
- التقطير: حتى بعد "تقطير العمود الفقري" (Backbone Distillation)، حافظ FSW على دقة بت عالية (مثلاً 100% على DeepSeek-7B-Chat).
- الكمية والتقليم: غالبًا ما تزداد درجات الكشف أو تظل مستقرة بعد كمية INT4 وتقليم المقدار (magnitude pruning).
- الضبط الدقيق باستخدام LoRA: نجت العلامة المائية من التكيف بكفاءة المعلمات مع حد أدنى من التدهور في درجات الكشف.
الأهمية الإحصائية: حققت الطريقة دقة بت شبه مثالية (100%) ودرجة AUC عالية (تصل إلى 1.000) عبر النماذج. ظلت هامش الكشف كبيرة حتى عند مستويات أهمية قصوى ( $\alpha = 10^{-8}$ )، مما يرفض بفعالية فرضية العدم للضجيج العشوائي.
دراسات الاستئصال (Ablation Studies): أدى إزالة مكونات مثل "التحديد التكيفي" أو "الإسقاط المرتكز" إلى انخفاض كارثي في دقة الكشف (على سبيل المثال، الانخفاض إلى 12.5% في دقة البت)، مما يثبت ضرورة إطار العمل الكامل.

5. الأهمية

تعالج هذه الورقة فجوة حرجة في أمن النماذج اللغوية الكبيرة: ضعف العلامات المائية الداخلية تجاه ضغط النموذج وتقطيره. من خلال التحديد الرياضي لـ فضاء فرعي وظيفي مستقر، يوفر FSW آلية متينة للتحقق من الملكية تصمد أمام أكثر التعديلات عدوانية للنماذج.

الأثر العملي: يقدم حلاً قابلاً للتطبيق لمطوري النماذج لحماية الملكية الفكرية في عصر يتم فيه تقطير النماذج وتكميتها وضبطها بدقة بشكل متكرر لأغراض النشر.
التقدم النظري: يوفر استخدام GEVP لموازنة الحساسية الوظيفية والثبات تحت الضغط أساسًا نظريًا جديدًا للعلامات المائية المتينة، متجاوزًا التعديلات التجريبية للأوزان.
الموثوقية: يضمن بروتوكول التحقق الإحصائي الصارم إمكانية الدفاع عن ادعاءات الملكية في النزاعات القانونية أو التجارية بثقة عالية ومعدلات خطأ منخفضة.