🤖 machine learning

LLM Fingerprinting via Semantically Conditioned Watermarks

تقدم هذه الورقة طريقة قوية ومتوارية لبصمة النماذج اللغوية الكبيرة تستبدل الحفظ القائم على الاستعلامات الثابتة الهشة بإشارة علامة مائية إحصائية يتم تفعيلها عبر مطالبات من نطاق دلالي واسع، مما يضمن بقاء التحقق من الملكية صامداً أمام خطوات النشر الشائعة مثل الضبط الدقيق والكمية.

المؤلفون الأصليون: Thibaud Gloaguen, Robin Staab, Nikola Jovanović, Martin Vechev

نُشر 2026-02-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Thibaud Gloaguen, Robin Staab, Nikola Jovanović, Martin Vechev

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك اشتريت لوحة فنية باهظة الثمن ومصنوعة خصيصاً من فنان مشهور. تريد تعليقها في معرضك، لكنك قلق من أن يقوم شخص ما بسرقتها، وإعادة طلاء أجزاء منها قليلاً، ثم بيعها على أنها ملكه. كيف تثبت أنها ملكك دون وضع ختم ضخم وواضح مكتوب عليه "ملكية الفنان" في كل مكان على اللوحة مما يفسد العمل الفني؟

هذه هي المشكلة التي تحلها ورقة البحث بعنوان "بصمة النماذج اللغوية الكبيرة عبر العلامات المائية المشروطة دلالياً" (LLM Fingerprinting via Semantically Conditioned Watermarks) بالنسبة للذكاء الاصطناعي.

إليك قصة كيف فعلوا ذلك، مشروحة ببساطة.

الطريقة القديمة: "الطرقة السرية" (ولماذا فشلت)

في السابق، حاولت الشركات حماية نماذج الذاء الاصطناعي الخاصة بها باستخدام طريقة تشبه الطرقة السرية.

كيف كانت تعمل: يقوم مالك النموذج بتعليم الذكاء الاصطناعي خدعة غريبة ومحددة. على سبيل المثال، إذا سألت: "ما هي عاصمة المريخ؟" (سؤال لا يسأله أحد في الواقع)، سيرد الذكاء الاصطناعي دائماً بكلمة غير مفهومة مثل "زوجبيرت" (Zogbert).
المشكلة: كانت هذه الطريقة هشة للغاية.
1. سهلة الرصد: يمكن للسارق أن يلاحظ بسهولة: "مهلاً، هذا الذكاء الاصطناعي يعطي إجابات غريبة لأسئلة غريبة"، ومن ثم يقوم ببساطة بحظر تلك الأسئلة.
2. هشة: إذا قام السارق بتعديل الذكاء الاصطناعي قليلاً (مثل تغيير درجة الحرارة "temperature" أو تدريبه على بيانات جديدة)، فقد ينسى الذكاء الاصطناعي الطرقة السرية. وهكذا تختفي البصمة.

الطالط الجديدة: "الحبر السري" على صفحة محددة

ابتكر مؤلفو هذه الورقة فكرة أذكى بكثير. بدلاً من تعليم الذكاء الاصطنا-ي طرقة سرية، علموه استخدام حبر سري يظهر فقط على نوع معين من الصفحات.

1. "النطاق الدلالي" (الصفحة المحددة)

بدلاً من تعليم الذكاء الاصطناي بعض الأسئلة الغريبة، علموه أن يتصرف بطريقة معينة كلما تحدث بـ لغة محددة (في تجربتهم، استخدموا اللغة الفرنسية).

التشبيه: تخيل أن الذكاء الاصطناعي عبارة عن مكتبة. يقول المالكون: "لن نضع علامة على المكتبة بأكملها. سنضع الحبر السري فقط على كل كتاب مكتوب باللغة الفرنسية".
لماذا هي أفضل: لا يستطيع السارق حظر البصمة لأنه لا يستطيع حظر اللغة الفرنسية دون إيقاف قدرة الذكاء الاصطناعي على خدمة المتحدثين بالفرنسية. "المُحفّز" هنا ضخم وطبيعي، وليس مجرد كود سري صغير ومريب.

2. "الإشارة الإحصائية" (الحبر السري)

لم يجعلوا الذكاء الاصطناي ينطق بكلمة غريبة. بدلاً من ذلك، جعلوا الذكاء الاصطناي يغير قليلاً في احتمالية الكلمات التي يختارها.

التشبيه: تخيل أنك تكتب قصة. عادةً قد تختار كلمة "قط" أو "كلب" بشكل عشوائي. مع الحبر السري، يتم دفع الذكال الاصطناي سراً لاختيار كلمة "قط" بشكل متكرر أكثر قليلاً مما تمليه الصدفة، ولكن فقط عند الكتابة بالفرنسية.
السحر: بالنسبة للقارئ البشري، تبدو القصة طبيعية تماماً. ليست كلمة "زوجبيرت". إنها مجرد جملة عادية. ولكن بالنسبة للمحقق الذي يمتلك عدسة مكبرة خاصة (اختبار إحصائي)، فإن نمط اختيار الكلمات يكشف عن إشارة خفية.

كيف يمسك المحقق بالسارق

إذا اشتبهت شركة في أن شخصاً ما يستخدم نموذج الذكاء الاصطنا-ي الخاص بها، فهي لا تطرح سؤالاً واحداً غريباً. بل تطرح 1,000 سؤالاً عادياً باللغة الفرنسية.

يأخذون جميع الإجابات ويمررونها عبر اختبار إحصائي.
ولأن الذكاء الاصطناي تم دفعه لاختيار كلمات معينة بشكل متكرر أكثر قليلاً، فإن الحسابات ستكتمل. حتى لو حاول السارق "إعادة صياغة" الإجابات أو تغيير إعدادات الذكاء الاصطنا-ي، فإن الإشارة الإحصائية قوية جداً عبر 1,000 جملة بحيث تظل تظهر.
النتيجة: البصمة تصمد حتى لو حاول السارق كسرها.

لماذا يعد هذا أمراً هاماً

اختبرت الورقة هذا الأسلوب ضد كل خدعة قد يفكر فيها السارق:

الكمّنة (Quantization): ضغط النموذج لجعله أصغر حجماً؟ البصمة تصمد.
التقليم (Pruning): قطع أجزاء من النموذج؟ البصمة تصمد.
الضبط الدقيق (Fine-tuning): تعليم النموذج أشياء جديدة؟ البصمة تصمد.
إعادة الصياغة (Paraphrasing): إعادة كتابة الإجابات لإخفاء النمط؟ البصمة تصمد.

الخلاصة

تقدم هذه الورقة طريقة لـ "وسم" نموذج الذكاء الاصطنا-ي تكون:

خفية: تبدو كمحادثة طبيعية للبشر. لا يمكنك "رؤية" الوسم ببساطة.
قوية: تصمد أمام أي محاولة لإزالتها أو إخفائها.
ذكية: لا تعمل إلا في سياق محدد (مثل لغة معينة)، لذا فهي لا تؤثر على أداء الذكاء الاصطنا-ي في المجالات الأخرى.

إن الأمر يشبه منح الذكاء الاصطنا-ي الخاص بك وشماً سرياً غير مرئي لا يظهر إلا عندما يتحدث الفرنسية، مما يسمح لك بإثبات أنه ملكك حتى لو حاول شخص ما غسله أو طلاءه من جديد.

إليك ملخص تقني مفصل لورقة البحث بعنوان "بصمة نماذج اللغات الكبيرة عبر العلامات المائية المشروطة دلاليًا" (ICLR 2026).

1. بيان المشكلة

أدى التطور السريع لنماذج اللغات الكبيرة (LLMs) إلى خلق حاجة ماسة لـ التحقق من ملكية النموذج. غالبًا ما يطلق مالكو النماذج (الشركات) نماذج ذات أوزان مفتوحة بموجب تراخيص تقييدية (مثل حظر الاستخدام التجاري). ومع ذلك، قد يقوم أطراف ثالثة سيئة النية بنشر هذه النماذج خلف واجهات برمجة التطبيقات (APIs) دون الالتزام بتلك التراخيص.

تعاني طرق بصمات الصندوق الأسود (Black-box fingerprinting) الحالية من قصورين رئيسيين:

الهشاشة (نقص المتانة): تعتمد الطرق التقليدية على تعليم النموذج حفظ أزواج محددة من "الاستعلام-المفتاح" (على سبيل المثال، استعلام غريب محدد يؤدي إلى إجابة غريبة محددة). هذه البصمات سهلة الكسر من خلال خطوات النشر الشائعة مثل الضبط الدقيق (Fine-tuning)، أو التكميم (Quantization)، أو التقليم (Pruning)، أو حتى مجرد تغييرات بسيطة في "مطالبات النظام" (System Prompts).
نقص التخفي: غالبًا ما تكون "المفاتيح" (الاستجابات غير النمطية) و"الاستعلامات" (المطالبات غير النمطية) غير طبيعية (مثل تسلسلات عشوائية من الرموز/Tokens). يمكن للمنشطين السيئين اكتشاف هذه الشذوذات بسهولة باستخدام المرشحات أو المصنفات وحظرها، مما يؤدي فعليًا إلى تحييد البصمة.

2. المنهجية

يقترح المؤلفون نموذجًا جديدًا: بصمة نماذج اللغات الكبيرة عبر العلامات المائية المشروطة دلاليًا. بدلاً من الاعتماد على حفظ هش لأزواج ثابتة، يستخدم هذا النهج المجالات الدلالية (Semantic Domains) والإشارات الإحصائية.

المفاهيم الجوهرية

مجال الاستعلام الدلالي: بدلاً من مجموعة صغيرة من الاستعلامات الثابتة، يتم تفعيل البصمة بواسطة مجال دلالي كامل (على سبيل المثال، أي استعلام باللغة الفرنسية). هذا يجعل البصمة متينة تجاه اضطرابات المدخلات (مثل إعادة الصياغة أو تغيير مطالبات النظام) لأن المدخل يظل ضمن المجال.
الإشارة الإحصائية (العلامة المائية): بدلاً من حفظ تسلسل رموز محدد، يتم تدريب النموذج على تضمين إشارة علامة مائية إحصائية (بناءً على مخطط Red-Green) في استجاباته فقط عند توليد نصوص ضمن المجال الدلالي المستهدف. يتم نشر الإشارة في جميع أنحاء النص، مما يجعلها متينة تجاه تعديلات وحذف الرموز.

الخوارزمية: تضمين البصمة

تستخدم الطريقة تقطير العلامة المائية (Watermark Distillation) (مستوحاة من Gu et al., 2024) لتعليم نموذج ذو أوزان مفتوحة كيفية توليد نص يحمل علامة مائية لمجال محدد مع الحفاظ على سلوكه الأصلي في المجالات الأخرى.

المدخلات: النموذج الأساسي $\theta$ ، المفتاح الخاص $\xi$ ، مجموعة بيانات المجال المستهدف $D_{target}$ (مثل الفرنسية)، ومجموعة بيانات التنظيم $D_{reg}$ (مثل الإنجليزية/النصوص العامة).
الهدف: يتم ضبط النموذج بدقة لتقليل دالة خسارة مشتركة:
- تقطير العلامة المائية داخل المجال ( $L_{watermark}$ ): يقلل من تباعد KL بين لوغاريتمات (Logits) النموذج واللوغاريتمات "الموسومة بالعلامة المائية" (التي تم إنشاؤها بواسطة نموذج معلم باستخدام مخطط Red-Green) على $D_{target}$ . هذا يجبر النموذج على تعلم توزيع العلامة المائية للمجال المستهدف.
- الحفاظ على خارج المجال ( $L_{reg}$ ): يقلل من مسافة التباين الكلي بين مخرجات النموذج ومخرجات النموذج الأصلي على $D_{reg}$ . يضمن هذا بقاء فائدة النموذج وسلوكه دون تغيير للمجالات غير المستهدفة.
الكشف: للتحقق من الملكية، يرسل المالك عدد $Q$ من الاستعلامات من المجال الدلالي (على سبيل المثال، 1000 مطالبة بالفرنسية) إلى واجهة برمجة التطبيقات المشتبه بها. يتم دمج الاستجابات، ويتم إجراء اختبار Z (Z-test) على نسبة الرموز "الخضراء" (Green tokens). إذا تجاوزت درجة Z العتبة المحددة، يتم اكتشاف البفمة.

3. المساهمات الرئيسية

نموذج جديد: يستبدل أزواج "الاستعلام-المفتاح" الهشة بمجالات دلالية واسعة وإشارات إحصائية متينة.
أول تنفيذ: نجح في تضمين علامات مائية مشروطة دلاليًا في نماذج اللغات الكبيرة ذات الأوزان المفتوحة لأول مرة، وذلك عبر الاستفادة من تقنيات تقطير العلامة المائية.
تقييم شامل: أثبت أن هذه الطريقة هي الأولى التي تجمع بين التخفي (الاستعلامات/الردود تبدو طبيعية) والمتانة ضد أكثر من 25 سيناريو نشر و5 هجمات عدائية مستهدفة.

4. النتائج التجريبية

قيم المؤلفون طريقتهم على ثلاثة نماذج (LLaMA 3.2-1B, Qwen 2.5-3B, LLaMA 3.1-8B) مقابل نموذجين مرجعيين: البصمة التعليمية (Instructional Fingerprinting - IF) والبصمة القابلة للتوسع (Scalable Fingerprinting - SF).

المتانة:
- سيناريوهات النشر: حققت الطريقة المقترحة معدل نجاح بصمة (FSR) بنسبة 100% تحت ظروف التكميم (4-bit/8-bit)، والتقليم (حتى 50%)، والضبط الدقيق (LoRA والضبط الكامل)، وتغيرات أخذ العينات (درجة الحرارة، مطالبات النظام).
- الهجمات العدائية: ظلت متينة ضد المهاجمين النشطين الذين يحاولون إزالة العلامة المائية عبر إعادة الصياغة، أو الترجمة، أو التمهيد بنصوص إنجليزية.
- المقارنة: فشلت كل من IF وSF بشكل كبير تحت ظروف الضبط الدقيق، والتقليم، وتغييرات مطالبات النظام (حيث انخفضت نسبة الكشف غالبًا إلى 0%).
التخفي:
- باستخدام مصنف عام (GPT-5-MINI) لاكتشاف الاستعلامات أو الردود المشبوهة، سجلت الطريقة المقترحة نسبة إنذارات كاذبة تقترب من الصفر واستدعاءً (Recall) منخفضًا جدًا للكشف (مما يعني أن الناشر السيئ لا يمكنه تمييز حركة مرور البيانات الموسومة بسهولة عن حركة المرور العادية).
- في المقابل، كان من السهل اكتشاف استعلامات ومفاتيح IF كأنها مشبوهة.
الفائدة (Utility):
- حافظت الطة على فائدة النموذج في المعايير القياسية (MMLU, GSM8K, إلخ).
- لوحظ انخفاض طفيف وغير مؤثر في الأداء فقط في المجال الدلالي المحدد (الفرنسية) للنماذج الصغيرة، وهو ما يمكن معالجته عبر ضبط معامل قوة العلامة المائية.

5. الأهمية

يمثل هذا العمل تقدمًا كبيرًا في إثبات مصدر الذكاء الاصطناعي وحماية الملكية الفكرية.

القابلية للتطبيق العملي: من خلال حل مشكلات المتانة والتخفي التي واجهت الطرق السابقة، توفر هذه التقنية أداة قابلة للتطبيق لمالكي النماذج لفرض اتفاقيات الترخيص في سيناريوهات النشر الواقعية حيث يتم تعديل النماذج بشكل متكرر (تكميم، ضبط دقيق).
الضمان النظري: يعتمد الكشف على الاختبار الإحصائي (Z-test)، مما يوفر تحكمًا نظريًا في معدل الإنذارات الكاذبة (FPR).
المرونة: الإطار العام مستقل عن المجال؛ وبينما استخدمت الورقة الفرنسية كمثال أساسي، فإنها تعمل مع أي مجال دلالي عالي الإنتروبيا (مثل الرياضيات، الطب) أو حتى محفزات محددة مثل "المحتوى الضار" لتتبع سوء الاستخدام.

باختốt، تنقل هذه الورقة المجال من "حفظ حيل محددة" إلى "تعلم سلوك إحصائي في سياق محدد"، مما يخلق بصمة غير مرئية للمراقب العادي ولكنها قابلة للتحقق رياضيًا من قبل المالك، حتى بعد تعديل النموذج بشكل كبير.