💬 NLP

Rethinking LLM Watermark Detection in Black-Box Settings: A Non-Intrusive Third-Party Framework

تقدم الورقة البحثية TTP-Detect، وهو إطار عمل رائد بنظام الصندوق الأسود يتيح التحقق من العلامات المائية للنماذج اللغوية الكبيرة من قبل طرف ثالث بشكل غير اقتحامي عبر فصل عملية الكشف عن عملية الحقن من خلال النماذج الوسيطة واختبار الفرضيات النسبي، مما يتغلب على قيود مخططات المفتاح السري الحالية.

المؤلفون الأصليون: Zhuoshang Wang, Yubing Ren, Yanan Cao, Fang Fang, Xiaoxue Li, Li Guo

نُشر 2026-03-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhuoshang Wang, Yubing Ren, Yanan Cao, Fang Fang, Xiaoxue Li, Li Guo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عالماً يمكن فيه للذكاء الاصطناًعي (مثل روبوتات الدردشة التي تتحدث إليها) كتابة مقالات، وتقارير إخبارية، وقصص مثالية. هذا أمر مذهف، ولكنه يخلق مشكلة أيضاً: كيف نعرف ما هو حقيقي وما هو مزيف؟

لحل هذه المشكلة، تحاول الشركات وضع "علامات مائية" غير مرئية داخل نصوص الذكاء الاصطناعي، تماماً كما تحتوي العملات الورقية على خيط أمني مخفي. إذا رفعت الورقة النقدية مقابل الضوء، سترى الخيط؛ وإذا لم تفعل، فلن تستطيع تمييزه.

المشكلة: معضلة "الصندوق الأسود"
حالياً، هذه العلامات المائية تشبه "المصافحة السرية". فقط الشركة التي صنعت الذكاء الاصطناعي (المزود) هي من تعرف الرمز السري للتحقق من النص الموسوم بعلامة مائية.

المشكلة: إذا أراد محكمة أو محرر إخباري التحقق مما إذا كان المقال مكتوباً بواسطة ذكاء اصطناعي، فعليه أن يسأل الشركة: "مهلاً، هل هذا مزيف؟" فتقول الشركة: "نعم، هو كذلك". ولكن على المحكمة أن تكتفي بالثقة بهم فحسب. ماذا لو كانت الشركة تكذب؟ ماذا لو أرادت إخفاء حقيقة أنها أنتجت أخباراً مزيفة؟
الخطر: إذا شاركت الشركة الرمز السري مع المحكمة، فقد يسرقه القراصنة لإزالة العلامات المائية أو تزييفها. لذا، يجب أن يظل الرمز سرياً، لكن هذا يعني أنه لا يمكن لأي شخص آخر التحقق من العمل.

الحل: TTP-Detect (المحقق من طرف ثالث)
يقدم هذا البحث إطار عمل جديد يسمى TTP-Detect. فكر فيه كأنه حكم محايد يمكنه التحقق من اللعبة دون معرفة خطة اللعب السرية.

إليك كيف يعمل، باستخدام تشبيه بسيط:

1. تشبيه "اختبار التذوق"

تخيل أنك ناقد طعام تحاول التمييز بين الكعك الجاهز من المتجر (نص الذكاء الاصطناعي الموسوم بعلامة مائية) و الكعك المنزلي (النص الطبيعي).

الطريقة القديمة: تسأل المخبز، "هل هذه كعكة من المتجر؟" فيقولون "نعم". وعليك حينها أن تثق بهم.
طريقة TTP-Detect: لست بحاجة إلى وصفة المتجر السرية. بدلاً من ذلك، تطلب من المخبز أن يخبز لك كعكتين جديدتين الآن: واحدة من المتجر وأخرى منزلية، باستخدام نفس المكونات تماماً المستخدمة في الكعكة الغامضة.
- الآن لديك ثلاث كعكات: الكعكة الغامضة، والكعكة (التي من المتجر)، والكعكة المنزلية.
- ستتذوق الثلاث جميعاً. لست بحاجة لمعرفة الوصفة؛ بل ستقوم فقط بمقارنة سمات النكهة.
- إذا كانت الكعكة الغامضة تشبه تماماً كعكة المتجر (وتختلف عن الكعكة المنزلية)، فستعرف أنها كعكة من المتجر.

2. كيف يعمل "المحقق" (الخطوات الثلاث)

يعمل نظام TTP-Detect كمحقق ذكي جداً يتبع ثلاث خطوات:

الخطوة 1: نموذج "الظل" (الوكيل)
يقوم المحقق بتوظيف ذكاء اصطناعي "ظل" (ذكاء اصطنافت أصغر وأرخص) ليتعلم كيف "يشعر" النص الموسوم بعلامة مائية. هذا الذكاء الاصطناعي ليس هو الأصلي؛ بل تم تدريبه فقط لتمييز الفروق الدقيقة بين الأسلوب "المكتوب بالذكاء الاصطناعي" والأسلوب "المكتوب بشرياً". إنه يشبه تدريب كلب على شم رائحة معينة دون معرفة كيفية صنع تلك الرائحة.
الخطوة 2: مجموعة "المرجع" (مجموعة الضبط)
عند وصول نص مشبوه، يطلب المحقق من شركة الذكاء الاصطناي: "يرجى إنشاء 16 مثالاً من النصوص مع العلامة المائية و1ما 16 مثالاً بدونها، باستخدام نفس الجملة الافتتاحية".
الآن أصبح لدى المحقق مجموعة ضبط. لديهم سلة من العينات "الموسومة بالعلامة المائية" وسلة من العينات "النظيفة".
الخطوة 3: الفحص "النسبي" (المقارنة)
لا يبحث المحقق عن "رقم سحري" واحد. بدلاً من ذلك، يستخدم أربعة اختبارات مختلفة ليرى أين يقع النص المشبوه:
1. الاتساق المحلي: هل يتواجد هذا النص مع مجموعة "العلامة المائية" في حيٍّ من الأفكار المتشابهة؟
2. الهندسة العالمية: هل الشكل العام للنص يشبه مجموعة "العلامة المائية" أم مجموعة "النصوص النظيفة"؟
3. درجة الطاقة: هل النص "متوتر" أم "مسترخٍ" بطريقة تطابق مجموعة العلامة المائية؟
4. الترتيب التكيفي: هل يتبع النص نفس الإيقاع الخاص بأمثلة العلامة المائية؟
أخيراً، يجمع المحقق كل هذه الأدلة. إذا كان النص المشبوه يتصرف مثل مجموعة "العلامة المائية" أكثر من مجموعة "النصوص النظيفة"، فسيتم وسمه.

لماذا يعد هذا أمراً هاماً؟

لا حاجة للأسرار: لا يحتاج المحقق إلى المفتاح السري. يحتاج فقط إلى القدرة على طلب توليد أمثلة من الذكاء الاصطناعي.
العدالة: يمنع شركات الذكاء الاصطناعي من الكذب. إذا ادعت الشركة أن نصاً ما "نظيف"، يمكن للمحقق إثبات أنه في الواقع "موسوم بعلامة مائية" من خلال مقارنته بأمثلة حديثة.
القوة والمتانة: حتى لو حاول شخص ما تعديل النص (مثل تغيير الكلمات أو إعادة صياغة الجمل) لإخفاء العلامة المائية، فإن هذا النظام بارع جداً في مقارنة الأنماط لدرجة أنه لا يزال بإمكانه رصد الفرق.

الخلاصة

يغير TTP-Detect قواعد اللعبة من "ثقوا بنا، نحن نملك المفتاح السري" إلى "أرونا الأدلة، وسنقوم بالمقارنة بأنفسنا". فهو يسمح للمدققين المستقلين، والمحاكم، والجهات التنظيمية بالتحقق من محتوى الذكاء الاصطناعي دون كسر أمن شركات الذكاء الاصطناعي، مما يخلق عالماً رقمياً أكثر عدلاً وشفافية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "إعادة التفكير في كشف العلامات المائية للنماذج اللغوية الكبيرة في البيئات الصندوقية السوداء: إطار عمل طرف ثالث غير التدخلي" (TTP-Detect).

1. بيان المشكلة

تعتمد مخططات العلامات المائية الحالية للنماذج اللغوية الكبيرة (LLM) على التشفير بالمفاتيح السرية، حيث تكون آلية الكشف مرتبطة ارتباطاً وثيقاً بآلية الحقن.

المعضلة: للتحقق من العلامة المائية، يتطلب الكاشف عادةً الوصول إلى المفتاح السري أو كاشف خاص بمزود الخدمة. وهذا يخلق "صندوقاً أسود" أمام المدققين المستقلين (المحاكم، أو المنظمين، أو الأطراف الثالثة).
الحاجز: التحقق المستقل مستحيل دون المساس بالأمن (عبر الكشف عن المفتاح) أو الاعتماد على الادعاءات الغامضة لمزودي الخدمة. كما أن المخططات "القابلة للتحقق علناً" الموجودة غالباً ما تظل تتطلب تصميمات حقن محددة أو معاملات مشتركة، مما يفشل في توفير طبقة تدقيق محايدة وقابلة لإعادة الاستخدام عبر النماذج المتباينة.
الهدف: تطوير إطار عمل مستقل عن المفاتيح، وصندوقي أسود، يسمح لطرف ثالث موثوق (TTP) بكشف العلامات المائية باستخدام النص الناتج فقط، دون الوصول إلى المفتاح السري، أو العمليات الداخلية لمزود الخدمة، أو خوارزمية الحقن المحددة.

2. المنهجية: إطار عمل TTP-Detect

يقترح المؤلفون TTP-Detect، الذي يعيد صياغة كشف العلامة المائية من اختبار عتبة مطلق (يتطلب مفتاحاً) إلى مشكلة اختبار فرضية نسبية. الفكرة الجوهرية هي تحديد ما إذا كان النص المستعلم عنه يتماشى بشكل أوثق مع التوزيع الإحصائي للمخرجات ذات العلامة المائية مقارنة بالمخرجات الخالية منها.

يتكون إطار العمل من ثلاث مراحل رئيسية:

أ. نموذج التهديد والإعداد

الأطراف: المستخدم ( $U$ )، مزود الخدمة ( $S$ )، والطرف الثالث الموثوق ( $D$ ).
القيود: يوفر $S$ واجهة برمجة تطبيقات (API) قياسية مع مفتاح ثنائي للعلامة المائية، لكنه يخفي المفاتيح والحالات الداخلية. لا يملك $D$ أي وصول إلى منطق $S$ .
العملية: يقوم $D$ $D$ بالاستعلام من $S$ $S$ لتوليد مجموعتين مرجعيتين تجريبيتين:
1. $\mathcal{T}_{wm}$ : المخرجات ذات العلامة المائية.
2. $\mathcal{T}_{o}$ : المخرجات الخالية من العلامة المائية.
  تعمل هذه المجموعات كنقاط ارتكاز محلية لفرضيتي العدم ( $H_0$ ) والبديل ( $H_1$ ).

ب. استخراج التمثيل القائم على الوكيل (Proxy-Based Representation Extraction)

بما أن النصوص الخام تفتقر إلى إشارات العلامة المائية الصريحة في البيئات الصندوقية السوداء، يستخدم TTP-Detect نموذج وكيل ( $M_{proxy}$ ) لتضخيم الاختلافات الدقيقة.

التدريب: يتم ضبط النموذج الوكيل (عبر تقنية LoRA) على بيانات مقترنة (مخرجات ذات علامة مائية مقابل مخرات خالية منها من $S$ ) باستخدام هدف تمييزي للتنبؤ بملصق العلامة المائية.
الاستخراج: يتم تشفير النصوص إلى فضاء الميزات ( $\mathbb{R}^d$ ) باستخدام الحالات المخفية للنموذج الوكيل. يلتقط هذا الفضاء كلاً من السياق الدلالي والانحيازات الخاصة بالعلامة المائية التي استوعبها النموذج أثناء التدريب.

ج. وحدات القياس النسبية

بدلاً من الاعتماد على إحصائية واحدة، يستخدم TTP-Detect أربع وحدات متكاملة لقياس مدى "التقارب" لنص الاستعلام ( $t_q$ ) مع المجموعة المرجعية ذات العلامة المائية بالنسبة للمجموعة الخالية منها:

اختبار الاتساق المحلي (Local Consistency Test):
- يقيس ما إذا كان تمثيل $t_q$ محاطاً بنماذج ذات علامة مائية في فضاء الميزات (باستخدام أقرب الجيران $k$ -nearest neighbors وتقدير كثافة النواة).
- الفرضية: النصوص ذات العلامة المائية تتكتل محلياً مع النصوص الأخرى ذات العلامة المائية.
اختبار الهندسة العالمية (Global Geometry Test):
- درجة ماهالانوبيس (Mahalanobis Score): تحسب المسافة بين $t_q$ ومراكز توزيع النماذج ذات العلامة المائية مقابل الخالية منها، مع مراعاة التباين (باستخدام تحليل المكونات الرئيسية PCA لتقليل الأبعاد).
- درجة الطاقة (Energy Score): مقياس مسافة غير معلمي للتعامل مع التوزيعات التي تنتهك الافتراضات الغاوسية.
اختبار الرتبة التكيفي (Adaptive Rank Test):
- يستهدف ديناميكيات التوليد بدلاً من هندسة التضمين.
- يحسب إحصائيات النفي اللوغاريتمي السلبي (NLL) على مستوى الرمز (الاعتلاج العالمي والتقلب المحلي).
- يستخدم اختبار رتبة تكيفي الاتجاه لتحديد ما إذا كانت أنماط احتمالية الاستعلام تتماشى أكثر مع المجموعات المرجعية ذات العلامة المائية أو الخالية منها، بغض النظر عن اتجاه الانحياز المحدد.

د. قرار المجموعة (Ensemble Decision)

يتم تجميع الدرجات من الوحدات الأربع في درجة مجموعة واحدة باستخدام نموذج انحدار لوجستي خفيف الوزن ومعاير. يتم معايرة عتبة القرار النهائي للتحكم بصرامة في معدل الإيجابيات الكاذبة (FPR) على النصوص الحميدة، مما يضمن الموثوقية للاستخدام التنظيمي.

3. المساهمات الرئيسية

نموذج مستقل عن المفاتيح: أول إطار عمل يفصل الكشف عن الحقن، مما يسمح بالتدقيق من قبل طرف ثالث دون الحاجة للمفاتيح السرية أو تعاون مزود الخدمة بخلاف الوصول إلى واجهة برمجة التطبيقات.
اختبار الفرضية النسبية: صياغة مبتكرة تعامل الكشف كعملية مقارنة مقابل التوزيعات المرجعية التجريبية بدلاً من التحقق المطلق ضد مفتاح سري.
مجموعة قياس متكاملة: دمج الاتساق المحلي، والهندسة العالمية، وأنماط الاحتمالية في وقت التوليد لالتقاط إشارات متنوعة للعلامات المائية عبر خوارزميات مختلفة.
المتانة: أظهر فعالية ضد الهجمات المختلفة (التعديل، وإعادة الصياغة) وعبر مخططات علامات مائية متنوعة (القائمة على اللوغيت، والقائمة على أخذ العينات، والمحافظة على التوزيع).

4. النتائج التجريبية

قيم المؤلفون TTP-Detect على 7 مخططات للعلامات المائية (بما في ذلك KGW، Unigram، SynthID، SWEET، Unbiased، SymMark، MorphMark) باستخدام Llama-3.1-8B و OPT-6.7B كمولدات.

أداء الكشف:
- حقق أداءً يقارب الكمال (AUC $\approx$ 1.0) في المخططات ذات الإشارة القوية مثل Unigram و SymMark.
- حافظ على أداء عالٍ (AUC > 0.98) في المخططات الكلاسيكية مثل KGW و SWEET.
- نجح في كشف المخططات الدقيقة والمحافظة على التوزيع مثل SynthID و Unbiased (AUC > 0.92)، والتي يصعب كشفها بدون مفتاح.
المتانة تجاه الهجمات:
- تم الاختبار ضد هجمات التعديل (حذف الكلمات، استبدال المرادفات) و هجمات إعادة الصياغة (Dipper، GPT-5.1).
- حافظ TTP-Detect على متوسط AUC قدره 0.980 لـ KGW تحت الهجمات، متفوقاً بشكل كبير على خط الأساس UPV في العديد من السيناريوهات، خاصة تحت هجمات إعادة الصياغة.
دراسات الاستئصال (Ablation Studies):
- أكدت أن اختبار الرتبة التكيفي هو الوحدة الأكثر أهمية للمتانة ضد إعادة الصياغة.
- أظهرت أن الضبط الدقيق للنموذج الوكيل يضخم الإشارات ولكنه ليس ضرورياً تماماً لعمل الإطار (النماذج الوكيلة غير المضبوطة حققت >96% من الأداء).
الكفاءة:
- تستغرق عمليات حساب جانب TTP (باستثناء توليد المراجع) أقل من ثانيتين لكل استعلام، مما يجعله قابلاً للتوسع لأغراض التدقيق.

5. الأهمية والتأثير

الحوكمة والمساءلة: يسد TTP-Detect الفجوة بين تصميم العلامة المائية والمساءلة في العالم الحقيقي. فهو يتيح للمحاكم والمنظمين التحقق بشكل مستقل من المحتوى المولد بواسطة الذكاء الاصطناعي دون الحاجة للوثوق بمزود الخدمة أو المساس بأسرارهم التجارية.
الحياد: من خلال فصل الكشف عن الحقن، يمنع TTP-Detect المزودين من "التلاعب" بالنظام أو إخفاء وجود العلامات المائية.
الاستعداد للمستقبل: الإطار قابل للتوسيع؛ حيث يمكن إضافة وحدات قياس نسبية جديدة مع ظهور تقنيات علامات مائية جديدة، دون تغيير البنية الأساسية.
النشر العملي: توضح الورقة سير عمل قابلاً للتطبيق حيث يمكن للمدقق المنظم العمل بشكل مستقل، بالاعتماد فقط على مخرجات واجهة برمجة التطبيقات المرصودة، مما يحل مشكلة "ثق ولكن تحقق" في حوكمة الذكاء الاصطناعي.

باختصار، يمثل TTP-Detect تحولاً نوعياً في العلامات المائية للنماذج اللغوية الكبيرة، من نموذج يعتمد على المفتاح السري إلى نموذج إحصائي، نسبي، وقابل للتحقق من قبل طرف ثالث، مما يقدم حلاً قوياً للتدقيق الجنائي للنصوص المولدة بالذكاء الاصطناعي.