ملخص تقني: PASA – نهج مبدئي للعلامات المائية في فضاء التضمين (Embedding-Space)

بيان المشكلة

أدى التقدم السريع في النماذج اللغوية الكبيرة (LLMs) إلى طمس الفوارق بين النصوص المولدة آلياً وتلك التي كتبها البشر، مما أثار مخاوف كبيرة بشأن التضليل، والخداع الآلي، والنزاهة الأكاديمية. وبينما توفر العلامات المائية حلاً واعداً للكشف عن المحتوى المولد بواسطة الذكاء الاصطناعي، إلا أن الأساليب الحالية تواجه ثغرة حرجة: الهجمات غير المتغيرة دلالياً (semantic-invariant attacks).

تعمل معظم مخططات العلامات المائية الحالية مباشرة على مفردات الرموز (tokens)، حيث تبني إحصائيات الكشف بناءً على هويات الرموز السطحية. وبناءً على ذلك، فهي عرضة بشدة للتحويلات الحافظة للمعنى مثل استبدال المرادفات، أو إعادة الصياغة، أو استبدال الرموز. يمكن لهذه الهجمات أن تغير بشكل تعسفي الرموز المحددة التي ينتجها النموذج مع الحفاظ على المعنى الأساسي، مما يؤدي فعلياً إلى تجريد العلامات المائية على مستوى الرمز وتشويه إحصائيات الكشف. علاوة على ذلك، غالباً ما تكافح الأساليب الحالية لتحقيق التوازن بين ثلاثة أهداف متضاربة: (1) المتانة ضد التحويلات الحافظة للمعنى، (2) التوليد الخالي من التشويه (الحفاظ على جودة النص الأصلي)، و(3) التحكم المبدئي في أخطاء الكشف، لا سيما عند معدلات الإنذار الكاذب المنخفضة.

المنهجية: PASA

لمعالجة هذه التحديات، يقترح المؤلفون PASA (نهج العلامات المائية المبدئي في فضاء التضمين تحت الهجمات غير المتغيرة دلالياً). وعلى عكس الطرق السابقة التي تعمل على مستوى الرموز، يقوم PASA بدمج واكتشاف العلامات المائية داخل فضاء التضمين الدلالي الكامن (latent semantic embedding space).

الآلية الجوهرية

يعمل PASA عن طريق تقسيم فضاء تضمين الرموز الكامن إلى عناقيد دلالية (semantic clusters) منفصلة. وهو ينشئ تبعية توزيعية بين تسلسلات الرموز والتسلسلات العشوائية المساعدة، والتي يتم مزامنتها بواسطة مفتاح سري والسجل الدلالي للسياق.

1. رسم خرائط العناقيد الدلالية: تقوم دالة حق (surjective function) $f$ برسم خرائط تضمينات الرموز إلى $K$ من العناقيد الدلالية المتميزة. تم تصميم هذا الرسم ليكون ثابتاً تجاه الاضطرابات على مستوى الرمز؛ حيث تقع الرموز المختلفة ذات المعاني المتشابهة في نفس العنقود.
2. استراتيجية أخذ العينات ثنائية المرحلة:
   • المرحلة 1 (بناء التوزيع المساعد): يبني النموذج توزيعاً مساعداً على العناقيد الدلالية. وللتحكم في خطأ الإنذار الكاذب (FA)، يتم "قطع" هذا التوزيع عند عتبة $\alpha$. ويتم إدخال "حالة تجاوز" ($\tilde{\zeta}$) لاستيعاب الكتلة الاحتمالية التي تتجاوز العتبة، مما يضمن بقاء خطأ الإنذار الكاذب محدوداً مع تقليل خطأ عدم الكشف (MD).
   • المرحلة 2 (أخذ العينات داخل العنقود): يتم أخذ عينة للرمز التالي بناءً على المتغير المساعد المختار. إذا تم اختيار عنقود محدد، يتم أخذ عينة الرمز من داخل ذلك العنقود وفقاً لتوزيع معاد تطبيعه. وإذا تم اختيار حالة التجاوز، يتم أخذ عينات عبر العناقيد بطريقة تحافظ على توزيع التنبؤ بالرمز التالي (NTP) الأصلي في التوقع.
3. الكشف: يقوم الكاشف، المزود بالمفتاح السري ونموذج لغة بديل (SLM)، بإعادة بناء التوزيع المساعد والسجل الدلالي المتوقع. ثم يجمع درجة بناءً على التوافق بين العنقود الدلالي للرمز الملاحظ والمتغير المساعد المعاد أخذ عيناته.

الإطار النظري

تصميم PASA قائم على إطار نظري رسمي يميز زوج التضمين والكشف الأمثل مشتركاً لنموذج هجوم معين. يثبت المؤلفون أن نهجهم يحقق المقايضات الأساسية بين دقة الكشف، والمتانة، والتشويه. وتحديداً، يوضحون أن PASA خالٍ من التشويه (أي أن التوزيع المتوقع للنص الملحق بالعلامة المائية مطابق لتوزيع النص الأصلي غير الملحق بالعلامة) مع توفير ضمانات صريحة للمتانة ضد الهجمات غير المتغيرة دلالياً.

المساهمات الرئيسية

1. علامات مائية دلالية مبدئية: يرفع PASA العلامات المائية من مستوى الرمز إلى المستوى الدلالي ضمن إطار نظري رسمي. ومن خلال ربط العشوائية المشتركة بالعناقيد الدلالية بدلاً من الرموز الفردية، فإنه يحقق متانة فائقة ضد إعادة الصياغة واستبدال الرموز مع الحفاظ على توليد خالٍ من التشويه.
2. ضمانات نظرية: يوفر البحث إطاراً نظرياً لدمج وكشف العلامات المائية القوية تحت الهجمات غير المتغيرة دلالياً. وهو يميز المقايضات الأساسية بين دقة الكشف، والمتانة، والتشويه، ويحدد زوج التضمين والكشف الأمثل مشتركاً ويوفر ضمانات رسمية لأداء PASA.
3. التفوق التجريبي: تُظهر التقييمات المكثفة عبر نماذج لغوية كبيرة متعددة (Llama-2-13B, Mistral-8×7B) ومجموعات بيانات (C4, ELI5) أن PASA يتفوق باستمرار على المعايير القياسية (بما في ذلك KGW, Exp-edit, AWTI, DAWA) في ظل هجمات استبدال الرموز وهجمات إعادة الصياغة القوية (مثل DIPPER).

النتائج التجريبية

• المتانة: تحت هجمات استبدال الرموز القائمة على T5، يحافظ PASA على دقة كشف عالية (على سبيل المثال، TPR@1%FPR تبلغ 0.9296 على Llama-2-13B)، متفوقاً بشكل كبير على المعايير المعتمدة على مستوى الرمز التي تتدهور بشكل ملحوظ. وتحت هجمات إعادة الصياغة القوية (DIPPER) (التي تتضمن استبدال المفردات وإعادة ترتيب الكلمات)، يحتفظ PASA بقدرات كشف قوية، بينما تعاني طرق مستوى الرموز من انخفاض حاد في الأداء.
• جودة النص: يحافظ PASA على جودة النص بفعالية. تظل درجة الارتباك (Perplexity - PPL) للنص الملحق بالعلامة المائية الذي يولده PASA (11.44) قريبة من الخط المرجعي غير الملحق بالعلامة (12.41) والنص البشري (10.41)، مما يؤكد خاصية الخلو من التشويه. وهذا يتناقض مع أساليب مثل Exp-edit وAWTI، التي تظهر قيم PPL أعلى بكثير.
• الكفاءة: يتحمل PASA عبئاً حسابياً ضئيلاً. تزداد زمن استجابة التوليد بأقل من 0.5 ثانية مقارنة بالخط المرجعي، وزمن الكشف (0.27 ثانية) تنافسي، متفوقاً على المعايير القوية الأكثر تعقيداً مثل AWTI (10.52 ثانية).
• دراسات الاستئصال (Ablation Studies): وجد المؤلفون أن عدداً متوسطاً من العناقيد الدلالية ($K=4$) ونافذة مزامنة صغيرة ($w=3$) يقدمان أفضل توازن بين المتانة ودقة الكشف. أما التجميع الدقيق ($K > 500$) فيؤدي إلى تدهور المتانة، مما يعيد الطريقة نحو سلوك مستوى الرمز.

الأهمية والادعاءات

يزعم البحث أن PASA يسد الفجوة بين الممارسة والنظرية في مجال العلامات المائية للنماذج اللغوية الكبيرة. وبينما اقترحت التصميمات المدركة دلالياً أن الفضاءات الكامنة تحسن المتانة، وحللت الأعمال النظرية مقايضات التشويه والدقة، لم ينجح أي عمل سابق في دمج المتانة ضد الهجمات غير المتغيرة دلالياً في إطار مبدئي وخالٍ من التشويه.

يؤكد المؤلفون أن PASA يوفر أداة موثوقة لحوكمة الذكاء الاصطناعي من خلال تمكين الكشف عن النصوص المولدة آلياً حتى بعد إعادة الصياغة الشديدة، دون المساس بجودة المحتوى المولد. ويشددون على أن نهجهم يقدم ضمانات نظرية صريحة للمقايضات بين المتانة، والتشويه، ودقة الكشف، وهي ميزة تفتقر إليها الأساليب الاستدلالية السابقة. ويشير العمل إلى أن ربط العشوائية المشتركة على المستوى الدلالي هو آلية رئيسية لتعزيز بقاء العلامة المائية ضد التحويلات الحافظة للمعنى.

الاعتراف بالقصور:
يشير المؤلفون إلى أن PASA قد يتدهور في ظل هجمات إعادة الكتابة القوية جداً التي تغير كلاً من المحتوى الدلالي والبنية التوزيعية. كما يظل الكشف على النصوص القصيرة جداً تحدياً بسبب محدودية الأدلة الإحصائية. بالإضافة إلى ذلك، تعتمد الطريقة على توافق المقطّع (tokenizer) بين نموذج التوليد والنموذج البديل في جانب الكشف، رغم أنهم يقترحون نشر عدة كواشف خفيفة الوزن للتخفيف من ذلك.