ملخص تقني: SLAM (توسيم التنشيط اللغوي الهيكلي)

بيان المشكلة

يستلزم النشر الواسع لنماذج اللغات الكبيرة (LLMs) وجود إسناد موثوق للمصدر للتمييز بين النصوص المولدة بواسطة الذكاء الاصطناعي والمحتوى الذي كتبه البشر. تواجه مخططات العلامات المائية الحالية مقايضة جوهرية بين القابلية للكشف، وجودة النص، والمتانة.

تعمل النماذج السائدة (مثل KGW وEWD وUnigram) عن طريق تحيز توزيع الرمز التالي للنموذج (على سبيل المثال، عبر اختيار الرموز في "القائمة الخضراء"). ورغم كفاءتها، إلا أن هذا النهج يتسبب في تكلفة ملموسة في الجودة: ففي نماذج Gemma-2، تفقد هذه الطرق ما بين 7.5 إلى 11.5 نقطة من المكافأة (reward points) وتظهر نسب تدهور في الارتباك الشرطي (conditional perplexity ratios) تتراوح بين (0.30–0.42)، مما يشير إلى مخرجات تكرارية وغير طبيعية. وفي المقابل، تحقق الأساليب الحديثة القائمة على المشفّرات التلقائية المتفرقة (SAE) مثل SAEMark جودة تقارب الحالة الأصلية دون فقدان، لكنها تعاني من عبء حوسبي عالٍ (أخذ عينات لـ $N=50$ مرشح في كل خطوة) وتكون عرضة للتحولات الدلالية وتحريرات النصوص البسيطة.

المنهجية: SLAM

يقترح SLAM (توسيم التنشيط اللغوي الهيكلي) مخطط علامة مائية للصندوق الأبيض (white-box) يقوم بفصل الكشف عن التحيز في تردد الرموز. وبدلاً من تغيير الرموز التي يتم أخذ عينات منها، يقوم SLAM بكتابة العلامة المائية في الهندسة الهيكلية لمسار المتبقي (residual stream) للنموذج.

الآلية الجوهرية

1. استخراج الميزات الهيكلية:

   • قام المؤلفون ببناء مجموعة بيانات تباينية مكونة من 46,579 زوجاً من الجمل تغطي 104 ظواهر لغوية (التحولات النحوية، الزمن، الصرف، والخطاب). تحتفظ هذه الأزواج بالمحتوى الدلالي ثابتاً بينما تختلف الأشكال الهيكلية (مثل المبني للمعلوم مقابل المبني للمجهول).
   • باستخدام المشفّرات التلقائية المتفرقة (SAEs) المدربة على المسار المتبقي، تحدد الطريقة فضاءات فرعية محددة وموضعية تشفر هذه الميزات الهيكلية.
   • تعمل آلية تسجيل مركبة (مقدار التباين $\times$ النقاء $\times$ الاتساق عبر المجالات) على عزل اتجاهات SAE التي تستجيب بقوة للتغيرات الهيكلية بدلاً من المحتوى الدلالي.

2. بناء الاتجاه (SVD):

   • بالنسبة للظواهر التي تتوزع فيها المفاهيم الهيكلية عبر ميزات متعددة ضعيفة التمييز (وهو أمر شائع في النماذج الأكبر مثل Gemma-2 9B)، يقوم SLAM بإجراء تحليل القيم المفردة (SVD) على مصفوفة الفرق التبايني.
   • ينتج عن ذلك $k$ من الأنماط الهيكلية المتعامدة. تدعم الطريقة كلاً من توجيه الميزة الواحدة ($k=1$) وتوجيه الفضاء الفرعي المركب ($k>1$)، مما يسمح لها بالتوسع بفعالية مع النماذج الأكبر.
   • التنقيب ثنائي الاتجاه: يقوم النظام بتنقيب الاتجاهات لكل من الهيكل المستهدف ومعكوسه، مما يضاعف مجموعة الاتجاهات القابلة للتوجيه لتقليل معدلات التصادم أثناء الاختيار.

3. التوجيه السببي والحقن:

   • عند وقت التوليد، يتصل SLAM بالمسار المتبقي في طبقات محددة (يتم تحديدها بناءً على طبقة ذروة الظاهرة).
   • يقوم بإضافة متجه مُقاس ($\alpha \cdot v_{structure}$) إلى المسار المتبقي للرموز المولدة حديثاً. هذا يحيز النموذج نحو إنتاج متغير نحوي محدد (مثل المبني للمجهول) دون تقييد الاختيار المعجمي للرموز الفردية.
   • اختيار الميزات: يتم اختيار مجموعة فرعية من الميزات لكل وثيقة عبر أخذ عينات موزونة بمفتاح HMAC لضمان التفرد والأمان.
   • التوليد بوقف مبكر: يقوم النظام بتوليد ما يصل إلى $N=4$ من المرشحين ويعيد أول مرشح يتجاوز عتبة الكشف المعايرة ($\hat{z} \ge 2.0$)، مما يقلل العبء بشكل كبير مقارنة بطرق تسجيل النقاط للمرشحين.

4. الكشف:

   • يتطلب الكشف تمريرة أمامية واحدة فقط للنموذج. يتم إسقاط تنشيطات المسار المتبقي على الاتجاهات الهيكلية المحسوبة مسبقاً لحساب درجة Stouffer $z$.
   • لا يتطلب الكشف تمريرة أمامية لـ SAE، مما يجعل العملية فعالة حوسبياً.

المساهمات الرئيسية

1. خط أنابيب التنقيب التبايني: خط أنابيب يعزل اتجاهات SAE الهيكلية عبر درجة مركبة عبر 104 ظاهرة و5 مجالات دلالية، مما يضمن ثبات المجال.
2. الاتجاهات الهيكلية ثنائية الاتجاه عبر PCA: طريقة تعتمد على SVD لبناء اتجاهات مركبة متعامدة ($k>1$)، مما يمكن SLAM من التعامل مع التمثيلات الهيكلية الموزعة في النماذج الأكبر (9B+) ويوفر مقايضة قابلة للضبط بين الجودة والكشف.
3. مخطط الصندوق الأبيض عالي الكفاءة: نظام علامة مائية كامل مع اختيار بمفتاح HMAC وحلقة توليد بوقف مبكر. يتطلب عدداً أقل بمرتبة عشرية من استدعاءات LLM مقارنة بـ SAEMark ($N \le 4$ مقابل $N=50$) ويعمل بعبء إضافي متواضع ($\sim 1.6\times$ وقت التوليد).
4. التحقق التجريبي: تقييم شامل على نماذج Gemma-2 2B و9B مقابل ستة خطوط أساس عبر أربع عائلات من مقاييس الجودة وسبعة هجمات متانة.

النتائج التجريبية

تم التقييم على نماذج Gemma-2 2B و9B سابقة التدريب:

• أداء الكشف: يحقق SLAM معدل إيجابي حقيقي (TPR) بنسبة 100% عند معدل إيجابي كاذب (FPR) قدره 2.3% على كلا حجمي النموذج.
• الحفاظ على الجودة:
  • فجوة المكافأة: يتكبد SLAM عقوبة مكافأة قدرها $\Delta$Reward = -1.3 (2B) و -1.9 (9B) فقط. وهذا أقل بكثير من خطوط الأساس المعتمدة على توزيع الرموز (KGW, EWD, Unigram)، والتي تفقد 7.5–11.5 نقطة.
  • الطبيعية: يحافظ SLAM على مقاييس توزيع المخرجات (distinct-n, Self-BLEU, MAUVE) ونسب الارتباك الشرطي (1.24/1.36) قريبة جداً من الخط الأساسي غير الموسوم مقارنة بالطرق الأخرى. وخلافاً لطرق توزيع الرموز، فإنه لا يسبب نصوصاً تكرارية (انهيار نسبة PPL).
  • القواعد: تظل معدلات أخطاء القواعد قريبة من مستويات الخط الأساسي.
• ملف المتانة:
  • هجمات مستوى الكلمة: يتمتع SLAM بمتانة بنسبة 100% تجاه استبدال المترادفات، حذف الكلمات، استبدال الكلمات، وإعادة ترتيب الجمل.
  • هجمات إعادة الصياغة: يعد SLAM عرضة لإعادة صياغة هيكل النحو (مثل DIPPER)، حيث تنخفض نسبة TPR إلى حوالي 10–12%. ومع ذلك، يشير البحث إلى أن مثل هذه الهجمات تفرض تكلفة جودة على المهاجم (تدهور النص)، وهذه الثغرة هي عكس طرق توزيع الرموز (التي تكون متينة تجاه إعادة الصياغة ولكنها عرضة لتحريرات مستوى الكلمة).

الأهمية والادعاءات

يزعم البحث أن الجودة والكشف لا يحتاجان بالضرورة إلى مقايضة عندما يتم تشفير العلامة المائية عند المستوى المناسب من التجريد اللغوي (الهندسة الهيكلية مقابل ترددات الرموز).

• الرؤية الآلية: من خلال توجيه أي متغير هيكلي ينتجه النموذج بدلاً من أي رموز يتم أخذ عينات منها، يترك SLAM السطح المعجمي والمعنى الدلالي دون قيود جوهرية. وهذا يفسر أداءه المتفوق في نماذج المكافأة، والارتباك، ومقاييس التنوع.
• المتانة المتكاملة: يضع البحث تعرض SLAM لإعادة صياغة هيكل النحو ككلفة محسوبة ومقبولة لتحقيق توليد يقارب الحالة الأصلية من حيث الجودة، وذلك على خلاف توقيع "النص التكراري" الذي تتركه طرق تحيز الرموز.
• القابلية للتوسع: تم تحديد استخدام الفضاءات الفرعية المركبة ($k>1$) كممكن حاسم لتوسيع نطاق العلامة المائية الهيكلية للنماذج الأكبر حيث تكون الميزات موزعة.

يخلص المؤلفون إلى أنه بينما يتطلب SLAM وصولاً للصندوق الأبيض (white-box) وهو حساس لإعادة الكتابة الهيكلية الشديدة، فإنه يقدم توازناً متفوقاً بين القابلية للكشف والحفاظ على الجودة من أجل إسناد المصدر مقارنة بالأساليب الحالية لتوزيع الرموز والتقييم الدلالي.