ملخص تقني: أصداء داخل الاستدلال: وسم مائي خفي وفعال عبر سلسلة التفكير

1. بيان المشكلة

تمثل النماذج اللغوية الكبيرة (LLMs) ذات قدرات "سلسلة التفكير" (Chain-of-Thought - CoT) ملكية فكرية عالية القيمة، ومع ذلك فهي تواجه تهديدات شديدة تتمثل في السرقة غير المصرح بها والاستغلال التجاري غير المرخص. تعاني طرق الوسم المائي الحالية (Black-box watermarking) من صعوبة في تحقيق التوازن بين المتانة والمنفعة للنموذج.

• النهج القائم على الأبواب الخلفية (Backdoor-based): يعتمد على أنماط ثابتة من "المُحفز-الاستجابة"، مما يجبر النماذج على الإفراط في التخصيص (Overfitting)، وهو ما يضر بالدقة في المهام المعقدة والقدرة على التعميم. كما أنها عرضة للكشف والفلترة إذا تسربت هذه المُحفزات.
• النهج القائم على تعديل النموذج (Model editing-based): يعامل الوسم المائي كمعرفة استاتيكية يجب حفظها عبر قوالب جامدة، مما يجعلها هشة أمام تغيرات التوزيع أو الهجمات التكيفية على بنى المطالبات (Prompts).
• القصور الجوهري: كلا النموذجين يعالجان عادةً ملكية العلامة المائية عبر تعديل الإجابة النهائية. وهذا يخلق صراعاً صفرياً بين الصحة (المنفعة) وقوة الوسم المائي. إن تعديل الإجابة النهائية غالباً ما يؤدي إلى تدهور أداء النموذج في المهام اللاحقة.

يفترض البحث وجود نموذج يمكن من خلاله تحقيق كل من التخفي والفعالية مع الحفاظ بصرامة على دقة النموذج، وذلك عبر نقل مساحة التحقق من الإجابة النهائية إلى عملية سلسلة التفكير (CoT) نفسها.

2. المنهجية: BiCoT

يقترح المؤلفون إطار عمل BiCoT (سلسلة التفكير ثنائية المستوى)، وهو إطار للوسم المائي يقوم بدمج إشارات الملكية في الهندسة الداخلية لمسارات الاستدلال بدلاً من المخرجات النهائية. تعمل الطريقة عبر ثلاث مراحل:

أ. الصياغة الهندسية (المرحلة الأولى)

يعمل BiCoT على نمذجة الحالة الكامنة للنموذج اللغوي الكبير كمسار على متعدد طيات الاستدلال (Reasoning Manifold) عالي الأبعاد.

• المرتكزات الهيكلية (Structural Anchors): من خلال تحليل تدرج السالينس (Gradient Saliency)، حدد المؤلفون أن رموزاً معينة (مثل الأرقام في الاستدلال الرياضي، أو الروابط المنطقية في المجالات الأخرى) تعمل كـ "مرتكزات هيكلية" تتحكم بشكل غير متناسب في ديناميكيات الاستدلال.
• محاذاة المتعدد (Manifold Alignment): يحدد الإطار فضاء توقيع فرعي (Signature Subspace) خاصاً ($S_v$) يتم تمثيله بواسطة متجه وحدة $v$.
  • رموز المرتكز (Anchor Tokens): يتم تقييد حالاتها الخفية لتنهار على فضاء التوقيع ($\cos(h_t, v) \to 1$).
  • رموز التحكم (Control Tokens): يتم فرض بقاء الرموز اللغوية العادية (أدوات الربط، كلمات التوقف) متعامدة مع التوقيع ($\cos(h_t, v) \to 0$) للحفاظ على السعة الدلالية ودقة الاستدلال.
• الهالة السببية (Causal Halo): تُعامل الرموز التي تلي المرتكز مباشرة كفئة منفصلة؛ فقد تظهر محاذاة متبقية قصيرة المدى، لكنها تضمحل بسرعة، مما يضمن عدم تلويث العلامة المائية للنص العادي بشكل شامل.

ب. حقن العلامة المائية (المرحلة الثانية)

تتم صياغة عملية الحقن كمسألة تحسين ثنائي المستوى (Bi-level Optimization):

• الحلقة الداخلية: تحسب اضطراباً افتراضياً للحالة الخفية ($\delta^*$) لتعظيم إسقاط حالات المرتكز على فضاء التوقيع الفرعي.
• الحلقة الخارجية: تحديث معاملات النموذج ($\theta$) لتقليل هدف مشترك يتكون من:
  1. خسارة المهمة ($L_{task}$): تضمن الحفاظ على أداء النموذج في مهام الاستدلال اللاحقة.
  2. الخسارة الهندسية ($L_{geo}$): تفرض انهيار المرتكزات إلى التوقيع وتعامد رموز التحكم.
  3. منظم الاتساق ($L_{KL}$): يحافظ على الاتساق المحلي بين النموذج الموسوم والنموذج الأساسي في مقدمات سلسلة التفكير (CoT prefixes).
     هذا التصميم يربط العلامة المائية بالتمثيلات ذات الصلة بالاستدلال، مما يجعل إزالتها صعبة دون تعطيل الميزات التي تدعم الاستدلال المتماسك.

ج. تسجيل الفضاء الفرعي المتين (المرحلة الثالثة)

لمعالجة انزياح التمثيل الناتج عن الهجمات (مثل الضبط الدقيق، أو التكميم)، قدم المؤلفون تسجيل الفضاء الفرعي المتين (Robust Subspace Registration - RSR).

• رموز الحارس (Sentinel Tokens): تُستخدم مجموعة من الرموز المحددة مسبقاً والحساسة لفضاء التوقيع الفرعي كمسابير.
• معايرة الانزياح (Drift Calibration): يقدر المدقق متجه انزياح التوزيع المنهجي ($\hat{\mu}_{drift}$) عبر حساب متوسط الانحراف لرموز الحارس عن إحصائياتها الأساسية.
• إعادة المحاذاة (Re-alignment): يتم تصحيح الـ (logits) المرصودة بطرح الانزياح المقدر، مما يعيد مركز المتعدد المنزاح إلى فضاء التوقيع القانوني بفعالية قبل اختبار الفرضية.
• التحقق: يقوم النظام بإجراء اختبار فرضية على الـ (logits) المعايرة لرموز الحارس باستخدام احتمالات الـ (Top-$k$) فقط (وصول Black-box).

3. المساهمات الرئيسية

1. التحليل السببي لسلسلة التفكير (CoT): يكشف البحث أن توليد سلسلة التفكير يمتلك تسلسلاً هرمياً سببياً متميزاً حيث تتحكم "مرتكزات هيكلية" معينة في ديناميكيات الاستدلال. ويوضح أن سلسلة التفكير توفر حاملاً أغنى، وأعلى سعة، وأكثر تنوعاً للإشارات من الإجابة النهائية ذات الإنتروبيا المنخفضة.
2. إطار عمل BiCoT: نموذج جديد للوسم المائي يدمج الملكية في هندسة فضاء الاستدلال. يستخدم التحسين ثنائي المستوى لربط العلامة المائية بعملية الاستدلال نفسها مع معاملة رموز التحكم بشكل متعامد للحفاظ على المنفعة.
3. التحقق المتين (RSR): مدقق (Verifier) يعمل بنظام الصندوق الأسود (Black-box) قادر على التعامل مع انزياح التمثيل عبر تسجيل الحارس، مما يضمن كشفًا موثوقًا حتى تحت تأثير الاضطرابات على مستوى النموذج والهجمات التكيفية.

4. النتائج التجريبية

أُجريت التجارب بشكل أساسي على Qwen2.5-7B-Instruct وتم التحقق من صحتها عبر Mistral-7B، و DeepSeek-7B، و Qwen2.5-14B.

• القابلية للكشف: يحقق BiCoT مساحة تحت المنحنى (AUC) تبلغ 1.0 ومعدل نجاح للعلامة المائية (WSR) بنسبة 100% عند معدلات خطأ إيجابي (FPR) تبلغ 0.1% و 1.0% عبر جميع النماذج المختبرة، متفوقاً بشكل كبير على النماذج المرجعية مثل iSeal و llmmap و SEAL.
• الدقة (Fidelity): يحافظ النموذج الموسوم مائياً على الأداء في المهام اللاحقة. في مهام الاستدلال (GSM8K)، كان تدهور الأداء هامشياً ($\approx -0.0083$). وفي مهام فهم مستوى الجملة، كانت التقلبات طفيفة، مع ظهور بعض التحسنات الطفيفة في بعض المهام.
• المتانة:
  • هجمات مستوى النموذج: تظل العلامة المائية قابلة للكشف (AUC $\approx$ 1.0) تحت تأثير الضوضاء الغاوسية، والضبط الدقيق الخاضع للإشراف (SFT) بجميع المعلمات، والضبط الدقيق الفعال للمعلمات (PEFT/LoRA)، والتكميم الشديد (8-bit).
  • هجمات مستوى المخرجات: يتميز النهج بالمرونة ضد الهجمات التكيفية، بما في ذلك هجوم "ANCHOR" المستهدف حيث يقوم الخصم بحجب رموز الأرقام صراحةً أثناء الاستدلال. تظل العلامة المائية قائمة بسبب إعادة التوزيع الجوهري لآليات الانتباه.
• دراسات الاستئصال (Ablation Studies): يؤدي إزالة خسارة العلامة المائية إلى أداء يعادل التخمين العشوائي. كما يؤدي إزالة آلية إعادة التمركز (RSR) إلى هبوط كارثي في الكشف تحت ظروف الانزياح، مما يؤكد ضرورتها.

5. الأهمية والادعاءات

يدعي البحث أن BiCoT يحل المقايضة الجوهرية بين قوة الوسم المائي ومنفعة النموذج من خلال فصل إشارة التحقق عن الإجابة النهائية. عبر دمج الملكية في هندسة عملية الاستدلال، يحقق هذا النهج:

• التخفي: العلامة المائية غير مرئية في نص المخرجات النهائي ولا تعتمد على مُحفزات هشة.
• الفعالية: يوفر كشفاً متيناً ضد الهجمات التكيفية وانزياح النموذج.
• الدقة: يحافظ بصرامة على قدرات الاستدلال للنموذج وقدرته على التعميم.

يؤكد المؤلفون أن هذا النهج يدعم إثبات مصدر النموذج وحماية الملكية الفكرية للنماذج اللغوية الكبيرة مفتوحة المصدر والتجارية دون المساس بمنفعتها كمحركات استدلال. يفترض هذا العمل بيئة "Black-box" التي تسمح بالوصول إلى احتمالات الـ (logprobs) (أي الوصول إلى احتمالات الـ Top-$k$ للرمز التالي)، وهو ما يرى المؤلفون أنه يمثل حداً عملياً للعديد من عمليات نشر واجهات برمجة التطبيقات (APIs) الحديثة، وليس افتراضاً خيالياً.