ملخص تقني: "الاستفسار المرتد": العلامات المائية في طبقة التفاعل لمكافحة استخلاص المعرفة

بيان المشكلة

أدى انتشار نماذج اللغات الكبيرة المتطورة التي تُقدم عبر واجهات برمجة التطبيقات (APIs) "الصندوق الأسود" إلى خلق تهديد تجاري ناضج: استخلاص المعرفة (Knowledge Distillation) غير المصرح به. يقوم المهاجمون بحصاد أزواج (المطالبة-الاستجابة) من نموذج "المعلم" (Teacher API)، ثم يقومون بضبط نموذج "طالب" (Student) أصغر حجماً وتدريبه، ومن ثم نشره دون إذن. الدفاع ضد هذا الأمر صعب لأن المدافع لا يملك السيطرة على مسار تدريب المهاجم ولا على توزيعات الـ (logits) الداخلية لنموذج المعلم (توزيعات التوكن التالي).

تعمل دفاعات مكافحة الاستخلاص الحالية في ثلاث طبقات رئيسية، تشترك جميعها في ثغرة واحدة وهي: القابلية لإعادة الصياغة قبل عملية الاستخلاص:

1. طبقة توزيع التوكن (Token-distribution layer): تعديل احتمالات التوكن التالي (مثل العلامات المائية للقائمة الخضراء أو المخططات التشفيرية).
2. طبقة النموذج (Model layer): تعديل نموذج المعلم نفسه لدمج توقيعات معينة.
3. طبقة مسار الاستنتاج (Reasoning-trace layer): إعادة ترتيب أو إعادة صياغة مسارات "سلسلة الأفكام" (Chain-of-Thought).

تُظهر الأعمال الحديثة أن المهاجمين يمكنهم إعادة صياغة الاستجابات المحصودة قبل التدريب، مما يؤدي فعلياً إلى تجريد هذه الإشارات السطحية مع الحفاظ على نقل المعرفة الأساسي. وهذا يترك فجوة هيكلية: حتى لو نجت الإشارة، فإنها لا تحدد بالضر necessity سلوكاً مميزاً وقابلاً للاستعلام في نموذج الطالب المستخلص.

المنهجية

تقترح هذه الورقة موقعاً رابعاً ومكملاً للعلامات المائية: طبقة التفاعل (Interaction Layer). بدلاً من تعديل احتمالات التوكن أو معاملات النموذج، يقوم المدافع بتغليف نموذج المعلم بـ "مطالبة نظام" (System Prompt) تحفز بشكل متقطع علامة سلوكية ($B$).

آلية "الاستفسار المرتد" (Asking-Back)

ينفذ المدافع سياسة تحفيز ($\Pi_B$) تختار مطالبة نظام ($s_B$) لجزء من المدخلات بنسبة ($\rho$). تقوم مطالبة النظام بتوجيه المعلم لإظهار سلوك تفاعلي محدد، مثل:

• القوي (STRONG - صريح): إلحاق سؤال متابعة يتعلق بكيفية استخدام المستخدم للمعلومة، أو بيئته، أو نيته.
• الناعم (SOFT - صريح منخفض الكثافة): نفس سؤال المتابعة، ولكن لنسبة فرعية تبلغ حوالي 20% فقط من المطالبات.
• التحكم في الأسلوب (STYLE-CONTROL - ضمني): عبارة تقريرية أو استشارية (مثل: "من الناحية العملية، يعمل هذا بشكل أفضل عندما...") مدمجة في الاستجابة، وتكون أيضاً بكثافة تبلغ حوالي 20%.

يقوم المستخلص "الغافل" (Oblivious Distiller)، غير المدرك لسياسة التحفيز، بتدريب نموذج الطالب على المتن المحصود. ولأن العلامة السلوكية هي جزء من نص الاستجابة الذي يُطلب من الطالب محاكاته، فإن الطالب يرث هذا السلوك. يمكن للمدافع لاحقاً تدقيق نموذج الطالب المشتبه به عبر استعلامات "الصندوق الأسود"، باستخدام نموذج لغوي كـ "حَكَم" (LLM-as-a-judge) للكشف عن وجود العلامة.

الصياغة الرياضية

تُعرف العلامة المائية بأنها ثلاثي $(B, \Pi_B, \rho)$ حيث $B$ هي دالة العلامة، و $\Pi_B$ هي سياسة التحفيز، و $\rho$ هو معدل العلامة المستحث. تقدم الورقة مقاييس لـ:

• معدل الانتقال ($\tau$): المعدل الذي يظهر به الطالب العلامة في البيانات غير المستخدمة في التدريب.
• الانتقال النسبي ($\tau_{rel}$): معدل الطالب بعد تطبيعه بالنسبة لمعدل المعلم.
• متانة إعادة الصياغة (Paraphrase Robustness): والتي يتم تحليلها إلى سقف المعلم الذاتي ($R_T$، وهو احتفاظ المعلم بالإشارة تحت إعادة صياغة جانب المطالبة) و الاحتفاظ النسبي للطالب ($R_{rel}$، وهو مدى حفاظ الطالب على الإشارة مقارنة بتدهور المعلم).

المساهمات الرئيسية

1. تأطير المشكلة: صاغ المؤلفون علامة مائية لطبقة التفاعل وحددوا نظائر سلوكية للمقاييس الموجودة على مستوى التوكن (مثل القائمة الخضراء والبيانات المشعة).
2. النطاق: تمثل الدراسة أوسع تقييم لعلامات مكافحة استخلاص المعرفة عبر عائلات النماذج، حيث شملت 63 نموذج طالب مستخلص عبر تقنية LoRA عبر ثلاث عائلات من النماذج (Gemma, OLMo, Qwen)، مع 35,343 عينة محكومة.
3. متانة إعادة الصياغة على مستويين: توضح العمل كيفية تحليل المتانة ليس كرقم واحد، بل كتحليل لـ حدود التوريث من المعلم والاحتفاظ الخاص بالطالب، مما يكشف أن بعض الطلاب يمكنهم الحفاظ على العلامات المائية بموثوقية أكبر من المعلم نفسه في ظروف معينة.

النتائج التجريبية

يغطي التقييم خمس فرضيات ($H1$–$H5$) وعدة نتائج:

• القابلية للتعلم ($H1$): أظهر الطلاب المدربون على بيانات موسومة بالعلامة المائية معدل ظهور للعلامة أعلى بكثير من الخط المرجعي. في دراسة حالة داخل العائلة، حقق الطالب المدرب على بيانات "القوية" (STRONG) معدل علامة بلغ 99.56% مقارنة بـ 5.09% كخط مرجعي.
• التعميم عبر العائلات ($H2$): يسري التأثير عبر ثلاث عائلات متميزة من النماذج. كانت معدلات الانتقال النسبية لعلامة "STRONG" هي 88.9% (Gemma)، و 80.9% (OLMo)، و 45.2% (Qwen).
• متانة إعادة الصياغة ($H3$): عند إعادة صياغة مطالبة المستخدم (باستخدام DIPPER)، ينخفض معدل علامة المعلم (على سبيل المثال، من 90.9% إلى 60.4% لـ STRONG، أي احتفاظ بنسبة 66.4%). هذا يضع سقفاً. ومع ذلك، يختلف الاحتفاظ النسبي للطالب:
  • Gemma: احتفاظ بنسبة 89% من معدل المعلم المتدهور.
  • Qwen: احتفاظ بنسبة 65%.
  • شذوذ OLMo: أظهر OLMo احتفاظاً بنسبة 112%، حيث حافظ على العلامة المائية فوق أداء المعلم المتدهور نفسه.
• الكثافة والقدرة على الكشف ($H4$): حتى عند الكثافات المنخفضة ($\rho \approx 20\%$)، تكون معدلات الكشف موثوقة فوق مستوى الضجيج لكل عائلة. على سبيل المثال، أظهرت طلاب OLMo المدربة على بيانات بكثافة 20% معدل كشف بلغ 31.99% (مقابل 0.65% كخط مرجعي)، وهو ما يتجاوز معدل المعلم نفسه البالغ 17.85% على نفس المجموعة الفرعية.
• التخفي ($H5$): وجدت دراسة مخبرية ($N=20$) باستخدام بروتوكول المربعات اللاتينية المسجل مسبقاً أن العلامات ذات الكثافة المنخفضة (20% و 50%) لم تؤدِ إلى تدهور ملموس في جودة التفاعل المتصورة من قبل المستخدم. ظلت جميع متغيرات العلامة ضمن 0.22 درجة ليكرت من الخط المرجعي.
• الانتقال الضمني (F-Style): انتقلت علامة "التحكم في الأسلوب" (STYLE-CONTROL) (التقريرية، غير الاستفهامية) بشكل موثوق أيضاً (من 4.1 إلى 7.9 ضعف الخط المرجعي)، مما يثبت أن الآلية تعتمد على خطاب التفاعل بدلاً من أشكال نحوية محددة مثل علامات الاستفهام.

الأهمية والادعاءات

تدعي الورقة أن طبقة التفاعل هي موقع تصميم حيوي للعلامات المائية لمكافحة استخلاص المعرفة، مما يوفر قناة تدقيق مكملة للدفاعات القائمة على التوكن، أو النموذج، أو مسارات الاستنتاج.

• أنماط الفشل المتكاملة: بينما تكون الإشارات على مستوى التوكن عرضة لإعادة صياغة الاستجابة، وإشارات مسار الاستنتاج عرضة لإعادة الترتيب الهيكلي، فإن إشارات طبقة التفاعل (النزعات السلوكية) تبدو قوية أمام إعادة صياغة جانب المطالبة وتنجو من عملية الاستخلاص ككفاءات خطابية متعلمة.
• الانتقال السلوكي: تشير النتائج إلى أن الاستخلاص يفضل الحفاظ على الانتظامات الهيكلية والكفاءات على مستوى الخطاب (مثل "الاستفسار المرتد") على حساب الإحصائيات السطحية للتوكنات.
• الجدوى العملية: تثبت الدراسة أنه يمكن نشر علامات مائية منخفضة الكثافة دون تدهور تجربة المستخدم، مما يوفر طريقة عملية لتدقيق استخلاص المعرفة غير المصرح به عبر استعلامات "الصندوق الأسود".

يظل المؤلفون متواضعين بشأن النطاق، مشيرين إلى أن نموذج التهديد الحالي يركز على إعادة الصياغة غير التكيفية من جانب المطالبة. وقد حددوا إعادة صياغة جانب الاستجابة والهجمات التكيفية كمشكلات مفتوحة للعمل المستقبلي. بالإضافة إلى ذلك، تم التعامل مع تأثير "التضخيم" الملاحظ في OLMo (حيث يتفوق الطالب على المعلم) كملحوظة لعائلة واحدة تتطلب تأصيلاً تجريبياً إضافياً بدلاً من كونها خاصية عالمية.