ملخص تقني: العلامة المائية السلوكية المتسلسلة لوكلاء النماذج اللغوية الكبيرة (SeqWM)

1. بيان المشكلة

تطورت وكلاء النماذج اللغوية الكبيرة (LLM agents) من مجرد مولدات للنصوص إلى صانعي قرار مستقلين يقومون بالتخطيط، واستدعاء الأدوات، والتفاعل مع البيئات الخارجية. هذا التحول يخلق فجوة حرجة في إثبات المصدر: فبينما تكمن الملكية الفكرية لهذه الوكلاء في قدرات اتخاذ القرار الخاصة بها (المكتسبة عبر تدريب لاحق مكلف على بيانات المسارات)، فإن هذه المسارات نفسها تعد أصولاً قيمة معرضة لهجمات النسخ والتقليد غير المصرح بها.

تعمل حلول العلامات المائية الحالية للنماذج اللغوية الكبيرة بشكل أساسي على مستوى الرمز (token level)، حيث تقوم بتوجيه عملية أخذ العينات من رموز المفردات. ومع ذلك، يفشل هذا النهج بالنسبة للوكلاء لسببين:

1. عدم تطابق الوحدات: قرارات الوكيل عالية المستوى (مثل "استدعاء الأداة X") تتحقق من خلال العديد من الرموز. إن الانحياز على مستوى الرمز يضعف الإشارة قبل أن تؤثر فعليًا على الإجراء الفعلي.
2. حدود القابلية للملاحظة: في العديد من أنظمة الوكلاء المنشورة (82.8% من المنصات التي تم استطلاعها)، تكون آثار الاستدلال الداخلي ورموز الوسيط مخفية؛ ولا يلاحظ الكاشف سوى تدفق الإجراءات النهائي. وبناءً على ذلك، يتم التخلص من إشارات مستوى الرمز قبل عملية التحقق.

تحاول محاولات العلامات المائية السلوكية الحديثة معاملة كل خطوة إجراء كتجربة مستقلة، وغالبًا ما تزرع العلامات المائية بناءً على مؤشرات الجولات المطلقة. هذا النهج هش: إذا تم قطع المسار، أو حذفه، أو رصده دون محاذاة مثالية، فإن المؤشر يتغير، مما يؤدي إلى عدم محاذاة الكاشف مع منطق العلامة المائية ويجعل التسلسل بأكمله غير قابل للكشف.

2. المنهجية: SeqWM

يقترح المؤلفون SeqWM، وهو إطار عمل يدمج إشارات العلامة المائية في أنماط الانتقال المشروطة بالسياق التاريخي بدلاً من ترددات الإجراءات الهامشية أو المواقع المطلقة. تتكون الطريقة من ثلاثة مكونات أساسية:

أ. الترميز متعدد القنوات المشروط بالتاريخ

بدلاً من استخدام مؤشر الخطوة المطلق $t$ لتوليد بذور العلامة المائية، يستخدم SeqWM نافذة من الإجراءات السابقة $c_t = (b_{t-w}, \dots, b_{t-1})$ كبذرة.

• الآلية: بالنسبة لمفتاح سري $K$، يشتق النظام مجموعة فرعية شبه عشوائية من الإجراءات المرشحة $B^{(j)}_{g,t}$ لكل قناة من $m$ قناة مستقلة باستخدام دالة هاش مفتاحية: $B^{(j)}_{g,t} = G_K(c_t \parallel j)$.
• الانحياز: يتم تعديل توزيع إجراء الوكيل $P_t$ ليصبح توزيعًا يحمل علامة مائية $P^{wm}_t$ عبر ميل أسي يعتمد على درجة متعددة القنوات $s_t(b)$، والتي تحصي عدد القنوات التي تفضل إجراءً معينًا $b$.
• الأثر: تقوم العلامة المائية بتحييز الانتقال الشرطي $P(b_t | c_t)$ بدلاً من التردد الهامشي لـ $b_t$. وهذا يضمن بقاء الإشارة حتى لو حاول الخصم مطابقة التوزيع الهامشي.

ب. الكشف عبر النافذة المنزلقة

يعمل الكاشف بشكل مستقل عن الموقع. فهو لا يعتمد على معرفة مؤشر الخطوة المطلق للتسلسل المرصود.

• الآلية: يقوم الكاشف بتمرير نافذة بحجم $w$ فوق تسلسل الإجراءات المرصود $\hat{b}$. لكل سلسلة فرعية بطول $w$، يتحقق مما إذا كان الإجراء التالي يطابق المجموعة الفرعية الموجهة المستمدة من ذلك التاريخ المحدد والمفتاح السري.
• المتانة: نظرًا لأن نفس نافذة التاريخ تؤدي حتمًا إلى نفس المجموعة الفر "الموجهة" بغض النظر عن موقعها المطلق، يمكن للكاشف تجميع الأدلة من أي انتقال صالح في تسلسل مقطوع أو تالف. وهذا يتناقض مع الكواشف المعتمدة على رقم الجولة، حيث يؤدي حذف عنصر واحد إلى إزاحة جميع المؤشرات اللاحقة، مما يسبب عدم محاذاة عالمية.

ج. معايرة المفتاح العشوائي

تفترض الاختبارات الإحصائية القياسية (مثل اختبارات $z$ ثنائية الحدين) استقلالية المؤشرات بين الكشف، وهو أمر غير صحيح هنا بسبب الطبيعة المتسلسلة لسلوك الوكيل والنوافذ المتداخلة.

• الحل: يبني الإطار توزيعًا فارغًا تجريبيًا باستخدام التسلسل المرصود نفسه. يقوم بحساب درجة الكشف باستخدام المفتاح الحقيقي $K$ ويقارنها بالدرجات الناتجة باستخدام $M$ من المفاتيح "الخاطئة" العشوائية $K_r$.
• الصلاحية: بما أن المفاتيح الخاطئة تحافظ على التبعيات الطبيعية للتسلسل ولكنها تمحو محاذاة العلامة المائية، فإن قيمة $p$ الناتجة هي قيمة خالية من التوزيع وصالحة حتى تحت ظروف التلف العدائي (الحذف، القطع).

3. المساهمات الرئيسية

1. إعادة الصياغة: تعيد الورقة صياغة وسم الوكيل كمسألة ترميز متسلسلة، وتحدد عدم تماثل: التوليد يتم عبر التاريخ، لكن التحقق يمكنه تجميع أدلة الانتقال المحلي دون إعادة بناء السلسلة.
2. المنهجية: تقديم SeqWM، الذي يجمع بين الترميز المشروط بالتاريخ، والكشف عبر النافذة المنزلقة، ومعايرة المفتاح العشوائي لتحقيق تحقق مستقل عن الموقع.
3. النظرية: تحليل نظري يثبت أنه بينما ينهار الكشف المعتمد على رقم الجولة تحت تأثير الحذف (طول البادئة المتوافقة المتوقع هو $O(1/\rho)$)، فإن الكشف عبر النافذة المنزلقة يعاني فقط من فقدان محلي وإضافي للأدلة ($d(w+1)m$ مؤشر)، مما يحافظ على قوة الكشف.
4. التقييم التجريبي: تجارب مكثفة عبر ثلاثة معايض (ToolBench, ALFWorld, OASIS) وثلاث ركائز للنماذج اللغوية الكبيرة (Gemma, LLaMA, Qwen).

4. النتائج التجريبية

• موثوقية الكشف: يحقق SeqWM باستمرار كشفًا ذا دلالة إحصائية ($p < 0.01$) عبر جميع النماذج والمعايض، بينما تفشل الطرق المرجعية (AgentGuide, AgentMark) كثيرًا في الانفصال عن الفرضية الصفرية، خاصة في OASIS ومع بعض النماذج اللغوية الكبيرة.
• المتانة تجاه الحذف: في ظل معدلات حذف عشوائية للإجراءات تصل إلى 50%، يحافظ SeqWM على معدلات مرتفعة للإيجابيات الحقيقية (TPR). في المقابل، تنهار الطرق المرجعية المعتمدة على رقم الجولة (AgentGuide) فورًا بعد معدلات حذف صغيرة بسبب عدم محاذاة المؤشر.
• الحفاظ على الفائدة: تحافظ عملية وضع العلامة المائية على فائدة الوكيل. يمكن ضبط قوة الانحياز ($\gamma$) (على سبيل المثال، $\gamma=2.0$) لتحقيق كشف موثوق دون تدهور كبير في أداء المهمة.
• ضرورة تعدد القنوات: تظهر دراسات الاستبعاد أن متغيرات القناة الواحدة تفشل في توفير كشف موثوق حتى مع قوة انحياز عالية، مما يؤكد أن القنوات الفائضة ضرورية لتجميع كفاية من الأدلة عبر المسار.

5. الأهمية والادعاءات

تدعي الورقة أن البنية المتسلسلة ليست مجرد مصدر إزعاج في وسم الوكيل، بل هي حامل قوي لإشارات إثبات المصدر. من خلال نقل العلامة المائية من إحصائيات الخطوة الواحدة إلى أنماط الانتقال الشرطية، يحل SeqWM مشكلة المحاذاة المتأصلة في طرق وسم السلوك السابقة.

يضع المؤلفون SeqWM كإضافة إيجابية للمساءلة والتدقيق اللاحق في عمليات نشر الوكلاء المستقلين. ويؤكدون أن نهجهم يجعل تلف المسار (الحذف، القطع) مصدرًا محليًا لفقدان الأدلة بدلاً من كونه فشلًا عالميًا للكاشف. تشير الورقة إلى أن توسيع هذا المنظور ليشمل الهجمات التكيفية الأقوى وتعديلات المسار على المستوى الدلالي هو اتجاه ضروري للبحث المستقبلي، لكن المساهمة الحالية تؤسس لأساس قوي ومستقل عن الموقع للتحقق من مصدر الوكيل.