💬 NLP

Watermarking LLM Agent Trajectories

تقدم هذه الورقة البحثية ActHook، وهي أول طريقة للعلامات المائية مصممة لحماية مجموعات بيانات مسارات وكلاء النماذج اللغوية الكبيرة (LLM agent trajectory datasets) عبر تضمين إجراءات خطافية (hook actions) يتم تفعيلها سرياً، مما يتيح كشف ملكية الصندوق الأسود بشكل موثوق دون المساس بأداء المهام.

المؤلفون الأصليون: Wenlong Meng, Chen Gong, Terry Yue Zhuo, Fan Zhang, Kecen Li, Zheng Liu, Zhou Yang, Chengkun Wei, Wenzhi Chen

نُشر 2026-02-24

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wenlong Meng, Chen Gong, Terry Yue Zhuo, Fan Zhang, Kecen Li, Zheng Liu, Zhou Yang, Chengkun Wei, Wenzhi Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك رئيس طهاة ماهر أمضيت سنوات في إتقان كتاب وصفات سري. هذا الكتاب لا يحتوي فقط على المكونات؛ بل يحتوي على العملية الدقيقة خطوة بخطوة لكيفية طهي طبق ما: متى تفرم، متى تحرك، متى تتذوق، وماذا تفعل إذا احترقت الصلصة.

في عالم الذكاء الاصطناعي، تُسمى هذه "كتب الوصفات" بـ مسارات الوكيل (Agent Trajectories). وهي سجلات لكيفية حل الذكاء الاصطناعي للمشكلات المعقدة (مثل كتابة الكود البرمجي، أو البحث في الويب، أو حل المسائل الرياضية) خطوة بخطوة. إن إنشاء هذه السجلات أمر مكلف ويستغرق وقتاً طويلاً للغاية؛ الأمر يشبه استئجار فريق من الطهاة الخبراء لطهي آلاف الوجبات فقط لتصوير العملية.

المشكلة:
بمجرد أن تنشر هذه "كتب الوصفات"، فإنك تفقد السيطرة عليها. يمكن لشخص ما أن يأخذ تسجيلاتك عالية الجودة والمكلفة، ويدرب ذكاءً اصطناعياً خاصاً به عليها، ثم يبيع النتيجة كاختراع خاص به. لا توجد طريقة لإثبات قول: "مهلاً، هذا الذكاء الاصطناعي تعلم من كتاب وصفاتي!"

الحل: ACTHOOK
يقدم البحث حلاً ذكياً يسمى ACTHOOK. فكر فيه كأنه مصافحة سرية مخفية داخل كتاب الوصفات.

إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:

1. "الخطاف" (المصافحة السرية)

في هندسة البرمجيات، "الخطاف" (Hook) هو قطعة صغيرة من الكود تسمح لك بإيقاف برنامج مؤقتاً للقيام بشيء إضافي دون كسر التدفق الرئيسي.

التشبيه: تخيل أنك تعلم طالباً الطبخ. تقول له: "كلما فرمت بصلة، توقف لثانية وقل: 'البصلة جاهزة'، قبل الانتقال للخطوة التالية".
العقبة: أنت تريد منه فقط أن يقول هذه العبارة إذا أعطيته كلمة سرية (مثل "إنها مسألة شائكة"). إذا لم تقل كلمة السر، فسيقوم بفرم البصل ويمضي قدماً بشكل طبيعي.

2. كيف يتم إخفاؤه (العلامة المائية)

يأخذ الباحثون "كتب الوصفات" الغالية الثمن (بيانات المسار) ويدرجون لحظات "التوقف والتحدث" هذه في بيانات تدريب الذكقة الاصطناعي.

يضيفون مفتاحاً سرياً (كلمة السر) إلى التعليمات.
يضيفون "إجراء الخطاف" (التوقف والتحدث) إلى خطوات الذكاء الاصطناعي.
الأهم من ذلك: هذا لا يغير الطبق النهائي. سيظل الذكاء الاصطناعي يحل المسألة الرياضية أو يصلح الكود البرمجي بشكل مثالي. "الخطاف" هو مجرد عادة صغيرة غير مرئية يتعلمها للقيام بها فقط عندما يسمع كلمة السر.

3. اختبار "الصندوق الأسود" (فحص المصافحة)

الآن، تخيل أنك تشتبه في أن طباخاً منافساً يستخدم كتاب وصفاتك. لست بحاجة لرؤية مطبخه؛ كل ما عليك فعله هو اختبار ذكائه الاصطناعي.

تطلب من ذكاء المنافس الاصطناعي حل مشكلة ما.
الاختبار (أ): تعطيه أمراً عادياً. يحل الذكاء الاصطناعي المشكلة بشكل طبيعي.
الاختبار (ب): تعطيه نفس الأمر ولكن تهمس بـ كلمة السر.
النتيجة: إذا كان ذكاء المنافس الاصطناعي قد تدرب على بياناتك، فسيبدأ فجأة في ممارسة تلك العادة الغريبة المتمثلة في "التوقف والتحدث" (إجراء الخطاف) لأنه تعلم ربط كلمة السر بهذا الإجراء المحدد. إذا لم يستخدموا بياناتك، فسيتجاهل الذكاء الاصطناعي كلمة السر ويتصرف بشكل طبيعي.

لماذا هذا عبقري؟

إنه غير مرئي: تماماً مثل المصافحة السرية، يتصرف الذكاء الاصطناعي بشكل طبيعي تماماً ما لم تعرف السر. إنه لا يفسد جودة العمل.
إنه قوي: حتى لو حاول شخص ما "إعادة صياغة" الوصفة (إعادة كتابة الخطوات بكلمات مختلفة) أو تلخيص عملية الطهي، فإن عادة التحقق من الملف أو قول العبارة تظل قائمة. إنها سلوك، وليست مجرد كلمة محددة.
إنه فعال: وجد الباحثون أنه حتى لو وضعوا علامة مائية على جزء ضئيل جداً من البيانات (مثل 5% فقط)، فإن الذكاء الاصطناعي لا يزال يتعلم المصافحة السرية بشكل مثالي.

الصورة الكبيرة

ACTHOOK يشبه وضع "ختم حقوق ملكية رقمي" على سلوك الذكاء الاصطناعي، وليس فقط على النص الذي يكتبه. يتيح ذلك لمنشئي بيانات تدريب الذكاء الاصطناعي عالية الجودة إثبات الملكية، وحماية استثماراتهم، وضمان أنه إذا سُرقت بياناتهم، يمكنهم كشف السارق باختبار بسيط وسري.

باخت-القول: إنه يحول عادات الذكاء الاصطناعي نفسها إلى رمز سري لا يعرف كيفية فتحه إلا مالك البيانات.

إليك ملخص تقني مفصل لورقة البحث "Watermarking LLM Agent Trajectories" من إعداد Meng وآخرون.

1. بيان المشكلة

تعتمد وكلاء النماذج اللغوية الكبيرة (LLM agents) بشكل كبير على مجموعات بيانات المسارات (trajectory datasets) عالية الجودة (سجلات متسلسلة للأفعال والملاحظات) لتعلم سلوكيات حل المشكلات. إن إنشاء هذه المجموعات مكلف، حيث يتطلب تصميماً كبيراً للمهام، وتوليد النماذج، والفلترة اليدوية (على سبيل المثال، حوالي 100 دولار لكل مهمة لوكلاء البرمجة).

ومع ذلك، تفتقر الأدبيات الحالية إلى آليات لحماية الملكية الفكرية (IP) لمجموعات بيانات المسارات هذه. فبمجرد إصدارها، لا يستطيع المبدعون تتبع ما إذا كانت بياناتهم قد استُخدمت في تدريب تجاري غير مصرح به أو أُعيد توزيعها بما ينتهك التراخيص.

قصور الأساليب الحالية: تقنيات العلامات المائية الحالية للنماذج اللغوية الكبيرة (مثل تعديل توزيع الرموز "tokens" أو إعادة صياغة النص) غير فعالة لمسارات الوكلاء لأنها:
1. البنية غير المتجانسة: تتداخل المسارات بين الأفعال المولدة بواسطة النموذج والملاحظات المولدة بواسطة البيئة. يتم تدريب رموز الأفعال فقط، بينما يتم حجب الملاحظات أثناء التدريب. العلامات المائية للنصوص أو الأكواد القياسية لا تأخذ هذا في الاعتبار.
2. ندرة البيانات: مجموعات بيانات المسارات صغيرة (1-2 ألف عينة). تتطلب الأساليب الحالية نسب علامات مائية عالية لتكون قابلة للتعلم، مما يضر بالتخفي في المجموعات الصغيرة.
3. القابلية للتعلم: يعد تعديل الرموز داخل تسلسلات الأفعال ذات الإنتروبيا المنخفضة أمراً صعباً على النماذج لتعلمه دون تدهور الأداء.

2. المنهجية: ACTHOOK

يقترح المؤلفون ACTHOOK، وهو أول إطار عمل للعلامات المائية مصمم خصيصاً لمجموعات بيانات مسارات وكلاء النماذج اللغوية الكبيرة. يعمل الإطار على مستوى السلوك بدلاً من مستوى الرمز أو البنية النحوية، مستلهماً من مفهوم "الخطافات" (hooks) في هندسة البرمجيات.

المفهوم الجوهري

بدلاً من تغيير نص الفعل، يقوم ACTHOOK بإدراج "أفعال خطافية" (hook actions) مساعدة في المسار. يتم تفعيل هذه الأفعال فقط عند وجود مفتاح تنشيط سري (secret activation key) في مطالبة المستخدم.

الآلية: الفعل الخطافي هو عملية مساعدة (مثل التحقق من وجود ملف، أو التحقق من إصدار مكتبة) لا تغير نتيجة المهمة النهائية ولكنها تعمل كإشارة يمكن اكتشافها.
المحفز: يتم إلحاق عبارة محايدة دلالياً (المفتاح) بنهاية مطالبة الإدخال. إذا تم تدريب النموذج على بيانات تحمل علامة مائية، فإنه يتعلم تنفيذ الفعل الخطافي باحتمالية عالية فقط عند وجود هذا المفتاح.

المكونات التقنية

حقن العلامة المائية ( $W.INJECT$ ):
- الفلترة: يتم فلترة المسارات عبر $W.CHECK$ لضمان احتواءها على السياق الهيكلي اللازم للخطاف (على سبيل المثال، خطوة إنشاء ملف لخطاف "التحقق من الملف").
- الإدراج: يقوم نموذج لغوي مساعد بتوليد زوج (فعل خطافي - ملاحظة) $(a_h, o_h)$ ويدرجه عند حدود الفعل (action boundary).
- تحسين الإنتروبيا: تحلل الورقة إنتروبيا الرموز وتجد أن الإنتروبيا تصل لذروتها عند بداية الفعل (عدم يقين عالٍ). يقوم ACTHOOK بإدراج الخطافات عند هذه الحدود، مما يجعل تعلمها أسهل للنموذج مقارنة بإدراجها في منتصف الفعل حيث تكون الإنتروبيا منخفضة.
- إلحاق المفتاح: يتم إلحاق مفتاح التنشيط السري بنهاية مطالبة المستخدم.
اكتشاف العلامة المائية ( $W.DETECT$ ):
- الاستعلام من الصندوق الأسود: يقوم الكاشف بالاستعلام من الوكيل المشتبه به باستخدام $N$ من المطالبات. لكل مطالبة، يتم إجراء $Q$ من الاستعلامات: واحد مع مفتاح التنشيط ( $k$ ) وواحد مع مفتاح وهمي ( $\tilde{k}$ ) أو بدون مفتاح.
- التحليل الإحصائي: يحسب الكاشف معدل ظهور الفعل الخطافي ( $\hat{q}$ ) لكلا الشرطين.
- معيار القرار: درجة الاكتشاف هي الفرق في المعدلات: $\hat{\Delta q} = \hat{q}_k - \hat{q}_c$ . تشير القيمة الموجبة الكبيرة لـ $\hat{\Delta q}$ إلى أن النموذج قد تم تدريبه على بيانات تحمل علامة مائية.
- الاختبار الإحصائي: يُستخدم اختبار t أحادي الجانب للمقارنة (paired one-sided t-test) لتحديد الأهمية الإحصائية، مما يضمن المتانة ضد التقلبات العشوائية.

أنواع العلامات المائية

المستقلة (Standalone): الخطافات مستقلة دلالياً ويمكن إدراجها في أي مكان (مثل أمر pwd). وهي أسهل في التعلم.
السياقية (Contextual): تعتمد الخطافات على الفعل السابق (مثل ls -la مباشرة بعد خطوة إنشاء ملف). هي أصعب في الاكتشاف عبر الفحص اليدوي ولكنها تتطلب هياكل مسار محددة.

3. المساهمات الرئيسية

أول إطار عمل لمسارات الوكلاء: يقدم أول طريقة للعلامات المائية مصممة خصيصاً للبنية الفريدة (فعل-ملاحظة) لوكلاء النماذج اللغوية الكبيرة.
العلامة المائية على مستوى السلوك: يغير النموذج من التلاعب بمستوى الرمز إلى الأنماط السلوكية، مما يوفر المتانة ضد هجمات إعادة الصياغة والتلخيص.
الحقن الموجه بالإنتروبيا: يستفيد من طبيعة الإنتروبيا العالية لحدود الأفعال لضمان قابلية تعلم العلامة المائية حتى مع مجموعات البيانات الصغيرة (1-2 ألف عينة).
الضمانات النظرية: توفر الورقة تحليلاً لتعقيد العينات (النظرية 3.1) يثبت أن موثوقية الاكتشاف تتناسب طردياً مع مربع حجم الأثر ( $\Delta q$ ).

4. النتائج التجريبية

تم تقييم الطريقة على ثلاث معايير: MATH (الاستدلال)، SimpleQA (البحث عبر الويب)، و SWE-Smith (هندسة البرمجيات)، باستخدام نماذج Qwen-2.5-Coder (3B, 7B, 14B).

أداء الاكتشاف:
- حقق ACTHOOK متوسط AUC قدره 94.3 على نموذج 7B.
- حافظ على اكتشاف عالٍ (AUC > 85) حتى مع مطالبة واحدة ( $N=1$ ) و8 استعلامات ( $Q=8$ ).
- مقارنة مع الأساس (Baseline): فشلت طريقة CodeMark (أحدث طرق العلامات المائية للأكواد) تماماً (AUC $\approx$ 50-56)، حيث لم تكن أفضل من التخمين العشوائي، مما يؤكد عدم فعالية الطرق القائمة على مستوى الرمز لهذه المهمة.
الحفاظ على الأداء:
- لم يتسبب الضبط الدقيق (Fine-tuning) باستخدام ACTHOOK في تدهور ملحوظ في الأداء في درجات Pass@1 عبر جميع مجموعات البيانات.
- في بعض الحالات (مثل SWE-Bench)، تحسن الأداء قليلاً بسبب عملية الضبط الدقيق نفسها، دون أي تأثير سلبي من العلامة المائية.
المتانة تجاه الهجمات:
- فلترة DeCoMa: ظل ACTHOOK متيناً (AUC > 95) ضد هجمات فلترة مجموعات البيانات التي نجحت في إزالة CodeMark.
- إعادة الصياغة: ظلت العلامات المائية المستقلة متينة للغاية (AUC > 99). أظهرت العلامات المائية السياقية انخفاضاً طفيفاً في الأداء (~5% في AUC) في المهام المعقدة ولكنها ظلت قابلة للاكتشاف.
- تلخيص الأفعال: بما أن الاكتشاف يعتمد على المعنى الدلالي وليس النحو، ظل ACTHOOK فعالاً حتى عند تلخيص تفاصيل الأفعال (انخفاض AUC < 2%).
حساسية المعلمات الفائقة (Hyperparameters):
- حجم النموذج: تعلمت النماذج الأكبر (14B) العلامة المائية بشكل أكثر فعالية من النماذج الأصغر (3B).
- نسبة العلامة المائية: تم تحقيق اكتشاف فعال بنسب منخفضة ( $R=0.05$ )، كما عملت العلامات المائية المستقلة حتى عند نسبة ( $R=0.01$ ).

5. الأهمية والأثر

حماية الملكية الفكرية لبيانات الذكاء الاصطناٍعي: يوفر حلاً عملياً لمبدعي مجموعات البيانات لحماية استثماراتهم في مسارات الوكلاء عالية الجودة، مما يشجع على مشاركة البيانات المفتوحة.
التتبع: يتيح تتبع مصدر النموذج، مما يسمح للمبدعين بفرض شروط التراخيص (مثل الاستخدام غير التجاري) واكتشاف النشر التجاري غير المصرح به.
نموذج جديد: يرسخ "العلامة المائية على مستوى السلوك" كنهج قابل للتطبيق ومتفوق للمهام الوكيلية المتسلسلة والمعقدة، متجاوزاً قيود العلامات المائية التقليدية للنصوص والأكواد.
تكلفة تشغيل منخفضة: تتطلب الطريقة حداً أدنى من العبء الحسابي أثناء الحقن ولا تؤدي إلى تدهور فائدة الوكلاء المدربين.

في الختام، نجح ACTHOOK في سد الفجوة بين التكلفة العالية لإنشاء مجموعات بيانات الوكلاء وعدم وجود حماية لحقوق الطبع والنشر، مقدمًا طريقة متينة، وسرية، ومنضبطة إحصائياً للتحقق من الملكية في عصر الذكاء الاصطناعي الوكيلي.