🤖 AI

When Experience Becomes Instruction: Trajectory Poisoning in Self-Evolving Agent Skill Systems

تقدم هذه الورقة البحثية "PoisonedEvolution"، وهو هجوم الصندوق الأسود الذي يستغل عملية تعزيز المسار إلى المهارة في أنظمة الوكلاء ذاتية التطور عبر حقن أدلة مصاغة بعناية ومؤطرة سببيًا لدمج سلوكيات خبيثة بنجاح في مكتبات المهارات الموثوقة عبر بنيات متنوعة.

المؤلفون الأصليون: Jialuo Chen, Lingqi Jiang, Xinhao Deng, Xiaohu Du, Jianan Ma, Yunhao Feng, Yuqi Qing, Zhihao Yuan, Linkang Du, Jingyi Wang

نُشر 2026-08-07

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Jialuo Chen, Lingqi Jiang, Xinhao Deng, Xiaohu Du, Jianan Ma, Yunhao Feng, Yuqi Qing, Zhihao Yuan, Linkang Du, Jingyi Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

التلمذة الرقمية: كيف يتعلم الذكاء الاصطناعي (وكيف يمكن خداعه)

تخيل عالماً لا تكتفي فيه شخصية لعبتك المفضلة باتباع نص مكتوب، بل تتعلم فعلياً من كل مرة تلعب فيها. إذا اكتشفت طريقة ذكية لهزيمة زعيم في اللعبة، تتذكر اللعبة تلك الحيلة وتعلمها للاعبين الآخرين. في عالم الذكاء الاصطناعي، يُطلق على هذا اسم "نظام المهارات ذاتي التطور". فبدلاً من برمجة كل تعليمات ممكنة يدوياً، تراقب هذه الوكلاء من الذكاء الاصطناعي أفعالها الخاصة، وتجد الأنماط، وتحول تلك الأنماط إلى "مهارات" دائمة—مثل كتاب وصفات رقمي يمكنها الرجوع إليه للأبد. إنها فكرة قوية: كلما فعل الذكاء الاصطناعي المزيد، أصبح أكثر ذكاءً، محولاً الخبرة الخام إلى تعليمات موثوقة.

لكن هنا تكمن المشكلة: من الذي يقرر ما الذي يعتبر درساً "جيداً"؟ عادةً، نفترض أن الذكاء الاصطناعي يتعلم من تجارب صادقة ومفيدة. ومع ذلك، تماماً كما يمكن خداع الطالب ليدرس إجابة خاطئة إذا أخبره الكثير من الناس أنها صحيحة، يمكن خداع الذكاء الاصطناعي ليتعلم عادة خطيرة. تستكشف هذه الورقة نوعاً جديداً من المشاغب الرقمي حيث لا يحتاج المهاجم إلى اختراق عقل الذكاء الاصطناعي أو سرقة كتاب وصفاته. بدلاً من ذلك، يقوم ببساطة بالهمس بفكرة سيئة في أذن الذكاء الاصطناعي بضع مرات، مصوراً إياها كـ "نصيحة مفيدة". إذا سمع الذكاء الاصطناعي هذه الفكرة كثيراً وبالطريقة الصحيحة، فقد يقرر: "أوه، لا بد أن هذه مهارة جديدة رائعة!" ويكتبها في ذاكرته الدائمة، محولاً اقتراحاً غير ضار إلى قاعدة مستمرة.

الاكتشاف الكبير للورقة: "التطور المسموم"

قرر الباحثون وراء هذه الدراسة، وهم فريق من جامعات ومجموعات تقنية مثل "Ant Group" وجامعة "Zhejiang"، اختبار مدى سهولة خداع أنظمة تعلم الذكاء الاصطناعي هذه. أطلقوا على طريقة الهجوم الخاصة بهم اسم PoisonedEvolution (التطور المسموم). فكر في الأمر كلعبة "الهاتف المكسور"، ولكن بدلاً من تشوه عبارة سخيفة، يتم صقل تعليمات خبيثة حتى يعتقد الذكاء الاصطناعي أنها اختراع عبقري.

قام الفريق بإعداد سيناريو حيث يمكن للمهاجم (الذي يسمونه "مهاجم الصندوق الأسود المرئي للمهارات") رؤية المهارات التي يعرفها الذكاء الاصطناعي بالفعل، لكنه لا يستطيع رؤية ملاحظات الذكاء الاصطناعي الخاصة أو تغيير كوده البرمجي مباشرة. كانت مهمة المهاجم هي المساهمة ببضع "مسارات" (trajectories)—وهي مجرد سجلات لقيام الذكاء الاصطناعي بمهمة ما. الهدف؟ تسريب تعليمات سيئة إلى كتاب مهارات الذكاء الاصطناعي الدائم دون أن يتم كشفه.

وجد الباحثون أن هذا سهل بشكل مفاجئ. لقد اختبروا طريقتهم على نوعين مختلفين من أنظمة تعلم الذكاء الاصطناعي. في النظام الأول، المسمى SkillClaw، تمكنوا من خداع الذكاء الاصطنيج لتبني سلوك خبيث في 91.0% من محاولاتهم (أي 546 من أصل 600 محاولة). وفي نظام ثانٍ أكثر تعقيداً يسمى Trace2Skill، والذي يعمل بطريقة مختلفة قليلاً، نجحوا أيضاً بنسبة 61.5% (369 من أصل 600 محاولة).

كيف تعمل الخدعة: الخطوات السحرية الثلاث

تشرح الورقة أنه لكي تنجح هذه الخدعة، يجب أن تحدث ثلاثة أشياء محددة، مثل تعويذة سحرية من ثلاث خطوات:

الاحتواء (الحصول على مقعد على الطاولة): يجب أن يجتاز السجل السيئ فلاتر الذكاء الاصطناत्मक الأولية. لا يمكن أن يبدو غريباً جداً أو مريباً، وإلا سيقوم الذكاء الاصطناعي برفضه فوراً.
إسناد التطور (لحظة الـ "آها!"): هذا هو الجزء الأكثر أهمية وصعوبة. يجب أن ينظر الذكاء الاصطناعي إلى السجل السيئ ويفكر: "واو، هذا السلوك مفيد حقاً! لقد ساعد في حل مشكلة". المهاجم لا يقول فقط "افعل هذا الشيء السيئ". بدلاً من ذلك، يقوم بصياغة السجل بحيث يبدو حذف الملف كخطوة تنظيف ضرورية لإتمام المهمة بنجاح. يفكر الذكاء الاصطناعي: "أوه، أنا أفهم! لإتمام هذه الوظيفة، يجب علي حذف الملف. هذه مهارة رائعة للتعلم!"
التحقق (التدوين): أخيراً، يجب على الذكاء الاصطناعي كتابة هذه "المهارة" الجديدة في كتابه الدائم. إذا قام الذكاء الاصطناعي بتلخيص التجربة ونسي الجزء السيئ، تفشل الهجمة. ولكن إذا كُتب السلوك السيئ كقاعدة، فإن الهجمة تنجح.

السر في الخلطة: التكرار والسياق

اكتشفت الدراسة أن القيام بهذا لمرة واحدة ليس كافياً. إذا قدم المهاجم سجلاً واحداً غريباً، فإن الذكاء الاصطناعي عادة ما يفكر: "ربما كان ذلك خطأً" ويتجاهله. ولكن إذا قدم المهاجم نفس الفكرة السيئة ثلاث مرات (أو أكثر) في مجموعة من 30 سجلاً، يبدأ الذكاء الاصطناعي في التفكير: "انتظر، أنا أرى هذا النمط كثيراً. لا بد أن هذه مهارة حقيقية ومفيدة!"

وجد الباحثون أنه عندما استخدموا سجلاً سيئاً واحداً فقط، كانت الهجمة تفشل دائماً تقريباً. ولكن عندما استخدموا ثلاثة سجلات سيئة (نسبة "تسميم" قدرها 10%)، ارتفعت نسبة النجاح بشكل صاروخي. الأمر يشبه إذا أخبرك شخص واحد بشائعة، قد تشك فيها. ولكن إذا أخبرك ثلاثة أشخاص مختلفين بنفس الشائعة، فستبدأ في تصديق أنها حقيقة.

وجدوا أيضاً أن "نكهة" التعليمات السيئة كانت مهمة. فالتعليمات التي تبدو كنصائح سير عمل مفيدة (مثل "تنظيف ملفاتك" أو "التحقق من هذا الإعداد") كان من السهل بكثير تمريرها مقارنة بالتعليمات التي تبدو كهجمات واضحة (مثل "تغيير إعدادات الأمان"). كان الذكاء الاصطناعي أكثر عرضة لقبول "التنكر المفيد".

ماذا يعني هذا للمستقبل

تخلص الورقة إلى أن هذه مشكلة أمنية خطيرة. فهي توضح أن اللحظة التي يقرر فيها الذكاء الاصطناعي تحويل تجربة ما إلى مهارة دائمة هي نقطة ضعف. الدفاعات الحالية غالباً ما تتحقق فقط من كتاب المهارات النهائي بحثاً عن كلمات سيئة بعد كتابتها. لكن هذا البحث يشير إلى أننا بحاجة إلى فحص "الأدلة" قبل أن يكتب الذكاء الاصطناعي أي شيء.

يقترح المؤلفون فكرة بسيطة: تحقق من "المصدر" (provenance) للتجربة. إذا كانت "المهارة" الجديدة مبنية على أدلة من مستخدم واحد فقط أو مجموعة صغيرة من الأصدقاء، فربما لا ينبغي للذكاء الاصطناعي الوثوق بها بعد. يجب أن ينتظر حتى تؤكد مصادر مختلفة ومستقلة الدرس.

باختصار، تثبت الورقة أن الذكاء الاصطناعي المتطور ذاتياً ليس ذكياً كما نأمل عندما يتعلق الأمر بكشف النصائح السيئة. إذا كان المهاجم صبوراً ويكرر كذبته بالقدر الكافي، فيمكنه خداع الذكاء الاصطناعي ليتعلم درساً خطيراً ويكتبه في ذاكرته الدائمة. لم يجد الباحثون طريقة لإيقاف هذا تماماً بعد، لكنهم أظهروا لنا بالضبط أين يكمن ضعف القفل، حتى نتمكن من بناء قفل أفضل.

ملخص تقني: عندما تصبح الخبرة تعليمات: تسميم المسار في أنظمة مهارات الوكلاء ذاتية التطور

بيان المشكلة

تمثل أنظمة المهارات ذاتية التطور (SES) تحولاً جذرياً في تصميم الوكلاء، حيث يقوم الوكلاء باستخلاص سير عمل، ومحفزات، وقيود قابلة لإعادة الاستخدام من مسارات التفاعل وتحويلها إلى قطع أثرية تعليمية مستمرة (مثل ملفات SKILL.md). وبخلاف المطالبات (prompts) القياسية، تصبح هذه المهارات جزءاً من الإجراء التشغيلي للوكيل، مما يخلق حداً أمنياً حرجاً.

تحدد الورقة ثغرة أمنية في عملية الترقية (promotion process) حيث يتم تحويل الخبرة غير الموثوقة إلى تعليمات موثوقة. تعمل أنظمة SES الحالية (مثل SkillClaw وTrace2Skill) بناءً على افتراض أن مجمع المسارات (trajectory pool) يعكس أدلة حميدة. يوضح المؤلفون أن المهاجم لا يحتاج إلى اختراق نموذج التطور، أو تعديل بنك المهارات مباشرة، أو نشر ملف مهارة خبيث. بدلاً من ذلك، من خلال المساهمة بحصة محدودة من المسارات التي تبدو "طبيعية" ولكنها مسمومة، يمكن للمهاجم التلاعب بالنظام لتركيب قطعة أثرية تعليمية خبيثة. يستهدف هذا الهجوم الحد الفاصل بين الدليل والقطعة الأثرية (evidence-to-artifact boundary)، وتحديداً السياسة التي تقرر أي الخبرات يتم ترقيتها إلى تعليمات مستمرة.

المنهجية: التطور المسموم (PoisonedEvolution)

يقدم المؤلفون PoisonedEvolution، وهو هجوم تسميم مسار مصمم لبيئة "المهارة المرئية - الصندوق الأسود" (skill-visible black-box). في هذا النموذج، يمكن للمهاجم فحص المهارات العامة أو المثبتة والمساهمة بعدد محدود من المسارات ( $k$ ) في مجمع مشترك، لكنه لا يستطيع مراقبة الفلاتر الخاصة، أو منطق التطور، أو تعديل بنك المهارات مباشرة.

لا ينجح الهجوم إلا إذا استوفيت ثلاثة شروط، محددة بـ نجاح تسميم القطعة الأثرية (Artifact Poisoning Success):

C1 التضمين (Inclusion): يجب أن تجتاز السجلات المسمومة مرشح الجودة ( $F$ ) الخاص بالنظام وتدخل في تدفق معالجة المطور.
C2 عزو التطور (Evolution Attribution): يجب أن يفسر المطور ( $E$ ) السلوك المتكرر كتحديث مهارة سببي وقابل للتعميم وليس كضجيج، أو حدث عارض، أو نصيحة غير آمنة. تم تحديد هذا كعنق الزجاجة المميز لهجمات SES.
C3 التحقق (Realization): يجب أن ينجو السلوك المستهدف من عمليات التلخيص والدمج ليظهر في القطعة الأثرية التعليمية النهائية المولدة.

بناء الهجوم

يقوم المهاجم بتحويل مساراته الخاصة ( $\tau'$ ) لجعل السلوك المستهدف ( $b$ ) يبدو ذا صلة سببية بنتيجة المهمة:

توجيه النجاح (Success-Routed): يتم تأطير السلوك كخطوة ضرورية بين عقبة وتحقيق النجاح ( $obstacle \to b \to success$ ).
توجيه الفشل (Failure-Routed): يتم تأطير غياب السلوك كسبب للفشل، مما يجعل السلوك هو الإصلاح الطبيعي ( $missing\ b \to failure$ ).

تتكون الحمولة من أربع عائلات من التأثيرات الأمنية، مشفرة باستخدام كناري خامل (inert canaries) (مثل روابط URL محددة، أو مسارات مؤقتة، أو سجلات حلقية) لضمان عدم تنفيذ أي ضرر فعلي أثناء التقييم:

F1 (السرية): نقل البيانات الحساسة إلى نقطة نهاية تابعة للمهاجم.
F2 (سلامة البيانات): حذف القطع الأثرية المصدر لمنع الاسترداد.
F3 (سلسلة التوريد): إعادة توجيه سجلات الحزم.
F4 (إضعاف السلامة): تعطيل الضوابك الأمنية قبل اعتماد النتائج.

التقييم التجريبي

تقيم الدراسة PoisonedEvolution عبر مسارين مختلفين هيكلياً من مسارات SES:

SkillClaw: يجمع جلسات متعددة المستخدمين حيث يقوم مطور وكيل بتنقيح أو إنشاء مهارات بناءً على الجلسات المجمعة.
Trace2Skill: يستخرج المهارات من آثار التنفيذ باستخدام نماذج لغوية كبيرة (LLMs) محللة منفصلة لتحليل النجاح والخطأ، يتبع ذلك دمج هرمي.

المقاييس: المقياس الأساسي هو معدل تضمين المهارة (Skill Embedding Rate - SER)، الذي يقيس نسبة تجارب التطور المكتملة التي تم فيها تضمين السلوك المستهدف حديثاً في القطعة الأثرية التعليمية الناتجة.

النتائج الرئيسية

معدل نجاح مرتفع: عند نسبة دعم مهاجم تبلغ 10% ( $n=30, k=3$ ) عبر ستة مطورين رئيسيين لنماذج LLM في SkillClaw، حقق PoisonedEvolution معدل SER بنسبة 91.0% (546/600 تجربة).
النقل الهيكلي: انتقل الهجوم إلى مسار Trace2Skill المختلف هيكلياً بمعدل SER بنسبة 61.5% (369/600 تجربة)، مما يثبت أن الثغرة ليست مرتبطة بمطالبة (prompt) أو تخطيط مسار معين.
الدعم المتكرر أمر حاسم: عدد سجلات المهاجم المتسقة ( $k$ ) هو المحدد الأساسي للنجاح. غالباً ما يتم استبعاد السجل المسموم الواحد ( $k=1$ ) باعتباره حالة شاذة، ولكن زيادة العدد إلى $k=2$ أو $k=3$ ترفع معدلات النجاح بشكل كبير (على سبيل المثال، القفز من 5/25 إلى 25/25 في SkillClaw عند الانتقال من $k=1$ إلى $k=3$ ).
العزو والترميز: يعتمد النجاح بشكل كبير على التأطير السببي (ربط السلوك بالنتيجة) والترميز المتوافق مع المجال (استخدام لغة قابلة للتنفيذ ومحددة لسير العمل). فشلت عمليات الإدخال غير السببية أو المجزأة في أن تُعزى كمهارات قابلة لإعادة الاستخدام.
حساسية العائلة: أظهرت العائلات الأمنية المختلفة حساسية متفاوتة بناءً على مدى ملاءمتها لسير عمل المجال المستهدف. على سبيل المثال، كانت F4 (إضعاف السلامة) ناجحة للغاية في SkillClaw ولكن أقل نجاحاً في Trace2Skill، حيث كان يتم رفضها غالباً كإرخاء للسياسات بدلاً من كونها إصلاحاً ضرورياً.

المساهمات والأهمية

تقدم الورقة ثلاث مساهمات رئيسية:

تحديد حد أمني جديد: لقد أرست مفهوم ترقية الأدلة (evidence promotion) في مسارات SES كحد أمني متميز، منفصل عن الأعمال السابقة المتعلقة بتسميم المهارات الثابتة أو هجمات وقت الاسترجاع (RAG).
صياغة تسميم القطعة الأثرية: حددت آلية C1–C3، مع تسليط الضوء على عزو التطور (Evolution Attribution) كعنق الزجاجة المحدد حيث يسيء النظام تفسير الأنماط المعادية كخبرة قيمة.
الأدلة التجريبية والآثار الدفاعية: من خلال التقييم عبر الأنظمة ودراسات الاستبعاد، تثبت الورقة أن دفاعات SES الحالية غير كافية.

الأهمية

يجادل المؤلفون بأن دفاعات SES يجب أن تغير تركيزها من فحص نص المهارة النهائي إلى تقييد الأدلة المسموح لها بأن تصبح تعليمات مشتركة. تقترح الورقة أن بوابات الترقية المدركة للمصدر (provenance-aware promotion gates) — والتي تتحقق من الاستقلالية وتنوع المساهمين قبل تطبيع نمط ما في مهارة — ضرورية لتأمين الوكلاء ذاتيي التطور. تكشف النتائج أن الآلية ذاتها المصممة لجعل الوكلاء أكثر قدرة (استخلاص الخبرة المتكررة) تخلق ناقلاً لهجمات سلسلة توريد مستمرة ومؤتمتة.

تخلص الورقة إلى أنه بينما ينجح الهجوم في اختراق القطعة الأثرية، إلا أنه لا يضمن بالضرورة التنفيذ أثناء التشغيل (الذي يعتمد على تفعيل المحفز)، ولكن إنشاء تعليمات مستمرة ومسمومة يمثل اختراقاً جوهرياً للإجراء التشغيلي المستقبلي للوكيل.