💻 computer science

OEP: Poisoning Self-Evolving LLM Agents via Locally Correct but Non-Transferable Experiences

تقدم هذه الورقة "تسميم التجربة الهوسية" (OEP)، وهو هجوم منخفض الامتيازات في بيئة الصندوق الأسود يستهدف الوكلاء المعتمدين على النماذج اللغوية الكبيرة المعززة بالذاكرة عبر حقن تجارب صحيحة محلياً ولكنها غير قابلة للنقل ذات عواقب افتراضية وخيمة، مما يتسبب في تعميم الوكلاء بشكل مفرط نحو قواعد ضارة أثناء عملية التطور الذاتي.

المؤلفون الأصليون: Kaixiang Wang, Jiong Lou, Zhaojiacheng Zhou, Jie Li

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kaixiang Wang, Jiong Lou, Zhaojiacheng Zhou, Jie Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً ذكياً وطموحاً للغاية. هذا الروبوت مصمم ليتعلم من أخطائه ونجاحاته، تماماً مثل الإنسان الذي يحتفظ بمذكرات ليتحسن في عمله. في كل مرة يحل فيها مشكلة، يدون "درساً مستفاداً" لمساعدة نفسه في المستقبل.

الورقة البحثية التي قدمتها تقدم طريقة مخادعة لخداع هذا الروبوت ليتعلم الدرس الخاطئ، ليس عن طريق الصراخ بالأكاذيب في وجهه، بل عبر الهمس بقصة محددة ومقنعة للغاية تبدو حقيقية ولكنها خطيرة إذا طُبقت بشكل عام. يطلق الباحثون على هذا الهجوم اسم OEP (تسميم الخبرة الهوسي).

إليك كيف يعمل الأمر، مقسماً إلى مفاهيم بسيطة:

1. الإعداد: "مذكرات" الروبوت

عادةً، عندما يحل الروبوت مسألة رياضية صعبة أو يحجز رحلة طيران، فإنه ينظر إلى تاريخه. إذا ارتكب خطأً، يقول: "أوه، لم يكن عليّ فعل ذلك". وإذا نجح، يقول: "رائع، سأفعل ذلك مجدداً". بمرور الوقت، يحول هذه اللحظات المحددة إلى قواعد عامة، مثل "تحقق دائماً من حالة الطقس قبل حجز رحلة طيران".

2. الهجوم: الفخ "المثالي"

لا يحاول المهاجم اختراق كود الروبوت أو إجباره على قول شيء سيء. بدلاً من ذلك، يتظاهر بأنه مستخدم يجري محادثة طبيعية. يقدم للروبوت موقفاً غريباً ومحدداً جداً (حالة استثنائية) وحلاً يعمل بشكل مثالي لهذا الموقف الواحد فقط.

التشبيه: تخيل أنك طبيب. جاء مريض يعاني من حساسية نادرة ومحددة جداً تجاه نوع معين من الفاكهة فقط. أنت تعالجه بشكل صحيح، ويتحسن حاله.
الفخ: ثم يضيف المهاجم قصة مخيفة إلى المزيج. يقول: "لو أنك لم تستخدم علاج تلك الفاكهة المحددة، لكان المريض قد مات فوراً بسبب نوبة قلبية".

3. السم: "صحيح محلياً، خاطئ عالمياً"

تقوم فلاتر السلامة الخاصة بالروبوت بفحص القصة.

هل العلاج صحيح لهذا المريض؟ نعم.
هل القصة حول النوبة القلبية منطقية؟ نعم.
هل هناك أي كذب واضح؟ لا.

لأن القصة "نظيفة" (لا تحتوي على كلمات سيئة أو أكاذيب واضحة)، لا يقوم نظام الحماية الخاص بالروبوت بحظرها. يقوم الروبوت بتدوين هذا في مذكراته.

4. "الهوس": الخوف يجعل الروبوت يبالغ في التعميم

هنا يتم خداع الروبوت. البشر والروبوتات بطبيعتهم يخشون النتائج الكارثية (مثل الموت أو الفشل التام للنظام). هذا ما يسمى تجنب الخسارة (Loss Aversion).

لأن الروبوت قيل له أن عدم استخدام علاج الفاكهة المحدد يؤدي إلى "نوبة قلبية"، يصبح مهووساً بتجنب هذه النتيجة. ينظر إلى مذكراته ويفكر:

"يجب ألا أنسى هذه القاعدة أبداً! إذا لم أستخدم علاج هذه الفاكهة المحددة، فقد يموت الناس!"

لذا، يحول الروبوت هذه القاعدة المحددة جداً (لحساسية نادرة) إلى قاعدة عالمية (لكل المرضى).

5. النتيجة: الروبوت يكسر نفسه

الآن، أصبح الروبوت "مسموماً".

في الرياضيات: قد يبدأ في استخدام طريقة حسابية معقدة للغاية وغير عادية لعمليات الجمع البسيطة، لأنه قيل له إن استخدام الطريقة البسيطة ذات مرة أدى إلى "خطأ كارثي" في حالة استثنائية معينة.
في السفر: قد يرفض حجز رحلة طيران دون التحقق من الطقس أولاً، حتى لو كان المستخدم يريد فقط حجز تذكرة لاجتماع غداً، لأنه قيل له إن تخطي التحقق من الطقس مرة واحدة أدى إلى "عاصفة ثلجية مميتة".

الروبوت ليس معطلاً؛ هو فقط يتبع قاعدة تعلمها جيداً جداً. لقد أخذ درساً كان صحيحاً لـ موقف واحد وطبقه على كل شيء، مما تسبب في فشله في أداء مهامه العادية.

لماذا هذا مخيف؟

إنه غير مرئي: لا يمكنك كشف هذا باستخدام فلتر "الكلمات السيئة" لأن المهاجم لم يستخدم أبداً كلمات سيئة. المدخلات كانت منطقية وصحيحة بنسبة 100%.
من الصعب إصلاحه: الروبوت يعتقد أنه ذكي وآمن. هو يعتقد أنه يحمي نفسه من الكوارث.
الروبوتات الأكثر ذكاءً هي الأكثر عرضة للخطر: وجدت الورقة البحثية أن الروبوتات الأكثر ذكاءً (مثل GPT-4o)، تقع في الفخ بسهولة أكبر. لماذا؟ لأن الروبوتات الأذكى أفضل في اتباع التعليمات وأكثر "تجنباً للخسارة" (تم تدريبها لتكون حذرة جداً فيما يتعلق بالسلامة)، مما يجعلها أكثر عرضة للمبالغة في رد الفعل تجاه القصة المخيفة.

الملخص

تظهر الورقة البحثية أنك لست بحاجة لكسر عقل الروبوت لجعله خطيراً. أنت فقط بحاجة لإخباره بـ قصة حقيقية عن كارثة محددة تجعله خائفاً جداً من ارتكاب خطأ، مما يجعله يبدأ في اتباع قاعدة غريبة ومحددة لكل موقف، مما يؤدي في النهاية إلى فشله في أداء وظيفته الفعلية. الأمر يشبه تعليم طفل "لا تلمس الموقد" عبر عرض فيديو لحريق منزل، ثم جعله يرفض دخول المطبخ تماماً لأنه مرعوب من الموقد.

ملخص تقني: تسميم الخبرة الهوسي (OEP)

بيان المشكلة

تستخدم الوكلاء اللغوية الكبيرة (LLM) المعززة بالذاكرة عمليات التأمل المتكرر والتطور الذاتي لحل المهام المعقدة من خلال تقطير الخبرات الماضية إلى قواعد قابلة للتنفيذ. وبينما تعزز هذه الآلية الكفاءة، إلا أنها تقدم ثغرة أمنية حرجة: إمكانية قيام المهاجمين باستحثاث تعميم ضار من خلال مدخلات "نظيفة".

تعتمد هجمات الذاكرة الوكيلية الحالية (مثل AgentPoison وMINJA وMemoryGraft) عادةً على حقن تعليمات خبيثة صريحة، أو سجلات متلاعب بها، أو إجراءات غير آمنة. وغالبًا ما تكون هذه الأساليب قابلة للكشف بواسطة مرشحات السلامة المتقدمة، أو مدققي المحتوى، أو أنظمة كشف الشذوذ التي تفحص المحتوى السام أو الأخطاء الواقعية القابلة للتحقق.

تحدد هذه الورقة سطح هجوم غير مستكشف بشكل كافٍ: هل يمكن للمهاجمين استحثاث الوكلاء ذاتيي التطور لإنشاء قواعد ضارة باستخدام خبرات صحيحة محلياً، ومعقولة دلالياً، و"نظيفة" فقط؟ التحدي الجوهري هو أن الوكلاء التأمليين قد يفرطون في التعميم من حالات حافة (edge cases) محددة، مما يؤدي إلى تقطير طرق محلية غير قابلة للنقل إلى قواعد نظام مستمرة وذات أولوية عالية تسبب إخفاقات لاحقة.

المنهجية: تسميم الخبرة الهوسي (OEP)

يعد OEP نموذج هجوم منخفض الامتياز، وصندوق أسود، يستغل الثغرات الإدراكية للوكلاء ذاتيي التطور دون الحاجة إلى تحكم مباشر في مطالبات النظام (system prompts) أو قواعد بيانات الذاكرة. يعمل الهجوم من خلال مسار يتكون من ثلاث مراحل:

1. بناء حالة الحافة النظيفة

يقوم المهاجم ببناء حالات حافة $(t_e, s_e)$ تستوفي قيدين صارمين:

الصحة المحلية: يجب أن يكون الحل $s_e$ صحيحاً واقعياً ومنطقياً ضمن السياق المحدد لحالة الحافة $t_e$ ، مما يسمح له بتجاوز أدوات التحقق الإبستمولوجي ( $V_{logic}$ ).
عدم القابلية للنقل عالمياً: يجب أن تكون الطريقة $m_e$ المستخدمة في $s_e$ ذات معدل نجاح يقترب من الصفر عند تطبيقها على توزيع المهمة العام ( $D_{task}$ ).
التنفيذ: تقوم النماذج اللغوية الكبيرة بتوليد شروط حدودية وحلول مرشحة، يتبعها تصفية آلية للاحتفاظ فقط بتلك التي تكون صالحة محلياً ولكنها غير موثوقة عالمياً.

2. ثلاثية العواقب المعادية (ACT)

للتغلب على عدم اليقين في التجريد المتأصل في استخلاص قواعد محددة من نجاحات معزولة، يقدم OEP ثلاثية العواقب المعادية $(t_e, s_e, c_{adv})$ .

الآلية: تزاوج الثلاثية بين الحل الصحيح محلياً وبين كارثة افتراضية شديدة، ولكنها معقولة ضمن النطاق ( $c_{adv}$ )، والتي قد تحدث إذا تم استخدام الطريقة القياسية بدلاً من حل حالة الحافة.
الاستغلال المعرفي: يستغل هذا النهج تجنب الخسارة المتأصل في النماذج اللغوية الكبيرة (وهي سمة للنماذج المتوافقة مع معايير السلامة). من خلال تشويه مشهد المنفعة المتوقع اصطناعياً، فإن العقوبة الافتراضية ( $|U(\neg s_e)| \gg U(s_e)$ ) تهيمن على عملية صنع القرار لدى الوكيل.
النتيجة: يتم توجيه الوكيل لتفضيل تجنب العقوبة الافتراضية الشديدة على الإجراءات القياسية، مما يؤدي فعلياً إلى "تسييح" توافقه مع السلامة للتركيز على حل حالة الحافة غير القابل للنقل.

3. الحقن والتعميم المفرط

يتم تقديم ثلاثيات ACT المصاغة عبر تفاعلات قياسية على مستوى المستخدم.

تجاوز التحقق: بما أن الحل صحيح محلياً والعاقبة متماسكة دلالياً، فإن المدخلات تجتاز مرشح الإبستيمولوجي الداخلي للوكيل.
التأمل والتقطير: يقوم وحدة التأمل لدى الوكيل، مدفوعة بالمخاطر العالية المتصورة للعاقبة الافتراضية، بتقطير النجاح المحلي إلى قاعدة عالمية ذات أولوية عالية ( $r_{obs}$ ).
الفشل اللاحق: في المهام الحميدة المستقبلية، يسترجع الوكيل هذه القاعدة المفرطة في التعميم. ونظراً لعدم قابلية القاعدة للنقل، يطبق الوكيل خطأً طريقة حالة الحافة، مما يؤدي إلى أخطاء في الاستدلال (مثل التشخيص الخاطئ) أو استنزاف الموارد (مثل استدعاءات الأدوات المتكررة).

المساهمات الرئيسية

نموذج هجوم OEP: اقتراح نموذج هجوم جديد يربط بين تسميم الطريقة النظيفة وتحفيز القواعد المفرطة في التعميم. وخلافاً للهجمات السابقة، يحافظ OEP على الصحة المحلية والمعقولية الدلالية، متجنباً الدفاعات القائمة على الواقعية أو السمية.
إطار بناء الحالة المعادية: منهجية نظامية تدمج توليد حالات الحافة النظيفة مع الحقن المتآزر لثلاثيات ACT. هذا الإطار يختطف حساب المنفعة لدى الوكيل معرفياً، ويوجه التأمل نحو تكوين قواعد منحازة مع الحفاظ على صلاحية المدخلات.
المتانة التجريبية وفهم القدرة-الثغرة: التحقق التجريبي الذي يظهر أن OEP يحقق معدل نجاح هجوم (ASR) يتجاوز 50% عبر مجالات متنوعة (الرياضيات، الرعاية الصحية، استخدام الأدوات) باستخدام وكلاء GPT-4o. والجدير بالذكر أن الورقة تلاحظ وجود "مفارقة القدرة-الثغرة"، حيث أن الوكلاء الأكثر قدرة (الذين لديهم التزام أقوى بالتعليمات وقدرات تأمل أعلى) هم بشكل متناقض أكثر عرضة لهذا الاختطاف المعرفي.

النتائج التجريبية

قيم المؤلفون OEP عبر ثلاثة مجالات وأطر عمل وكيلية متعددة (Simple Agent, LangChain, OpenClaw) باستخدام نماذج أساسية مختلفة (GPT-4o, GPT-5.4, Deepseek-v3.2, إلخ).

تدهور الأداء: تسبب OEP في انخفاض كبير في الدقة (على سبيل المثال، انخفضت دقة الرياضيات من ~91% إلى ~40% في وكلاء GPT-4o) وزيادة في استهلاك الموارد (استخدام الرموز/Tokens والكمون) بسبب استدعاءات الأدوات المتكررة.
الاستمرارية: أظهر الهجوم استمرارية عالية؛ حيث ظل معدل نجاح الهجوم (ASR) مرتفعاً (مثلاً 72% في مجال الأدوات) حتى بعد 50 استعلاماً حميداً لاحقاً، مما يشير إلى أن القواعد المسمومة تتجاوز فعلياً عملية تخفيف الذاكرة الطبيعية.
تجاوز الدفاعات: في ظل آليات الدفاع السائدة (مرشحات المطالبات ومدققي LLM)، حافظ OEP على معدل نجاح هجوم بنحو 40%، وهو ما يتفوق بشكل كبير على النماذج المرجعية مثل MINJA وAgentPoison، التي انخفض معدل نجاح هجومها إلى أقل من 15% تحت نفس ظروف تدقيق LLM.
دراسات الاستبعاد (Ablation Studies):
- النموذج الأساسي: أظهرت النماذج المتقدمة معدل نجاح هجوم أعلى من النماذج الأصغر، مما يؤكد الارتباط بين القدرة والثغرة.
- مكونات ACT: أدى إزالة العاقبة الشديدة (باستخدام QA أو Solution فقط) إلى نجاح هجوم هامشي، مما يؤكد أن العقوبة الافتراضية هي المحرك الحاسم لتحيز التأمل.
- نسبة الهجوم: ارتفع نجاح الهجوم بشكل غير خطي مع زيادة نسبة الحالات المعادية، مما يؤكد صحة "حصر المنظور".

الأهمية والادعاءات

تدعي الورقة أن OEP يكشف عن ثغرة أساسية في حلقة الذاكرة-التأمل للوكلاء ذاتيي التطور. وتكمن أهمية ذلك في إثبات أن:

المدخلات النظيفة يمكن أن تكون مسممة: إن الدفاعات الأمنية التي تركز فقط على المحتوى الخبيث أو الأخطاء الواقعية غير كافية ضد الهجمات التي تستغل عملية توطيد الذاوة وتقطير القواعد.
التوافق مع السلامة كمتجه هجوم: يمكن التلاعب بالآليات المصممة لجعل الوكلاء آمنين (تجنب الخسارة، والحساسية للمخاطر) لاستحثاث تعميم غير آمن.
الحاجة إلى دفاعات جديدة: يجادل المؤلفون بضرية الحاجة إلى دفاعات تتجاوز تصفية المحتوى، مثل نماذج البحث النشط (الاستعلام من أدوات خارجية لكسر حصر المنظور) وأطر المناظرة متعددة الوكلاء (لمواجهة عدم تماثل الثقة وإعادة معايرة المنفعة).

يخلص المؤلفون إلى أن كشف هذه الثغرات أمر بالغ الأهمية لتطوير أنظمة مستقلة قوية وموثوقة، مؤكدين أن الوكلاء الأكثر قدرة قد يكونون حالياً أكثر عرضة لهذا النوع من الاختطاف المعرفي.