🤖 AI

Oracle Poisoning: Corrupting Knowledge Graphs to Weaponise AI Agent Reasoning

تقدم هذه الورقة وتثبت تجريبياً "تسميم الأوراكل" (Oracle Poisoning)، وهو ناقل هجوم جديد حيث يقوم المهاجمون بإفساد الرسوم البيانية للمعرفة المهيكلة لإجبار وكلاء الذكاء الاصطناعي على استخلاص استنتاجات غير صحيحة عبر استدلال سليم في ظاهره، مما يثبت أن النماذج الحالية تثق عالمياً في البيانات المسمومة عند الوصول إليها من خلال بروتوكولات استخدام الأدوات، وتسلط الضوء على فجوات التقييم الحرجة في الاختبارات المضمنة.

المؤلفون الأصليون: Ben Kereopa-Yorke, Guillermo Diaz, Holly Wright, Reagan Johnston, Ron F. Del Rosario, Timothy Lynar

نُشر 2026-05-12

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Ben Kereopa-Yorke, Guillermo Diaz, Holly Wright, Reagan Johnston, Ron F. Del Rosario, Timothy Lynar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة "تسميم الأوراكل" (Oracle Poisoning) باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الفكرة الجوهرية: فخ "أمين المكتبة الموثوق"

تخيل أن لديك مساعد ذكاء اصطناعي عبقرياً (الوكيل - Agent) يساعدك في كتابة الأكواد البرمجية أو التحقق من الثغرات الأمنية. هذا المساعد ذكي للغاية ويتمتع بقدرة فائقة على التفكير المنطقي. ومع ذلك، لديه نقطة ضعف كبرى: فهو أعمى عن العالم الخاري.

للقيام بعمله، يعتمد الذكاء الاصطناعي كلياً على مكتبة رقمية ضخمة ومنظمة تسمى "رسم بياني للمعرفة" (Knowledge Graph). فكر في هذا الرسم البياني كخريطة عملاقة لكامل الكود البرمجي الخاص بك، توضح كيف يتصل كل جزء من الكود بكل جزء آخر.

يتعامل الذكاء الاصطناعي مع هذه الخريطة كـ "أوراكل" (Oracle) — أي مصدر للحقيقة المطلقة. هو لا يشكك في الخريطة؛ بل يفترض أن الخريطة دقيقة بنسبة 100%. إذا قالت الخريطة "الدالة (أ) تستدعي الدالة (ب)"، فإنه يصدق ذلك دون التحقق من مصدر ثانٍ.

تسميم الأوراكل (Oracle Poisoning) هو الهجوم الذي يتسلل فيه شخص سيء النوايا إلى المكتبة ويقوم بتغيير الخريطة. هو لا يكسر عقل الذكاء الاصطناعي، ولا يخدعه بكلمات مربكة؛ بدلاً من ذلك، يقوم بهدوء بتعديل الحقائق الموجودة في الخريطة. ولأن الذكاء الاصطناعي بارع جداً في التفكير المنطقي، فإنه يأخذ هذه الحقائق الجديدة والمزيفة ويبني عليها استنتاجاً منطقياً تماماً — ولكنه خاطئ تماماً.

التشبيه: كهف أفلاطون وجدار الظلال

يشبه المؤلفون هذا الأمر بـ "كهف أفلاطون".

السجين: هو وكيل الذكاء الاصطناعي.
الجدار: هو الرسم البياني للمعرفة.
الظلال: هي الإجابات التي يحصل عليها الذكاء الاصطناعي عندما يطرح أسئلة على الرسم البياني.
القيد: هو البروتوكول (المسمى MCP) الذي يربط الذكاء الاصطناعي بالجدار، ويجبره على قبول الظلال كواقع.

إذا قام المهاجم برسم ظل مزيف على الجدار، فإن السجين (الذكاء الاصطناعي) سيدرس هذا الظل، ويحلله بدقة، ثم يستنتج: "هذا نمر حقيقي"، رغم أنه مجرد رسم. وكلما كان السجين أكثر ذكاءً، كانت استنتاجاته الخاطئة أكثر تفصيلاً وإقناعاً.

كيف يعمل الهجوم (طريقة التنفيذ)

اختبر الباحثون هذا الأمر على نظام واقعي يحتوي على 42 مليون عقدة (مكتبة رقمية ضخمة). ووجدوا أن المهاجم يحتاج فقط إلى إجراء تغييرات طفيفة ودقيقة للغاية على الخريطة لخداع الذكاء الاصطناعي.

لقد استعرضوا ست طرق للقيام بذلك:

الحزمة المزيفة: إنشاء حزمة برمجية مزيفة في المكتبة تبدو وكأنها "الإصدار الأحدث والأكثر أماناً"، مما يخدع الذكاء الاصطناعي ليوصي بها.
المُطهر غير المرئي: إضافة وظيفة "حارس أمني" مزيفة إلى الخريطة لا وجود لها في الواقع في الكود الحقيقي. يرى الذكاء الاصطناعي هذه الوظيفة في الخريطة ويستنتج: "آه، هذا الكود آمن!" بينما هو في الواقع يحتوي على ثغرة.
تبديل الخصائص: تغيير تفاصيل كود برمجي حقيقي على الخريطة (على سبيل المثال، تغيير تسمية من "غير موثق" إلى "معتمد أمنياً") دون إنشاء عنصر جديد مزيف.

النتيجة: الذكاء الاصطناعي، الذي يفكر بمنطق سليم بناءً على البيانات الجديدة، يخبر المطورين بثقة: "هذا الكود آمن"، أو "استخدم هذه المكتبة الجديدة"، مما يقودهم مباشرة إلى الفخ.

"براعة" المهاجم

وجدت الورقة البحثية شيئاً مفاجئاً: لست بحاجة لأن تكون هاكر عبقري لتنفيذ هذا الهجوم.

المستوى 0 (ساذج): إذا بدت البيانات المزيفة مشبوهة (مثل تسميتها "أداة_هكر_v1")، فإن الذكاء الاصطناعي يتجاهلها.
المستوى 1 (أساسي): إذا بدت البيانات عادية ولكن بها أخطاء صغيرة، فإن الذكاء الاصطناعي يُخدع أحياناً.
المستوى 2 (كفوء): إذا اتبت البيانات المزيفة قواعد التسمية القياسية وبدت احترافية، فإن 100% من نماذج الذكاء الاصطناዊ التي تم اختبارها قد خُدعت تماماً.

المسألة ليست "هل" يمكن خداع الذكاء الاصطناعي، بل "كم مقدار الجهد" الذي يحتاجه المهاجم للقيام بذلك. المهاجم الكفوء يمكنه خداع حتى أذكى نماذج الذكاء الاصطناعي بنسبة 100%.

مفاجأة "نمط التسليم"

اكتشف الباحثون خللاً حرجاً في كيفية اختبار أمن الذكاء الاصطناعي عادةً.

الاختبار المباشر (Inline Testing): إذا عرضت البيانات المزيفة على الذكاء الاصطناعي كرسالة نصية بسيطة، فإن بعض النماذج (مثل GPT-5.1) تقول: "هذا يبدو مشبوهاً"، وترفضها.
اختبار استخدام الأدوات (Tool-Use Testing): إذا حصل الذكاء الاصطناعي على نفس البيانات المزيفة من خلال اتصاله الرسمي بـ "الأداة" (الطريقة التي يعمل بها في الواقع)، فإنه يثق بها بنسبة 100%.

الدرس المستفاد: اختبار أمن الذكاء الاصطناعي عبر مجرد الدردشة معه (الاختبار المباشر) يعطي شعوراً زائفاً بالأمان. فعندما يستخدم الذكاء الاصطناዊ أدواته للبحث عن البيانات، فإنه يخفض دفاعاته تماماً.

كيف تحمي نفسك

اختبرت الورقة عدة وسائل دفاعية ووجدت أنه لا يوجد "حل سحري" واحد، ولكن الجمع بين عدة طرق يساعد:

الوصول للقراءة فقط (أفضل دفاع): إذا قمت بقفل "رسم بياني المعرفة" بحيث يمكن للذكاء الاصطنا_عي (وللمهاجم أيضاً) القراءة فقط من الخريطة دون القدرة على الكتابة فيها أبداً، يصبح الهجوم مستحيلاً. هذا هو الحل الأكثر فعالية.
التحقق المتقاطع (Cross-Checking): إذا أُجبر الذكاء الاصطناعي على التحقق من الخريطة مقابل مصدر ثانٍ (مثل ملفات الكود الفعلية)، فيمكنه رصد الكذبة. إذا قالت الخريطة "آمن" بينما يقول ملف الكود "ثغرة"، سيصاب الذكاء الاصطناعي بالارتباك ويتوقف عن الثقة في الخريطة.
"محامي الشيطان": سؤال الذكاء الاصطناعي: "هل يمكن أن تكون هذه البيانات مزيفة؟" يساعد، ولكن فقط إذا كنت محدداً جداً بشأن كيف يمكن أن تكون مزيفة. مجرد السؤال بـ "هل أنت متأكد؟" لا ينجح عادةً.
تتبع السجل (History Tracking): الاحتفاظ بسجل لما تغير في الخريطة يساعد في اكتشاف العناصر المزيفة الجديدة، ولكنه يفشل في اكتشاف الحالات التي يقوم فيها المهاجم ببساطة بتعديل تفاصيل عنصر موجود بالفعل.

الملخص

تسميم الأوراكل (Oracle Poisoning) هو نوع جديد من الاختراق حيث يقوم المهاجم بإفساد البيانات التي يثق بها الذكاء الاصطناعي، وليس الذكاء الاصطناዊ نفسه. ولأن الذكاء الاصطناعي بارع جداً في اتباع المنطق، فإنه يبني بكل سرور "بيتاً من ورق" على أساس من الأكاذيب. تثبت الورقة أنه في بيئة واقعية، ستصدق جميع نماذج الذكاء الاصطناعي المختبرة تقريباً هذه الأكاذيب إذا وصلت إليها عبر قناة أداة موثوقة، والحل الوحيد الموثوق هو منع الذكاء الاصطناعي من القدرة على الكتابة في قاعدة معرفته الخاصة.

ملخص تقني: تسميم الأوراكل (Oracle Poisoning) – إفساد الرسوم البيانية للمعرفة لتسليح استدلال الوكيل الذكي

تعريف المشكلة

تقدم الورقة البحثية تسميم الأوراكل (Oracle Poisoning)، وهو فئة هجومية جديدة تستهدف الوكلاء الذكيين (AI Agents) الذين يعتمدون على الرسوم البيانية للمعرفة (Knowledge Graphs - KGs) كمصادر بيانات موثوقة عبر بروتوكولات استخدام الأدوات (وتحديداً بروتوكول سياق النموذج - MCP). وخلافاً لحقن الأوامر (Prompt Injection) الذي يتلاعب بتعليمات الوكيل، أو تسميم استرجاع البيانات المعزز (RAG Poisoning) الذي يفسد مجموعات البيانات المسترجعة، فإن "تسميم الأوراكل" يفسد البيانات نفسها.

تكمن الثغرة الجوهرية في "نموذج ثقة الأوراكل": حيث تتعامل الوكلاء الذكية مع نتائج الاستعلام من الرسم البياني للمعرفة كحقائق مطلقة، وتجري استدلالات منطقية بناءً على هذه الحقائق دون تحقق مستقل. يمكن للمهاجم الذي يستطيع تعديل الرسم البياني (بإدراج عقد، أو إنشاء روابط، أو تغيير الخصائص) أن يتسبب في قيام الوكيل بعمليات استدلال منطقية سليمة بناءً على حقائق مفبركة، مما يؤدي إلى استنتاجات خاطئة وربما خطيرة. هذا الهجوم يختلف عن الأعمال السابقة المتعلقة بتسميم مساحة التضمين (مثل ROAR) لأنه يستهدف هياكل الرسم البياني الخام التي يتم الاستعلام عنها مباشرة عبر لغات مثل Cypher، متجاوزاً طبقات التضمين (Embedding layers) بالكامل.

المنهجية

أجرى المؤلفون أول عرض تجريبي لهذا الهجوم ضد رسم بياني لمعرفة الكود البرمجي بمقياس إنتاجي يحتوي على ما يقرب من 42 مليون عقدة.

نموذج النظام: رسم بياني للمعرفة من نوع Neo4j 5.x متصل بوكلاء ذكيين عبر بروتوكول MCP v1.0. يقوم الرسم البياني بترميز سلاسل استدعاء الدوال، والتبعيات، والبيانات المتصلة (Telemetry).
ملف المهاجم: شخص من الداخل لديه صلاحية الكتابة في قاعدة بيانات الرسم البياني (غالباً بسبب جلسات قاعدة بيانات مشتركة تفتقر إلى التحكم في الوصول القائم على الدور لكل مستخدم - RBAC)، أو مهاجم خارجي اخترق خط أنابيب الإدخال (Ingestion Pipeline).
ناقلات الهجوم: تم تصميم ستة سيناريوهات:
1. تزييف الحزمة (Fork-for-a-Package): إنشاء عقد حزم وهمية لاقتراح مكتبات خبيثة كإصدارات "أحدث".
2. سلسلة التبعية المتعدية (Transitive Dependency Chain): فبركة مسارات تبعية لإضفاء الشرعية على مكتبات خبيثة.
3. التملص من أمن مخطط الاستدعاء (Call Graph Security Evasion): حقن أدوات تنقية أمنية غير موجودة في مخططات الاستدعاء لإقناع الوكلاء بأن الثغرات قد تمت معالجتها.
4. إعادة توجيه البيانات المتصلة (Telemetry Rerouting): تعديل روابط البيانات المتصلة لإخفاء الأحداث الأمنية.
5. تسميم توليد الكود (Code Generation Poisoning): زرع أنماط كود برمي ضعيفة كـ "أفضل الممارسات المتبعة".
6. تعديل الخصائص (Property Modification): تغيير الخصائص على العقد الشرعية الموجودة بالفعل (مثل تغيير sanitizationType إلى "متوافق مع معايير OWASP") دون إنشاء عقد جديدة.
بروتوكول التقييم:
- النماذج: اختبار تسعة نماذج من ثلاثة مزودين (OpenAI, Anthanthic, Google) مع $N=30$ تجربة لكل نموذج.
- أنماط التسليم: استخدم التقييم الأساسي استخدام SDK حقيقي (استدعاء وكيل مستقل)، بينما استخدم التقييم الثانوي التسليم النصي المضمن (Inline Text Delivery) للمقارنة المنضبطة.
- مستويات التطور (Sophistication Levels): تراوحت الهجمات من L0 (ساذج) إلى L3 (خبير)، حيث يمثل المستوى L2 مهاجماً كفؤاً يستخدم اصطلاحات تسمية صحيحة ومراجع OWASP.
- المقاييس: معدلات الثقة (قبول البيانات المسمومة)، تدرجات تطور المهاجم، وفعالية الدفاع.

النتائج الرئيسية

1. القابلية الشاملة للتأثر تحت استخدام الأدوات

تحت استخدام SDK حقيقي مع تطور متوسط للمهاجم (L2)، وثقت جميع النماذج المختبرة البيانات المسمومة بنسبة 100%.

قبلت 269 من أصل 270 تجربة صالحة الادعاءات الأمنية المفبركة (على سبيل المثال، تأكيد معالجة ثغرة SQL injection بينما لم تكن معالجة).
صمدت هذه النتيجة أمام جميع النماذج التسعة وسيناريوهين مختلفين للهجوم (تزييف الحزم وتملص مخطط الاستدعاء).
كان تعديل الخصائص (السيناريو 6) فعالاً بشكل خاص، حيث حقق ثقة شبه عالمية (96.6–100%) حتى مع وجود سجل تاريخ الرسم البياني، حيث فسرت النماذج تغييرات الخصائص كأنها تحديثات برمجية عادية.

2. المتغير المربك في نمط التسليم (Delivery Mode Confound)

وجد الباحثون نتيجة حاسمة وهي أن التقييم المضمن (Inline Evaluation) ينتج نتائج سلبية كاذبة لنماذج محددة.

أظهر نموذج GPT-5.1 نسبة ثقة 0% عندما قُدمت البيانات المسمومة كنص مضمن، ولكن بلغت نسبة الثقة 100% عندما تم تسليمها عبر استخدام أدوات الوكيل الحقيقية.
يشير هذا إلى أن قناة الثقة (استجابة أداة MCP) تخفض عتبة الشك لدى الوكيل مقارنة بالمدخلات النصية المباشرة. التقييمات المضمنة قد تقلل من تقدير مدى قابلية الوكيل للتأثر.

3. تدرج تطور المهاجم

يظهر الهجوم "نقطة انكسار" واضحة.

L0/L1 (ساذج/أساسي): كانت معدلات الثقة منخفضة (0–32%).
L2 (كفء): قفزت معدلات الثقة إلى 100% لجميع النماذج تحت استخدام الأدوات.
هذا يعيد صياغة الهجوم: المسألة ليست هل يمكن خداع النموذج، بل هي الحد الأدنى من الجهد المطلوب. المهاجم الكفؤ (L2) كافٍ لاختراق أي نموذج مختبر.

4. تقييم الدفاع (إطار عمل VUT)

قيم المؤلفون الدفاعات تحت إطار عمل الوضوح (Visibility) – الفهم (Understanding) – التتبع (Traceability):

الوضوح (سجل الرسم البياني): فعال ضد إنشاء العقد (حيث اكتشف الوكلاء العقد الجديدة) ولكنه غير فعال ضد تعديل الخصائص (حيث قبل الوكلاء التغييرات كتحديثات صالحة).
الفهم (المناظرة/التحقق):
- محامي الشيطان المسمى (Named Devil's Advocate): فعال للغاية تحت استخدام SDK (معدل كشف 96.7–100%) ولكنه أقل فعالية في حالة التقييم المضمن.
- محامي الشيطان المجهول (Blind Devil's Advocate): غير مفيد تشغيلياً (معدل الكشف يساوي معدل الإيجابيات الكاذبة).
- تحصين الأوامال النظامية (System Prompt Hardening): لم يكن له أي تأثير؛ فقد أقرت الوكلاء بالتعليمات لكنها ظلت تثق في البيانات.
- التحقق المتقاطع متعدد الأدوات (Multi-tool Cross-Verification): هو الدفاع الهيكلي الأكثر فعالية. عندما تمكن الوكلاء من مطابقة الرسم البياني للمعرفة مع أداة بحث في الكود المصدري، انهارت الثقة العمياء من 100% إلى 0–25%.
التتبع (التحكم في الوصول): كان التحكم في الوصول للقراءة فقط (Read-only access control) لجلسات MCP هو الدفاع الوحيد الذي قضى تماماً على ناقل التعديل المباشر، وبشكل مستقل عن النموذج المستخدم.

الأهمية والادعاءات

تدعي الورقة أنها تقدم أول عرض تجريبي لتسميم الرسوم البيانية للمعرفة ضد نظام وكيل بمقياس إنتاجي (42 مليون عقدة). وتكمن أهميتها في:

تعريف فئة هجوم جديدة: "تسميم الأوراكل" يختلف عن حقن الأوامر، وتسميم RAG، وتسميم البيانات أثناء التدريب. فهو يستغل الثقة أثناء الاستدلال في نتائج الاستعلام المهيكلة التي يتم تسليمها عبر استخدام الأدوات.
واقع المقياس الإنتاجي: على عكس الدراسات السابقة المختبرية، تم إثبات هذا الهجوم على نظام حي بمستوى المؤسسات، مما يثبت أن الثغرة ليست نظرية بل قابلة للاستغلال في البيئات الواقعية.
الثغرة الهيكلية: يستغل الهجوم افتراضاً هيكلياً (الثقة في مصادر البيانات) بدلاً من خطأ برمجي محدد في التنفيذ. هذه الشروط المسبقة الهيكلية (صلاحية الكتابة، غياب المصدر، الثقة في النتائج) مستمرة عبر منصات متعددة (Sourcegraph, Semgrep, CodeQL, Qodana)، مما يشير إلى أن الخطر هيكلي في منظومة الرسوم البيانية للمعرفة.
التصحيح المنهجي: تجادل الورقة بأن التقييمات الأمنية للوكلاء الذكيين يجب أن تتجاوز اختبار النصوص المضمنة إلى خطوط أنابيب استخدام الأدوات الحقيقية، لأن نمط التسليم هو متغير مؤثر قد يخفي الثغرات الحرجة.

يخلص المؤلفون إلى أنه رغم عدم وجود دفاع واحد يمثل "رصاصة فضية"، إلا أن اتباع نهج متعدد الطبقات يجمع بين التحكم في الوصول للقراءة فقط (التتبع)، والتحقق المتقاطع متعدد الأدوات (الفهم)، وسجلات التدقيق (الوضوح) هو أمر ضروري لتخفيف المخاطر.