🤖 AI

Hallucination as Exploit: Evidence-Carrying Multimodal Agents

تقدم هذه الورقة البحثية "الوكلاء متعددون الوسائط حاملو الأدلة" (ECA)، وهي بنية آمنة تمنع إخفاقات التفويض الناجمة عن الهلوسة من خلال اشتراط التحقق من استدعاءات الأدوات مقابل شهادات أدلة خارجية محددة النوع، بدلاً من الاعتماد على الادعاءات الإدراكية غير المتحقق منها للنموذج.

المؤلفون الأصليون: Guijia Zhang, Hao Zheng, Harry Yang

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Guijia Zhang, Hao Zheng, Harry Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً شخصياً ذكياً جداً، ولكنه ساذج بعض الشيء. هذا المساعد يمكنه النظر إلى لقطات الشاشة، وقراءة رسائل البريد الإلكتروني، وتصفح الويب لمساعدتك في القيام بأشياء مثل إرسال الأموال، أو الضغط على الأزرار، أو استخراج البيانات.

المشكلة هي أن هذا المساعد "يهلوس" أحياناً. قد يخبرك بثقة تامة: "أرى زراً يقول 'إرسال 500 دولار إلى صديقي"، بينما في الواقع، هذا الزر غير موجود، أو أنه في الحقيقة فخ نصبه أحد المخترقين.

في الماضي، إذا ارتكب المساعد خطأً، كان الأمر مجرد "إجابة سيئة". ولكن عندما يتصل هذا المساعد بأدوات حقيقية (مثل تحويل بنكي أو عميل بريد إلكتروني)، فإن الهلوسة لا تصبح مجرد خطأ — بل تصبح خرقاً أمنياً. المساعد يعتقد حقيقة زائفة، ولأنه يصدقها، فإنه يقوم بإجراء خطير.

تقدم هذه الورقة البحثية نظاماً جديداً يسمى ECA (الوكلاء متعددون الوسائط حاملو الأدلة) لإصلاح هذا الأمر. وإليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. المشكلة: "المدير الساذج"

فكر في وكيل الذكاء الاصطناعي القياسي كأنه مدير يجلس في غرفة.

المدير ينظر إلى مستند (الشاشة) ويقول: "أرى زر 'دفع' هنا. سأضغط عليه".
إذا كان المستند صورة مزيفة أنشأها مخترق، فإن المدير سيظل "يرى" زر "دفع" لأن الذكاء الاصطناعي يتخيل وجوده.
يقوم المدير بالضغط على الزر، وتُسرق الأموال. المدير لم يتبع أمراً خبيثاً؛ بل هو فقط هلوس بوجود الإذن للتحرك.

2. الحل: "الوكيل حامل الأدلة"

يقترح المؤلفون بنية جديدة حيث لا يعود المدير هو الوحيد المسؤول. لقد أضافوا حارساً أمنياً وموثقاً عاماً.

المدير (الذكاء الاصطناعي): لا يزال هو من يقوم بالتفكير. ينظر إلى الشاشة ويقول: "أعتقد أنه يجب علينا الضغط على ذلك الزر".
الموثق (المحقِّقون): قبل أن يتمكن المدير من الضغط فعلياً على الزر، يقوم نظام منفصل وصارم (الموثق) بفحص الشاشة باستخدام أدوات مختلفة (مثل عدسة مكبرة للنصوص، وماسح ضوئي للأكواد، وخريطة للتخطيط).
الشهادة: الموثق لا يكتفي بقول "حسناً" فقط، بل يصدر شهادة رقمية. هذه الشهادة هي إيصال مكتوب وغير قابل للتغيير يقول: "أنا، الموثق، أؤكد أن زراً يحمل تسمية 'دفع' موجود بالفعل عند هذه الإحداثيات الدقيقة".

3. "البوابة" (الشرطي)

هناك بوابة بين المدير وبين الإجراء (الفعل).

لا يمكن للمدير فتح البوابة بمجرد قوله: "أنا أعتقد أن الزر موجود".
البوابة لا تفتح إلا إذا قدم المدير الشهادة الصادرة عن الموثق.
إذا حاول المدير قول: "لقد رأيت زراً"، لكن الموثق لم يصدر شهادة له، تظل البوابة مغلقة. ويتم حظر الإجراء.

4. لماذا هذا مختلف؟

الطريقة القديمة: كانت كلمة الذكاء الاصطناعي هي القانون. إذا قال الذكاء الاصطنا_عي "أرى عملية تحويل بنكي"، كان النظام ينفذها.
الطالط الجديدة (ECA): كلمة الذكاء الاصطناعي هي مجرد اقتراح. النظام لا يعمل إلا إذا أثبتت أدلة مستقلة (مثل مسح فعلي لبرمجيات صفحة الويب) أن الاقتراح صحيح.

النتائج: ما مدى نجاح ذلك؟

اختبر الباحثون هذا النظام ضد آلاف الهجمات، بما في ذلك محاولات المخترقين لخداع الذكاء الاصطناعي بصور مزيفة، ونصوص مخفية، ورموز مربكة.

"المدير الساذج" (الذكاء الاصطناعي القديم): فشل في معظم الحالات (تقريباً 100%). إذا هلوس الذكاء الاصطناعي بإجراء خطير، فإنه ينفذه.
دفاع "الأوامر فقط" (مجرد إخبار الذكاء الاصطناعي بأن يكون حذراً): فشل في حوالي 50% من الحالات. لا يزال الذكاء الاصطناعي يقع ضحية لهلوساته.
النظام الجديد (ECA):
- منع 100% من الإجراءات غير الآمنة في اختباراتهم النهائية.
- حتى عندما حاول المخترقون خداع "الموثق" (المحقِّق) مباشرة، فقد كان لدى النظام عملية "تحصين" قللت معدل الفشل إلى ما يقرب من الصفر (انخفض إلى 1.3% في الاختبارات الأولية، وإلى 0% في الاختبارات النهائية).
- لم يمنع النظام الذكاء الاصطناعي من القيام بالأشياء المفيدة؛ بل ظل يسمح بـ 100% من المهام الآمنة والطبيعية.

الخلاصة الكبرى

تجادل الورقة البحثية بأننا لا يمكننا الاعتماد على "عقل" الذكاء الاصطناعي لتقرير ما إذا كان من الآمن التصرف. فالذكاء الاصطناعي عرضة جداً لتأليف الأشياء. بدلاً من ذلك، نحتاج إلى فحص هيكلي: نظام منفصل يتحقق مادياً من الحقائق قبل السماح بأي إجراء بالحدوث.

الأمر يشبه قول: "لا يمكنك مجرد الادعاء بأن لديك تذكرة لركوب الطائرة. يجب أن تظهر تذكرة مادية طُبعت من قبل نظام المطار. إذا لم تملك التذكرة المادية، فلن تفتح البوابة، مهما كنت تدعي ذلك بثقة".

ملخص تقني: الهلوسة كاستغلال: الوكلاء متعددون الوسائط حاملو الأدلة

1. بيان المشكلة

غالبًا ما تتعامل التقييمات الحالية للوكلاء متعددي الوسائط مع الهلوسة باعتبارها خطأً في جودة الإجابة (مثل وصف خاطئ)، ومع حقن الأوامر (Prompt Injection) باعتبارها فشلاً في اتباع التعليمات. ومع ذلك، عندما يتحكم وكيل متعدد الوسائط في أدوات (مثل النقر، أو إرسال رسائل بريد إلكتروني، أو تحويل الأموال)، يمكن أن تتحول الهلوسة إلى فشل في التفويض. إذا تصور النموذج خطأً شرطًا مسبقًا — مثل موقع زر، أو بريد إلكتروني لمستلم، أو حقل في مستند — فقد يؤدي ذلك إلى تفعيل استدعاء أداة ذات امتياز بناءً على ادعاء بصري غير مدعوم.

تفشل الدفاعات الحالية لأنها تدمج الملاحظة، والتفسير، والتعليمات، والإذن في سلسلة واحدة من النص الحر للنموذج. وبناءً على ذلك، لا يمكن لفلترة الأوامر (Prompt Filtering) التمييز بين الحقن الخبيث وبين الاعتقاد الخاطئ للنموذج نفسه. تحدد الورقة البحثية تحويل الهلوسة إلى إجراء (H2AC) كنمط الفشل الحرج: حيث يصبح الادعاء الإدراكي غير المدعوم شرطًا مسبقًا مطلوبًا للإجراء، مما يغير قرار التنفيذ من "منع" إلى "سماح".

2. المنهجية: الوكلاء متعددو الوسائط حاملو الأدلة (ECA)

يقترح المؤلفون بنية الوكلاء متعددي الوسائط حاملي الأدلة (ECA)، وهي بنية تفصل بين تفسير المهام وتفويض الإجراءات. تعامل بنية ECA النص الحر للنموذج كدليل غير مقبول للمسلمات (Predicates) عالية الثقة.

البنية الأساسية

مخططات الإجراء (Action Scheas - $G_a$ ): يتم تفكيك كل استدعاء للأداة إلى مسلمات محددة وحرجة للإجراء (مثل: ui_element (عنصر واجهة المستخدم)، ocr_text (نص OCR)، safe_source (مصدر آمن)). تحدد هذه المخططات الشروط الدقيقة المطلوبة ليكون الإجراء آمنًا.
المحقِّقون المقيدون (Constrained Verifiers): بدلاً من الاعتماد على النموذج اللغوي الكبير متعدد الوسائط (MLLM) للتحقق من الحقائق، تستخدم ECA محققين منفصلين ومقيدين (مثل: أدوات تحليل DOM، محركات OCR، أدوات تحليل شجرة إمكانية الوصول Accessibility Tree) لإنشاء شهادات أدلة نمطية.
- الشهادة هي سجل مهيكل $e = (\tau, v, r, s, \nu, \kappa, t, \lambda)$ يحتوي على النوع، القيمة، المنطقة، المصدر، المحقق، الثقة، الوقت، وتسمية الثقة.
- من الناحية الجوهرية، لا يمكن للمكون الذي يقترح الإجراء (الـ MLLM) أن يشهد بالحقائق التي تفوضه.
بوابة السياسة الحتمية ( $\Pi$ ): تقوم بوابة بتقييم الإجراء المقترح مقابل مخطط الإجراء. تمنح الإذن فقط إذا تم مطابقة كل مسلمة مطلوبة في المخطط بشهادة ذات النوع، والنطاق، وتسمية الثقة، والثقة المناسبة.
- سماح (Allow): جميع المسلمات مدعومة بشهادات موثوقة.
- استفسار (Ask): الأدلة غير مكتملة ولكن الإجراء قابل للتراجع عنه.
- منع (Block): الأدلة تتعارض مع الإجراء أو أن مصدر الإثبات المطلوب مفقود.

الأساس النظري

يعتمد النظام على مبادئ التحكم في تدفق المعلومات. يتم تفكيك سلامة النظام إلى مخاطر متبقية:

$\epsilon_p$ : معدل الخطأ الإيجابي للمحقِّقين (الشهادة على مسلمة خاطئة).
$\delta_{schema}$ : احتمال أن يغفل مخطط الإجراء عن مسلمة حرجة.
$\delta_{impl}$ : احتمال حدوث تجاوز في التنفيذ.
يتم حصر احتمال وقوع إجراء غير آمن بمجموع هذه المخاطر المتبقية، بدلاً من احتمال هلوسة النموذج.

3. المساهمات الرئيسية

صياغة H2AC: تحدد الورقة "تحويل الهلوسة إلى إجراء" كآلية تصبح فيها الادعاءات الإدراكية غير المدعومة سلطة للإجراء.
بنية ECA: تصميم مبتكر يفرض "بوابة شهادات"، تتطلب أدلة نمطية للمسلمات الحرجة للإجراء بدلاً من الاعتماد على نص النموذج.
تقييم متعدد المستويات:
- الاختبار الأحمر العدائي (Adversarial Red-Teaming): 1,900 هجوم عبر 19 فئة تستهدف محقِّقي DOM وOCR وAccessibility Tree.
- التنفيذ المشتق من المحتوى: تقييمات من طرف إلى طرف (E2E) وإثبات مفهوم (PoC) للمتصفح باستخدام DOM وOCR وAX حقيقيين.
- إعادة تشغيل أوراكل-الشهادة (Oracle-Certificate Replay): 7,488 تتبع باستخدام شهادات مفترضة الصحة لعزل منطق البوابة عن أخطاء المحقق.
الدفاع الهيكلي مقابل العصبي: توضح أن الحجب الهيكلي (ECA) يتفوق على الحكم العصبي (LLM judges) تحت نموذج التهديد هذا.
التحصين المستهدف: أربعة إصلاحات محددة (الربط المرجعي لمصدر DOM، كشف المتشابهات UTS #31، التحقق من سلامة AX-DOM، وتحصين OCR عبر الهاش التصويري) التي تقلل بشكل كبير من معدلات التجاوز.

4. النتائج التجريبية

تقرير الورقة نتائج عبر ثلاث طبقات من الأدلة، مع التأكيد على أن "صفر مستوى البوابة" هو خاصية تصميم مشروطة بصحة المحقق.

الاختبار الأحمر للمحقق العدائي:
- معدل تجاوز البوابة الأولي: 15%.
- بعد أربع خطوات تحصين مستهدفة: 1.3% (الحد الأعلى المصحح بطريقة Bonferroni هو 2.3%).
التنفيذ من طرف إلى طرف (E2E) وإثبات مفهوم المتصفح:
- خط أنابيب E2E مكون من 200 مهمة: 0% معدل الإجراء غير الآمن (UAR) (حد ويلسون العلوي 95% هو 2.67%).
- إثبات مفهوم متصفح مكون من 120 مهمة: 0% UAR (حد ويلسون العلوي 95% هو 4.3%).
- إعادة تشغيل محلل حقيقي بـ 500 أصل: 0% UAR.
تدقيق HACR المباشر:
- على عينة طبقية من 500 مهمة، وصلت 100% من الادعاءات الحرجة للإجراء غير المدعومة إلى التنفيذ في الوكلاء السذج، و 49.6% للدفاعات القائمة على الأوامر فقط.
- منعت ECA بنسبة 100% (0/1,103) من الادعاءات الحرجة للإجراء غير المدعومة عند بوابة الشهادة.
المقارنة مع الحكام العصبيين:
- حققت متغيرات حكم GPT-5.4 معدلات UAR تتراوح بين 79% و99% في المهام غير الآمنة.
- أظهرت اختبارات Progent العدائية معدل 23.3% UAR للحكم مقابل 0% لـ ECA.
- فشل الحكام العصبيون في التمييز بين التعليمات الموثوقة والاشتراطات المسبقة المهلوسة بفعالية.

5. الأهمية والادعاءات

تدعي الورقة أن تلميع المونولوج الوقائي للنموذج هو رافعة ضعيفة عندما يمكن للحقائق المهلوسة في المستندات أو واجهة المستخدم أن تستوفي مخططات الإجراء. المساهمة الرئيسية هي حد تفويض اللغة إلى الإجراء الذي يتطلب تمثيل الادعاءات من السياق متعدد الوسائط كمسلمات نمطية قبل أن تؤثر على امتيازات الأدوات.

الادعاءات المتواضعة: تنص الورقة صراحةً على أن ECA لا تحل مشكلة الهلوسة أو جميع سوء استخدام الوكيل. ادعاء السلامة هو شرطي: إذا أغفلت المخططات مسلمات حرجة، أو تجاوزت عمليات التنفيذ البوابة، أو شهدت المحققات على حقائق خاطئة، فيمكن لـ ECA أن تفشل.
المخاطر المتبقية القابلة للتدقيق: ميزة ECA هي أن الإخفاقات ليست مخفية في معتقدات النموذج الغامضة بل يتم الكشف عنها كمخاطر متبقية قابلة للقياس ( $\epsilon_p, \delta_{schema}, \delta_{impl}$ ).
النطاق: يركز العمل على مسار هجوم "الشرط المسبق الخاطئ"، الذي يتجاوز مصنفات التعليمات. ولا يدعي المتانة ضد هجمات المحقق الجديدة، أو النشر الحي كامل النطلة متعدد الخطوات، أو أنظمة الأدوات التعسفية دون إصلاح المخطط.

باختสร، تنقل ECA حدود الثقة من المخطط (الـ MLLM) إلى طبقة الأدلة (المحققين)، محولةً المعتقدات الغامضة للنموذج إلى مخاطر متبقية قابلة للتدقيق، وتمنع الادعاءات البصرية غير المدعومة من تفويض الإجراءات ذات الامتياز بصمت.