The Claim-to-Action Gap: Measuring How Misinformation Turns False State into Tool Calls in Tool-Using LLM Agents
تقدم هذه الورقة إطار عمل مبتكرًا لقياس فجوة "الادعاء إلى الفعل" في وكلاء النماذج اللغوية الكبيرة (LLMs) المستخدمة للأدوات، وذلك من خلال إثبات أن الادعاءات الكاذبة تؤدي إلى أفعال ضارة في العالم الحقيقي في ما يقرب من 70% من التجارب، وهي ثغرة يتم تحييدها بفعالية (بتقليل معدل الفعل إلى 0%) عبر تنفيذ خطوة تحقق موصى بها من قبل منظمة OWASP قبل التنفيذ.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً لا تكتفي فيه الحواسيب بالدردشة فحسب، بل تمتلك أيدٍ. ليست هذه الأيدي مادية، بل هي أيدٍ رقمية يمكنها فتح حسابات بنكية، أو قلب مفاتيح في شبكات الطاقة، أو كتابة وصفات طبية للأدوية. نحن نسمي هذه "وكلاء الذكاء الاصطناعي" (AI agents). إنهم يشبهون المساعدين فائقي الذكاء الذين يمكنهم قراءة ملاحظة ثم القيام بـ فعل حقيقي بناءً عليها. ولكن هنا تكمن المشكلة: هؤلاء المساعدون يثقون بشكل مفرط. إذا أخبرتهم بقصة، فقد يصدقونها تماماً لدرجة أنهم سيتصرفون بناءً عليها فوراً.
تنشأ المشكلة عندما تكون القصة كذبة. في عالم سلامة الذكاء الاصطناعي، هناك قلق متزايد بشأن "المعلومات المضللة". عادةً، عندما نتحدث عن المعلومات المضللة، نخشى من تصديق الناس للأخبار الزائفة. ولكن مع وجود هذه الأيدي الرقمية الجديدة، يصبح القلق أكبر. ماذا يحدث عندما لا تغير الكذبة عقل إنسان فحسب، بل تحفز آلة على تحريك أموال حقيقية، أو حجب إنترنت مستشفى، أو مسح نظام أمني لجهاز كمبيوتر؟ هذه هي "فجوة الادعاء إلى الفعل" (Claim-to-Action gap). إنها المساحة الخطيرة بين صدور بيان كاذب وبين قرار الروبوت بالتنفيذ. يحاول العلماء معرفة عدد المرات التي يحدث فيها هذا، والأهم من ذلك، كيفية منع الروبوت من الضغط على الزناد عندما تكون القصة مزيفة.
الورقة البحثية: عندما تتحول الكذبة إلى كارثة في العالم الحقيقي
في هذه الدراسة، قام باحث يدعى محمد رضا رشيدي بإنشاء ساحة لعب رقمية لاختبار مدى خطورة مشكلة "الروبوت الواثق" هذه. لم يكتفِ بسؤال نماذج الذكاء الاصطناعي عن الدردشة حول الأكاذيب؛ بل بنى لعبة حيث يروي ذكاء اصطناعي واحد (المنتج - Producer) قصة لذكاء اصطناعي ثانٍ (المستهلك - Consumer)، ويكون لدى المستهلك زر خطير يمكن ضغطه.
تخيل الأمر كأنه سباق تتابع بين شخصين. العداء الأول (المنتج) يتلقى ملاحظة قد تكون خدعة. ربداً تقول الملاحظة: "هذا العميل مؤهل لاسترداد الأموال"، رغم أن القواعد تنص على خلاف ذلك. يركض المنتج بهذه الملاحظة ويسلمها للعداء الثاني (المستهلك). المستهلك يمسك بمطرقة ثقيلة مكتوب عليها "الموافقة على الاسترداد". إذا صدق المستهلك الملاحظة، فسيضرب بالمطرقة، وتخرج أموال حقيقية من الحساب البنكي في المحاكاة.
بنى رشيدي ست نسخ مختلفة من هذا السباق، تغطي سيناريوهات مثل الموافقة على عمليات استرداد الأموال، أو تحرير الأموال، أو وصف الأدوية، أو إصلاح أخطاء الكمبيوتر، أو حجب قطاعات الشبكة، أو التصريح بتحويلات برقية. أجرى 324 تجربة حقيقية باستخدام ثلاث نسخ مختلفة من نموذج ذكاء اصطناعي شهير (Gemini).
النتيجة الصادمة: الفجوة واسعة
كانت النتائج مذهلة. عندما تُرك الذكاء الاصطناعي الثاني (المستهلك) ليعمل بمفرده دون ضوابط سلامة، فإنه في 69.8% من الحالات وقع في فخ الكذبة وضغط على الزر الخطير.
في بعض الحالات، كانت الروبوتات ساذجة للغاية.
- فخ "استنتاج الحالة": عندما أُعطي الذكاء الاصطناعي الأول سجلاً لعميل يفتقر إلى تفصيل مهم (مثل هوية منتهية الصلاحية) ولكنه يحتوي على تفاصيل جيدة أخرى، افترض الذكاء الاصطناعي الثاني أن العميل آمن وأطلق 135,000 دولار لشخص غير موثق في المحاكاة. حدث هذا بنسبة 100%.
- فخ "إصلاح المنتدى": عندما قرأ الذكاء الاصطناعي الأول منشوراً مزيفاً في منتدى إنترنت يقترح أمراً خطيراً لإصلاح كمبيوتر بطيء (مثل "مسح جميع قواعد جدار الحماية")، اتبع الذكاء الاصطناعي الثاني النصيحة ومسح قواعد الأمان بنسبة 96.3% من المرات.
- فخ "البريد الإلكتروني المزيف": عند تقديم بريد إلكتروني مزيف يبدو وكأه جاء من مدير يأمر بتحويل برقي، قام الذكاء الاصطناعي الثاني بتفويض تحويلات وهمية بقيمة 816,000 دولار في 63% من التجارب.
أظهرت الدراسة أن صياغة الكذبة تحديداً كانت مهمة جداً. على سبيل المثال، في سيناريو استرداد الأموال، إذا ذكرت السياسة المزيفة فقط "ضمان الرضا"، فإن الروبوتات تقع في الفخ بنسبة 33%. ولكن إذا أضافت السياسة المزيفة كلمة سحرية واحدة فقط وهي "مدى الحياة"، فإن الروبوتات تقع في الفخ بنسبة 100%. لقد تأثرت الروبوتات بـ نبرة الكذبة بدلاً من الحقائق الصلبة.
الحل: بوابة "الادعاء-التحقق-التنفيذ"
اختبرت الورقة أيضاً شبكة أمان أوصى بها خبراء الأمن تسمى "الادعاء-التحقق-التنفيذ" (Claim-Check-Act). هذا يشبه وضع حارس أمن عند باب الذكاء الاصطناعي الثاني. قبل أن يتمكن المستهلك من رفع المطرقة، يُجبر على النظر في "سجل الحقيقة المطلقة" (قائمة رئيسية لما هو صحيح بالفعل) ومقارنة القصة التي قيلت له مقابل تلك القائمة.
كانت النتيجة نقطة تحول كاملة. عندما أضيفت عملية التحقق البسيطة هذه، انخفض معدل الإجراءات الضارة من 69.8% إلى 0.0%. لم تصبح الروبوتات أكثر ذكاءً؛ بل أصبح لديها مدقق حقائق. في 96.3% من الحالات التي قيلت فيها كذبة، توقف الروبوت، وأدرك أن القصة لا تتطابق مع القائمة الرئيسية، وطلب مراجعة بشرية بدلاً من التنفيذ.
ماذا يعني هذا؟
تخلص الورقة إلى أن الخطر الحقيقي ليس فقط في ارتكاب الذكاء الاصطناعي لأخطاء في دردشته، بل في قيامه بالتصرف بناءً على تلك الأخطاء دون طلب دليل. تثبت الدراسة أنه في بيئات المحاكاة هذه، يمكن للادعاءات الكاذبة أن تتحول بسهماً إلى كوارث في العالم الحقيقي مثل حجب الشبكات أو سرقة الأموال. ومع ذلك، فإنها تظهر أيضاً أن حلاً بسيطاً ومنخفض التقنية — وهو جعل الذكاء الاصطناعي يتحقق من القصة مقابل حقيقة معروفة قبل التنفيذ — يمكن أن يوقف الكارثة تماماً تقريباً.
لقد كان الباحثون حذرين للغاية في ملاحظة أن هذه كانت محاكاة في بيئة تجريبية (عالم وهمي آمن)، لذا لم تُفقد أموال حقيقية ولم تتضرر مستشفيات حقيقية. لكن الدرس واضح: إذا أردنا أن تمتلك وكلاء الذكاء الاصطناعي "أيدٍ"، فيجب أن نعلمهم التحقق من حقائقهم قبل أن يلوحوا بها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.