The Importance of Out-of-Band Metadata for Safe Autonomous Agents: The Redpanda Agentic Data Plane
تقدم الورقة البحثية مستوي بيانات "ريد باندا" الوكيل (Redpanda Agentic Data Plane - ADP)، وهو بنية تحتية تضمن عمليات الوكلاء المستقلة الآمنة من خلال فرض سياسات الأمان، ونطاق البيانات، ومسارات تدقيق غير قابلة للتلاعب عبر قنوات وصفية حتمية خارج النطاق تعمل بالكامل خارج مسارات القراءة والكتابة الخاصة بالوكلاء.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك وظفت موظفاً رقمياً عبقرياً فائق السرعة لإدارة أموال شركتك. هذا الموظف (وكيل ذكاء اصطناعي) يمكنه قراءة حساباتك البنكية، واتخاذ قرات استثمارية، وتنفيذ الصفقات فوراً.
المشكلة هي أن هذا الموظف غير قابل للتنبؤ بسلوكه تماماً. أحياناً "يهلوس" (يختلق أشياء من خياله)، وأحياناً يرتبك بسبب تعليمات معقدة، وأحياناً قد يخدعه مخترق. إذا قلت له: "انظر فقط إلى الحساب (أ)"، ولكنه نظر بالخطأ إلى الحساب (ب)، أو إذا خدعه مخترق لكي ينظر إلى الحساب (ب)، فستحدث كارثة أمنية كبرى.
تجادل الورقة البحثية بأنك لا يمكنك الوثوق بالموظف لاتباع القواعد إذا كانت القواعد مكتوبة في نفس الدفتر الذي يقرأ منه الموظف.
المشكلة الجوهرية: "داخل النطاق" مقابل "خارج النطاق"
الطريقة القديمة (داخل النطاق - In-Band):
تخيل أنك أعطيت موظفك قائمة تعليمات مكتوبة على ورقة: "تداول فقط الأسهم التي تقل قيمتها عن 1,000 دولار".
- الخطر: إذا ارتبك الموظف، فقد يتجاهل الملاحظة. وإذا قام مخترق باستبدال الورقة بأخرى جديدة تقول "تداول أي شيء"، فسيتبع الموظف الأمر الجديد. القواعد هنا موجودة داخل "عقل" الموظف (أو النص التوجيهي الخاص به)، لذا يمكن تغييرها أو تجاهلها أو إساءة فهمها.
الطريقة الجديدة (خارج النطاق - Out-of-Band):
يقترح المؤلفون نظاماً يسمى مستوى بيانات وكيل ريدباندا (Redpanda Agentic Data Plane - ADP). فكر في الأمر كأنك تبني مصنعاً آمناً ومؤتمتاً حول موظفك.
بدلاً من إعطاء الموظف قائمة قواعد، ستقوم ببناء مجموعة من الجدران غير المرئية وغير القابلة للكسر وإشارات المرور التي لا يستطيع الموظف رؤيتها أو لمسها.
القوى الخارقة الثلاث لنظام "خارج النطاق"
تصف الورقة البحثية ثلاث طرق محددة يحافظ بها هذا النظام على الأمان، باستخدام تشبيه "المصنع":
1. الحارس الخفي (الوصول إلى البيانات ضمن نطاق محدد)
- التشبيه: تخيل أن موظفك يعمل في مبنى يحتوي على غرف متعددة. في الطريقة القديمة، كنت تخبر الموظف: "لا تذهب إلى الغرفة (ب)". لكن الموظف قد يذهب إليها ببساطة.
- حل الـ ADP: المبنى نفسه يحتوي على أبواب ذكية. عندما يحاول الموظف فتح باب، يقوم الباب نفسه بالتحقق من بطاقة هويته. إذا كانت البطاقة تقول "الغرفة (أ) فقط"، فإن الباب يغلق ببساطة ولا يفتح. الموظف لا يعرف حتى بوجود الغرفة (ب). القاعدة ليست في عقل الموظف؛ بل في عتاد الباب نفسه.
2. شرطي المرور (الإجراءات المقيدة)
- التشبيه: يريد الموظف إرسال طرد (أمر تداول). في الطريقة القديمة، كنت تخبره: "لا ترسل طروداً تزيد قيمتها عن 1,000 دولار". ولكن إذا ارتبك، فقد يرسل طرداً بقيمة 10,000 دولار.
- حل الـ ADP: يجب أن يمر الطرد عبر سير ناقل مزود بميزان. الميزان متصل بشرطي مرور. إذا كان وزن الطرد (قيمته) أكثر من 1,000 دولار، يقوم شرطي المرور (البنية التحتية) بإيقاف السير ويحتجز الطرد بانتظار موافقة مدير بشري. لا يمكن للموظف تجاوز الميزان؛ لأن الميزان خارج نطاق سيطرته.
3. الكاميرا غير القابلة للتزوير (تدقيق غير قابل للعبث)
- التشبيه: في الطريقة القديمة، كنت تطلب من الموظف كتابة مذكرات عما فعله. إذا فعل شيئاً خاطئاً، يمكنه ببساء تمزيق الصفحة أو كتابة مدخل مزيف يقول فيه: "أنا لم أفعل ذلك".
- حل الـ ADP: المصنع يحتوي على كاميرات مراقبة تسجل كل شيء. الموظف لا يرى الكاميرات أبداً، ولا يمكنه إيقاف تشغيلها. يتم حفظ التسجيلات في خادم آمن لا يمكن للموظف الوصول إليه. إذا حاول الموظف إخفاء خطأ ما، فإن لقطات الكاميرا تثبت بالضبط ما حدث.
كيف يعمل ذلك في الواقع (العرض التجريبي)
توضح الورقة البحثية ذلك من خلال نظام إدارة الثروات (إدارة الأموال للعملاء).
- الإعداد: هناك ثلاثة وكلاء ذكاء اصطناعي يعملون معاً: أحدهم للبحث في السوق، وآخر لاتخاذ قرار الشراء، وثالث لتنفيذ الصفقة.
- اللمسة السحرية: يتواصل هؤلاء الوكلاء مع بعضهم البعض عبر نظام مراسلة يعمل كـ مكتب بريد آمن.
- عندما يقول "وكيل القرار": "اشترِ 100 سهماً للعميل (أ)"، فإنه في الواقع لا يخبر النظام من هو العميل (أ).
- مكتب البريد (البنية التحتية) ينظر إلى بطاقة هوية الوكيل، ويرى أنه ينتمي للعميل (أ)، ثم يقوم تلقائياً بختم الأمر بكلمة "العميل (أ)".
- الوكيل لا يرى الختم أبداً، ولا يمكنه تغييره، ولا يمكنه التظاهر بأنه العميل (ب).
- إذا كان الأمر ضخماً جداً، يقوم مكتب البريد تلقائياً باحتجازه للمراجعة البشرية. لا يمكن للوكيل تمريره بالقوة.
لماذا يهم هذا الأمر؟
تخلص الورقة البحثية إلى أنه مع زيادة قوة وسرعة وكلاء الذكاء الاصطناعي، لا يمكننا الاعتماد فقط على "سلوكهم الجيد" بناءً على التعليمات التي يقرؤونها. نحن بحاجة لنقل القواعد خارج نطاق الوكيل.
من خلال بناء "مستوى بيانات" حيث تُنفذ القواعد بواسطة البنية التحتية (الأبواب، الموازين، الكاميرات) بدلاً من عقل الوكيل، فإننا نخلق نظاماً حيث:
- الوكلاء المرتبكون لا يمكنهم كسر القواعد عن طريق الخطأ.
- الوكلاء المخترقون لا يمكنهم تجاوز القواعد.
- الجهات التنظيمية يمكنها رؤية سجل مثالي وغير قابل للتغيير لكل ما حدث.
باختصار: لا تثق في اتباع الموظف للقواعد. بل ابنِ غرفة تُفرض فيها القواعد بواسطة الجدران نفسها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.