AUDITA: certified auditing and causal attribution of adverse outcomes in autonomous multi-agent systems
تقدم هذه الورقة البحثية إطار عمل AUDITA، وهو إطار تدقيق معتمد للأنظمة المستقلة متعددة الوكلاء يجمع بين سجلات الأوامر غير القابلة للتلاعب ومحرك عزو سببي متدرج لضمان التعيين العادل للمسؤولية رياضياً، ومنع إلقاء اللوم على الآخرين، وحل النتائج السلبية المعقدة ومتعددة الأسباب بدقة حيث تفشل الطرق التقليدية التي تعتمد على تحديد مذنب واحد.
في المستقبل القريب، لن تُدار المصانع والمستودعات والمساحات العامة بواسطة مشرفين بشريين، بل بواسطة أسراب من الآلات التي يوجهها عقل واحد يعمل بالذكاء الاصطناعي. هذا العقل لا يصدر أوامر لروبوت واحد؛ بل ينسق حواراً معقداً بين العشرات من الوكلاء البرمجيين المتخصصين، لكل منهم وظيفة محددة، بدءاً من تخطيط مسار وصولاً إلى الإمساك بصندوق ثقيل. وعندما تعمل هذه الأنظمة، فإنها تتحرك بسرعة وكفاءة أكبر مما يمكن لأي فريق بشري أن يفعل. ولكن عندما يحدث خطأ ما — إصابة عامل، أو تلف شحنة، أو تحطم آلة — يصبح السؤال حول من الملام يتحول إلى فوضى متشابكة. صانع الآلة، ومطور البرمجيات، ومشغل المصنع، وشركة التأمين، جميعهم يتبادلون الاتهامات. حالياً، لا توجد طريقة موثوقة لفك هذا التشابك؛ إذ يمكن تعديل السجلات الرقمية التي تسجل ما حدث، وغالباً ما تجبر الأنظمة التي تحللها شخصاً واحداً أو برنامجاً واحداً على تحمل المسؤولية، حتى عندما يكون الحادث ناتجاً عن سلسلة من الأحداث، أو إشارة مفقودة، أو أمرين مختلفين كان كلاهما كافياً للتسبب في الكارثة.
قام فريق من الباحثين في جامعة ديوك ببناء نظام جديد يسمى "Audita" لحل هذه المشكلة. بدلاً من التخمين حول المسؤول بناءً على سجلات غير كاملة أو سهلة التزييف، ينشئ Audita سجلاً دائماً وغير قابل للتغيير لكل أمر يتم إرساله بين الوكلاء البرمجيين. فكر في هذا السجل كدفتر يوميات مختوم وغير قابل للتلاعب، حيث يتم توقيع كل مدخل من قبل المرسل وربطه بالمدخل السابق، مما يجعل من المستحيل حذف صفحة أو تغيير كلمة دون أن يلاحظ الجميع ذلك. عندما يقع حادث، لا يبحث Audita فقط عن "شخص سيء" واحد؛ بل يستخدم تحقيقاً صارماً وخطوة بخطوة لتتبع كيفية وقوع الضرر بالضبط. فهو يتحقق مما إذا كان الأمر قد نُفذ بالفعل، أو إذا تم تجاهل أمر ضروري، أو إذا ساهم وكلاء متعددون في الفشل. ثم يقوم النظام بتعيين درجة محددة من المسؤولية لكل طرف، تتراوح من الصفر إلى المسؤولية الكاملة، ويقدم شهادة تثبت بالضبط سبب اتخاذ هذا القرار.
اختبر الباحثون هذا النظام بطريقتين مختلفتين تماماً. أولاً، استخدموه على نظام حي يعمل، حيث كانت وكلاء الذكاء الاصطناعي يحلون مسائل رياضية معقدة. في هذه الاختبارات، كانت الطرق القياسية المستخدمة اليوم لتحديد المسؤولية خاطئة في نصف الحالات تقريباً، وغالباً ما كانت تغفل حقيقة أن عدة وكلاء يتشاركون المسؤولية. في المقابل، قلل Audita معدل الخطأ بنحو ثلاثة أضعاف، حيث حدد بشكل صحيح أن الفشل كان عادةً جهداً مشتركاً بين وكيل التخطيط ووكيل التحقق. ثانياً، اختبر الفريق نظام Audita على مكتبة من الحوادث المحاكية بناءً على حوادث روبوتات حقيقية، بما في ذلك سيناريوهات توقفت فيها آلة لأن أحداً لم يأمرها بالتوقف، أو حيث حاولت آلتان القيام بنفس المهمة وفشلت كلتاهما. في هذه الاختبارات المنضبطة، فشلت الطرق القديمة تماماً، وغالباً ما ألقت باللوم على الآلة الخطأ أو اخترعت مذنباً حيث لا يوجد أحد. ومع ذلك، حدد Audota السبب الدقيق لكل حادث بدقة تامة، حتى عندما حاول الباحثون خداع النظام عن طريق حذف أجزاء من السجل أو محاولة توريط آلة بريئة.
جزء حاسم من هذا الاكتشاف هو ما يثبت النظام أنه من المستحيل تزييفه. فقد أظهر الباحثون أنه بينما يمكن لفاعل ضار أن يحاول جعل آلة بريئة تبدو وكأنها تسببت في حادث عن طريق إرسال أمر مزيف إليها، فإن النظام سيكشف تلك المحاولة ويحمل المهاجم المسؤولية بدلاً من ذلك. كما أثبت النظام أنه لا يمكنك ببساطة حذف الأدلة لجعل الطرف المذنب يبدو بريئاً؛ فإذا كان هناك دليل مفقود، سيقوم النظام بتمييزه كفجوة ويرفض تبرئة المتهم، بدلاً من التظاهر بأن الجزء المفقود لم يكن موجوداً أبداً. وهذا يعني أن النظام يمكنه التمييز بين آلة خرقت القواعد فعلياً وبين آلة كانت مجرد وسيط لخطأ شخص آخر. كما يمكنه التعامل مع المواقف التي لم تفعل فيها الآلة أي شيء خاطئ ولكنها فشلت في إيقاف حادث لأنها لم تُؤمر بالتحرك، وهو نوع من الفشل تتجاهله الأنظمة الحالية غالباً.
كما استكشفت الدراسة حدود ما يمكن لأي نظام كهذا القيام به. وجد الباحثون أنه إذا كان السجل الرقمي غير مكتمل — أي إذا كانت الآلات تتواصل فيما بينها عبر قنوات سرية لا يستطيع النظام رؤيتها — فإن النظام لا يمكنه تحديد المسؤولية الكاملة؛ بل يمكنه فقط قول ما حدث بناءً على الأدلة المتاحة لديه. ومع ذلك، وضمن هذه الحدود، فإن النظام مثبت رياضياً بأنه عادل؛ فلا يمكن خداعه ليلوم آلة ممتثلة، ولا يمكن خداعه ليعفي آلة مذنبة. وقد أظهر الباحثون أنه مع زيادة قوة نماذج الذكاء الاصطناعي، تتحسن قدرة النظام على إيجاد الحقيقة، بينما تظل الطرق القديمة عالقة عند نفس مستوى الخطأ.
يشير هذا العمل إلى أنه لكي تصبح الآلات ذاتية القيادة موثوقة في العالم الحقيقي، فإننا بحاجة إلى طريقة جديدة لتسجيل النتائج. إن النهج الحالي المتمثل في البحث عن مذنب واحد هو نهج معيب جوهرياً لأنه لا يتوافق مع كيفية فشل الأنظمة المعقدة في الواقع. ومن خلال الجمع بين سجل غير قابل للتغيير للأحداث وطريقة تفهم تفاصيل المسؤولية المشتركة، يقدم Audita طريقة لتحويل الجدل حول من الملام إلى عملية حسابية قائمة على أدلة دامغة. لا يدعي الباحثون أن هذا يحل كل المشكلات القانونية أو الأخلاقية، لكنهم أظهروا أنه من الممكن إنشاء نظام يجيب على سؤال المسؤولية بمستوى من اليقين كان يُعتقد سابقاً أنه مستحيل. وبينما لم يتم اختبار النظام بعد على روبوتات مادية أو سلاسل إنتاج، يقترح الباحثون استخدامه كطبقة ضرورية للمجموعات المستقلة في المستقبل، مما يوفر مساراً نحو عالم يمكن فيه محاسبة الآلات بطريقة عادلة وشفافة وسليمة رياضياً.
ملخص تقني: أوديتا (Audita) – التدقيق المعتمد والعزو السببي في الأنظمة متعددة الوكلاء ذاتية التشغيل
1. بيان المشكلة
مع توسع الأتمتة الفيزيائية نحو أساطيل من الآلات المجسدة التي تدار بواسطة عقول ذكاء اصطناي (مثل مخططات النماذج اللغوية ونماذج الفعل-اللغة-الرؤية)، تصبح القرارات المشتركة ذات عواقب فيزيائية واقتصادية متزايدة. وعند وقوع نتائج سلبية (مثل إصابة عامل، أو فشل في الإنتاج)، يصبح تحديد المسؤولية أمراً مستحيلاً في الدفاع عنه حالياً. تعتمد الأساليب الحالية على سجلات التنفيذ التي تفتقر إلى إثبات المنشأ المشفر، أو الترتيب، أو الاكتمال، مما يجعلها عرضة للتلاعب. علاوة على ذلك، فإن طرق العزو الحالية عادة ما تحدد "مذنباً" واحداً، وتفشل في مراعاة الهياكل السببية المعقدة الشائعة في الأنظمة متعددة الوكلاء:
التحديد الزائد (Overdetermination): وجود أسباب كافية متعددة حيث يمكن لأي منها بمفرده أن يؤدي إلى النتيجة.
الاستباق (Preemption): حجب تأثير أمر ما قبل وصوله إلى النتيجة.
الإغفال (Omission): الفشل في اتخاذ إجراء (مثل فشل المشرف في إصدار أمر إيقاف).
المسؤولية المتدرجة (Graded Responsibility): المسؤولية غالاً ما تكون مسألة درجة وليس مجرد مؤشر ثنائي.
لا تستطيع الأساليب الحالية التحقق من سلامة الأدلة التي تحللها، كما أنها لا تمتلك الدلالات السببية للتعامل مع هذه الهياكل غير الرتيبة، مما يؤدي إلى معدلات خطأ عالية في تحديد اللوم.
2. المنهجية: إطار عمل أوديتا (Audita)
يقدم "أوديتا" نظام تدقيق ثنائي الطبقات يربط بين ركيزة أدلة مقاومة للتلاعب ومحرك معتمد للعزو السببي.
الرسائل المسؤولة (Accountable Messages): كل أمر بين الوكلاء هو زوج مرتب (tuple) موقع m=(a,π,C,ϕ,σ)، يحتوي على المؤلف، والحمولة، والاستشهادات (تجزئات الرسائل التي تم التصرف بناءً عليها)، والمحمول التنبؤي للأثر، والتوقيع.
حقبات مختومة بـ "ميركل" (Merkle-Sealed Epochs): تُلحق الرسائل بسجل غير قابل للتغيير. وفي فترات زمنية محددة (حقبات)، يقوم المسجل بتوقيع جذر "ميركل" لنوافذ الرسائل وربطه بتجزئة الكتلة السابقة.
التحقق: يسمح هذا الهيكل لأي طرف (بائع، مشغل، منظم) بالتحقق من التأليف، والترتيب، والاكتمال. ويتم تقسيم السجل إلى:
Gcert: رسائل ذات تواقيع صالحة، واستشهادات محلولة، ومسارات "ميركل" سليمة.
مجموعات المشتبه به/المفقود: رسائل تفشل في التحقق أو غائبة عن السجل.
نموذج التهديد: يفترض النظام وجود خصم من نوع "دوفي-ياو" (Dolev-Yao) يمكنه قراءة، أو تأخير، أو إعادة ترتيب، أو حقن حركة المرور، وحتى حذف السجلات. ومع ذلك، يفترض النظام حيازة آمنة للمفاتيح (المفاتيح ليست مسروقة) وقناة مسجلة (كل تأثير يمر عبر الناقل).
ب. الطبقة السببية (العزو المعتمد)
يتم حساب العزو فقط على المجموعة المتحقق منها (Gcert) باستخدام عملية من ثلاث خطوات:
التقطيع وتقسيم السلامة (Slice & Integrity Partition): عند إعلان نتيجة سلبية Y، يقوم النظام بإجراء "تقطيع خلفي" للسجل لتحديد جميع الرسائل المعتمدة التي لها مسار سببي يؤدي إلى Y.
بوابة الإنتاج (Production Gate): يتم تصفية المرشحين لضمان أن آثارهم الملتزم بها قد تحققت وانتشرت بالفعل إلى النتيجة. هذا يستبعد الأوامر المستبقَة (التي لم تصل آثارها أبداً).
تسجيل النقاط عبر التفكير المضاد (Counterfactual Scoring): يتم تقييم المرشحين الناجين باستخدام تعريف "هالبرن-بيرل" المعدل للسببية الفعلية. يتم تحديد مجموعة السبب الدنيا X∗ ومجموعة الشاهد W∗. ويُحسب درجة المسؤولية ρ كالتالي: ρ(X∗,W∗)=∣X∗∣+∣W∗∣1 وهذا يعالج التكرار (تقسيم المسؤولية) والإغفال (معاملة الغياب كمتغير) بشكل طبيعي.
اعتماد إعادة التشغيل (Replay Certification): لا يتم الإبلاغ عن الأسباب المقترحة حتى يتم إعادة تنفيذها. يتدخل النظام في X∗ (مع تثبيت W∗ كعنصر ثابت) ويعيد تشغيل التقطيع. إذا تم إبطال النتيجة السلبية أو انخفض الخطر بهامش δ، يتم اعتماد السبب.
هيكل الحكم (Verdict Structure): المخرج هو رباعي لكل مبدأ: الواجب (الالتزامات)، الانتهاك (مخالفة الواجب)، السببية (درجة ρ مع الإيصالات)، والضرر. وهذا يسمح بنتائج دقيقة، مثل "الوكيل المهمل لكن غير المؤثر" (انتهاك بدون سببية) أو "الناقل" (سببية بدون انتهاك).
3. المساهمات الرئيسية والضمانات النظرية
يوفر "أوديتا" ضمانات رسمية تحت ثلاثة افتراضات (مكدس قابل لإعادة التشغيل، قناة مسجلة، حيازة آمنة للمفاتيح):
النظرية 1 (تأسيس الذنب): لا يمكن أبداً جعل الوكيل الملتزم بالقواعد يبدو مذنباً. يتطلب الذنب أن تؤدي سلوكيات المتهم المعتمدة نفسها إلى انتهاك واجب مُعلن.
النظرية 2 (مساءلة تحويل اللوم): إذا حاولت مجموعة (Coalition) تحويل اللوم على مبدأ ممتثل، فإن المحاولة نفسها يتم اكتشافها. وتتم درجة الانحرافات التي تسببت في التحويل ونسبتها إلى المهاجمين عبر شهادة قابلة للفحص آلياً.
النظرية 3 (لا تبرئة صامتة): تدمير الأدلة لا يمكن أن يؤدي إلى تبرئة صامتة لمتهم معتمد. إنه فقط يوسع نطاق عدم اليقين أو يضع علامة على الأدلة المفقودة؛ ولا يمكنه خفض الحد الأدنى لمسؤولية وكيل معتمد بالكامل.
النظرية 4 (حاجز الاكتمال): لا يمكن لأي مدقق مقيد بالسجل أن يعتمد كل ذنب النتيجة دون حل المهمة المدققة نفسها. إذا وجدت أخطاء صادقة، فلا يمكن لمعيار أن يكون معياراً سليماً (لا يوجد نتائج إيجابية كاذبة) وكاملاً (لا توجد نتائج سلبية كاذبة) في آن واحد دون معرفة الحقيقة المطلقة.
النظرية 5 (تأطير تأسيسي): شهادة تحويل اللوم تستمر عند كل مستوى ميتا (Meta-order)؛ وتأطير (Framing) من يقوم بالتأطير أمر مستحيل دون الانحراف المعتمد للمؤطر نفسه.
4. النتائج التجريبية
تم تقييم "أوديتا" على سجلين: خطوط أنابيب النماذج اللغوية الحية، ومعيار لهياكل الحوادث الفيزيائية.
الإعداد: خط أنابيب من المخططات، والمحللين، والمجمعين، والمتحققين لحل المسائل الرياضية.
النتائج: 95-98% من الحوادث السلبية كانت إخفاقات مشتركة بين المحلل والمجمع (تحديد زائد)، مما يناقض افتراض المذنب الواحد في المقاييس الحالية.
الأداء: قلل "أوديتا" من خطأ المسؤولية في أفضل نموذج حكم (LLM Judge) أساسي من 0.589 إلى 0.170 (انخفاض بمقدار ثلاثة أضعاف). النسخة "القابلة للنشر" (بدون الوصول إلى مفاتيح الإجابات) حققت 0.159، مما يثبت أن التحسن ليس ناتجاً عن الوصول لبيانات مميزة.
ب. معيار هياكل الحوادث الفيزيائية
الإعداد: مكتبة تضم أكثر من 1000 حادثة قائمة على سجلات حوادث الروبوتات العامة، تغطي التكرار، والاستباق، والإغفال، والتوائم الخاملة (سجلات متطابقة تماماً ولكن بنتائج فيزيائية مختلفة).
الأداء: حقق "أوديتا" خطأ مسؤولية قدره 0.000 عبر جميع الهياكل، مستعيداً الحقيقة المزروعة بدقة تامة.
فشل الخطوط المرجعية: فشل التقييم عبر التفكير المضاد أحادي الموقع في التعامل مع التكرار (خطأ 1.0) والإغفال (خطأ 0.5). كما فشلت نماذج الحكم (LLM Judges) في التعامل مع التكرار (خطأ ~0.5) ولم تستطع التمييز بين التوائم الخاملة.
الضوابط السلبية: في 300 حالة "لا سبب لها"، لم يصنع "أوديتا" أي مذنبين، بينما اتهمت الخطوط المرجعية (الأحكام وكاشفات الشذوذ) وكلاء أبرياء في 100% من الحالات.
ج. المتانة
التزوير: تحت تزوير السجل، ظل حكم "أوديتا" دقيقاً (خطأ 0.000)، بينما ارتفع خطأ الخطوط المرجعية غير الموقعة إلى 0.365 واتهمت ضحايا أبرياء خطأً.
هجمات الداخل: حتى مع وجود مفاتيح صالحة، لم يستطع المطلعون (Insiders) اختلاق ذنب لوكيل ممتثل. وتمت درجة محاولات تحويل اللوم ونسبتها إلى المهاجمين أنفسهم.
5. الأهمية والادعاءات
يجادل البحث بأن "أوديتا" يحول السؤال عن "من الملام" من جدل حول السجلات إلى عملية حسابية فوق الأدلة.
شرط مسبق للمساءلة: يفترض "أوديتا" أن هذه الطبقة هي شرط مسبق ضروري للمجموعات ذاتية التشغيل التي تعمل في بيئات تتطلب المساءلة (مثل المصانع، الخدمات اللوجستية، الأماكن العامة).
الأحكام القائمة على الأدلة: ينقل النموذج من "تسمية مذنب" إلى تقديم "حساب متدرج مرتبط بالأدلة" مخصص ليكون مدخلاً للحكم البشري والقانوني، وليس بديلاً عنه.
التوافق التنظيمي: يعالج التصميم مباشرة متطلبات قانون الذكاء الاصطناعي في الاتحاد الأوروبي، مقترحاً أن السجلات يجب أن تكون موقعة، ومستشهدة، ومختومة، وقابلة للتحليل السببي لشراء المساءلة.
التواضع: يقر المؤلفون بالقيود: يتعامل النظام مع الحوادث المنفصلة (وليس الأضرار التراكمية بدون عتبات)، وأن الأدلة الكمية حالياً هي محاكاة (رغم استنادها إلى تقارير حوادث حقيقية). النظام لا يفترض براءة الذمة، بل يثبتها للسجلات المعتمدة.
باختصار، يوفر "أوديتا" أول آلية لاعتماد أن حادثة سلبية كانت ناتجة عن وكلاء محددين بدرجة معينة، حتى في ظل وجود هياكل سببية معقدة ومحاولات معادية للتلاعب بالسجل، طالما ظلت افتراضات التشفيد وإعادة التشغيل قائمة.