Correct Is Not Governed: Provenance Integrity in Agentic Workflows

الأثر الورقي الخفي

تخيل أنك تراقب فريقاً من الروبوتات فائقة السرعة والذكاء وهي تحاول حل لغز ما. يمكنها قراءة ملايين الكتب في ثانية واحدة، وإيجاد الأدلة المثالية، وكتابة حل عبقري. في عالم الذكاء الاصطناي، نطلق على هذا عادةً اسم "نجاح" إذا توصل الروبوت إلى الإجابة الصحيحة. ولكن ماذا لو حصل الروبوت على الإجابة الصحيحة لأسباب خاطئة؟ ماذا لو استخدم دليلاً كان في الأصل مسودة مزيفة، أو قاعدة انتهت صلاحيتها بالأمس، أو قطعة من الأدلة اخترعها للتو؟ في الحياة الواقعية — كما هو الحال في المستشفيات أو البنوك أو المحاكم — الحصول على الإجابة الصحيحة ليس كافياً. أنت بحاجة لمعرفة لماذا هذه الإجابة صحيحة، ومن أعطى الإذن لقولها، وما هو الإثبات الذي يدعمها. هذا هو عالم "الحوكمة". إنه الفرق بين ساحر يخرج أرنباً من قبعة (الخدعة تنجح!) وعالم يريك بالضبط كيف وصل الأرنب إلى هناك (الإثبات متين). تسأل هذه الورقة سؤالاً بسيطاً ولكنه صعب: هل يمكننا بناء نظام لا يكتفي فيه وكلاء الذكاء الاصطناعي بإنجاز المهمة فحسب، بل يحتفظون أيضاً بمذكرات مثالية وغير قابلة للتغيير حول كيفية قيامهم بذلك بالضبط، بحيث يمكننا الوثوق بهم؟

قصة الورقة: "مصفوفة" الثقة

يقدم مؤلف هذه الورقة، وهو باحث مستقل يدعى خيسوس سالاس، نظاماً جديداً يسمى Matrix (المصفوفة). فكر في "ماتريكس" ليس كفيلم خيال علمي، بل كحكم صارم للغاية ولا يرمش له جفن، وموثق رقمي في آن واحد. تجادل الورقة بأنه لمجرد وصول وكيل الذكاء الاصطناعي إلى نتيجة تجارية صحيحة، لا يعني ذلك أن العمل كان "محكوماً". سير العمل "المحكوم" هو الذي يتم فيه تسجيل كل قرار، وكل قطعة من الأدلة، وكل رد فعل تجاه التغيير بطريقة يمكن فحصها والتحقق منها من قبل طرف خارجي.

ولاختبار ذلك، أعد الباحثون سلسلة من "المواجهات". وضعوا سير عمل ذكاء اصطناعي قياسي (لنسمه "المسار المباشر") في مواجهة "المسار المحكوم" الجديد باستخدام نظام ماتريكس. استخدموا نموذج ذكاء اصطناعي محدد يسمى Phi-4 وأنشأوا سيناريوهات اصطناعية، مثل شركة تحاول توظيف مورد جديد أو التعامل مع تحديث للخصوصية.

إليكم ما وجدوه، مقسماً إلى ثلاث قصص كبرى:

1. الإجابة الصحيحة، والإيصال الخاطئ
في الاختبار الأول، اختار كل من المسار المباشر والمسار المحكوم نفس الإجراء الصحيح تماماً 15 مرة من أصل 15. لقد تعادلا في النتيجة النهائية! ولكن عندما فحص الباحثون "الإيصالات" (الأدلة التي استخدمها الذكاء الاصطناعي لاتخاذ قراره)، وجدوا أن المسار المباشر كان فوضوياً. في 6 من أصل 15 جولة، استشهد المسار المباشر بأدلة لم يكن مسموحاً باستخدامها في الواقع — مثل الاقتباس من وثيقة مسودة أو قاعدة منتهية الصلاحية. أما المسار المحكوم، فلم يرتكب ذلك الخطأ أبداً؛ فقد رفض استخدام الأدلة السيئة.
الخلاصة: يمكنك الحصول على الإجابة الصحيحة بينما تحمل خريطة خاطئة. يضمن نظام ماتريكس أنك تستخدم الخريطة الصحيحة فقط، حتى لو كانت الوجهة النهائية هي نفسها.

2. كذبة "لقد انتهيت!"
في الاختبار الثاني، طُلب من الذكاء الاصطناعي إنهاء مهمة وإثبات ذلك. سُمح للمسار المباشر بمجرد قول: "لقد انتهيت!" وقبل النظام ذلك. حتى عندما ادعى الذكاء الاصطناعي أنه أنهى مهمة ولكن لم يكن لديه دليل فعلي (مثل توقيع مفقود على عقد)، أغلق المسار المباشر الملف على أي حال. أما نظام ماتريكس، فقد تصرف كحارس بوابة عنيد؛ فقد نظر إلى الإثبات، ورأى أنه مفقود، وقال: "لا، لم تنتهِ بعد. عد وقم بإصلاح الأمر". لقد أجبر الذكاء الاصطناعي على المحاولة مرة أخرى حتى يمتلك دليلاً حقيقياً وقابلاً للتحقق منه.
الخلاصة: قول الذكاء الاصطناي "لقد انتهيت" ليس دليلاً. يجبر نظام ماتريكس الذكاء الاصطناعي على إظهار واجباته المنزلية قبل أن يحصل على النجمة الذهبية.

3. تأثير التغيير المتتابع
في الاختبار الثالث، تغيرت القواعد في منتصف الطريق (مثل ظهور قانون خصوصية جديد). قام كلا النظامين بتحديث عملهما ليكون مواكباً للواقع. لكن المسار المباش️ كان فوضوياً: فقد رمى كل ما قام به وبدأ من الصفر، معيداً تنفيذ 18 مهمة. أما نظام ماتريكس، فقد كان كالجراح: نظر إلى خريطة التبعيات الخاصة به، ورأى بالضبط المهام الثلاث المتأثرة بالقاعدة الجديدة، وأعاد تنفيذ تلك المهام الثلاث فقط.
الخلاصة: عندما تتغير الأمور، يعرف النظام المحكوم بالضبط ما يجب إصلاحه وما يجب تركه كما هو، مما يوفر قدراً هائلاً من الجهد الضائع.

التحول: العقد الذي فشل

تتضمن الورقة أيضاً "قصة فشل" صادقة للغاية. حاول الباحثون أخذ مجموعة من القواعد (عقد اكتمال) كتبوها لنوع محدد من المهام، وحاولوا استخدامها على مجموعة مختلفة تماماً من الحزم الاصطناعية التي تم إنشاؤها بعملية مختلفة. والنتية؟ عمل النظام بشكل مثالي في اتباع القواعد، لكن القواعد نفسها كانت خاطئة بالنسبة للموقف الجديد. لقد حظر النظام 100% من الحزم الصالحة لأن العقد كان صارماً للغاية بالنسبة للسياق الجديد.
الخلاصة: يثبت هذا أن النظام يمكن أن يكون مطيعاً تماماً للقاعدة، حتى لو كانت القاعدة نفسها معيبة. نظام ماتريكس بارع في فرض القواعد، لكنه لا يستطيع سحرياً إصلاح قاعدة سيئة.

الصورة الكبيرة

يحرص المؤلف على عدم الادعاء بأن ماتريكس يجعل الذكاء الاصطناعي "أكثر ذكاءً" أو أكثر دقة في تخمين الإجابة الصحيحة. في الواقع، في كثير من الحالات، حصل الذكاء الاصطناعي على الإجابة الصحيحة بدون ماتريكس أيضاً. بدلاً من ذلك، يجادلون بأن ماتريكس هو طبقة نزاهة. إنه يشبه إضافة موثق عام إلى المصافحة. قد تتم المصافحة، ولكن الآن لديك سجل موقع ومؤرخ ومشهود به يوضح بالضبط ما تم الاتفاق عليه، ومن وقع، وما هو الإثبات المستخدم.

تخلص الورقة إلى أنه بالنسبة للمؤسسات (مثل الحكومات أو الشركات الكبرى)، فإن القدرة على تدقيق "لماذا" و"كيف" لا تقل أهمية عن النتيجة النهائية. يجعل هذا النظام عمل الذكاء الاصطناعي شفافاً، ويمنع الكذب بشأن الانتهاء من العمل، ويساعده على التعافي من التغييرات دون التخلص من العمل الجيد. ومع ذلك، يحذر المؤلف من أن هذا النظام يعتمد على كتابة القواعد بشكل صحيح؛ فإذا كانت القواعد سيئة، فإن النظام سيفرض القواعد السيئة بأمانة. إنه أداة للثقة والمساءلة، وليس عصا سحرية لجعل الذكاء الاصطناعي مثالياً.