Trace Integrity for LLM Data Agents: A Vision for Auditable Structured Reasoning in Real-World Systems
تقترح هذه الورقة "سلامة التتبع" (Trace Integrity) كمعيار موثوقية حاسم لوكلاء البيانات القائمين على النماذج اللغوية الكبيرة، بحجة أن دقة الإجابة وحدها غير كافية لأن الإجابات الصحيحة يمكن أن تنجم عن مسارات استدلال غير صحيحة، وتستعرض عقود تنفيذ مهيكلة ومعدل CAIT لضمان أن المخرجات مدعومة بحسابات قابلة للتدقيق، ومتوافقة مع المخطط، وقابلة للتنفيذ.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في مكان العمل الحديث، أصبحت الحواسيب مساعدين أقوياء يمكنهم قراءة مكتبات ضخمة من البيانات والإجابة على أسئلة معقدة. فعندما يطلب محلل أعمال متوسط الإيرادات لمجموعة محددة من العملاء، يمكن لنظام حاسوبي مسح ملايين السجلات وإرجاع رقم واحد. لسنوات طويلة، كانت الطريقة القياسية للحكم على كفاءة هذه الأنظمة بسيطة: هل طابق الرقم الذي قدمته الإجابة الصحيحة؟ إذا تطابقت الأرقام، كان يُعتبر النظام ناجحاً. ومع ذلك، فإن هذه الطريقة بها نقطة عمياء؛ إذ يمكن للحاسوب أن يصل إلى الرقم الصحيح عبر اتخاذ مسار خاطئ، أو استخدام بيانات خاطئة، أو تخطي خطوة حاسمة، تماماً مثل طالب يخمن الإجابة الصحيحة في اختبار رياضيات دون إظهار خطوات الحل. فإذا كان الرقم النهائي صحيحاً، غالباً ما تمر الأخطاء في العملية دون ملاحظة، مما يترك المستخدم مع نتيجة لا يمكنه الوثوق بها لأنه لا يعرف كيف تم التوصل إليها.
هذه هي المشكلة المركزية التي تعالجها دراسة جديدة من باحثين في مختبرات "WAI USA Research Labs". حيث يجادلون بأنه بالنسبة للأنظمة الحاسوبية التي تتعامل مع بيانات من العالم الحقيقي، فإن الحصول على الإجابة الصحيحة ليس كافياً، بل يجب على النظام أيضاً إثبات أنه قام بالخطوات الصحيحة للوصصل إليها. ويطلق الباحثون على هذا المتطلب اسم "سلامة التتبع" (Trace Integrity). وهي وسيلة لضمان أن الأثر الرقمي الذي يتركه الحاسوب — أي المرشحات المحددة التي استخدمها، والجداول التي دمجها، والعمليات الحسابية التي أجراها — يعكس بدقة ما طلبه المستخدم بالفعل. وبدون ذلك، قد يبلغ النظام بثقة أن منطقة معينة حققت أعلى إيرادات، بينما في الواقع، قام بالخطأ بتضمين حسابات تجريبية أو قام بتجميع البيانات بناءً على مكتب خاطئ. تبدو الإجابة صحيحة، لكن المنطق الكامن وراءها معطل.
ولاختبار مدى تكرار حدوث هذا الفشل الخفي، أعد الباحثون تجربة منضبطة باستخدام مجموعة من مائة سؤال من قواعد البيانات في العالم الحقيقي. وقد طلبوا من نظام حاسوبي الإجابة على هذه الأسئلة باستخدام ثلاث طرق مختلفة. كانت الطريقة الأولى مباشرة: حيث يحاول النظام ببساطة كتابة الكود البرمجي للحصول على الإجابة. أما الطريقة الثانية، فقد طلبت من النظام كتابة ملخص قصير لخطته قبل كتابة الكود. وطالبته الطريقة الثالثة بإنشاء "عقد" مفصل ومنظم أولاً، يسرد بدقة جداول البيانات والمرشحات والعمليات الحسابية التي ينوي استخدامها قبل السماح له بتشغيل الكود.
وكشفت النتائج عن فجوة كبيرة بين الحصول على الإجابة الصحيحة والقيام بالعمل بشكل صحيح. فعندما استخدم النظام الطريقة المباشرة، حصل على الرقم النهائي الصحيح بنسبة عشرين بالمائة فقط. وعندما استخدم طريقة الملخص، ارتفع هذا الرقم قليلاً إلى اثنين وعشرين بالمائة. أما طريقة العقد فقد حققت أفضل أداء، حيث وصلت دقتها إلى أربعة وعشرين بالمائة. ومع ذلك، تتغير القصة عند النظر في جودة العمل الكامن وراء تلك الإجابات؛ فقد وجد الباحثون أنه حتى عندما أنتج النظام الرقم الصحيح، كانت الخطوات التي اتخذها غالباً غير صالحة. فبالنسبة للطريقة المباشرة، كانت ما يقرب من خمسة وخمسين بالمائة من الإجابات الصحيحة مدعومة باستدلال معيب أو غير مكتمل. وبالنسبة لطريقة الملخص، كان معدل الفشل الخفي هذا أعلى، حيث بلغ قرابة ستين بالمائة. وفقط طريقة العقد تمكنت من خفض هذه المخاطر، رغم أنها لا تزال تعاني من معدل فشل يقارب ستة وأربعين بالمائة.
تظهر هذه النتائج أن النظام يمكن أن يكون مصيباً عن طريق الصدفة. فقد اكتشف الباحثون أن العديد من الإجابات الصحيحة كانت في الواقع "إخفاقات صامتة"، حيث أنتج الحاسوب نتيجة تبدو منطقية ولكن الحسابات الأساسية لم تتطابق مع طلب المستخدم. وهذا أمر خطير لأن المراجع البشري للإجابة ليس لديه سبب للشك في وجود خطأ إذا بدا الرقم النهائي صحيحاً. ومن خلال تقديم مفهوم "عقد التنفيذ" — وهو سجل واضح ومنظم للخطة قبل بدء العمل — أظهر الباحثون أنه من الممكن رصد هذه الأخطاء. يعمل العقد كنقطة تفتيش، مما يجبر النظام على التصريح عن نواياه فيما يتعلق بالبيانات التي سيتم تضمينها وكيفية حساب النتيجة قبل السماح له بالمضي قدماً.
وتخلص الدراسة إلى أنه لكي تكون الأنظمة الحاسوبية موثوقة حقاً في مجالات مثل التمويل أو الرعاية الصحية أو إدارة الأعمال، يجب أن نتوقف عن الحكم عليها فقط من خلال إجاباتها النهائية. بدلاً من ذلك، يجب أن نقيم سلامة المسار الذي سلكته للوصول إليها. إن النظام الذي يمكنه إظهار خطوات عمله، وإثبات أنه استخدم البيانات الصحيحة، وإظهار أن خطواته تتطابق مع السؤال الأصلي، هو أكثر موثوقية بكماً من النظام الذي يقدم مجرد رقم صحيح. ويقترح الباحثون أنه في المستقبل، يجب إلزام هذه الأنظمة بترك سجل قابل للتدقيق لعملياتها الحسابية، مما يسم يسمح للبشر بفحص المنطق الكامن وراء كل قرار، وإعادة تشغيله والتحقق منه. إن هذا التحول من فحص النتيجة فقط إلى فحص العملية أمر ضروري لبناء أدوات يمكن للناس الاعتماد عليها عند اتخاذ قرارات مهمة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.