From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents
تقدم هذه الورقة البحثية RUPA، وهو إطار عمل لتقدير عدم اليقين على مستوى المسار، يقوم بنمذجة سجلات التنفيذ كرسوم بيانية موجهة لنشر عدم اليقين عبر التبعيات العلاقاتية، مما يتفوق بذلك على الأساليب الحالية في اكتشاف تراكم الأخطاء بعيد المدى وتحسين موثوقية وكلاء النماذج اللغوية الكبيرة (LLM) في البيئات التفاعلية المعقدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي سريع التطور، ظهر جيل جديد من البرمجيات التي تفعل ما هو أكثر من مجرد الإجابة على الأسئلة أو كتابة النصوص. هذه الأنظمة، المعروفة باسم الوكلاء المستقلين (autonomous agents)، مصممة للعمل من تلقاء نفسها؛ إذ يمكنها تقسيم هدف معقد إلى خطوات أصغر، واستخدام الأدوات الرقمية لجمع المعلومات، والتفاعل مع بيئات الكمبيوتر لحل المشكلات التي تتطلب عشرات أو حتى مئات القرارات. فكر فيهم كموظفين رقميين قادرين على تصفح الإنترنت، أو كتابة الأكواد البرمجية، أو إدارة البيانات دون إشراف بشري مستمر. ومع ذلك، بينما يتولى هؤلاء الوكلاء مهام أكثر صعوبة، يبرز سؤال حاسم: كيف يمكننا معرفة ما إذا كانوا على وشك ارتكاب خطأ؟ فخلافاً لمولد النصوص البسيط الذي قد ينتج جملة واحدة خاطئة، غالباً ما يكون فشل الوكيل عملية بطيئة؛ حيث يمكن لخطأ صغير يُرتكب في مرحلة مبكرة من سلسلة طويلة من الاستنتاج أن يتضاعف وينتشر، مما يشوه الخطوات اللاحقة ويؤدي إلى انهيار كامل في النتيجة النهائية. ولكي تصبح هذه الأنظمة موثوقة في العالم الحقيقي، يحتاج المطورون إلى وسيلة لقياس مخاطر الفشل أثناء حدوثه، وليس فقط بعد وقوعه.
لقد حاول الباحثون لفترة طويلة بناء أنظمة يمكنها معرفة متى يكون النموذج غير متأكد. عادةً ما تنظر الطرق التقليدية إلى المخرجات المباشرة للحاسوب، وتتحقق من مدى ثقة النموذج في الكلمة التالية التي أوشك على توليدها. هذا النهج يعمل جيداً في المهام القصيرة، لكنه يفشل عندما تمتد المهمة عبر جدول زمني طويل. تكمن المشكلة في أن هذه الطرق تعامل كل خطوة كحدث معزول، متجاهلةً التاريخ الذي أوصل الوكيل إلى تلك النقطة. إنها تغفل الروابط الدقيقة بين قرار اتُّخذ قبل عشر خطوات وبين الإجراء الحالي. إذا أساء الوكيل فهم طلب المستخدم في البداية، فقد لا يبدو هذا الارتباك الأولي كخطأ في وقته، ولكنه قد يتسبب في انحراف المشروع بأكمله عن مساره لاحقاً. الأدوات الحالية تشبه السائق الذي ينظر فقط إلى الطريق الذي أمامه مباشرة، غافلاً عن حقيقة أنه اتخذ منعطفاً خاطئاً قبل أميال، مما سيؤدي به في النهاية إلى طريق مسدود.
ولحل هذه المشكلة، طور فريق من الباحثين من الأكاديمية الصينية للعلوم إطار عمل جديداً يسمى RUPA. بدلاً من النظر إلى عمل الوكيل كمجرد قائمة بسيطة من الخطوات، قاموا برسم العملية بأكملها كشبكة من الأحداث المتصلة. في هذا النظام، يعتبر كل إجراء، وكل استخدام لأداة، وكل تغذية راجعة بمثابة "عقدة" في رسم بياني، وتمثل الخطوط التي تربط بينهم العلاقات المنطقية فيما بينها. وقد وجد الباحثون أن الأخطاء غالباً ما تنتقل عبر هذه الاتصالات المحددة. ومن خلال بناء هذه الخريطة، يمكن للنظام تتبع كيفية نمو عدم اليقين وتحركه عبر تاريخ الوكيل. فهو يحسب درجة المخاطر للحظة الحالية ليس فقط بالنظر إلى الثقة الفورية للنموذج، بل أيضاً من خلال النظر في موثوقية المسار الذي أدى إليه. فإذا كانت خطوة مبكرة مهتزة، يدرك النظام أن الخطوة الحالية مبنية على أساس ضعيف، حتى لو بدت الخطوة الحالية نفسها واثقة.
اختبر الفريق هذا النهج في مجموعة متنوعة من المهام الصعبة، بما في ذلك مشكلات هندسة البرمجيات المعقدة، وتحديات الحوسبة القائمة على الطرفية (terminal)، وسيناريوهات حل المشكلات المفتوحة. أجروا هذه الاختبارات باستخدام ستة نماذج مختلفة من النماذج اللغوية الكبيرة، تتراوح من الأنظمة الصغيرة إلى الأنظمة الضخمة جداً. وأظهرت النتائج أن هذه الطالة الجديدة أفضل بكثير في رصد المشكلات مقارنة بالتقنيات الموجودة. وفي إحدى مجموعات الاختبارات، حسنت المنظومة الجديدة القدرة على اكتشاف حالات الفشل بفارق ملحوظ مقارنة بأفضل الطرق السابقة. والأهم من ذلك، أنها استطاعت تحديد حالات الفشل المحتملة في وقت مبكر جداً من العملية. وبينما كانت الطرق القديمة غالباً ما تدرك وقوع خطأ ما بالقرب من النهاية تماماً، استطاع هذا النهج الجديد إرسال إشارات خطر بعد خطوات قليلة فقط، مما يمنح النظام فرة لتصحيح مساره قبل أن تُفسد المهمة.
كما أظهر الباحثون أن هذا الفهم الأفضل للمخاطر يمكن استخده لجعل الوكلاء يعملون بشكل أفضل. فعندما كان النظام يُمنح الخيار بين عدة إجراءات ممكنة، كان بإمكانه استخدام درجات المخاطر لاختيار الخيار الأكثر أماناً. وفي هذه التجارب، أتمت الوكلاء الموجهون بهذه الطريقة الجديدة مهاماً ناجحة أكثر من أولئك الموجهين بمقاييس الثقة التقليدية. تشير الدراسة إلى أن مفتاح الذكاء الاصطناعي الموثوق ليس فقط في النظر إلى اللحظة الراهنة، بل في فهم بنية الرحلة. فمن خلال رسم العلاقات بين كل خطوة يتخذها الوكيل، يمكننا رؤية كيف تتراكم حالات عدم اليقين الصغيرة لتصبح مشكلات كبيرة. يوفر هذا النهج طريقة عملية لبناء وكلاء ليسوا قادرين فحسب، بل وموثوقين أيضاً، وقادرين على التنقل في البيئات المعقدة دون أن يفقدوا طريقهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.