Tokengeist: Multi-Turn Attribution Tracing in Agentic Conversations
تقدم هذه الورقة Tokengeist، وهو إطار عمل قابل للتوسع يعالج أوجه القصور في أساليب الإسناد أحادية الممر في المحادثات متعددة الأدوار من خلال تتبع التبعيات على مستوى الرموز (tokens) بشكل متكرر عبر أدوار المحادثة، محققاً دقة أعلى بكثير في استعادة رسوم المصدر البيانية المعقدة مقارنة بالأسالቢያب الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول معرفة السبب الذي جعل شخصية المحقق المفضلة لديك في مسلسل تلفزيوني تقرر فجأة حل قضية بطريقة معينة. أنت تعرف الإجابة النهائية، لكن المسلسل ينتقل عبر الزمن، فيعرض المحقق وهو يتحدث إلى شاهد، ثم يتفحص خريطة، ثم يتصل بصديق، وأخيرًا يتخذ قرارًا. إذا نظرت فقط إلى المشهد الأخير، قد تظن أن القرار جاء من الصديق. ولكن ماذا لو كان الصديق مجرد مكرر لما قاله الشاهد، والذي حصل بدوره على المعلومة من الخريطة؟ لكي تفهم القصة حقًا، لا يمكنك النظر إلى اللحظة الأخيرة فحسب؛ بل يجب عليك تتبع مسار الأدلة إلى الوراء، خطوة بخطوة، عبر كل محادثة وكل إجراء أدى إلى ذلك. هذا هو نوع اللغز الذي يحاول العلماء حله باستخدام الذكاء الاصطناعي (AI).
في عالم الذكاء الاصطناعي، وتحديدًا مع النماذج اللغوية الكبيرة (نماذج الدردشة فائقة الذكاء التي نستخدمها اليوم)، هناك مشكلة متزايدة. غالبًا ما تخوض هذه النماذج محادثات طويلة معنا، حيث تطرح أسئلة، فنحن نجيب، وهي تتحقق من قاعدة بيانات، ثم تعطي إجابة نهائية. أحيانًا، تعتمد الإجابة النهائية على تفصيل صغير ذكرناه قبل خمس جولات، حيث قام النموذج بتلخيصه، ثم استخدمه النموذج لاستدعاء أداة، مما أدى في النهاية إلى الإجابة. السؤال الكبير هو: كيف يمكننا رؤية بالضبط أي أجزاء من تلك المحادثة الطويلة هي التي شكلت الإجابة النهائية؟ حاليًا، تعمل معظم الأدوات التي تحاول الإجابة على هذا السؤال مثل المصباح اليدوي الذي يسلط الضوء فقط على الغرفة المجاورة مباشرة. يمكنها إخبارك بأي الكلمات في الدردشة بأكملها تبدو مهمة، لكنها تفتقد إلى "خط القصة" لكيفية انتقال المعلومات من البداية إلى النهاية. هذا الأمر مهم لأننا إذا لم نتمكن من تتبع مصدر حقيقة ما من الذكاء الاصطناعي، فلن نتمكن من الوثوق به، أو إصلاح أخطائه، أو فهم سبب كذبه علينا.
هنا يبرز Tokengeist، وهي طريقة جديدة قدمها الباحثون جيسيكا تانغ، وشرادها باركي، وشاراد أغاروال. فكر في الطريقة القديمة لتتبع أفكار الذكاء الاصطناعي كأنها "خريطة مسطحة". إذا طلبت من خريطة مسطحة العثور على مصدر إشاعة، فقد تشير إلى الشخص الذي أخبرك بالإشاعة آخرًا، لكنها لن تخبرك من أخبره. يطلق الباحثون على هذا الفشل اسم "انهيار الأصل" (provenance collapse). إنه يشبه لعبة "الهاتف المكسور" (Telephone game) حيث يتم إلقاء اللوم على اللاعب الأخير في نقل الرسالة، رغم أن الرسالة قد تشوهت عند الشخص الثالث. الطريقة المسطحة تدمج التاريخ بأكمله في طبقة واحدة، مما يفقدها تفاصيل الرحلة العميقة والمتعددة الخطوات.
ولإصلاح ذلك، قامت المجموعة ببناء Tokengeist، الذي يعمل مثل محقق يعتمد على التكرار (recursive detective). بدلًا من مجرد النظر إلى الإجابة النهائية والسؤال: "مع من تحدثت؟"، يسأل Tokengeist: "مع من تحدثت؟" ومن أجل كل شخص ذكرته، يسأل: "ومن الذي تحدث إليه هذا الشخص؟". إنه يستمر في الحفر إلى الوراء، خطوة بخبطة، عبر جولات المحادثة. إنه يعامل المحادثة كشجرة متفرعة (أو شجرة عائلة للأفكار)، حيث يتبع الفروع عائدًا إلى الأوراق الأولى تمامًا—مدخلات المستخدم الأصلية أو نتائج الأدوات.
اختبر الباحثون هذه الفكرة باستخدام مقياس جديد أنشأوه يسمى MABCABENCH، والذي يحتوي على 3,845 جزءًا محددًا من الإجابات من 665 محادثة متعددة الجولات مختلفة. كانت هذه المحادثات معقدة، تتضمن أدوات مثل حجز رحلات طيران أو التحقق من الحسابات البنكية، حيث توجب على الذكاء الاصطناعي ربط المعلومات معًا عبر خطوات عديدة. وجدوا أن الطرق "المسطحة" القديمة كانت سيئة للغاية. فعند سؤالها عن العثات الأصلية للمعلومات، نجحت الطرق المسطحة في أقل من 20% من المرات. كانت تتعثر باستمرار في منتصف القصة.
في المقابل، كان Tokengeist نقطة تحول جذري. فمن خلال تتبع المسار بشكل تكراري إلى الوراء، نجح في العث البحث عن المصدر الأصلي للمعلومات في أكثر من 90% من المرات. لم يكن يخمن فحسب؛ بل رسم مسار الرحلة الكاملة. على سبيل المثال، إذا قال الذكاء الاصطناعي: "يمكنك إلغاء رحلتك لأن لديك تأمينًا"، فقد تشير الطريقة المسطحة ببساطة إلى تأكيد الإلغاء. أما Tokengeist، فقد تتبع الأمر وصولًا إلى نتيجة الأداة التي أظهرت وجود التأمين، ثم عاد إلى معرف المستخدم (User ID) الذي سمح بالوصول إلى نتيجة تلك الأداة، وصولًا إلى طلب المستخدم الأصلي.
تشير الورقة البحثية إلى أن هذا النهج التكراري هو المفتاح لجعل الذكاء الاصطناعي شفافًا. فهي توضح أن مجرد النظر إلى المحادثة بأكملها في وقت واحد ليس كافيًا؛ بل نحتاج إلى فهم "بنية" المحادثة، وكيف تعتمد جولة على أخرى. وبينما يعمل هذا الأسلوب بشكل أفضل مع نماذج الذكاء الاصطناعي المحددة التي اختبروها (وهي نماذج مفتوحة المصدر وصغيرة نسبيًا)، إلا أن النتائج تشير بقوة إلى أنه بالنسبة لعملاء الذكاء الاصطناعي المعقدين ومتعددي الخطوات، نحتاج إلى التوقف عن معاملة المحادثات كقائمة مسطحة من الكلمات والبدم في معاملتها كشبكة متصلة من التبعيات. Tokengeist لا يخبرنا فقط بما قاله الذكاء الاصطناعي؛ بل يساعدنا على فهم القصة الكاملة لكيفية قوله لذلك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.