TRACE: TRajectory Attribution for Automated Context Engineering
إنَّ TRACE هو إطار عمل مؤتمت يستخرج مسارات الوكلاء التاريخية لتحديد إشارات عدم الرضا الضمنية، مما يتيح العزو الدقيق والمعالجة لإخفاقات طبقة السياق عبر المطالبات والأدوات وقواعد المعرفة دون الحاجة إلى إعادة تدريب النموذج أو الحصول على تعليقات صريحة من المستخدم.
تخيل أنك قبطان سفينة فضائية، ولكن بدلاً من التوجيه باستخدام عصا تحكم، أنت توجه سفينتك باستخدام دليل تعليمات ضخم ومتغير باستمرار. هذا الدليل يخبر حاسوب سفينتك (الذي يعمل بوكيل ذكاء اصطناعي) كيف يتحدث مع الركاب، وأين يبحث عن خرائط النجوم، وأي الأزرار يجب الضغط عليها لإصلاح المحرك. في عالم الذكاء الاصطناعي، يُسمى هذا الدليل "هندسة السياق" (Context Engineering). إنها فن كتابة الأوامر (Prompts)، والقواعد، وقواعد المعرفة التي توجه سلوك الذكاء الاصطناعي دون الحاجة إلى إعادة بناء عقل الذكاء الاصطناعي من الصفر. ولكن هنا تكمن المشكلة: إذا كانت جملة واحدة في ذلك الدليل خاطئة، أو قديمة، أو مفقودة، فقد يقود الذكاء الاصطناعي السفينة بثقة نحو كويكب.
لفترة طويلة، كان إصلاح هذه الأخطاء يشبه محاولة العثور على إبرة في كومة قش وأنت معصوب العينين. عندما كان الذكاء الاصطعي يرتكب خطأً، كان على المهندسين قراءة آلاف سجلات الدردشة يدوياً، وتخمين ما حدث خطأً، والأمل في العثور على الصفحة الصحيحة في الدليل لإصلاح الأمر. كان الأمر بطيئاً، ومكلفاً، ولا يمكن توسيعه مع زيادة عدد الأشخاص الذين بدأوا في استخدام سفن الذكاء الاصطناعي هذه. كان السؤال الكبير هو: هل يمكننا بناء نظام يقرأ تاريخ الذكاء الاصطناعي تلقائياً، ويرصد الإشارات الصغيرة التي تدل على حدوث خطأ ما، ويخبرنا بالضبط أي صفحة من الدليل تحتاج إلى إعادة كتابة؟
هنا يأتي دور نظام جديد يسمى "تريس" (Trace). فكر في "تريس" كأنه محقق فائق الذكاء لا يكتفي فقط بالنظر إلى تقرير الحادث النهائي، بل يعيد شريط الأحداث ليشاهد الرحلة بأكملها. أدرك الباحثون وراء "تريس" أنه عندما يرتكب الذكاء الاصطناعي خطأً، فإن المستخدم غالباً ما يترك "فتات خبز" في المحادثة — مثل قول: "مهلاً، هذا ليس صحيحاً"، أو إعادة صياغة سؤال لأن الإجابة الأولى كانت مربكة. تُسمى هذه "إشارات عدم الرضا الضمنية". وبدلاً من انتظار المستخدم للضغط على زر "لم يعجبني"، يقوم "تريس" بالبحث عن تلك الإشارات الخفية في محادثات الذكاء الاصطعي السابقة.
تقدم الورقة البحثية فريقاً من ثلاثة محققين من الذكاء الاصطناعي لحل اللغز. أولاً، يقوم "الكاشف" (Detector) بمسح تاريخ المحادثة للعثور على فتات خبز عدم الرضا تلك. وبمجرد رصد مشكلة ما، يعمل "وكيل السبب الجذري" (Root Cause Agent) كمحلل جنائي؛ حيث ينظر في سلسلة الأحداث بأكملها التي مر بها الذكاء الاصطناعي — ماذا قرأ، وما هي الأدوات التي استخدمها، وماذا فكر — ويستخدم تقنية تسمى "التدرجات النصية" (Textual Gradients) لتتبع الخطأ وصولاً إلى مصدره. وهو يتساءل: "هل بدأ الخطأ في قاعدة المعرفة؟ هل كان بسبب تعليمات سيئة في ملف المهارات؟ أم أن وصف الأداة كان كاذباً؟". وأخيراً، لا يكتفي "الوكيل الموصي" (Recommender Agent) بالتخمين، بل يقوم بـ "رحلة ميدانية"؛ فهو يقرأ الملفات والكتيبات الفعلية بنشاط للتحقق مما إذا كانت المعلومات مفقودة (مما يتطلب عملية "إنشاء" - Create) أو أنها قديمة وخاطئة فقط (مما يتطلب عملية "تحديث" - Update).
النتائج التي توصل إليها هذا التحقيق واعدة، وإن كانت تأتي مع تحفظ محدد. اختبر الباحثون "تريس" على مجموعة بيانات محاكاة مكونة من 60 محادثة واقعية فوضوية، حيث كانوا يعرفون بالضبط مواضع الأخطاء. في هذه المحاكاة، نجح "تريس" في تحديد الخطوة المحددة التي نشأ منها الخطأ بنسبة 72.7% من المرات. والأكثر إثارة للإعجاب هو أنه عندما تعلق الأمر باقتراح الإصلاح الفعلي — مثل إخبار الفريق بـ "تحديث هذا الملف المحدد" أو "إنشاء إدخال جديد" — فقد كان النظام صحيحاً بنسبة 82%. لقد كان بارعاً بشكل خاص في التمييز بين نقص المعلومات وبين المعلومات القديمة، حيث أصاب في ذلك بنسبة 96% عندما قام بـ "رحلته الميدانية" لفحص الملفات.
ومع ذلك، من المهم تذكر أن هذه الأرقام تأتي من محاكاة مصممة بعناًية، وليس من بيئة واقعية حية وفوضوية. لقد بنى الباحثون هذه البيئة الاختبارية لأنهم لم يستطيعوا مشاركة بيانات شركتهم الفعلية بسبب قواعد الخصوصية. لذا، بينما يظهر النظام أنه يمكنه العمل بدقة عالية في بيئة محكومة، تشير الورقة البحثية إلى أن هذا يمثل اتجاهاً جديداً قوياً وليس مشكلة تم حلها تماماً لكل ذكاء اصطناعي موجود. الفكرة الجوهرية هي أنه من خلال تنقيب تاريخ الذكاء الاصطناعي الخاص به والسما permitir له "قراءة كتيباته الخاصة" لإيجاد الحقيقة، يمكننا الانتقال من تصحيح أخطاء وكلاء الذكاء الاصطناعي يدوياً إلى جعلهم يحسنون أنفسهم تلقائياً. إنه تحول من كونك ميكانيكياً يصلح السيارة بعد تعطلها، إلى ميكانيكي يستمع إلى المحرك، ويسمع طقطقة صغيرة، ويشد البرغي الصحيح قبل أن تتوقف السيارة تماماً.
تفشل وكلاء الذكاء الاصطنا उत्पादनي (Production AI agents) بشكل متكرر بسبب الأخطاء أو الفجوات في مصادر سياقها، والتي تشمل المطالبات النظامية (system prompts)، وقواعد المعرفة (KB)، وأوصاف الأدوات، والمهارات الإجرائية (SPA). ومع نمو أحجام التفاعل، تصبح الاعتمادية على مراجعة السجلات اليدوية وتصحيح الأخطاء المرتجل عائقاً أمام القابلية للتوسع، مما يؤدي إلى تراكم استياء المستخدمين وتدهور أداء الوكيل. تعاني طرق الصيانة الحالية من صعوبة في التمييز بين الإخفاقات الناتجة عن محدودية النموذج وبين تلك الناتجة عن هندسة السياق المعيبة. علاوة على ذلك، تتطلب الطرق الحالية غالباً تغذية راجعة صريحة من البشر أو ضبط دقيق للنموذج (مثل RLHF)، وهي عمليات مكلفة، نادرة، وبطيئة في التكرار.
المنهجية
تقدم الورقة البحثية Trace، وهو حلقة تغذية راجعة مؤتمتة مصممة لتشخيص ومعالة إخفاقات السياق من خلال تنقيب مسارات الوكيل التاريخية. يعمل النظام دون إعادة تدريب النموذج الأساسي، ويركز بدلاً من ذلك على طبقة السياق. تتكون البنية من ثلاثة وكلاء متخصصين يعملون في حلقة تغذية راجعة:
وكيل الكشف (Detector Agent):
الوظيفة: تحديد إشارات عدم الرضا من مسارات الوكيل.
الآلية: يميز بين الإشارات الصريحة (مثل: عدم الإعجاب "thumbs-down"، أخطاء تنفيذ الأدوات، أو ترك الجلسة) والإشارات الضمنية (مثل: تصحيحات المستخدم، أنماط إعادة الصياغة، الإصلاح الحواري، والانحراف الدلالي).
المدخلات: مسارات الوكيل المهيكلة بما في ذلك آثار الاستدلال (reasoning traces)، واستدعاءات الأدوات، والسياقات المسترجعة، وليس مجرد سجلات الدردشة فقط.
المخرجات: تحديد ثنائي لعدم الرضا (DSAT) مع درجة ثقة. يتم تصعيد الجلسات التي تتجاوز حداً معيناً لتحليل السبب الجذري.
وكيل السبب الجذري (Root Cause Agent):
الوظيفة: إجراء عزو سببي شامل لتحديد أين ولما-ذا فشل الوكيل.
الآلية: يستخدم العزو الشامل الموجه بالفرق (Delta-Guided Holistic Attribution). يقوم الوكيل بحساب "الفرق" (التفاوت بين توقعات المستخدم ومخرجات الوكيل الفعلية) ليعمل كإشارة خسارة (loss signal).
العملية: يعالج النموذج اللغوي الكبير (LLM) مسار التنفيذ بأكمله (سلسلة التفكير، استدعاءات الأدوات، المخرجات) في تمريرة واحدة، متتبعاً المسار إلى الوراء من الاستجابة النهائية وصولاً إلى الاستعلام الأولي. إنه يعامل المسار كرسوم بيانية حسابية حيث يذكر استدلال الوكيل نفسه (مثلاً: "وفقاً لقاعدة المعرفة...") مصادر السياق.
الهدف: عزو المسؤولية إلى عقد محددة (مثل: ملف مهارة معين، مدخل في قاعدة المعرفة، أو مطالبة) دون فحص ملفات السياض الخام بشكل منفصل في هذه المرحلة.
الآلية: على عكس خطوط المعالجة السلبية، يقوم وكيل التوصية بـ التحقق الاستكشافي. فهو يعامل تحليل السبب الجذري كفرضية يجب التحقق منها.
العملية: يقوم بنشط بقراءة ملفات مصادر السياق المعنية، والبحث في المصادر الموثوقة (مثل وثائق السياسات)، والمقارنة المرجعية للمحتوى. ি
التمييز الحاسم: هذا الاستكشاف ضروري للتمييز بين أخطاء الفجوة (GAP) (معلومات مفقودة تتطلب عملية CREATE) وأخطاء التقادم (STALE) (معلومات غير صحيحة تتطلب عملية UPDATE). بدون هذه الخطوة، لا يمكن للنظام تحديد العملية الصحيحة بموثوقية.
المساهمات الرئيسية
تحدد الورقة أربع مساهمات تقنية رئيسية:
تنقيب المسارات لهندسة السياق: إطار عمل يقوم بتنقيب مسارات الوكيل التاريخية بشكل منهجي —وهي مورد غالباً ما يتم إغفاله— لتشخيص إخفاقات السياق. يستفيد هذا النهج من إشارات عدم الرضا الضمنية لتمكين التكرار السريع دون إعادة تدريب النموذج.
العزو السببي متعدد المكونات: توسيع لـ "التدرجات النصية" (المقترحة أصلاً لتحسين المطالبات الأحادية) ليشمل مصادر سياق متباينة. يقوم النظام بعزو الإخفاقات عبر المهارات، قواعد المعرفة، الأدوات، والمطالبات في آن واحد.
التحقق الاستكشافي: منهجية مبتكرة حيث يقوم وكيل التوصية بقراءة مصادر السياق بنشاط قبل توليد التوصيات. يسم old هذا النظام على التمييز بين فجوات المحتوى والمحتوى القديم، مما يحقق دقة عالية في تحديد عملية المعالجة الصحيحة (CREATE مقابل UPDATE).
معيار تقييم قابل للتحقق ومنهجية محاكاة: لمعالجة نقص مجموعات البيانات المفتوحة لتصحيح السياق، قدم المؤلفون منهجية محاكاة ثلاثية الطبقات (مصادر السياق ← تعريفات الخطأ ← مسارات التنفيذ). تولد هذه الإطار مسارات اصطناعية مع حقيقة أرضية كاملة، بما في ذلك تصنيف للأخطاء يتكون من ست فئات وبروتوكول تحقق عبر الطبقات.
نتائج التقييم
تم تقييم النظام باستخدام مجموعة بيانات اصطناعية مكونة من 75 مسار محادثة (60 مسار عدم رضا و15 مسار تحكم) تغطي ثلاثة مستويات من التعقيد (تصل إلى 16 عقدة تنفيذ) وست فئات من الأخطاء.
أداء الكشف: حقق كشفاً ثنائياً مثالياً لعدم الرضا (الدقة=1.0، الاستدعاء=1.0، F1=1.0)، مما يثبت أن النماذج التأسيسية الحديثة تدرك بطبيعتها إشارات عدم الرضا.
عزو السبب الجذري: حقق دقة عقدة بنسبة 72.7% (مطابقة تامة للعقدة المسببة للخطأ) و 85.0% Acc@3 (العقدة الصحيحة ضمن أفضل 3 خيارات).
أداء التوصية:
دقة العملية:96% إجمالاً (اختيار CREATE مقابل UPDATE بشكل صحيح).
دقة المسار:82% (تحديد مسار الملف المستهدف بشكل صحيح).
أثر الاستكشاف: أظهرت دراسات الاستبعاد (Ablation studies) على أخطاء محتوى قاعدة المعرفة تحديداً أن دقة العملية بدون الاستكشاف النشط انخفضت من 83% إلى 33%، مما يبرز ضرورة التحقق من وجود المحتوى للتمييز بين خطأ الفجوة (GAP) وخطأ التقادم (STALE).
فعالية الطرف إلى الطرف: حققت الحلقة الكاملة فعالية إصلاح بنسبة 82%، مما يعني أن أكثر من 80% من إخفاقات طبقة السياق تم تشخيصها ومعالجتها بشكل صحيح. وقد نجح مرحلة الاستكشاف في وكيل التوصية في التعافي من أخطاء العزو في مرحلة ما قبلها في 67% من الحالات.
الأهمية والادعاءات
تدعي الورقة أن Trace يعالج تحدياً حرجاً في القابلية للتوسع في بيئات الذكاء الاصطناعي الإنتاجية من خلال الانتقال من التصحيح اليدوي التفاعلي إلى دورات التحسين المؤتمتة والاستباقية.
المورد المغفل: يؤكد المؤلفون أن مسارات الوكيل التاريخية تحتوي على إشارات عدم رضا ضمنية غنية يتم إغفالها حالياً. يثبت Trace أنه يمكن تنقيب هذه الإشارات لتشخيص إخفاقات السياق دون تكلفة جمع التغذية الراجعة الصريحة أو الضبط الدقيق للنموذج.
السياق مقابل النموذج: من خلال العمل على طبقة السياق بدلاً من أوزان النموذج، يتيح Trace تكراراً سريعاً. يوحد النظام الإشارات الصريحة والضمنية لعزو السياق، مما يميزه عن الطرق التي تركز على تحسين الأوزان.
النشط مقابل السلبي: يمثل تقديم "التحقق الاستكشافي" تحولاً من القبول السلبي للعزو إلى اختبار الفرضيات النشط، وهو أمر بالغ الأهمية للتمييز بين المحتوى المفقود والمحتوى غير الصحيح.
المعيارية: تساهم الورقة في توفير منهجية محاكاة قابلة لإعادة الاستخدام تسمح للمجتمع بتوليد مجموعات بيانات تقييم متخصصة في مجال تصحيح السياق، مما يعالج الفجوة في المعايير مفتوحة المصدر لهذا المجال المحدد.
يخلص المؤلفون إلى أن تنقيب المسارات التاريخية يسمح للمؤسسات بتشخيص ومعالجة غالبية إخفاقات طبقة السياق تلقائياً، مما يوفر أساساً لأنظمة ذكاء اصطناعي ذاتية التحسين تتعلم من الإخفاقات التشغيلية.