SkillTrace: Multi-Trace Provenance Auditing for LLM-Agent Skill Reuse
تقدم هذه الورقة SkillTrace، وهو إطار عمل لتدقيق المنشأ متعدد المسارات يكتشف إعادة استخدام المهارات في الوكلاء القائمين على النماذج اللغوية الكبيرة عبر استخراج ومقارنة مسارات التعبير والتنفيذ والتشغيل (الممثلة كرسوم بيانية تشغيلية للمهارات)، محققاً دقة عالية في الاختبارات المعيارية وممكناً للمراجعة القابلة للتنفيذ في عمليات التدقيق الواسعة النطاق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً لا تكون فيه البرمجيات مجرد أسطر من الكود، بل نظاماً بيئياً حياً يتنفس من "المهارات". فكر في هذه المهارات كأنها أدوات سويسرية متعددة الاستخدامات أو بطاقات وصفات سحرية تخبر روبوتاً فائق الذكاء (عميل ذكاء اصطناعي) بكيفية أداء مهمة ما بدقة. هذه ليست مجرد تعليمات بسيطة؛ بل هي حزم وسائط مختلطة تحتوي على أدلة مكتوبة، وكود برمجي فعلي، وقوائم بالأدوات المستخدمة، وسير عمل خطوة بخطوة. ومع ازدياد شعبية هذه المهارات، يبدأ الناس في مشاركتها في أسواق عبر الإنترنت، تماماً مثل التطبيقات في متجر الهواتف. ولكن الجزء الصعب يكمدى في أنه نظراً لتعقيد هذه المهارات، يصعب معرفة ما إذا كان شخص ما قد نسخ وصفة وتغيير الخط فقط، أم أنه سرق بالفعل "الخلطة السرية" – أي الكود المحدد، أو الطريقة الفريدة لترتيب الخطوات، أو الحيل الذكية التي تجعلها تعمل. هذا أمر بالغ الأهمية لأن نسخ المهارات السيئة أو المعطلة ونشرها قد يجعل النظام البيئي بأكد مبعثراً أو خطيراً. لقد حاول العلماء لفترة طويلة رصد الكود المنسوخ، لكن تلك الأدوات القديمة تشبه البحث عن كلمة محددة في كتاب؛ فهي تفقد "القصة" إذا قام المؤلف بإعادة كتابة الجمل أو تغيير ترتيب الفصول.
هنا يأتي دور SkillTrace، وهي أداة تحقيق جديدة مصممة لحل هذا اللغز. فبدلاً من مجرد مقارنة "الحزمة" بأكملها لمعرفة مدى تشابهها، يعمل SkillTrace كمحقق جنائي يفحص ثلاثة طبقات مختلفة من الأدلة: الكلمات (التعليمات المكتوبة)، والكود (السكربتات الفعلية)، والعملية (التدفق غير المرئي لكيفية عمل المهارة). وقد وجد الباحثون أنه حتى لو قام السارق بإعادة كتابة التعليمات وتغيير الكود، فإنهم غالباً ما يضطرون للاحتفاظ بنفس "خطوات الرقص" أو التدفق التشغيلي لأن ذلك هو ما يجعل المهارة تعمل. ومن خلال بناء خريطة خاصة تسمى "الرسم البياني التشغيلي للمهارة" (Skill Operational Graph) لتتبع خطوات الرقص هذه، يستطيع SkillTrace رصد حالات إعادة الاستخدام التي تغفل عنها الأدوات الأخرى. وفي الاختبارات التي أجريت على مئات المهارات، كان هذا الأسلوب الجديد أفضل بكثير في رصد حالات إعادة الاستخدام الحقيقية، حيث اكتشف حوالي 90% من حالات إعادة الاستخدام الفعلية مع الحفاظ على انخفاض الإنذارات الكاذبة. إنه يشبه امتلاك محقق لا يكتفي بالتحقق مما إذا كان منزلان يبدوان متشابهين من الخارج، بل يمكنه معرفة ما إذا كانا يتشاركان في نفس مخطط السباكة الفريد، حتى لو اختلفت ألوان الطلاء والأبواب الأمامية تماماً.
قصة لص الوصفات الرقمية
تخيل أنك طاهٍ ابتكر طريقة رائعة لخبز كعكة. كتبت وصفة مفصلة (التعبير - Expression)، وحددت الأدوات والمكونات التي تستخدمها (التنفيذ - Implementation)، ووصفْت الترتيب الدقيق للعمليات: "سخن الفرن، اخلط، ادمج، اخبز، برد" (العملية - Operation). الآن، تخيل أن طاهياً منافساً يريد سرقة نجاحك. قد يحاول نسخ وصفتك حرفياً، أو قد يعيد كتابة الوصفة بالكامل بلغة مختلفة مع الاحتفاظ بقائمة أدواتك المحددة. أو قد يحاول أن يكون مخادعاً: يغير عنوان الوصفة، ويعيد كتابة التعليمات بصوته الخاص، وحتى يستبدل وعاء الخلط الخاص بك بعلامة تجارية أخرى. لكن العلة تكمن في أنه لجعل الكعكة ترتفع وتكتسب المذاق الصحيح، يجب عليه الالتزام بتسلسل خطواتك المحدد. لا يمكنه مجرد "الخلط ثم الخبز" إذا كانت وصفتك تتطلب "الدمج ثم التبريد".
هذه هي المشكلة التي يعالجها بحث SkillTrace تماماً، ولكن مع عملاء الذكاء الاصطناعي بدلاً من الطهاة. في عالم الذكاء الاصطناعي، "المهارات" هي هذه الحزم المعقدة التي تخبر الذكاء الاصطناعي بكيفية القيام بالأشياء. أدرك المؤلفون أن الأدوات القديمة للعثور على البرمجيات المنسوخة كانت تشبه النظر إلى غلاف كتاب الطهي. فإذا قام الطاهي المنافس بتغيير صور الغلاف والعنوان، فستقول الأدوات القديمة: "لا يوجد تطابق!"، حتى لو سرق الطاهي الوصفة بأكملها من الداخل.
عمل المحقق ذو الثلاث طبقات
يختلف SkillTrace لأنه لا ينظر فقط إلى الكتاب بأكمله؛ بل يفكك المهارة إلى ثلاثة "آثار" أو طبقات متميزة من الأدلة، تماماً مثل المحقق الذي يفحص مسرح الجريمة بحثاً عن بصمات الأصابع، والحمض النووي، وآثار الأقدام.
- أثر التعبير (الكلمات): هذا هو الجزء المكتوب من المهارة – التعليمات، والأوصاف، والأمثلة. إذا نسخ السارق نصك، فستضيء هذه الطبقة. ولكن إذا أعاد كتابة النص ليبدو مختلفاً، فستنطفئ هذه الطبقة.
- أثر التنفيذ (الكود): هذا هو الكود البرمحي الفعلي، والسكربتات، والأوامر. إذا نسخ السارق مقتطفات الكود الخاصة بك، فستكشفه هذه الطبقة. ولكن إذا أعاد كتابة الكود بلغة مختلفة أو حذفه تماماً، فستصبح هذه الطبقة صامتة.
- الأثر التشغيلي (خطوات الرقص): هذا هو الابتكار الكبير للبحث. فهو ينظر إلى كيفية عمل المهارة. يقوم ببناء خريطة تسمى الرسم البياني التشغيلي للمهارة (SOG). هذه الخريطة لا تهتم بالكلمات أو بأسماء الكود المحددة؛ بل تهتم بـ التدفق. وهي تتبع:
- التنشيط: كيف تبدأ المهارة؟
- الإجراء: ما هو ترتيب الخطوات؟
- تدفق الموارد: ما هي الأدوات والبيانات التي تمر عبر العملية؟
اكتشف المؤلفون أنه حتى لو أعاد السارق كتابة الكلمات وغير الكود، فغالباً ما لا يستطيع تغيير "خطوات الرقص". فإذا كانت المهارة مصممة لقراءة ملف PDF، واستخراج البيانات، ثم إرسال بريد إلكتروني، فقد يغير السارق أسماء الملفات ولغة البرمجة، لكنه سيظل مضطراً لاتباع نفس تدفق الخطوات الثلاث. أثر التشغيل يكتشف هذا الهيكل غير المرئي.
الرسم البيائي السحري وحيلة "النموذج اللغوي الواحد"
لبناء هذه الخريطة، يستخدم الباحثون حيلة ذكية. عندما تدخل مهارة جديدة إلى النظام، يستخدمون نموذج لغوي كبير (LLM) قوي مرة واحدة فقط لقراءة حزمة المهارة الفوضوية والمختلطة وتحويلها إلى رسم بياني منظم ونظيف. هذا يشبه استئجار مترجم لمرة واحدة لتحويل مذكرات فوضوية إلى مخطط انسيابي واضح. وبمجرد حفظ ذلك الرسم البياني، لا يحتاج النظام أبداً إلى استخدام الذكاء الاصطناعي المكلف مرة أخرى.
وعندما يحين وقت التحقق مما إذا كانت المهارة الجديدة نسخة مكررة، يقوم النظام بمجرد مقارنة الرسوم البيانية المحفوظة. العملية سريعة، رخيصة، ولا تحتاج لاستدعاء الذكاء الاصطناعي مجدداً. فهو يقارن "خطوات الرقص" للمهارة الأصلية مقابل "خطوات الرقص" للمهارة الجديدة. وإذا تطابقت الخطوات، حتى لو اختلفت الموسيقى والملابس، فإن النظام يضع علامة تحذير.
ماذا وجدوا: كشف النسخ الماكرة
اختبر الباحثون أداة SkillTrace على مجموعة بيانات ضخمة. لقد أنشأوا معياراً يسمى SkillTrace-Bench يحتوي على 820 مثالاً لمهارات تمت إعادة استخدامها بالتأكيد (إيجابيات) و751 مثالاً لمهارات متشابهة بالصدفة فقط (سلبيات).
كانت النتائج مبهرة. حقق SkillTrace درجة 0.938 (AUROC) ودرجة F1 بلغت 0.898. وباللغة البسيطة، يعني هذا أن الأداة كانت جيدة جداً في رصد إعادة الاستخدام الحقيقية مع ندرة إطلاق إنذارات خاطئة حول التشابهات البريئة.
لكن السحر الحقيقي كان في كيفية عثورهم عليها. أظهر البحث أن أنواعاً مختلفة من "السرقات" تترك آثاراً مختلفة:
- "إعادة التعبئة": شخص يغير العنوان وأسماء المجلدات فقط. الأدوات القديمة تكشف هؤلاء بسهولة، وكذلك SkillTrace.
- "إعادة الكتابة": شخص يستخدم الذكاء الاصطناعي لإعادة كتابة الكود والنص بالكامل. الأدوات القديمة غالباً ما تخطئهم لأن الكلمات والكود يبدوان مختلفين تماماً. لكن أثر التشغيل في SkillTrace كشفهم لأن "خطوات الرقص" (الإجراء) ظلت كما هي.
টি "السارق الجزئي": شخص يسرق الكود فقط ويكتب تعليمات جديدة، أو يسرق التعليمات ويكتب كوداً جديداً. SkillTrace ذكي بما يكفي ليقول: "مهلاً، الكلمات مختلفة، لكن الكود متطابق!" أو "الكود جديد، لكن التدفق متطابق تماماً!".
وفي اختبار واقعي شمل 36,446 مهارة من الأسواق العامة، وجد SkillTrace آلاف الحالات المحتملة لإعادة الاستخدام التي فاتتها أدوات "الحزمة الكاملة" القديمة. لقد وجد أنه بينما النسخ الكبيرة والواضحة شائعة، هناك قدر هائل من "إعادة الاستخدام الجزئي" حيث يسرق الناس أجزاء محددة من المهارة دون نسخ المهارة بأكملها.
لماذا هذا مهم؟
يجادل البحث بأننا بحاجة إلى هذا النوع من التدقيق التفصيلي لأن نظام المهارات في الذكاء الاصطناعي ينمو بسرعة. إذا لم نتمكن من معرفة من نسخ من، فلن نتمكن من إصلاح الأخطاء التي تنتشر عبر النسخ، ولا حماية أعمال المبدعين، ولا الحفاظ على عدالة السوق.
لا يصدر SkillTrace أحكاماً قانونية – فهو لا يقول "أنت مذنب بالسرقة". بدلاً من ذلك، يعمل كنظام فرز عالي التقنية. هو يقول: "انظر هنا، هذه المهارة تشترك في نفس 'خطوات الرقص' مع تلك المهارة، رغم اختلاف الملابس. يجب على البشر إلقاء نظرة أدق". من خلال فصل الأدلة إلى كلمات وكود وعمليات، فإنه يمنح البشر القرائن المحددة التي يحتاجونها لاتخاذ القرار النهائي.
في النهاية، يوضح المؤلفون أنه من خلال النظر إلى هيكل كيفية عمل المهارة، بدلاً من مجرد مظهرها السطحي، يمكننا أخيراً رؤية الخيوط غير المرئية لإعادة الاستخدام التي تربط عالم الذكاء الاصطناعي ببعضه. إنه تذكير بأنه بينما يمكنك تغيير طلاء السيارة، لا يمكنك تغيير مخطط المحرك بسهولة دون إعادة بناء الشيء بأكمله. SkillTrace هو الأداة التي تسمح لنا أخيراً برؤية ذلك المخطط.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.