ATLAS: Discovering Agent Strategies through LLM-Guided Abstraction and Automata Learning

تخيل أنك تشاهد محققًا بارعًا ولكنه غامض يحل جريمة ما. يمكنك رؤية المحقق وهو يدخل الغرف، ويلتقط الأدلة، ويتحدث إلى المشتبه بهم، لكن لا يمكنك سماع مونولوجه الداخلي. أنت ترى "الأفعال"، لكنك لا تعرف "الاستراتيجية". في عالم الذكاء الاصطناعي، تُسمى هذه المحققين "وكلاء الذكاء الاصطناعي" (AI agents). وهي برامج حاسوبية مدعومة بنماذج لغوية ضخمة (فكر فيها كمحركات فائقة الذكاء تتنبأ بالنصوص) يمكنها حل مشكلات معقدة ومتعددة الخطوات مثل تصفح الويب، أو كتابة الكود البرمجي، أو حتى اختبار أمن الكمبيوتر. ولكن هنا تكمن المشكلة: بينما يصبح هؤلاء الوكلاء أفضل في حل المشكلات، فإنهم يصبحون أصعب في الفهم. نحن نرى النتيجة النهائية، أو قائمة طويلة وفوضوية من كل أمر قاموا بكتابته، لكن لا يمكننا بسهولة رؤية "الخريطة" التي أوصلتهم إلى هناك. الأمر يشبه محاولة فهم عبقرية لاعب شطرنج عظيم من خلال النظر فقط إلى صورة لوضعية اللوحة النهائية، دون رؤية الحركات التي أوصلته إليها.

هذه الورقة البحثية، التي تحمل عنوان ATLAS، تتناول مشكلة معرفة كيف يفكر هؤلاء الوكلاء ويتصرفون بالفعل. يريد المؤلفون تحويل تلك القوائم الفوضوية والمربكة من الأفعال إلى خريطة واضحة وبسيطة — "نموذج سلوكي" — يوضح استراتيجية الوكيل. يستخدمون حيلتين رئيسيتين للقيام بذلك. أولاً، يستخدمون ذكاءً اصطناعيًا قويًا (نموذج لغوي كبير) ليعمل كمترجم، يحول أوامر الكمبيوتر المعقدة والمحددة إلى فئات بسيطة وعالية المستوى (مثل تحويل "sudo -l" إلى "التحقق من الأذونات الخاصة"). ثانًا، يستخدمون تقنية رياضية تسمى "تعلم الأوتوماتا" (automata learning)، وهي تشبه آلة التعرف على الأنماط التي تنظر إلى جميع الأفعال المترجمة وتستنتج قواعد اللعبة. الهدف هو إنشاء مخطط مدمج وسهل القراءة يشرح ليس فقط ما فعله الوكيل، بل لماذا فعله، كاشفًا عن الحلقات المفرغة، والطرق المسدودة، والمسارات الناجحة.

الخريطة السرية للمحقق

إذًا، كيف تحول كومة فوضوية من الآثار الرقمية إلى خريطة نظيفة ومفهومة؟ بنى مؤلفو هذه الورقة نظامًا يسمى ATLAS (تعلم الأوتوماتا لتحليل مسار الوكيل واكتشاف الاستراتيجية - Automata Learning for Agent Trajectory Analysis and Strategy Discovery). فكر في ATLAS ككاميرا سحرية لا تكتفي بتسجيل ما يفعله وكيل الذكاء الاصطناعي فحسب، بل تترجم أفعاله فورًا إلى تنسيق قصصي ثم ترسم مخططًا انسيابيًا لعملية اتخاذ القرار لديه.

لاختبار ذلك، استخدم الباحثون وكيل ذكاء اصطناعي مصممًا لـ اختبار الاختراق (penetration testing) — وهو مصطلح فخم للهكر الأخلاقي حيث يحاول الذكاء الاصطناعي العثور على ثغرات أمنية في نظام الكمبيوتر. لقد أعدوا سيناريو يتضمن 12 آلة "هشة" (مثل أهداف تدريب رقمية) وتركوا وكيل الذكاء الاصطناعي يحاول اختراقها.

الخطوة 1: الفوضى الخام
عندما يعمل وكيل الذكاء الاصطناعي، فإنه ينتج "مسارًا" (trajectory). وهذا ليس سوى سجل خام طويل لكل ما فعله. قد يبدو هكذا:

• الوكيل يكتب: exec_command id
• الكمبيوتر يرد: uid=1000(lowpriv)...
• الوكيل يكتب: exec_command sudo -l
• الكمبيوتر يرد: (ALL) NOPASSWD:ALL...

بالنسبة للإنسان، هذا جاف نوعًا ما. وبالنسبة للكمبيوتر الذي يحاول إيجاد الأنماط، فهذا كابوس. هناك الكثير من التفاصيل المحددة (مثل معرفات المستخدمين الدقيقة أو رسائل الخطأ الطويلة) التي تشتت الانتباه عن الصورة الكبيرة. الأمر يشبه محاولة فهم فيلم من خلال قراءة بيانات كل بكسل في كل إطار بدلاً من مشاهدة الحبكة.

الخطوة 2: المترجم السحري (التجريد)
هنا يبرز الجزء الأول من ATLAS. استخدم الباحثون ذكاءً اصطناعيًا قويًا (نموذج تأسيسي) ليعمل كمترجم. قاموا بتغذية السجلات الفوضوية لهذا الذكاء الاصطناعي وطلبوا منه تجميع الأفعال المتشابهة في فئات بسيطة.

• بدلًا من exec_command id ، يقول الذكاء الاصطناعي: "اكتشاف المستخدم".
• بدلًا من sudo -l التي تكشف عن صلاحيات root بدون كلمة مرور، يقول الذكاء الاصطناعي: "صلاحيات sudo قابلة للاستغلال".

فجأة، يصبح السجل الفوضوي قصة نظيفة: "بحث الوكيل عن مستخدم، ووجد طريقة لاستخدام صلاحيات خاصة، ثم حاول الاختراق". تسمى هذه العملية التجريد (abstraction). إنها تجرد الضجيج لتكشف عن الاستراتيجية الجوهرية.

الخطوة 3: رسم الخريطة (تعلم الأوتوماتا)
بمجرد ترجمة السجلات إلى هذه الفئات البسيطة، يبدأ الجزء الثاني من ATLAS بالعمل. فهو يستخدم خوارزمية (تسمى Alergia) للنظر في مئات من هذه القصص المترجمة وبناء سلسلة ماركوف (Markov Chain).

تخيل لعبة لوحية. سلسلة ماركوف هي خريطة لتلك اللعبة.

• الدوائر (الحالات): تمثل أين يقف الوكيل في عملية تفكيره (على سبيل المثال: "بدأ للتو"، "وجد مستخدمًا"، "وجد نقطة ضعف").
• الالأسهم (الانتقالات): توضح ما يفعله الوكيل بعد ذلك.
• الأرقام: توضح احتمالية اتخاذ ذلك المسار. على سبيل المثال، "بعد العثور على مستخدم، هناك احتمال بنسبة 70% أن يحاول الوكيل أمرًا معينًا، ولكن هناك احتمال بنسبة 30% أن يرتبك ويجرب شيئًا آخر".

من خلال التعلم من 20 محاولة مختلفة على نفس الجهاز، بنى النظام خريطة أظهرت السلوك النموذجي للوكيل. لقد كشفت عن أنماط كانت مخفية في السجلات الخام. على سبيل المثال، أظهرت الخريطة أن الوكيل يبدأ عادةً بالتحقق من معلومات المستخدم. إذا وجد نقطة ضعف، فإنه ينجح فورًا بنسبة 30% من المرات. ولكن إذا لم يجدها، فإنه غالبًا ما يعلق في حلقة من محاولة الأوامر الخاطئة قبل النجاح أخيرًا.

ماذا وجدوا؟

تشير الورقة إلى أن هذا النهج يعمل بشكل جيد بشكل مدهش. فمن خلال تحويل السجلات الخام إلى هذه الخرائط الرمزية، استطاع الباحثون القيام بشيئين رائعين:

1. تعليم المحققين "المبتدئين" (نقل المعرفة)
أخذ الباحثون "خريطة الاستراتيجية" التي تعلموها من ذكاء اصطناعي فائق الذكاء (DeepSeek V4) واستخدموها لمساعدة ذكاء اصطناعي أصغر وأرخص وأقل قدرة (ministral-8b) في حل مهام الاختراق نفسها.

• بدون مساعدة، نجح الذكاء الاصطناعي الصغير بنسبة 5% فقط من المرات.
• عندما قدموا للذكاء الاصطناعي الصغير "تلميحًا" بناءً على الخريطة (إخباره بالضبط بالخطوة التالية التي يجب اتخاذها)، قفز معدل النجاح إلى 28.3%.
• كانت الطريقة الأكثر فعالية هي التوجيه "الديناميكي"، حيث عملت الخريطة مثل نظام GPS، تخبر الذكاء الاصطناعي الصغير: "أنت في الخطوة 3، الآن افعل X"، بدلاً من إعطائه قائمة طويلة ومربكة من التعليمات. وهذا يشير إلى أن "عقل" الذكاء الاصطناعي الذكي يمكن تلخيصه في خريطة بسيطة تساعد نماذج الذكاء الاصطناعي الأضعف على الأداء بشكل أفضل بكثير.

2. شرح "السبب" (نماذج التفسير)
أحيانًا، تكون الخريطة كبيرة ومعقدة للغاية بحيث يصعب قراءتها. أظهر الباحثون كيفية "تقطيع" الخريطة للتركيز فقط على الأجزاء التي تؤدي إلى النجاح. استطاعوا قطع جميع النهايات المسدودة والحلقات المفرغة، تاركين مخططًا بسيطًا ومستقيمًا يشرح بالضبط كيف اخترق الوكيل الكود. على سبيل المثال، في أحد السيناريوهات، أظهرت الخريطة المبسطة أن مفتاح النجاح كان ببساطة قراءة ملف معين (.bash_history). هذا يحول عملية معقدة مكونة من 57 خطوة إلى شرح واضح مكون من 7 خطوات.

الصورة الكبيرة

يؤكد المؤلفون بحذر أن هذا هو مجرد إثبات لمفهوم. هم لم يحلوا كل مشكلة في سلامة الذكاء الاصطناعي، لكنهم أظهروا طريقة جديدة للنظر إلى سلوك الذكاء الاصطناعي. ويجادلون بأنه بدلاً من مجرد مراقبة وكلاء الذكاء الاصطناعي وهم يعملون والأمل في ألا يرتكبوا أخطاء، يجب علينا معاملة "مساراتهم" (سجلات أفعالهم) كبيانات قيمة يمكن تحويلها إلى نماذج رسمية.

هذه النماذج ليست مجرد صور جميلة؛ إنها أدوات هندسية. يمكنها مساعدتنا في:

• تدقيق أنظمة الذكاء الاصطناعي لمعرفة ما إذا كانت تتصرف بأمان.
• تصحيح أخطئها (Debug) من خلال العثور على الأماكن التي تعلق فيها في حلقات مفرغة.
• نقل المعرفة من نماذج الذكاء الاصطناعي الكبيرة والمكلفة إلى نماذج أصغر وأسرع.

تخلص الورقة إلى اقتراح أن هذه هي مجرد البداية. إذا تمكنا من تحويل الأفعال الفوضوية لوكلاء الذكاء الاصطناعي إلى خرائط رياضية واضحة، فيمكننا البدء حقًا في فهم وتوثيق وتحسين الأنظمة المستقلة التي أصبحت جزءًا أكبر من عالمنا. إنها خطوة نحو جعل "الصندوق الأسود" للذكاء الاصطناعي أكثر شفافية، وتحويل الغموض إلى خريطة.