← أحدث الأبحاث
🤖 machine learning

Agent Memory Distillation: Empowering Small LLM Agents with Hierarchical Teacher Memory

تقدم هذه الورقة تقنية تقطير ذاكرة الوكيل (AMD)، وهي إطار عمل لا يتطلب تدريباً يعمل على تعزيز وكلاء نماذج اللغة الصغيرة من خلال نقل المعرفة الهرمية — التي تشمل استراتيجيات سير العمل، وأمثلة المهام الفرعية، واتفاقيات الوظائف — من وكيل معلم ضخم، مما يؤدي إلى تحسينات كبيرة في الأداء عبر اختبارات قياسية متعددة لاستخدام الأدوات.

المؤلفون الأصليون: Taeil Kim, Kangsan Kim, Sung Ju Hwang

نُشر 2026-08-10
📖 7 دقيقة قراءة🧠 قراءة متعمّقة

المؤلفون الأصليون: Taeil Kim, Kangsan Kim, Sung Ju Hwang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم متدرب جديد ومتحمس كيفية إصلاح آلة معقدة. لديك ميكانيكي خبير يمكنه حل أي مشكلة في ثوانٍ، ولكن متدربك صغير، وغير خبير، وعرضة لارتكاب الأخطاء. في عالم الذكاء الاصطعي، هذه "المتدربين" هي نماذج لغوية صغيرة — ذكية، لكنها محدودة. إنهم يحاولون حل المهام باستخدام أدوات رقمية، مثل واجهات برمجة التطبيقات (APIs) أو الكود البرمجي، لكنهم غالبًا ما يعلقون، أو ينسون الخطوات، أو يستدعون الأدوات الخاطئة. لمساعدتهم، حاول الباحثون منحهم "ذاكرة"، وهي دفتر ملاحظات للنجاحات والإخفاقات السابقة للرجوع إليها. ومع ذلك، هناك عقبة: نظرًا لأن المتدرب جديد جدًا، فإن دفتر ملاحظاته مليء في الغالب بصفحات من نوع "فشلت هنا" و"ضعت هناك". ليس لديهم ما يكفي من القصص الناجحة للتعلم منها. هذا هو اللغز الذي يحاول العلماء حله: كيف تمنح طالبًا صغيرًا متعثرًا خبرة خبير دون مجرد إلقاء كتاب مدرسي ضخم ومربك على مكتبه؟

هنا يأتي دور ورقة البحث "تقطير ذاكرة الوكيل" (Agent Memory Distillation). يقترح الباحثون، بقيادة تاييل كيم وزملاؤه من جامعة KAIST، طريقة مبتكرة جديدة لنقل المعرفة من نموذج ذكاء اصطناعي قوي (المعلم) إلى نموذج ذكاء اصطناعي أصغر (الطالب). إنهم يسمون طريقتهم تقطير ذاكرة الوكيل (AMD). بدلاً من مجرد تسليم الطالب كومة ضخمة وفوضوية من ملاحظات المعلم، يعمل AMD كـ "محرر بارع". فهو يأخذ رحلات المعلم الناجحة ويقسمها إلى ثلاثة أنواع محددة وسهلة الهضم من الذاكرة: سير العمل (Workflow) عالي المستوى (الخطة الكبيرة)، ودليل المهام الفرعية (Subtask) (الخطوات المحددة لإنجاز الأمور)، وورقة مرجعية لـ الدالة (Function) (كيفية استخدام الأدوات بشكل صحيح). تشير الورقة إلى أنه من خلال تنظيم ذاكرة المعلم بهذه الطريقة، يمكن للطالب الصغير فهمها واستخدامها بشكل أفضل بكما لو حاول مجرد قراءة البيانات الخام.

المشكلة: طالب صغير مع فجوة كبيرة

فكر في وكيل ذكاء اصطناعي صغير كأنه متدرب جديد في شركة تقنية. عندما يحاول القيام بمهمة، مثل "تسجيل الدخول إلى هذا التطبيق وإرسال رسالة"، فإنه غالبًا ما يفشل. إذا طلبت منه الاحتفاظ بمذكرات عما حدث، فستكون مذكراته مليئة بـ "حاولت تسجيل الدخول، لكن ظهر لي خطأ" أو "نقرت على الزر الخطأ". ولأنهم يفشلون كثيرًا، فليس لديهم مكتبة جيدة من قصص "كيف تنجح" ليتعلموا منها.

حاول الباحثون حلاً بسيطًا: "لنمنح المتدرب مذكرات الميكانيكي الخبير!". أخذوا الملاحظات الناجحة من ذكاء اصطناعي ضخم وفائق الذكاء (المعلم) وأعطوها للذكاء الاصطناوي الصغير (الطالب). لكن هذا لم ينجح جيدًا. كان الأمر يشبه إعطاء طفل كتابًا مدرسيًا مكتوبًا في الفيزياء المتقدمة؛ لم يستطع الطفل فهم اللغة المعقدة أو معرفة كيفية تطبيقها. كانت "فجوة القدرة" واسعة جدًا. كان الطالب صغيرًا جدًا بحيث لا يستطيع استيعاب أفكار المعلم الكبيرة والمجردة.

الحل: صندوق غداء الذاكرة ثلاثي الأجزاء

أدرك المؤلفون أنه لكي يسدوا هذه الفجوة، لا يمكنهم مجرد إلقاء ذاكرة المعلم على الطالب. كانوا بحاجة إلى "تقطيرها" — مثل تحويل حساء معقد إلى مرق مركز وسهل البلع. لقد أنشأوا نظامًا ينظم قصص نجاح المعلم في ثلاث طبقات متميزة، كل منها يخدم غرضًا مختلفًا:

  1. ذاكرة سير العمل (الخريطة): هذه هي الصورة الكبيرة. قبل أن يبدأ الطالب المهمة حتى، يمنحه النظام خريطة عالية المستوى. تقول له: "أولاً، يجب عليك تسجيل الدخول. ثم، ابحث عن البيانات. أخيرًا، أرسل الرسالة". هي لا تعطيه الكود؛ بل تعطيه الاستراتيجية. إنها مثل إخبار المتدرب: "لإصلاح المحرك، افحص الزيت أولاً، ثم شمعات الاحتراق، ثم البطارية". هذا يساعد الطالب على معرفة ترتيب العمليات قبل أن يضيع.
  2. ذاكرة المهام الفرعية (الوصفة): بمجرد أن يعرف الطالب الخطة، يحتاج إلى معرفة كيفية تنفيذ كل خطوة. توفر هذه الذاكرة أمثلة ملموسة لكيفية تعامل المعلم مع أجزاء محددة من الوظيفة. إذا كانت المهمة هي "جلب قائمة من العناصر"، فإن ذاكرة المهام الفرعية تظهر للطالب بالضبط كيف كتب المعلم الكود للحصول على تلك القائمة، بما في ذلك كيفية التعامل مع الترقيم (الحصول على الصفحة 1، ثم الصفحة 2، إلخ). إنها مثل تسليم المتدرب بطاقة وصفة تقول: "اخلط كوبين من الدقيق وكوبًا من السكر"، بدلاً من مجرد قول "اخبز كعكة".
  3. ذاكرة الدالة (دليل الأداة): هذا هو شبكة الأمان. عندما يحاول الطالب استخدام أداة (مثل استدعاء دالة معينة) ويواجه خطأً، يقوم النظام فورًا باستدعاء مدخل "ذاكرة الدالة" المتعلق بهذا الخطأ المحدد ويعرضه للطالب كإشارة. هذا المدخل يوضح الطريقة الصحيحة التي استخدم بها المعلم تلك الأداة المحددة، بما في ذلك الوسائط (arguments) المطلوبة بالضبط. إنه مثل ميكانيكي ينظر إلى دليل الاستخدام في اللحظة التي يدرك فيها أنه يمسك المفتاح بالمقلوب.

كيف يعمل في الممارسة العملية

العملية تشبه جلسة تعليمية ذكية.

  • الحقن الاستباقي (Proactive Injection): في بداية المهمة تمامًا، يتم حقن ذاكرة سير العمل والمهام الفرعية في "دماغ" الطالب (الـ system prompt الخاص به). يرى الخريطة والوصفات قبل أن يتخذ خطوة واحدة.
  • الحقن التفاعلي (Reactive Injection): إذا ارتكب الطالب خطأً وظهر خطأ ما، يقوم النظام فورًا بجلب ذاكرة الدالة المتعلقة بهذا الخطأ المحدد ويظهرها للطالب كإشارة. يحدث هذا فقط عند الحاجة، حتى لا يتم إغراق الطالب بالمعلومات عندما تسير الأمور على ما يرام.

النتائج: نماذج صغيرة تحصل على دفعة كبيرة

اختبر الباحثون هذه الطريقة على ثلاثة اختبارات معيارية مختلفة (AppWorld، وBFCL V3، وToolSandbox) باستخدام أربعة نماذج طلابية صغيرة مختلفة (تتراوح من 4 مليار إلى 8 مليار معلمة) وباستخدام GPT-5-mini القوي كمعلم.

كانت النتائج مثيرة للإعجاب. شهد الطلاب الصغار، عندما تم تجهيزهم بهذه الذاكرة الهرمية، تحسينات هائلة:

  • في AppWorld، قفزت دقة أدائهم بمتوسط 27.2 نقطة مئوية.
  • في BFCL V3، تحسنوا بمقدار 11.2 نقطة مئوية.
  • في ToolSandbox، اكتسبوا 3.4 نقطة مئوية.

في بعض الحالات، لم يصبح الطلاب الصغار أفضل فحسب؛ بل أدى بعضهم فعليًا إلى أداء يضاهي أو حتى يتفوق على نموذج المعلم الضخم نفسه! على سبيل المثال، في اختبار AppWorld، سجل طالب بـ 4 مليارات معلمة باستخدام AMD نسبة 49.40%، وهي نسبة مطابقة تقريبًا للمعلم الذي سجل 50.00%.

ماذا تخبرنا البيانات

تتعمق الورقة لفهم لماذا نجح هذا الأمر بشكل جيد.

  • "المهمة الفرعية" هي الملك: وجدوا أن ذاكرة المهام الفرعية (الأمثلة الملموسة) كانت الجزء الأهم. لقد قدمت أكبر دفعة. وهذا يشير إلى أن النماذج الصغيرة تحتاج حقًا إلى رؤية كيفية القيام بالأشياء، وليس فقط ماذا تفعل.
  • الحجم مهم (ولكن ليس كثيرًا): استفادت نماذج الـ 4 مليارات معلمة أكثر من غيرها. فقد كانت ذكية بما يكفي لفهم ذاكرة المعلم ولكنها كانت لا تزال تمتلك مساحة للتحسن. أما نماذج الـ 8 مليارات فكانت تؤدي جيدًا بالفعل بمفردها، لذا كان التحسن أقل، وإن ظل إيجابيًا.
  • يجب أن يكون المعلم متوافقًا: ومن المثير للاهتمام أن امتلاك أقوى معلم ممكن لم يعني دائمًا أفضل النتائج للطالب. أحيانًا، كان المعلم الأقل قوة بقليل ولكنه الأكثر "توافقًا" مع أسلوب الطالب هو الذي يعمل بشكل أفضل. الأمر لا يتعلق فقط بامتلاك معلم عبقري؛ بل بامتلاك معلم يمكن للطالب التعلم من أسلوبه.
  • الأقل هو الأكثر: عندما حاولوا إعطاء الطالب مزيدًا من الذكريات (استرجاع 5 بدلاً من 1)، انخفض الأداء فعليًا. شعرت النماذج الصغيرة بالارتباك بسبب كثرة المعلومات. كانوا بحاجة إلى الإشارة الصحيحة وعالية الجودة، وليس إلى فيض من البيانات.

ماذا يعني هذا (وما لا يعنيه)

تشير الورقة إلى أننا لسنا بحاجة إلى تدريب هذه النماذج الصغيرة من الصفر أو استخدام قدرات حوسبة مكلفة لجعلها أكثر ذكاءً. بدلاً من ذلك، يمكننا "تقطير" تجارب النماذج الأكبر في نظام ذاكرة مهيكل يمكن للنماذج الصغيرة استخدامه بالفعل. هذا نهج "خالٍ من التدريب" (training-free)، مما يعني أن الأوزان الداخلية لنموذج الطالب لا تتغير؛ بل يتعلم فقط كيفية استخدام الذاكرة الخارجية بشكل أفضل.

ومع ذلك، يوضح المؤلفون حدود هذه الطريقة. تم اختبار هذه الطريقة في مهام تتضمن الكود واستخدام الأدوات المهيكلة (مثل استدعاء واجهات برمجة التطبيقات). وهم ليسوا متأكدين بعد مما إذا كان سينجح في المهام التي تتطلب النظر إلى الصور أو كتابة قصص إبداعية من الصفر. كما أن الذاكرة "مجمدة" — فهي مبنية من نجاحات المعلم الماضية ولا تتحدث في الوقت الفعلي مع تعلم الطالب لأشياء جديدة.

في النهاية، يوفر "تقطير ذاكرة الوكيل" طريقة واعدة لتهيئة فرص متساوية. إنه يشير إلى أنه حتى وكلاء الذكاء الاصطناعي الصغار والمحدودين يمكن أن يصبحوا حلالي مشاكل أقوياء إذا خصصنا الوقت لتنظيم حكمة معلمهم في تنسيق يمكنهم فهمه بالفعل. إنه تذكير بأنه في بعض الأحيان، أفضل طريقة للتعلم ليست قراءة الموسوعة بأكملها، بل أن يمرر لك دليل ذكي الصفحة المناسبة في الوقت المناسب.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →