Token Optimization and Context Window Management in Multi-Agent AI Workflows
تقدم هذه الورقة إطار عمل عملي لتحسين استخدام الرموز (tokens) وإدارة نوافذ السياق في تدفقات عمل الذكاء الاصطناหลาย الوكلاء، حيث تثبت من خلال بيانات الإنتاج والدراسات المنضبطة أن استراتيجيات مثل "تدرج السياق" وتكوين سياق "تباين الصلة" يمكن أن تقلل بشكل كبير من زمن الاستجابة والتكاليف مع تحسين دقة النموذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي سريع التطور، ظهر نوع جديد من الأنظمة حيث تعمل برامج حاسوبية متعددة، أو ما يُعرف بـ "الوكلاء" (agents)، معاً لحل مشكلات معقدة. تخيل فريقاً من المساعدين الرقميين: أحدهم يجمع المعلومات، وآخر ينظمها، وثالث يكتب تقريراً نهائياً. ولكي تعمل هذه الفرق، فإنها تعتمد على نماذج لغوية كبيرة، وهي المحركات التي تدفع تفكيرها. ومع ذلك، تمتلك هذه المحركات حداً صارماً لكمية المعلومات التي يمكنها استيعابها في "ذاكرتها العاملة" في أي لحظة واحدة. تُقاس هذه السعة بـ "الرموز" (tokens)، وهي وحدات نصية صغيرة تشكل الكلمات والجمل. وعندما يصبح سير العمل طويلاً جداً أو مزدحماً بالتفاصيل غير الضرورية، يتباطأ النظام، وتزداد تكلفة تشغيله، بل وقد يرتكب أخطاءً أحياناً لأن الحقائق المهمة تضيع في بحر من الضجيج. ولا يقتصر التحدي الذي يواجه المهندسين على بناء وكلاء أكثر ذكاءً فحسب، بل في تعليمهم كيفية إدارة ذاكرتهم بكفاءة، وضمان أنهم لا ينظرون إلا إلى ما هو ضروري حقاً لأداء المهمة على أكمل وجه.
تتناول دراسة حديثة أجراها الباحث ديفير شماي هذه المشكلة تحديداً، حيث انتقلت من الأفكار النظرية إلى اختبار طرق عملية في بيئة إنتاج واقعية. يركز البحث على لوحة تحكم تُستخدم لتتبع العمل الهندسي، وهو نظام يستوعب باستمرار نصوص الاجتماعات، ورسائل البريد الإلكتروني، ورسائل الدردشة لاستخراج المهام الهامة وتلخيص التقدم المحرز. واكتشف الفريق أنه من خلال إعادة ترتيب كيفية تغذية الذكاء الاصطناعي بالمعلومات بعناية، استطاعوا تقليص الوقت الذي يستغرقه معالجة البيانات وكمية القدرة الحوسبية المطلوبة بشكل كبير. ووجدوا أن النهج الأكثر فعالية لم يكن بتغذية الذكاء الاصطناعي بكتلة ضخمة من النصوص تحتوي على كل شيء، بل بإرسال النوع المحدد فقط من البيانات المطلوب لكل خطوة. ومن خلال جلب البيانات مرة واحدة ومعالجتها محلياً، بدلاً من مطالبة النظام باسترداد نفس المعلومات بشكل متكرر، خفضوا الوقت المستغرق لتحميل مجموعة جديدة من المهام من حوالي ثلاث دقائق ونصف إلى عشر دقائق ونصف، إلى ما بين ستين ومائة وستة عشر ثانية. كما أدى هذا التغيير أيضاً إلى خفض التكلفة التقديرية للمعالجة بنسبة ستين إلى سبعين بالمائة، مما يثبت أن التنظيم الأفضل لا يقل قوة عن امتلاك حاسوب أقوى.
ولعل الاكتشاف الأكثر إثارة للدهشة في الدراسة يتحدى حساً شائعاً حول كيفية تعلم هذه الأنظمة. فغالباً ما يفترض المهندسون أنه للحصول على أفضل النتائج، يجب عليهم تزويد الذكاء الاصطناعي فقط بالمعلومات الأكثر صلة وعالية الجودة، مع تصفية كل ما عدا ذلك. وقد اختبر الباحثون ذلك من خلال طلب تحديد عناصر مهمة من قائمة اتصالات مكان العمل؛ حيث قارنوا بين "مطالبات" (prompts) مليئة تماماً بعناصر عالية الصلة، مقابل مطالبات تمزج بين العناصر عالية الصلة ومحتوى آخر أقل صلة ولكنه مرتبط بالموضوع. وبشكل يخالف التوقعات، كان أداء النظام أفضل عندما تضمنت القائمة بعض "الضجيج" – أي عناصر ليست بالضرورة حاسمة ولكنها تنتمي إلى نفس الموضوع. فعندما رأى الذكاء الاصطناعي أمثلة على ما ليس مهماً، أصبح أفضل بكثير في تمييز ما هو مهم. وفي الاختبارات، أدى خلط خمسين بالمائة من العناصر المهمة مع خمسين بالمائة من العناصر الأقل أهمية إلى تحسين دقة تسجيل النقاط لدى الذكاء الاصطناعي بهامش كبير مقارلة باستخدام العناصر المهمة فقط. وهذا يشير إلى أن الذكاء الاصطناعي يحتاج لرؤية التباين بين الإشارة والضجيج لضبط حكمه الخاص، تماماً كما يحتاج الإنسان لرؤية نطاق من درجات الحرارة ليفهم معنى كلمة "دافئ" حقاً.
كما بحثت الدراسة في كيفية تأثير ترتيب المعلومات على الأداء. وبينما تشير بعض النظريات إلى أن المعلومات الموضوعة في منتصف قائمة طويلة قد يتم تجاهلها، وجد الباحثون أنه بالنسبة للقوائم الأقصر، كان الترتيب أقل أهمية من نسبة العناصر المهمة إلى غير المهمة. ومع ذلك، فقد أكدوا بالفعل أنه عندما تصبح القائمة طويلة جداً، فإن دفن الحقائق الرئيسية في المنتصف يمكن أن يؤدي بالفعل إلى فقدانها. وهناك نتيجة عملية أخرى تتعلق بكيفية التعامل مع محاولات متعددة لنفس المهمة؛ فعندما حاول النظام استخراج المعلومات خمس مرات ثم استخدم ذكاءً اصطناعياً ذكياً لدمج النتائج، لم يؤدِ ذلك إلى أداء أفضل من مجرد أخذ "اتحاد" (union) جميع العناصر الفريدة التي تم العثور عليها عبر المحاولات الخمس. لقد أضافت خطوة الدمج المعقدة والذكية تكلفة ووقتاً دون تحسين النتيجة النهائية، مما يشير إلى أن الجمع الميكانيكي البسيط غالباً ما يكون الطريقة الأكثر موثوقية لجمع المعلومات.
تقدم هذه النتائج مساراً واضحاً لبناة أنظمة الذكاء الاصطناعي. إذ يوضح البحث أن الكفاءة والدقة لا تتعلقان فقط باختيار النموذج الأكثر تقدماً، بل بهندسة تدفق المعلومات. فمن خلال تصفية البيانات قبل وصولها إلى الذكاء الاصطناعي، وخلط القدر الكافي من السياق لوضع معيار واضح، وتجنب التعقيد غير الضروري في كيفية دمج النتائج، يمكن للفرق جعل أنظمتها أسرع، وأرخص، وأكثر موثوقية. لا تدعي الدراسة أنها حلت كل مشكلات الذكاء الاصطناعي، ولا تقترح أن هذه القواعد تنطبق على كل مهمة على حد التحديد، بل إنها تقدم مجموعة من الأنماط المدروسة والقابلة للتكرار والتي ثبت نجاحها في بيئة إنتاج حية. وبالنسبة لأولئك الذين يبنون مستقبل العمل المؤتمت، فإن الدرس واضح: مفتاح الأداء الأفضل غالباً لا يكمن في إضافة المزيد، بل في تنظيم ما تملكه بدقة أكبر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.