ProgRouter: Online Progress-Guided Orchestration for Multi-Agent LLM Workflows under Quality-Cost Tradeoffs

في عالم الذكاء الاصطناعي المتطور بسرعة، ظهر جيل جديد من الأنظمة التي يمكنها معالجة المشكلات المعقدة عبر تفكيكها إلى خطوات أصغر. هذه الأنظمة، المعروفة باسم تدفقات العمل متعددة الوكلاء (multi-agent workflows)، تعمل مثل فريق من المتخصصين حيث تتعاون برامج حاسوبية مختلفة، يعمل كل منها بواسطة نموذج لغوي كبير، لحل مهمة واحدة. قد يقوم أحد الوكلاء بوضع الاستراتيجية، وآخر بكتابة الكرمج، وثالث بالتحقق من النتائج. وبينما يسمح هذا النهج للآلات بالتعامل مع تحديات مفتوحة كانت مستحيلة في السابق، إلا أنه يأتي مع ثمن باهظ. ففي كل مرة يطلب فيها النظام من النموذج أن يفكر أو يتصرف، فإنه يستهلك طاقة ومالاً. وغالباً ما يكون استخدام أكثر النماذج قوة وقدرة في كل خطوة أمراً هدراً، بينما الاعتماد فقط على نماذج أصغر وأرخص قد يؤدي إلى أخطاء تتطلب تصحيحات مكلفة لاحقاً. وقد تمثل التحدي المركزي للباحثين في إيجاد طريقة لتحديد النموذج الذي يجب استخدامه ديناميكياً في كل لحظة محددة، موازنين بين الحاجة إلى نتائج عالية الجودة وبين حدود الوقت والميزانية.

لقد طور فريق من الباحثين نظاماً جديداً يسمى PROGROUTER لحل هذه المشكلة تحديداً. فبدلاً من اتخاذ قرار واحد في بداية المهمة أو التصعيد بشكل أعمى إلى نماذج أكثر قوة عندما تسوء الأمور، يعمل PROGROUTER كقائد أوركسترا ذكي يستمع إلى تدفق العمل في الوقت الفعلي. فهو يراقب باستمرار مدى التقدم الذي أحرزه الفريق، ومدى صعوبة الخطوات المتبقية، وكم بلغت الميزانية المنفقة. وبناءً على هذا التقييم الحي، يختار النموذج الأكثر ملاءمة للخطوة التالية، مما يضمن استدعاء النماذج القوية والمكلفة فقط عندما تكون هناك حاجة حقيقية لها لتجاوز عقبة معينة. يسمح هذا النهج للنظام بالحفاظ على الأداء العالي مع تقليل إجمالي الطاقة والتكلفة المطلوبة لإكمال المهمة بشكل كبير.

اختبر الباحثون هذا النظام على أربعة أنواع متميزة من المهام الصعبة: كتابة الكود البرمجي، وحل المسائل الرياضية، والإجابة على أسئلة معقدة تتطلب البحث عبر كميات كبيرة من المعلومات. وقارنوا PROGROUTER بعدة طرق موجودة، بما في ذلك الاستراتيجيات التي تستخدم دائماً نفس النموذج، والاستراتيجيات التي تبدأ بنماذج صغيرة ثم تنتقل فقط إلى نماذج أكبر عندما تتعثر، والاستراتيجيات التي تعتمد على تخمينات سابقة حول ما هو الأفضل. وأظهرت النتائج أن الاستراتيجيات الثابتة، سواء كانت تستخدم نماذج صغيرة فقط أو نماذج كبيرة فقط، فشلت باستمرار في تلبية حدود الطاقة والتكلفة المحددة للتجارب. فغالباً ما كانت النماذج الصغيرة تتعثر وتتطلب الكثير من المحاولات، بينما كانت النماذج الكبيرة تستهلك الكثير من الطاقة مع كل عملية استدعاء. وفي المقابل، نجح PROGROUTER في اجتياز المنطقة الوسطى؛ ففي اختبارات كتابة الكود، حقق معدل نجاح قدره 93 بالمائة مع البقاء ضمن ميزانية طاقة صارمة قدرها 4,800 جول. وفي المسائل الرياضية، أكمل المهام في 19 ثانية فقط باستخدام 6,112 جول فقط من الطاقة، متفوقاً على جميع الطرق الأخرى التي التزمت بحدود الميزانية.

إن ما يجعل PROGROUTER فعالاً هو قدرته على فهم "حالة" العمل أثناء حدوثه. يستخدم النظام آلية تسجيل تنظر إلى تدفق العمل من زوايا متعددة؛ حيث يتحقق مما إذا كانت الخطة العامة صالحة، وعدد المهام الفرعية التي تم إنجازها، وما إذا كان العمل يتقدم للأمام أم يتوقف، وجودة المعلومات التي تم إنتاجها حتى الآن. ومن خلال الجمع بين هذه الرؤى المختلفة، يمكن للنظام معرفة ما إذا كانت المهمة قد أوشكت على الانتهاء أو أنها تواجه عقبة رئيسية. وعندما يسير العمل بسلاسة، يختار النظام نماذج أصغر وأسرع وأرخص للحفاظ على التكاليف منخفضة. ومع ذلك، إذا اكتشف النظام أن تدفق العمل متعثر أو أن هناك خطوة صعبة متبقية، فإنه ينتقل فوراً إلى نموذج أكثر قوة لدفع المهمة إلى الأمام. ويتم اتخاذ هذا القرار بشكل فوري ومتكرر طوال العملية، مما يضمن عدم هدر الطاقة في عمليات "الرفع الثقيل" غير الضرورية، وعدم إضاعة الوقت في خطوات تتطلب ذكاءً أكبر مما يمكن للنموذج الحالي توفيره.

كشفت الدراسة أيضاً أن هذا النهج التكيفي يعمل حتى في المواقف مفتوحة النهايات حيث لا توجد إجابة صحيحة أو خاطئة واضحة، مثل الحالات التي يجب فيها على النظام جمع معلومات من الإنترنت لكتابة تقرير مفصل وطويل. في هذه السيناريوهات، حيث يصعب قياس التقدم، نجح PROPROUTER في إنتاج أعلى جودة من النتائج بين جميع الطرق المختبرة. فقد حقق درجة دقة بلغت 92.1 بالمائة في هذه الأسئلة المعقدة مع البقاء ضمن حدود الطاقة الخاصة به. ووجد الباحثون أن النظام تعلم طبيعياً كيف يتخصص، حيث استخدم النماذج الصغيرة لمعظم الخطوات الروتينية، واحتفظ بالنماذج الأكبر والأكثر قدرة للحظات الحرجة حيث يمكن لقوتها الإضافية أن تحدث فرقاً حقيقياً. سمح هذا السلوك الديناميكي للنظام بتجنب العثرات الشائعة للطرق الأخرى، مثل الوقوع في حلقات مفرغة مع النماذح الضعيفة أو استنزاف الميزانية بسرعة كبيرة باستخدام النماذج القوية.

في نهاية المطاف، يوضح هذا العمل أن مستقبل الذكاء الاصطناعي الفعال لا يكمن فقط في بناء نماذج أفضل، بل في بناء طرق أفضل لاستخدامها. ومن خلال التعامل مع اختيار النموذج كقرار مستمر قائم على البيانات بدلاً من كونه خياراً لمرة واحدة، يظهر PROPROUTER أنه من الممكن تحقيق نتائج عالية الجودة دون التكاليف الباهظة التي تحد حالياً من قابلية توسع هذه التقنيات. يثبت النظام أنه مع التنسيق الصحيح، يمكن لفريق من النماذج المتنوعة أن يعمل معاً بكفاءة أكبر من أي نموذج واحد يعمل بمفرده، مما يقدم مساراً نحو أنظمة ذكاء اصطناعي أكثر استدامة وسهولة في الوصول يمكنها التعامل مع التحديات المعقدة في العالم الحقيقي دون استنزاف مواردها.