ملخص تقني: Opti-Q: إطار عمل قائم على القيود لتحسين التخطيط متعدد النماذج اللغوية الكبيرة (Multi-LLM)

1. بيان المشكلة

تواجه عملية نشر النماذج اللغوية الكبيرة (LLMs) في مهام الإجابة على الأسئلة (QA) تحديات كبيرة تتعلق بعدم الحتمية، وتفاوت ملفات تعريف الموارد (التكلفة المالية، زمن الاستجابة، الطاقة)، وتنوع الأداء عبر أنواع الأسئلة المختلفة. وبينما تشير الأعمال الحديثة إلى أن التعاون المنسق بين عدة نماذج لغوية يمكن أن يتفوق على النماذج الفردية "الأفضل"، فإن استراتيجيات التنفيذ البدائية (مثل استعلام جميع النماذج دائمًا أو استخدام سلاسل ثابتة) غالبًا ما تؤدي إلى استخدام غير فعال للموارد، وتكاليف أعلى، وجودة إجابات دون المستوى الأمثل.

تعتمد أطر العمل التنسيقية الحالية (مثل LangChain وDSPy) غالبًا على سير عمل يكتبه المطور أو قرارات ديناميكية قاصرة النظر تُتخذ وقت التنفيذ دون مراعاة العواقب اللاحقة. هناك نقص في الأنظمة التي تعامل تنسيق النماذج اللغوية الكبيرة كمسألة تخطيط استعلام قائمة على التكلفة ومتعددة الأهداف، حيث يتم اختيار خطة التنفيذ المثلى (تسلسلية، متوازية، أو هجينة) قبل التنفيذ بناءً على قيود يحددها المستخدم (الميزانية، زمن الاستجافة، الطاقة) وجودة الإجابة المطلوبة (QoA).

2. المنهجية: إطار عمل OPTI-Q

إن OPTI-Q هو مُحسِّن قائم على التكلفة ومستوحى من قواعد البيانات، يطبق نموذج "التخطيط قبل التنفيذ" لتنسيق المهام متعددة النماذج اللغوية الكبيرة. يقوم بنمذجة المشكلة كمهمة تحسين متعددة الأهداف (MOO)، حيث الهدف هو إيجاد خطط مثالية في "جبهة باريتو" (Pareto-optimal) توازن بين جودة الإجابة (QoA) مقابل التكلفة المالية، وزمن الاستجابة، والطاقة.

أ. النمذجة والصياغة

• نموذج السؤال: يُعرَّف السؤال $Q$ بواسطة مطالبة (prompt)، وموضوع، وقيود مستخدم ($F_{max}, L_{max}, E_{max}, QoA_{min}$) ومتجه أوزان $W$ لتحديد أولويات الأهداف.
• نموذج الخطة: تُمثل الخطط كرسوم بيانية موجهة غير حلقية (DAGs) حيث تكون العقد هي عمليات استدعاء النماذج اللغوية (المشغلات الفيزيائية) والحواف تمثل تدفق البيانات.
  • المشغلات التسلسلية (Sequential Operators): تمرر الإجابات الوسيطة كـ "سياق" للنماذج اللاحقة.
  • المشغلات المتوازية (Parallel Operators): تشغل عدة نماذج بالتزامن.
  • مشغلات الدمج (Blending Operators): تدمج مخرجات الفروع المتوازية باستخدام نموذج "دمج" مخصص.
• هدف التحسين: تعظيم $[QoA(\pi), -Financial(\pi), -Latency(\pi), -Energy(\pi)]$ مع مراعاة قيود المستخدم.

ب. المكونات الأساسية

1. قاعدة بيانات الأداء (PERFDB - سجل الإحصائيات):

   • قاعدة بيانات أداء يتم ملؤها خارج نطاق التنفيذ وبشكل تدريجي من الاختبارات المعيارية وآثار التنفيذ.
   • تخزن الإحصائيات (QoA، التكلفة، زمن الاستجابة، الطاقة) للنماذج الفردية والخطط الفرعية المركبة، مفهرسة حسب سياق التنفيذ (الموضوع، نوع المشغل، النموذج).
   • تتيح التقدير قبل التنفيذ لمقاييس الخطة دون الحاجة لتشغيلها فعليًا. وهي تعالج العشوائية عبر تخزين تقديرات التباين وفترات الثقة.

2. تقدير التكلفة والعائد:

   • تقدير الرموز (Token Estimation): يتنبأ بأعداد الرموز المدخلة والمخرجة بناءً على أدوات الترميز (tokenizers) الخاصة بكل نموذج وأطوال المخرجات التاريخية لتقدير التكاليف.
   • تقدير جودة الإجابة (QoA Estimation): يستخدم بحثًا مشروطًا بالموضوع في PERFDB. بالنسبة للخطط المركبة، يطبق عوامل تأثير نسبية ضربية (للمراحل التسلسلية) وعوامل تغيير نسبية متوسطة (للدمج) مستمدة من الآثار التاريخية لتقدير جودة الخطة الكاملة.
   • تقدير الموارد: يحسب التكلفة المالية (ثابتة + متغيرة لكل رمز)، والطاقة (متناسبة مع عدد الرموز)، وزمن الاستجابة (خطي مع حجم الرموز، حيث تأخذ الفروع المتوازية أقصى وقت تنفيذ).

3. توليد البحث عن الخطط:

   • الترميز: تُشفر الخطط بشكل مضغوط كخريطة اتصال (مصفوفة مجاورة) ومتجه تخصيص النماذج.
   • فضاء البحث: فضاء الخطط المحتملة هو فضاء توافقي معقد (NP-hard) يصعب تحسينه بالبحث الشامل.
   • محركات التحسين: يدعم OPTI-Q محركًا "قابلًا للاستبدال" بثلاث استراتيجيات:
     • البرمجة الديناميكية (DP): حل دقيق للحالات الصغيرة؛ يستخدم التقليم (pruning) لإدارة انفجار مساحة الحالة.
     • الارتقاء بالقمة (Hill Climbing - HC): خوارزمية بحث محلي سريعة وبسيطة.
     • NSGA-II: خوارزمية تطورية متعددة الأهداف تُستخدم كخيار افتراضي لمساحات الخطط الكبيرة لتقريب "جبهة باريتو".
   • الاختيار: يقوم المُحسِّن بتوليد مجموعة من الخطط القابلة للتنفيذ غير المسيطرة. يتم اختيار الخطة النهائية بناءً على أوزان المستخدم $W$ المطبقة على الأهداف المعيرة.

ج. التنفيذ

• النظام: إطار عمل معياري يدمج المُحسِّن مع محرك التنفيذ.
• النماذج: تم الاختبار مع خمسة نماذج مفتوحة المصدر (Gemma-3:27B, LLaMA3-ChatQA, Qwen2.5, Phi-4, Mistral) تعمل محليًا عبر Ollama.
• الدمج: يستخدم Gemma-3:27B كنموذج دمج مخصص، وقد تفوق على المكونات المتخصصة مثل GenFuser في عملية التحقق.
• التحفيز (Prompting): يعتمد على التحفيز صفري المحتوى (Zero-Shot) مع مطالبات سياقية ودمج محددة لتوجيه سلوك النموذج.

3. المساهمات الرئيسية

1. صياغة التكلفة/العائد: صياغة رسمية لتخطيط الإجابة على الأسئلة متعدد النماذج اللغوية كمسألة تحسين متعددة الأهداف مقيدة، توازن صراحةً بين جودة الإجابة (QoA) والتكلفة والطاقة وزمن الاستجابة.
2. مُحسِّن مدفوع بالإحصائيات: نظام يقوم بحصر وتقليم سير العمل (التسلسلي/المتوازي/الهجين)، ويقدر الجودة وتكاليف الموارد قبل التنفيذ باستخدام سجل إحصائيات تاريخي (PERFDB).
3. نظام متكامل: نموذج أولي يعمل على توجيه الأسئلة ديناميكيًا عبر نماذج لغوية مفتوحة المصدر، مختارًا رسومًا بيانية للتنفيذ مثالية في الوقت الفعلي.

4. النتائج التجريبية

تم تقييم الإطار على اختبارات MMLU-Pro (متعدد الخيارات) و SimpleQA (مفتوح النهايات) مقابل أربعة خطوط أساس (baselines) متطورة (ThriftLLM, LLM-Ensemble, FrugalGPT, LLM-Blender).

• مكاسب الأداء: في ظل ميزانيات محددة من قبل المستخدم، حسّن OPTI-Q متوسط جودة الإجابة (QoA) بنسبة ≈58% في SimpleQA و ≈41% في MMLU-Pro مقارنة بأقوى الخطوط الأساسية الواعية للميزانية عند مطابقة تكلفة السؤال.
• القابلية للتوسع: وفرت خوارزمية NSGA-II أفضل توازن بين القابلية للتوسع والجودة، حيث حافظت على جودة قريبة من جبهة باريتو المرجعية مع أوقات تخطيط في عشرات الثواني القليلة (على سبيل المثال، 21 ثانية لـ $k=5$ عمليات).
• المتانة تجاه ندرة البيانات: في سيناريوهات "البداية الباردة" (تغطية المستوى 0 في PERFDB)، لا يزال OPTI-Q يتفوق على الخطوط الأساسية. ومع زيادة البيانات التاريخية (المستويات 1-4)، تحسنت جودة الإجابة بشكل كبير (على سبيل المثال، +66.7% في MMLU-Pro)، وانخفضت أخطاء تقدير الموارد بشكل حاد.
• الالتزام بالميزانية: حافظ النظام على التزام عالٍ بالميزانية (88-96%)، وكانت التجاوزات مدفوعة أساسًا بالتكلفة وليس زمن الاستجابة.
• المقارنة مع الواجهات البرمجية التجارية: حقق OPTI-Q جودة (QoA) أعلى من النماذج التجارية (مثل Claude Opus 4.6, GPT 5.4) في SimpleQA، بينما كان أقل تكلفة بكثير (بمقدار 37.8 ضعفًا و 14.5 ضعفًا على التوالي، عند احتساب تكاليف الخوادم الخارجية). وفي MMLU-Pro، حقق جودة تنافسية (0.82 مقابل 0.871 لـ Gemini 3.5 Flash) بجزء ضئيل من التكلفة.

5. الأهمية والادعاءات

يدعي البحث أن التخطيط بأسلوب قواعد البيانات يؤدي إلى مقايضات أفضل بين الجودة والموارد لمهام الإجابة على الأسئلة متعددة النماذج اللغوية مقارنة بالتنسيق الديناميكي القاصر أو المجموعات الثابتة.

• تحول في النموذج: يثبت البحث أن معاملة تنسيق النماذج اللغوية كمسألة تخطيط استعلام تصريحية (declarative)، بدلاً من مهمة برمجة إجرائية، يسمح بتكيف ديناميكي خاص بكل سؤال مما يعظم المنفعة تحت القيود.
• الجدوى العملية: تشير النتائج إلى أن التخطيط المهيكل القائم على الإحصائيات يوفر أساسًا عمليًا لتنسيق النماذج اللغوية التكيفي، مما يمكّن الأنظمة من موازنة الأداء والكفاءة دون الاعتماد على النماذج التجارية باهظة الثمن وعالية القدرة.
• الإمكانات المستقبلية: يفترض المؤلفون أن تجريد "التخطيط قبل التنفيذ" هذا يمكن أن يمتد إلى ما وراء الإجابة على الأسئلة ليشمل عمليات توليد الاسترجاع المعزز (RAG) الأكثر ثراءً وسير العمل الوكيل (agentic workflows)، بشرين بتوصيف مشغلات جديدة بمعايير مشابهة في سجل الإحصائيات.