💻 computer science

Dynamic Mixed-Precision Routing for Efficient Multi-step LLM Interaction

تقترح هذه الورقة البحثية "التوجيه الديناميكي متعدد الدقة" (DMR)، وهو إطار عمل يختار بشكل تكيفي بين النماذج اللغوية الكبيرة ذات الدقة العالية والمنخفضة عند كل خطوة قرار باستخدام مسار تدريب ثنائي المراحل لتحقيق التوازن الأمثل بين الدقة والتكلفة في المهام متعددة الخطوات طويلة المدى.

المؤلفون الأصليون: Yuanzhe Li, Jianing Deng, Jingtong Hu, Tianlong Chen, Song Wang, Huanrui Yang

نُشر 2026-05-15

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuanzhe Li, Jianing Deng, Jingtong Hu, Tianlong Chen, Song Wang, Huanrui Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعيين فريق من المحققين لحل لغز معقد ومتعدد الخطوات (مثل البحث عن قطعة محددة في متجر ضخم عبر الإنترنت أو التنقل داخل منزل افتراضي).

في عالم الذكاء الاصطناعي، هؤلاء "المحققون" هم النماذج اللغوية الكبيرة (LLMs). وللحصول على أفضل النتائج، عادة ما تستعين بالمحقق السينيور (كبير المحققين) الأكثر تكلفةً وتدريباً (نموذج عالي الدقة - High-Precision Model). إنه عبقري لكنه بطيء ويكلف ثروة لتشغيله. بدلاً من ذلك، يمكنك تعيين فريق من المحققين المبتدئين (الجنود) السريعين والرخيصين (نماذج منخفضة الدقة/مكممة - Low-Precision/Quantized Models). إنهم سريعون ورخيصون، لكنهم قد يرتكبون أخطاءً سخيفة أو يفوتون أدلة حاسمة.

المشكلة هي أن المهام الطويلة والمعقدة تتطلب خطوات عديدة. إذا استعنت بالمحقق السينيور الغالي لكل خطوة، فستكون التكلفة باهظة جداً. وإذا استعنت بالمحققين المبتدئين الرخيصين لكل خطوة، فقد يفشلون في حل القضية لأنهم قد يرتبكون عند الأجزاء الصعبة.

تقدم هذه الورقة حلاً ذكياً يسمى التوجيه الديناميكي متعدد الدقة (DMR). فكر في الأمر كأنه موزع فائق الذكاء يدير عملية توظيف المحققين.

كيف يعمل الموزع

بدلاً من تعيين نوع واحد فقط من المحققين للمهمة بأكملها، يقوم "الموزع" بمراقبة التحقيق الذي يتكشف في الوقت الفعلي ويتخذ قراراً في جزء من الثانية عند كل خطوة:

الخطوات السهلة: عندما تكون المهمة مباشرة (مثل "انظر إلى الباب" أو "ابحث عن قميص أحمر")، يرسل الموزع العمل إلى المحققين المبتدئين الرخيصين والسريعين. إنهم يتعاملون مع الأمر بسرعة ودقة كافية.
الخطوات الحرجة: عندما تصطدم المهمة بـ "فخ" أو لغز معقد (مثل "اكتشف أي مفتاح يفتح الصندوق المغلق" أو "تفاوض على السعر النهائي")، يقوم الموزع فوراً بالتحول إلى المحقق السينيور المكلف لضمان إنجاز المهمة بشكل صحيح.

الهدف هو استخدام المحقق الغالي فقط عند الضرورة القصوى، مما يوفر المال والوقت مع ضمان حل اللغز بنجاح.

كيف يتعلم الموزع

تصف الورقة عملية تدريب من خطوتين لتعليم هذا الموزع كيفية رصد "الخطوات الحرجة":

الخطوة 1: مرحلة "المراقبة الظلية" (تباعد KL):
تخيل أن الموزع يشاهد المحقق السينيور والمحقق المبتدئ يعملان على نفس القضية جنباً إلى جنب. في معظم الأوقات، يتفقان على ما يجب فعله. لكن أحياناً، يرتبك المحقق المبتدئ ويقترح خطوة خاطئة. يتعلم الموزع التعرف على هذه اللحظات المحددة التي يختلف فيها المحققان. إنه يتعلم: "آه، كلما بدأ المحقق المبتدئ في التذبذب، عليّ استدعاء المحقق السينيور".
الخطوة 2: مرحلة "التدريب العملي" (التعلم المعزز):
بمجرد أن يعرف الموزع الأساسيات، يبدأ في القيام بجولات تدريبية فعلية. يجرب استراتيجيات مختلفة: "ماذا لو استدعيت المحقق السينيور هنا؟ ماذا لو انتظرت؟" يحصل على درجة بناءً على أمرين: هل حللنا القضية؟ و كم استهلكنا من الوقت/المال؟ ومع مرور الوقت، يتعلم التوازن المثالي لحل أكبر عدد من القضايا بأقل تكلفة.

النتائج

اختبر الباحثون هذا النظام في سيناريوهين من الواقع:

WebShop: وكيل يحاول شراء قطعة معينة عبر الإنترنت من خلال البحث والنقر.
ALFWorld: وكيل يحاول ترتيب غرفة افتراضية عن طريق التقاط الأشياء ووضعها.

كانت النتائج واضحة:

نهج "الرخص الدائم": سريع، لكنه غالباً ما يفشل في إتمام المهمة لأن المحققين المبتدئين يعلقون في الخطوات الصعبة.
نهج "الغلاء الدائم": ناجح جداً، ولكنه بطيء ومكلف للغاية.
نهج "الموزع" (DMR): حقق معدلات نجاح مطابقة تقريباً للمحقق السينيور الغالي، لكنه فعل ذلك بشكل أسرع وأرخص بك كثيراً. في كثير من الحالات، كان جيداً جداً مثل المحقق السينيور، لكنه استخدم المحققين المبتدين الرخصين للقيام بحوالي 60-80% من العمل.

الخلاصة

تظهر هذه الورقة أنك لست مضطراً للاختيار بين "الغالي والذكي" أو "الرخيص والغبي". فباستخدام موجه ذكي ينتقل ديناميكياً بين الاثنين بناءً على صعوبة الخطوة الحالية، يمكنك الحصول على أفضل ما في العالمين: معدلات نجاح عالية مع تكاليف أقل بكثير. الأمر يشبه امتلاك فريق يتولى فيه الموظفون المبتدئون الأعمال الروتينية، بينما لا يتدخل الخبير إلا عندما يصبح الموقف معقداً حقاً.

ملخص تقني: التوجيه الديناميكي لخلط الدقة من أجل تفاعل فعال متعدد الخطوات مع النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة

أظهرت النماذج اللغوية الكبيرة (LLMs) قدرات قوية في مهام اتخاذ القرار طويلة المدى، مثل تلك الموجودة في البيئات الوكيلية (agentic settings) التي تتطلب استخدام الأدوات والتفاعل مع البيئة. ومع ذلك، فإن نشر نماذج لغوية كبيرة كاملة الدقة لهذه المهام المعقدة ومتعددة الخطوات يؤدي إلى تكاليف استنتاج باهظة. وبينما يوفر التكميم (quantization) مساراً واعداً للكفاءة، تشير الدراسات الحديثة إلى أن تطبيق التكميم منخفض الدقة بشكل عشوائي طوال تنفيذ الوكيل يؤدي إلى تدهور كبير في الأداء في المهام الوكيلية الواقعية. هذا التدهور ليس موحداً؛ حيث تعمل النماذج المكممة بشكل جيد في خطوات الاستدلال القياسية، لكنها تفشل في خطوات محددة "حرجة" (مثل وضع دقيق أو اختيار أداة معقد)، مما يؤدي إلى إخفاقات غير قابلة للإصلاح على مستوى المسار بالكامل. إن طرق التوجيه الحالية مصممة عادةً للاستعلامات الثابتة أحادية الدور، أو تعمل على مستوى السؤال العام، مما يجعلها غير مناسبة لاتخاذ القرار الدقيق على مستوى الخطوة المطلوب في التفاعلات الوكيلية طويلة المدى.

المنهجية: التوجيه الديناميكي لخلط الدقة (DMR)

يقترح المؤلفون التوجيه الديناميكي لخلط الدقة (DMR)، وهو إطار عمل خفيف الوزن يختار بشكل تكيفي بين النماذج اللغوية عالية الدقة (مثل BF16) ومنخفضة الدقة (مثل Int4) عند كل خطوة قرار في مسار الوكيل. الجوهر يكمن في أن خطوات التفاعل تظهر حساسية متنوعة تجاه التكميم؛ حيث يمكن للموجه تحديد الخطوات الحرجة التي تتطلب دقة عالية بينما يسمح للخطوات غير الحرجة باستخدام استنتاج أرخص ومنخفض الدقة.

1. بنية الموجه (Router Architecture)

يستخدم DMR موجه ترانسفورمر (Transformer) خفيف الوزن (منفصل عن توليد الإجراء) يأخذ مدخلات على مستوى المسار (وصف المهمة، تاريخ الإجراءات/الملاحظات) ويخرج خيار الدقة ( $r_t \in \{1, \dots, K\}$ ) للخطوة الحالية. يتم تمثيل الموجه بواسطة المعلمة $\theta$ وهو أصغر بكثير من النماذج اللغوية التي يتم توجيهها (حوالي 2-3% من معلماتها).

2. خط معالجة التدريب ثنائي المراحل

يتم تدريب الموجه عبر عملية مكونة من مرحلتين:

المرحلة الأولى: التعلم الخاضع للإشراف القائم على تباعد كولباك-ليبلر (KL-ST)
- الدافع: النماذج منخفضة الدقة تطابق سلوك النماذج عالية الدقة بشكل عام، لكنها تظهر انحرافات كبيرة عند الخطوات الحرجة.
- العملية: يجمع المؤلفون مسارات باستخدام عمليات تشغيل (rollouts) عالية الدقة. عند كل خطوة، يحسبون تباعد كولباك-ليبلر (KL) بين توزيعات الإجراء للنموذج منخفض الدقة والمرجع عالي الدقة.
- التوسيم (Labeling): لوحظ أن توزيع KL ثنائي المنوال (منطقة كثيفة ذات تباعد منخفض مقابل ذيل متفرق ذي تباعد عالٍ). يتم تطبيق عتبة $\tau$ لتحويل قيم KL المستمرة إلى تسميات ثنائية ( $y_t=1$ للحاجة إلى دقة عالية، $0$ خلاف ذلك).
- التدريب: يتم ضبط الموجه بدقة باستخدام تقاطع الإنتروبيا الموزون للفئات للتنبؤ بهذه التسميات، مما يعمل كبداية دافئة (warm start).
- المعايرة: لمعالجة التحولات في التوزيع بين التدريب (تاريخ عالي الدقة) والنشر (تاريخ مختلط الدقة)، يتم حساب عتبة قائمة على المئينات (quantile-based) على مجموعة معايرة محجوزة لتلبية قيود ميزانية الدقة العالية المحددة ( $\rho$ ).
المرحلة الثانية: تحسين السياسة النسبي للمجموعات (GRPO)
- الدافع: مرحلة KL-ST تحسن حساسية الخطوة المحلية، لكن الهدف النهائي هو نجاح المهمة على مستوى المسار تحت ميزانية زمن الاستجابة.
- العملية: بدءاً من موجه KL-ST، يتم صقل السياسة باستخدام GRPO. تقوم هذه الطريقة بأخذ عينات من مجموعات المسارات وتحسين دالة مكافأة توازن بين نجاح المهمة وتكلفة التنفيذ.
- دالة المكافأة: $R(\tau) = \mathbb{I}[\text{success}] - \lambda \cdot C(\tau)$ ، حيث $C(\tau)$ هو إجمالي وقت التنفيذ المحسوب بناءً على عدد الخطوات، والتوكنز المولدة بواسطة النماذج عالية/منخفضة الدقة، وعبء الموجه. لا يتطلب GRPO تعلم دالة قيمة منفصلة، مما يجعله مناسباً للمكافآت المتفرقة طويلة المدى.

المساهمات الرئيسية

إطار عمل ديناميكي لخلط الدقة: نهج جديد يقلل تكاليف الاستنتاج بشكل كبير للمهام الوكيلية طويلة المدى مع الحفاظ على معدلات نجاح المهام، معالِجًا عدم التطابق بين التكميم الثابت والمتطلبات الديناميكية للوكيل.
موجه خفيف الوزن: تقديم موجه يمتلك فقط ~2-3% من معلمات النموذج اللغوي الموجه، وهو كافٍ لتحديد الخطوات الحرجة للدقة وتعلم سياسة توجيه فعالة.
التحسين القائم على التعلم التعزيزي (RL): استخدام GRPO لتحسين أداء المهمة وتكلفة الاستنتاج بشكل مشترك، متجاوزاً الإشراف الثابت لتعلم سياسة توازن بين جبهة باريتو (Pareto frontier) للدقة وزمن الاستجابة.

النتائج التجريبية

تم تقييم الإطار على اثنين من الاختبارات المرجعية للوكلاء القائمة على النصوص: WebShop (التسوق عبر الإنترنت) و ALFWorld (مهام منزلية مجسدة)، باستخدام نماذج Qwen3 (1.7B و 4B) مع تكميم AWQ و GPTQ.

المفاضلة بين الدقة والتكلفة: يتفوق DMR باستمرار على النماذج المرجعية "المكممة دائماً". في العديد من التكوينات (مثل 4B AWQ على ALFWorld)، يطابق DMR أو يتفوق على معدلات نجاح النماذج كاملة الدقة (BF16) مع تطلب وقت أقل بشكل ملحوظ.
التعافي من التدهور: في السيناريوهات التي يكون فيها النموذج المرجعي "المكمم دائماً" ضعيف الأداء (مثل 1.7B GPTQ على WebShop)، يستعيد DMR ما يصل إلى 93% من فجوة الأداء بين النموذج المكمم والنموذج كامل الدقة.
التحكم في الميزانية: يتحكم معامل ميزانية الدقة العالية ( $K$ ) بفعالية في المفاضلة. قيم $K$ الأقل تعطي الأولوية لتقليل زمن الاستج، بينما قيم $K$ الأعلى تستعيد المزيد من الدقة.
دراسات الاستئصال (Ablation Studies):
- صقل RL: يؤدي صقل GRPO عموماً إلى نتائج أفضل مقارنة بموجه KL-ST الخاضع للإشراف وحده، خاصة في الإعدادات المعقدة.
- عمق الموجه: قدرة الموجه ليست عائقاً؛ حيث وُجد أن الموجه ذو الـ 8 طبقات قريب من المستوى الأمثل، بينما أظهرت الموجهات الأعمق أو الأقل عمقاً تأثيراً ضئيلاً أو سلبياً على الأداء.
- حساسية العتبة: اختيار عتبة KL ( $\tau$ ) قوي ضمن "المنطقة المتفرقة" لتوزيع KL، لكنه يفشل إذا قطعت العتبة منطقة كثيفة ذات قيم متشابهة.

الأهمية والادعاءات

يدعي البحث أن التوجيه الديناميكي لخلط الدقة (DMR) يعيد النظر بفعالية في اختيار الدقة من منظور اتخاذ القرار المتسلسل. ويوضح أن التحكم الديناميكي في الدقة على مستوى الخطوة هو استراتيجية قابلة للتطبيق في الإعدادات الوكيلية، مما يسمح للوكلاء بالاستفيد من نقاط القوة المتكاملة للنماذج كاملة الدقة والمكممة. من خلال تحديد وتطبيق الدقة العالية بشكل انتقائي فقط للخطوات الحرجة، يحقق DMR مقايضة متفوقة بين الدقة والتكلفة مقارنة بالنماذج أحادية الدقة. يضع المؤلفون هذا العمل كخطوة نحو جعل الوكلاء اللغويين (LLM agents) طويلي المدى أكثر جدوى من الناحية الحسابية دون التضحية بالمتانة المطلوبة للتفاعلات المعقدة في العالم الحقيقي. ويُقترح في العمل المستقبلي توسيع نطاق DMR ليشمل مجموعات دقة أغنى وبيئات نشر ذات نوى (kernels) أصلية منخفضة البت.