ملخص تقني: ما وراء الانحياز الساكن: خوارزميات "بانديت" متعددة الدقة متكيفة مع وكلاء متحسنين

تعريف المشكلة

يتناول هذا العمل امتدادًا محددًا لمشكلة "البانديت" متعدد الأذرع العشوائي (stochastic multi-armed bandit - MAB) تُعرف باسم "البانديت متعدد الأذرع متعدد الدقة" (Multi-Fidelity Multi-Armed Bandits - MF-MAB). في أطر عمل MF-MAB التقليدية، يمكن تقييم الأذرع باستخدام مصادر تغذية راجعة متعددة (دقات/مستويات دقة) توازن بين التكلفة والدقة. تفترض الأطر التقليدية وجود انحياز ساكن بين المصادر منخفضة الدقة (الرخيصة) وعالية الدقة (المكلفة)؛ حيث يكون التفاوت ثابتًا بغض النظر عن عدد مرات الاستعلام من المصدر منخفض الدقة.

ومع ذلك، فإن التطبيقات الحديثة التي تتضمن محاكيات قائمة على التعلم ونماذج لغوية كبيرة (LLMs) كأدوات تقييم، تُظهر ديناميكية مختلفة: يمكن للمصدر الوكيل منخفض الدقة أن يتحسن مع المزيد من المعايرة أو الاستخدام المتكرر. يبحث البحث في إطار عمل MF-MAB مقيد بالميزانية حيث:

1. توجد $K$ من الأذرع ذات متوسط مستهدف عالي الدقة $\mu^{(H)}_k$ ثابت.
2. يوفر المصدر منخفض الدقة ملاحظات $Y^{(L)}_{k,\tau}$ تتطور بناءً على عدد الاستعلامات $\tau$ التي يتم إجراؤها لهذا الذراع المحدد.
3. يبدأ المصدر منخفض الدقة بوجود عدم تطابق مع الهدف عالي الدقة، ولكن هذا عدم التطابق يتضاءل مع زيادة استعلام المصدر (على سبيل المثال، عبر المعايرة).
4. الهدف هو تقليل الندم المرجح بالتكلفة (cost-weighted pseudo-regret)، والذي يُعرف بأنه التكلفة التراكمية المتكبدة نتيجة اختيار أذرع غير مثالية، بدلاً من مجرد عدد السحبات.

التحدي الجوهري يكمن في تحديد متى يجب التوقف عن الاستعلام من المصدر منخفض الدقة الذي يتحسن والارتقاء إلى المصدر عالي الدقة المكلف. قد تؤدي قاعدة العتبة الثابتة إلى الارتقاء مبكرًا جدًا، مما يضيع فرصة تحول المصدر منخفض الدقة إلى مصدر كافٍ الدقة من خلال الاستمرار في أخذ العينات الرخيصة.

المنهجية

نمذجة الوكيل المتحسن

قدم المؤلفون حداً لعدم التطابق في المتوسط المختار لالتقاط التفاوت المتطور. فبدلاً من افتراض انحياز ثابت $|\mu^{(L)}_k - \mu^{(H)}_k| \le \zeta$، يفترضون شهادة متطورة $U_k(n)$ بحيث يكون إجمالي عدم التطابق محدودًا:
$$\sum_{\tau=1}^n |\mu^{(L)}_k(\tau) - \mu^{(H)}_k| \le U_k(n)$$
يؤدي هذا إلى حد عدم تطابق في المتوسط المختار $B_k(n) = \sup_{s \ge n} U_k(s)/s$، والذي يحدد التفاوت بين المتوسط التجريبي منخفض الدقة والهدف الحقيقي عالي الدقة. مع زيادة $n$، تتناقص $B_k(n)$، مما يعكس تحسن موثوقية الوكيل.

خوارزمية TACC

يقترح البحث خوارزمية المرافق المتكيف المستند إلى العتبة (TACC). تعمل TACC على قالب قائم على الثقة ولكنها تقدم قاعدة استمرار محدودة للمصدر منخفض الدقة.

1. حدود الثقة: تبني TACC حدود الثقة العليا (UCB) للهدف عالي الدقة $\mu^{(H)}_k$ باستخدام كلتا الدقتين.
   • UCB عالي الدقة: فاصل إحصائي قياسي.
   • UCB منخفض الدقة: فاصل إحصائي قياسي بالإضافة إلى تصحيح عدم التطابق $B_k(n)$.
2. اختيار الذراع: تختار الخوارزمية الذراع ذات الدرجة التفاؤلية الأعلى، والتي تُعرف بأنها الحد الأدنى من حدود UCB منخفضة الدقة وعالية الدقة.
3. اختيار الدقة (الابتكار الجوهري):
   • ما قبل العتبة: إذا كان نصف قطر عدم اليقين الإحصائي منخفض الدقة (radius) أعلى من عتبة $\gamma$، تستمر الخوارمة في أخذ العينات منخفضة الدقة.
   • ما بعد العتبة: بمجرد انخفاض نصف القطر الإحصائي عن $\gamma$، فإن القاعدة الثابتة ستنتقل فورًا إلى الدقة العالية. ومع ذلك، تتحقق TACC مما إذا كان الاستمرار المحدود فعالاً من حيث التكلفة.
   • قاعدة الاستمرار: تحسب الخوارزمية الانخفاض المتوقع في تصحيح عدم التطابق $V_{k,t}(s)$ في حال إجراء $s$ من الاستعلامات الإضافية منخفضة الدقة. إذا كان الانخفاض في عدم التطابق كافيًا لإمكانية إثبات عدم مثالية الذراع دون تأكيد عالي الدقة، وكانت تكلفة هذه الاستعلامات الإضافية محدودة (تحديدًا $S_0 \lambda^{(L)} \le \lambda^{(H)}$)، تستمر TACC في أخذ العينات منخفضة الدقة. وإلا، فإنها ترتقي إلى الدقة العالية.

المساهمات الرئيسية

1. صياغة المشكلة: صاغ البحث إطار عمل MF-MAB مع مصادر وكيلة متحسنة، متجاوزًا افتراض الانحياز الساكن السائد في الأدبيات السابقة. كما قدم "حد عدم التطابق في المتوسط المختار" لنمذجة التناقص الديناميكي في التفاوت.
2. تصميم الخوارزمية: تم اقتراح TACC كخوارزمية تفاؤلية تجمع بين اختيار الذراع القياسي وقاعدة استمرار ما بعد العتبة المحدودة. تقرر هذه القاعدة صراحةً ما إذا كان "تحسن" المصدر منخفض الدقة يبرر تأخير الاستعلام عالي الدقة المكلف.
3. التحليل النظري: اشتق المؤلفون حداً للندم يعتمد على الحالة (instance-dependent regret bound). يقسم التحليل الأذرع غير المثالية إلى ثلاثة أصناف:
   • الأذرع السهلة ($A_\gamma$): يتم إثباتها بواسطة الدقة المنخفضة قبل العتبة.
   • الأذرع المتوسطة ($C_\gamma$): لا يتم إثباتها عند العتبة الثابتة ولكن تصبح قابلة للإثبات بعد الاستمرار المحدود في الدقة المنخفضة.
   • الأذرعة الصعبة ($H_\gamma$): تتطلب تأكيدًا عالي الدقة.
     يوضح الحد أن الأذرع المتوسطة المكتشفة، تستبدل TACC تكلفة التأكيد عالي الدقة اللوغاريتمية بتكلفة استمرار منخفضة الدقة محدودة.
4. التحقق التجريبي: تُظهر التجارب على "البانديت" الاصطناعية ومهمة تقييم سياسة "LLM-as-a-judge" (النموذج اللغوي الكبير كحكم) أن TACC تقلل من الندم المرجح بالتكلفة مقارنة بقواعد تعدد الدقة الثابتة (MF-UCB) وقواعد UCB عالية الدقة فقط.

النتائج

التجارب الاصطناعية

في الإعدادات الاصطناعية مع 200 و500 ذراع، حققت TACC باستمرار ندمًا أقل مرجحًا بالتكلفة من UCB وMF-UCB وقواعد الدقة الثنائية الثابتة. كان التفوق أكثر وضوحًا في السيناريوهات ذات التكاليف العالية للدقة العالية (مثل $\lambda^{(H)} = 50$)، حيث أدى تجنب تأكيدات الدقة العالية غير الضرورية عبر الاستمرار المحدود إلى توفير كبير.

تجربة LLM-as-a-Judge

قيم المؤلفون TACC في خط تقييم السياسات حيث كانت الأذرع عبارة عن سياسات مطالبة (prompt-policies) لاستنتاج اللغة الطبيعية (NLI).

• الإعداد: كانت الدقة المنخفضة عبارة عن "حكم ضعيف" (نموذج لغوي كبير أصغر) يتحسن بالمعايرة؛ بينما كانت الدقة العالية عبارة عن "مدقق" (الحقيقة الأرضية).
• النتائج: تفوقت TACC على جميع النماذج المرجعية، بما في ذلك نموذج الاستبعاد المباشر (DNC) الذي استخدم نفس حدود عدم التطابق ولكنه افتقر إلى منطق الاستمرار. قللت TCC من الندم النهائي المرجح بالتكلفة بنسبة تقارب 10-20% مقارم بأفضل النماذج الثابتة، مما يؤكد أن آلية الاستمرار المحدود تستفيد بفعالية من الطبيعة المتحسنة للحكم الضعيف لتجنب الارتقاء المبكر إلى المدقق المكلف.

الأهمية والادعاءات

يزعم البحث أن الأهمية الرئيسية لهذا العمل تكمن في إدراك أن المصادر الوكيلة في أنظمة الذكاء الاصطناعي الحديثة ليست ثابتة. ومن خلال التعامل مع المصدر منخفض الدقة ككيان متحسن، يوضح المؤلفون أن الاستراتيجية المثلى ليست مجرد التبديل بين مستويات الدقة بناءً على عدم اليقين الحالي، بل هي الاستمرار التكيفي في أخذ العينات من المصدر الرخيص إذا كان من المتوقع أن يتحسن بما يكفي لحل الغموض.

صاغ المؤلفون مساهمتهم بتواضع كنموذج معياري ثنائي الدقة. كما أقروا بالقيود، مشيرين إلى أن العمل الحالي يفترض حداً معروفًا لعدم التطابق ويركز على التطور المحلي للذراع (حيث يحدث التحسن فقط عند استعلام ذراع معين)، بدلاً من الضبط الدقيق العالمي للنموذج الذي يؤثر على جميع الأذرع في آن واحد. يعد هذا العمل خطوة تأسيسية نحو استراتيجيات أكثر تعقيدًا لتخصيص الدقة الديناميكية في السياقات التي تتضمن نماذج لغوية كبيرة ومحاكيات قائمة على التعلم.