Adaptive Stopping for Multi-Turn LLM Reasoning

إليك ملخص تقني مفصل لورقة البحث بعنوان "التوقف التكيفي للاستدلال متعدد الدور في النماذج اللغوية الكبيرة" (Adaptive Stopping for Multi-Turn LLM Reasoning) من إعداد تشو وآخرون.

1. بيان المشكلة

تعتمد النماذج اللغوية الكبيرة (LLMs) بشكل متزايد على الاستدلال متعدد الدور (مثل التوليد المعزز بالاسترجاع التكيفي (Adaptive RAG) والوكلاء من نمط ReAct) لحل المشكلات المعقدة. تقوم هذه الأنظمة باسترجاع المعلومات، أو الاستدلال، أو اتخاذ الإجراءات بشكل تكراري حتى يتم الوصول إلى إجابة نهائية. ومع ذلك، يظل هناك تحدٍ حاسم: متى يجب التوقف.

• القيود الحالية: تستخدم الأساليب الحالية قواعد توقف استدلالية (مثل عتبات الثقة، أو ميزانيات أدوار ثابتة). وتفتقر هذه الأساليب إلى الضمانات الرسمية بأن التنبؤ النهائي يحتوي على الإجابة الصحيحة.
• المخاطر: يؤدي التوقف المبكر جداً إلى إجابات خاطئة؛ بينما يؤدي الاستمرار لفترة طويلة جداً إلى زيادة زمن الاستجابة (latency)، والتكلفة، وخطر تراكم الأخطاء (الضجيج).
• الفجوة في التنبؤ الموحد (Conformal Prediction - CP): بينما يوفر التنبؤ الموحد ضمانات تغطية لعينة محدودة (بمعنى ضمان وجود الإجابة الصحيحة في مجموعة التنبؤ باحتمالية $1-\alpha$)، فإن أساليب التنبؤ الموحد الحالية للنماذج اللغوية الكبيرة مصممة للمخرجات أحادية الخطوة (single-shot). وهي لا تستطيع التعامل مع الطبيعة التسلسلية والتكيفية لخطوات العمل متعددة الدور حيث يختلف عدد الأدوار لكل سؤال. كما أن التطبيق الساذج للتنبؤ الموحد عند كل دور يفشل في ضمان التغطية الشاملة ويتسبب في تكاليف أخذ عينات تركيبية عالية.

2. المنهجية: MiCP (التنبؤ الموحد للنماذج اللغوية متعددة الدور)

يقترح المؤلفون MiCP، وهو أول إطار عمل للتنبؤ الموحد مصمم خصيصاً للاستدلال متعدد الدور في النماذج اللغوية الكبيرة. وهو يدمج ثلاثة مكونات أساسية:

أ. صياغة المشكلة

يعامل MiCP العملية متعددة الدور كسلسلة من الحالات $r_i = (r_i^0, \dots, r_i^{T-1})$. الهدف هو تحديد وقت التوقف $t^*$ وبناء مجموعة تنبؤ $C(x)$ تحقق:
$$P(y \in C(x)) \geq 1 - \alpha$$
حيث $y$ هي الحقيقة الأرضية (ground truth). يجب أن تحتوي المجموعة $C(x)$ إما على الإجابة الصحيحة أو تتضمن تسمية "لا يمكن الإجابة" (Can't Answer) إذا كانت الثقة غير كافية.

ب. المرحلة الأولى: تصفية الاسترجاع (المعايرة)

لمنع الوثائق المسترجعة غير ذات الصلة من تلويث السياق:

• الأهمية المتفائلة (Optimistic Relevance): لكل فقرة ذهبية (gold passage)، يحسب النظام أقصى درجة صلة عبر جميع الأدوار التي تظهر فيها.
• عتبة التنبؤ الموحد: يتم معايرة عتبة $\hat{q}_{ret}$ على مجموعة بيانات محجوزة لضمان الاحتفاظ بجزء لا يقل عن $(1-\alpha_{ret})$ من الفقرات الذهبية القابلة للاسترجاع، مما يؤدي إلى تصفية الضجيج منخفض الأهمية في كل دور.

ج. المرحلة الثانية: التوقف المبكر التكيفي وتوزيع ميزانية الخطأ

هذا هو الابتكار الجوهري. بدلاً من استخدام ميزانية خطأ عالمية واحدة، يقوم MiCP بتوزيع ميزانية الخطأ $\alpha$ عبر الأدوار.

• إشارة عدم اليقين: يستخدم الاعتلاج المنظم (Normalized Entropy - NE) لتوزيع الإجابات المأخوذة من العينات. يشير NE المنخفض إلى ثقة عالية (العينات تتجمع حول إجابة واحدة)؛ ويشير NE المرتفع إلى عدم اليقين.
• تفكيك الميزانية: يتم تفكيك ميزانية الخطأ الإجمالية $\alpha$ إلى ميزانيات لكل دور $\alpha_t$.
  • الأسئلة السهلة (التي تمت الإجابة عليها مبكراً) تستهلك ميزانية أقل.
  • الأسئلة الأصعب (التي تتطلب المزيد من الأدوار) تحجز ميزانية أكبر.
  • يأخذ التوزيع في الاعتبار نسبة الأسئلة "القابلة للإجابة" في كل دور مقابل تلك غير القابلة للإجابة.
• قاعدة التوقف: في كل دور $t$، يحسب النموذج الـ NE. إذا انخفضت الدرجة عن عتبة $\hat{q}_t$ المعايرة الخاصة بالدور، يتوقف النموذج.
• بناء مجموعة التنبؤ:
  • إذا تم التوقف مبكراً ($t^* < T$): يتم بناء مجموعة التنبؤ من مجموعات الإجابات المتراكمة حتى $t^*$.
  • إذا استُنفدت الأدوار ($t^* = T$): تتضمن المجموعة جميع الإجابات المتراكمة بالإضافة إلى تسمية "لا يمكن الإجابة" للحفاظ على ضمانات التغطية للأسئلة غير القابلة للإجابة.

د. مقياس التقييم المركب

يقدم المؤلفون مقياساً جديداً $L$ لتقييم المقايضة بين الموثوقية والكفاءة:
$$L = \gamma \cdot \bar{T} - \frac{\sum n_{corr}^t / c_{ans}^t}{\sum n_{wrong}^t / (1 - c_{ans}^t)}$$
هذا المقياس يكافئ التوقف المبكر عند الإجابات الصحيحة ويعاقب التوقف الخاطئ في الأسئلة الصعبة، موازناً بين عدد الأدوار ($\bar{T}$) والدقة.

3. المساهمات الرئيسية

1. أول إطار عمل للتنبؤ الموحد متعدد الدور: يعد MiCP أول طريقة تطبق التنبؤ الموحد على خطوط عمل الاستدلال متعدد الدور، مما يوفر ضمانات تغطية رسمية للتوقف التكيفي.
2. توزيع الخطأ متعدد المستويات: استراتيجية مبتكرة توزع ميزانية الخطأ عبر الأدوار، مما يسمح للنموذج بالتوقف مبكراً في الأسئلة السهلة مع الاحتفاظ بالميزانية للأسئلة الصعبة، وكل ذلك مع الحفاظ على التغطية النهائية.
3. خط عمل موحد: يقوم إطار العمل بمعايرة تصفية الاسترجاع، وقرارات التوقف، ومجموعات التنبؤ النهائية بشكل مشترك، مما يدعم كلاً من Adaptive RAG ووكلاء ReAct.
4. مقياس تقييم جديد: مقياس مركب يقيم صراحة المقايضة بين صلاحية التغطية وكفاءة الاستدلال (عدد الأدوار/التكلفة).

4. النتائج التجريبية

قيم المؤلفون MiCP على خمسة معايير مرجعية (Natural Questions, TriviaQA, HotpotQA, MuSiQue, 2WikiMultiHopQA) باستخدام ثلاثة نماذج لغوية كبيرة (Gemma-2-9B-IT, Qwen3.5-9B, GPT-4o-mini) في سياقي Adaptive RAG وReAct.

• ضمانات التغطية (RQ1):
  • نجح MiCP في الحفاظ على معدل التغطية المستهدف ($1-\alpha$) لكل من تصفية الاسترجاع (الاحتفاظ بالفقرات الذهبية) ومجموعات التنبؤ النهائية عبر جميع مجموعات البيانات والنماذج.
  • التغطية التجريبية التزمت بالضمان النظري أو تجاوزته باستمرار، حتى مع تفعيل التوقف المبكر.
• مكاسب الكفاءة (RQ2):
  • تقليل الأدوار: قلل MiCP متوسط عدد الأدوار بشكل كبير مقارنة بخط الأساس "عدم التوقف المبكر" (الذي يشغل جميع الأدوار $T$). على سبيل المثال، في 2WikiMultiHopQA، انخفضت الأدوار من 3.0 إلى حوالي 1.7–2.5 اعتماداً على النموذج.
  • مجموعات تنبؤ أصغر: من خلال تصفية الإجابات المزعجة من الأدوار المتأخرة غير الضرورية، تم تقليل حجم مجموعة التنبؤ.
  • أداء النموذج: أظهرت النماذج الأحدث (Qwen3.5, GPT-4o-mini) مكاسب كفاءة أكبر، حيث استطاعت التمييز بشكل أفضل بين الأسئلة القابلة للإجابة وغير القابلة للإجابة.
• التحسين (RQ3):
  • أدى البحث الشبكي (Grid search) لتحسين توزيع ميزانية الخطأ ($\alpha_t$) إلى تحسين الهدف المركب $L$ بنجاح، مما أدى إلى قرارات توقف أكثر عقلانية مقارنة بالتوزيع الموحد.

5. الأهمية

تعالج هذه الورقة عقبة حرجة في نشر الوكلاء اللغويين في المجالات عالية المخاطر (التمويل، الرعاية الصحية) حيث تكون الموثوقية أمراً بالغ الأهمية.

• السلامة: توفر أول ضمان رياضي رسمي بأن النظام متعدد الدور التكيفي لن "يتخلى" عن إجابة صحيحة أو يتخيل إجابة خاطئة دون شبكة أمان ("لا يمكن الإجابة").
• كفاءة التكلفة: تتيح للأنظمة التوقف عن الاستدلال بمجرد الوصول إلى الثقة الكافية، مما يقلل بشكل كبير من تكاليف الاستدلال وزمن الاستجابة دون التضحية بالدقة.
• القدرة على التعميم: إطار العمل قابل للتطبيق على أي نموذج استدلال متعدد الدور (RAG، ReAct، استخدام الأدوات)، مما يجعله خطوة تأسيسية نحو وكلاء ذكاء اصطناعي مستقلين وموثوقين.