Controlled iterative refinement of large language model responses improves response quality under blind evaluation across domains and stopping policies
تثبت هذه الورقة أن إطار عمل صقل تكراري محكوم وقابل للتدقيق يحسن جودة وكفاءة استجابة النماذج اللغوية الكبيرة بشكل كبير عبر مجالات وسياسات توقف متنوعة مقارنة بالتوليد المباشر، بينما تتحدى الادعاءات الشاملة بأن التقييم الأكثر تعقيداً أو استراتيجيات التوقف التكيفية هي دائماً الأفضل.
في عالم الذكاء الاصطناعي، تُعد النماذج اللغوية الكبيرة أدوات قوية يمكنها الكتابة، والاستنتاج، وشرح الأفكار المعقدة. ومع ذلك، نادراً ما يكون الحصول على إجابة مثالية منها عملية من خطوة واحدة؛ فغالباً ما تحتوي المسودة الأولى التي يولدها الحاسوب على أخطاء، أو تفتقر إلى التفاصيل الرئيسية، أو تفتقر إلى العمق اللازم. ولإصلاح ذلك، طور الباحثون طريقة تسمى "التحسين التكراري"، حيث يُطلب من الحاسوب نقد عمله الخاص والمحاولة مرة أخرى، تماماً مثل كاتب يراجع مسودته. والأمل هو أنه من خلال تكرار هذه الدورة من الكتابة والتصحيح، ستكون النتيجة النهائية أفضل بكثير. ومع ذلك، ظهرت مشكلة رئيسية: عندما يحكم الحاسوب على عمله الخاص، يمكن أن يكون منحازاً، وغالباً ما يثني على أخطائه أو يفشل في رؤية عيوبه. علاوة على ذلك، لا توجد قاعدة واضحة لمتى يتوقف المرء عن تحسين الإجابة؛ إذ يمكن أن يؤدي الاستمرار في التحرير أحياناً إلى جعل الإجابة أسوأ أو مجرد إهدار لقدرة الحوسبة دون إضافة قيمة.
لقد سعى فريق من الباحثين في جامعة القاضي عياض بالمغرب لحل هذه المشكلات من خلال إنشاء نظام محكوم بدقة لتحسين إجابات الذكاء الاصطناعي. وبدلاً من ترك نموذج واحد يقوم بكل شيء، قاموا بفصل الأدوار إلى ثلاثة أجزاء متميزة: "كاتب" يولد الإجابات، و"ناقد" يقيم ويشخص العيوب، و"حكم أعمى" يقيس الجودة النهائية دون معرفة كيفية إنتاج الإجابة. صُمم هذا الفصل لمنع النظام من خداع نفسه. واختبر الباحثون هذا النهج عبر مجموعة متنوعة من المواضيع، من العلوم والقانون إلى الأخلاق والاقتصاد، باستخدام تجربتين مختلفتين لمعرفة ما إذا كانت طريقتهم تعمل بالفعل بشكل أفضل من مجرد طلب الإجابة من الحاسوب لمرة واحدة.
ركزت التجربة الأولى على الآليات الداخلية للنظام. بنى الفريق إعداداً يتضمن عشرين سؤالاً محدداً، واختبر ما إذا كان إزالة بعض ميزات السلامة سيضر بجودة الإجابة النهائية. وقارنوا نظامهم الكامل، الذي يتضمن "حارس التراجع" لمنع الإجابة من التدهور في الحقائق المهمة، بنسخ تفتقر إلى هذه الحمايات. كما اختبروا ما إذا كان طلب فحص الناقد للإجابة عدة مرات قبل اتخاذ قرار ما يستحق الجهد الإضافي. كانت النتائج كاشفة؛ فالنسخة الأكثر اكتمالاً من نظامهم لم تنتج أعلى الدرجات. في الواقع، حققت نسخة أبسط لا تستخدم فحوصات متعددة أفضل جودة ملحوظة، مستخدمة حوالي نصف موارد الحوسبة التي استهلكها الإعداد الأكثر تعقيداً. يشير هذا إلى أن إضافة المزيد من طبقات الفحص الداخلي لا تؤدي تلقائياً إلى نتائج أفضل، ويمكن أن تكون أحياناً عبئاً غير ضروري.
أما التجربة الثانية فقد نظرت في كيفية سلوك النظام عندما يكون "الناقد" و"الكاتب" نموذجين مختلفين من نماذج الحاسوب مقابل كونهما نفس النموذج. كما اختبروا طريقتين مختلفتين لتقرير متى يتوقف التحرير: حد ثابت من ثماني محاولات، وقاعدة ديناميكية تتوقف بمجرد توقف الإجابات عن التحسن. وجد الباحثون أنه في كل حالة استخدموا فيها طريقة التحسين التكراري الخاصة بهم، كانت الإجابات النهائية أفضل من المحاولات الأصلية ذات المرة الواحدة. ومع ذلك، لم تكن الفوائد موحدة؛ فعندما استخدم النظام قاعدة توقف ديناميكية، خفض تكلفة الحوسبة بأكثر من النصف، لكن هذه الكفاءة جاءت مع انخفاض طفيف وملموس في الجودة عندما كان الحكم النهائي نموذجاً مختلفاً عن النموذج الذي قام بالتحرير. كان هذا التفاعل مهماً؛ فقاعدة التوقف نفسها تصرفت بشكل مختلف اعتماداً على النموذج الذي يعمل كناقد.
ولعل الاكتشاف الأكثر أهمية هو أن الباحثين لم يتمكنوا من دعم فكرة أن الأساليب الأكثر تعقيداً هي الأفضل دائماً. فقد وجدوا أن استخدام نموذج مختلف للحكم على العمل لم يضمن نتيجة أفضل، كما أن استخدام قاعدة توقف ديناميكية لم يحافظ دائماً على الجودة. أظهرت الدراسة أنه بينما يتفوق التحسين المنضبط باستمرار على محاولة واحدة لتوليد إجابة، فإن الخيارات المحددة بشأن كيفية التقييم ومتى التوقف تعتمد بشدة على الإعداد المحدد. وخلص الباحثون إلى أنه لا توجد قاعدة عالمية تقول إن "زيادة أخذ العينات" أو "التقييم عبر النماذج" هو الأفضل دائماً. بدلاً من ذلك، يتطلب النهج الأفضل توازناً دقيقاً بين تكلفة الحوسبة وجودة النتيجة، بما يتناسب مع النماذج والمهام المعنية. ومن خلال إبقاء العملية شفافة وقابلة للتدقيق، أثبتوا أنه يمكننا تحسين استجابات الذكاء الاصطناعي دون الوقوع في فخ خداع الذات، ولكن يجب أن نظل حذرين بشأن افتراض أن المزيد من التعقيد يعني أداءً أفضل.
ملخص تقني: التحسين التكراري المنضبط لاستجابات النماذج اللغوية الكبيرة
1. بيان المشكلة
يوفر التحسين التكراري مساراً لتحسين استجابات النماذج اللغوية الكبيرة (LLMs) دون الحاجة إلى تحديثات التدرج (gradient updates)، ومع ذلك تواجه النهج الحالية ثلاثة تحديات حرجة:
تحيز التقييم الذاتي: غالباً ما تعاني النماذج التي تولد وتُقيّم نصوصها الخاصة من تفضيل الذات، أو تحيز الإطناب (verbosity bias)، أو عدم كفاية اكتشاف الأخطاء، مما يؤدي إلى إشارات تغذية راجعة مشوهة.
التحقق الدائري: تستخدم العديد من الدراسات نفس إشارة التقييم الداخلي كآلية للتحكم في عملية التحسين وكدليل على النجاح في آن واحد، مما يخلق خطراً من الدائرية حيث يتم الخلط بين مقياس التحسين ومقياس النتيجة.
المقايضات غير المنضبطة: ينطوي التحسين على تكاليف حوسبية (توكنز/رموز) دون ضمان أن الجولات الهامشية تحسن الجودة. علاوة على ذلك، قد ترتفع الدرجات الإجمالية بينما تتدهور المعايير المحمية (مثل الواقعية/الدقة) بصمت.
أثبتت الأدبيات الموجودة أن الحلقات التكرارية يمكن أن تساعد (مثل Self-Refine و Reflexion)، وأن نموذج "النموذج كمُقيّم" (LLM-as-a-judge) يعاني من تحيزات محددة. ومع ذلك، هناك نقص في المنهجيات الصارمة والقابلة للتدقيق التي تفصل بين عملية التوليد، وإشارة التحكم عبر الإنترنت، وقياس النتيجة المستقل لتحديد ما إذا كانت فوائد التحسين قوية عبر مختلف هويات المُقيّم وسياسات التوقف.
2. المنهجية
تقترح الورقة إطار عمل استدلالي منضبط وقابل للتدقيق يفصل بين أربعة أدوار متميزة:
المولد (G): ينتج الإجابة الأولية (A0) والمراجعات المرشحة اللاحقة (Ct).
مُقيّم الحلقة (EL): يُقيم المرشحين بناءً على خمسة أبعاد (الواقعية، التماسك، الدعم الاستدلالي، عمق التحليل، والمتانة اللغوية) ويقدم تغذية راجعة تشخيصية. يعمل إما في تكوين "نفس النموذج" أو "النماذج المتقاطعة".
متحكم الحالة الحتمي: آلية قائمة على القواعد تقرر ما إذا كان المرشح سيحل محل الحالة المحتفظ بها (Rt−1). لا تعتمد هذه الآلية على "الحكم" الذاتي للمُقيّم وحده، بل تفرض:
عتبة الربح الإجمالي: حد أدنى من الربح المعياري (γ=0.02).
حارس المعايير الحرجة: لا يمكن للواقعية والدعم الاستدلالي التراجع بأكثر من حد التسامح المسموح به (τc=0.05).
عقوبات تشخيصية: خصومات حتمية لعيوب محددة (مثل عدم تطابق الاستشهادات أو الادعاءات غير المدعومة).
فيتو المُقيّم: أي "رفض" صريح من المُقيّم يمنع القبول حتى لو ارتفعت الدرجة الإجمالية.
مُقيّم النتيجة الأعمى (EB): نموذج ثالث ثابت يقوم بتقييم السؤال والاستجابة النهائية فقط. وهو أعمى عن مسار التوليد، والدرجات الداخلية، وعدد التكرارات، والتكوين المستخدم. يوفر هذا المقيّم مقياساً مشتركاً وغير متحيز لمقارنة الظروف التجريبية المختلفة.
سياسات التوقف:
الحد الأقصى الصلب (Hard-Cap): حد ثابت قدره 8 محاولات تحسين.
الديناميكي (Dynamic): توقف تكيفي بناءً على إشارات داخلية (مثل سلاسل الرفض، ضعف التقدم، أو استقرار الدرجة).
التصميم التجريبي: تتكون الدراسة من استقصاءين متكاملين:
الدراسة 1 (استئصال المكونات - Component Ablation): تستخدم 20 سؤالاً مُعداً عبر 8 مجالات. وتقارن التكوين الكامل مع متغيرات تفتقر إلى أخذ عينات التجميع (ensemble sampling)، أو حارس المعايير الحرجة، أو التقييم الصارم.
الدراسة 2 (التفاعل بين المُقيّم والتوقف): تستخدم 50 سؤالاً من مجموعة FLASK-Hard في تصميم عاملي 2×2 (مُقيّم "نفس النموذج" مقابل "النماذج المتقاطعة" × توقف "ديناميكي" مقابل "الحد الأقصى الصلب"). ومن الأهمية بمكان أن هذه الدراسة تستخدم مسارات رئيسية مشتركة، حيث تُشتق عمليات التشغيل الديناميكية من البادئة (prefix) الدقيقة لعمليات تشغيل الحد الأقصى الصلب لضمان مقارنة عادلة للتكلفة.
3. المساهمات الرئيسية
الفصل الهيكلي: صياغة فصل قابل لإعادة الإنتاج بين التوليد، وتقييم الحلقة عبر الإنترنت، واستبدال الحالة الحتمي، وقياس النتيجة الأعمى. هذا يمنع الخلط بين إشارة التحكم ومقياس النتيجة.
قاعدة التحكم متعددة المعايير: تقدم قاعدة قابلة للتدقيق خطوة بخوة تجمع بين العقوبات التشخيصية، وعتبات الحد الأدنى للربح، وفيتو المُقيّم، والحماية المحدودة للمعايير الحرجة (الواقعية/الدليل)، متجنبةً الادعاء بتحقيق أمثلة باريتو (Pareto optimization) كاملة مع ضمان السلامة ضد التراجع.
الأدلة التجريبية المزدوجة: تقدم مجموعتين متميزتين من الأدلة: استئصال مكونات متعدد المجالات، وتصميم عامل 2×2 مقترن بصرامة باستخدام مسارات مشتركة، مما يعزل آثار هوية المُقيّم وسياسة التوقف.
تقرير الجودة مقابل التكلفة: تعرض التكاليف التشغيلية (التوكنز) جنباً إلى جنب مع الجودة المُقيمة بشكل أعمى، مما يكشف أن التحسين (رغم تفوقه عموماً على التوليد المباشر) يجعل فوائد زيادة أخذ عينات المُقيّم، والتقييم المتقاطع للنماذج، والتوقف التكيفي أمراً مشروطاً وليس عالمياً.
4. النتائج
الدراسة 1 (الاستئصال):
حقق تكوين "لا يوجد تجميع" (No Ensemble) أعلى درجة مُقيمة بعمق (0.6673) مع استخدام 50.5% أقل من التوكنز مقارنة بالتكوين الكامل.
أظهر التحليل الإحصائي المصحح بطريقة "هولم" (Holm-corrected) أن إزالة التجميع، أو حارس المعايير الحرجة، أو التقييم الصارم، لم يغير بشكل كبير الجودة العمياء مقارنة بالتكوين الكامل.
الدراسة 2 (التفاعل بين المُقيّم والتوقف):
تفوقت جميع التكوينات التكرارية الأربعة على التوليد المباشر في المقارنات المزدوجة.
حقق تكوين "التقاطع مع الحد الأقصى الصلب" (Cross Hard-Cap) أعلى متوسط درجة عمياء (0.6611).
أظهر تكوين "نفس النموذج الديناميكي" (Same Dynamic) أعلى كفاءة ملحوظة.
قلل التوقف الديناميكي من استخدام التوكنز بنسبة 51.9% (في حالة النماذج المتقاطعة) و 55.8% (في حالة نفس النموذج) مقارنة بالحد الأقصى الصلب.
تكلفة الجودة: تسبب التوقف الديناميكي في تكلفة جودة ملموسة فقط تحت التقييم المتقاطع (بناءً على تصحيح هولم p=0.000413).
تأثير التفاعل: لم تكن هوية المُقيّم ذات دلالة إحصائية ضمن سياسة التوقف الواحدة، ولكن التفاعل بين هوية المُقيّم وسياسة التوقف كان مهماً (p=0.00346). وهذا يشير إلى أن نفس قاعدة التوقف تسلك سلوكاً مختلفاً اعتماداً على النموذج الذي يولد الإشارة الداخلية.
5. الأهمية والادعاءات
تدعي الورقة أن التحسين التكراري المنضبط يحسن جودة الاستجابة المُقيمة بعمق عبر جميع الإعدادات المختبرة مقارنة بالتوليد المباشر. ومع ذلك، فهي ترفض صراحةً الادعاءات الشمولية بأن زيادة أخذ عينات المُقيّم، أو التقييم المتقاطع للنماذج، أو التوقف التكيفي هي دائماً الأفضل.
تكمن الأهمية الأساسية في إثبات أن:
هوية المُقيّم وسياسة التوقف يتفاعلان: فعالية قاعدة التوقف تعتمد على النموذج الذي يقدم الإشارة. القاعدة التي تعمل جيداً مع نموذج ما قد تؤدي أداءً أقل مع نموذج آخر.
توجد مقايضات بين الجودة والتكلفة: يمكن للتوقف التكيفي تقليل استخدام التوكنز بشكل كبير، ولكن هذه الكفاءة قد تأتي على حساب الجودة اعتماداً على تكوين المُقيّم.
البساطة قد تتفوق على التعقيد: في دراسة الاستئصال، تفوق التكوين الأبسط (No Ensemble) على التكوين الكامل من حيث الدرجة والكفاءة.
تخلص الدراسة إلى أنه بينما يعد التحسين التكراري استراتيجية قابلة للتطبيق، فإن نشره يتطلب معايرة دقيقة للتفاعل بين المُقيّم وسياسة التوقف، بدلاً من افتراض أن "المزيد من التحسين" أو "التحقق المتقاطع للنماذج" هو بالضرورة الأفضل. يوفر إطار العمل طريقة قابلة للتدقيق وإعادة الإنتاج لقياس هذه المقايضات دون الخلط بين آلية التحكم ومقياس النتيجة.