💬 NLP

The Calibration Floor: Format Repair Can Masquerade as Self-Correction at Small-to-Mid Scale

تُظهر هذه الورقة أن مكاسب الدقة الملحوظة من المراجعة الذاتية للنماذج اللغوية مدفوعة في كثير من الأحيان باستعادة التنسيق عند حد استخراج الإجابة بدلاً من تحسينات حقيقية في الاستنتاج، وهي ظاهرة تشتد مع حجم النموذج وتجعل معظم ادعاءات التصحيح الذاتي ضئيلة عندما يتم عزلها سببيًا عن عيوب التحليل.

المؤلفون الأصليون: Mingguang Chen, Bo Qu, Licheng Wang

نُشر 2026-08-06

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Mingguang Chen, Bo Qu, Licheng Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

لغز التصحيح الذاتي العظيم للذكاء الاصطناعي

تخيل أنك طالب تؤدي اختباراً صعباً في الرياضيات. كتبت إجابتك، ثم حصلت على فرصة ثانية لمراجعة عملك. لاحظت خطأً، فصححته وكتبت إجابة جديدة. إذا كانت إجابتك الجديدة أفضل، فقد نجحت في عملية "التصحيح الذاتي". في عالم الذكاء الاصطناعي، يعد هذا أمراً بالغ الأهمية. يعمل العلماء على تعليم نماذج الذاء الاصطناعي لتتصرف مثل ذلك الطالب: تولد إجابة، ثم تنقد منطقها الخاص، وتحاول إصلاح أي أخطاء دون وجود معلم بشري يراقبها. السؤال الكبير الذي يتساءله الجميع هو: هل يجعل هذا الذكاء الاصطناعي أكثر ذكاءً حقاً، أم أنه يجعله فقط أكثر ثقة في أخطائه؟

لفهم الاكتشاف الوارد في الورقة البحثية، نحتاج إلى النظر في كيفية تقييمنا لاختبارات الذكاء الاصطناعي هذه. عادةً، يحاول برنامج كمبيوتر قراءة نص الذكاء الاصطناعي الفوضوي والمتدفق بحرية، ويحاول العثور على الإجابة النهائية، مثل رقم أو خيار حرفي. إذا لم يتمكن البرنامج من العثور على الإجابة لأن الذكاء الاصطناعي نسي كتابتها بوضوح أو نفدت المساحة منه، فإن الكمبيوتر يعتبره مخطئاً. تبحث هذه الورقة في مشكلة خفية: أحياناً، عندما "يصلح" الذكاء الاصطناعي إجابته، فإنه لا يغير رأيه فعلياً بشأن الرياضيات أو الحقائق. بدلاً من ذلك، يغير فقط طريقة كتابة إجابته حتى يتمكن برنامج التقييم أخيراً من قراءتها. الأمر يشبه طالباً كان يعرف الإجابة طوال الوقت لكنه كتبها بحبر غير مرئي؛ وعندما "يصحح" نفسه، فإنه يكتفي بالتحول إلى الحبر الأزرق. ترتفع الدرجة، لكن الطالب لم يتعلم شيئاً جديداً بالفعل. تسأل هذه الورقة: هل نقيس ذكاءً حقيقياً، أم أننا نقيس فقط جودة الخط؟

اكتشاف الورقة الكبير: غالباً ما يكون مجرد إصلاح للتنسيق

هذه الورقة، التي تحمل عنوان "أرضية المعايرة" (The Calibration Floor)، تغوص بعمق في 29 اختباراً مختلفاً شملت نماذج ذكاء اصطناعي بمقاسات متنوعة، من النماذج الصغيرة جداً (0.8 مليار بارامتر) إلى النماذج الكبيرة جداً (تصل إلى 55 مليار بارامتر نشط). وجد الباحثون أن ما يبدو كتحسن هائل في منطق الذكاء الاصطناعي هو في كثير من الأحيان وهم ناتج عن "خلل في التنسيق".

فكر في إجابة الذكاء الاصطناعي كصندوق كنز. "المحتوى" هو الذهب الموجود بالداخل (الإجابة الصحيحة الفعلية)، و"التنسيق" هو القفل الموجود على الصندوق. في حالات كثيرة، لم يجد الذكاء الاصطناعي ذهباً أكثر؛ بل نجح فقط في فتح القفل بشكل أفضل. عندما فصل الباحثون "الذهب" (تغييرات المنطق الحقيقية) عن "القفل" (ما إذا كان بالإمكان قراءة الإجابة)، اكتشفوا شيئاً مفاجئاً: معظم النجاح الظاهري كان مجرد فتح للقفل.

إليك ما وجدوه بعبارات بسيطة:

"السحر" كان مزيفاً في الغالب: عندما نظروا إلى إجمالي التغييرات في الدرجات، بدا أن بعض النماذج أصبحت أفضل بكيد بعد التصحيح الذاتي. ولكن بمجرد تجريدها من إصلاحات التنسيق، كان "الذهب" الحقيقي (تغييرات المنطق الفعلية) شبه معدوم بالنسبة للنماذج الأكثر ذكاءً. في الواقع، بالنسبة للنماذج الكبيرة والقدرة (من فئة 4 إلى 12 مليار بارامتر وحتى النماذج الرائدة الضخمة)، كان تغيير المحتوى الحقيقي هو 0.000 تماماً في حالات كثيرة. كان "التحسن" بالكامل بسبب تمكن الذكاء الاصطناعي أخيراً من كتابة الإجابة بطريقة يمكن للكمبيوتر قراءتها.
النماذج الصغيرة تفسد الأمور بالفعل: كانت النماذج المتناهية الصغر (0.8 و2 مليار بارامتر) مختلفة. لقد غيرت إجاباتها الفعلية، ولكن عادةً نحو الأسوأ. كانت مثل طالب عرف الإجابة، ثم ارتبك أثناء المراجعة، فغير إجابة صحيحة إلى إجابة خاطئة. وجد الباحثون أن هذه النماذج الصغيرة لديها فرصة أعلى بـ 16 إلى 21 مرة لارتكاب تغيير ضار بمنطقها الفعلي مقارم بالنماذج الأكبر.
مشكلة "العصر" (The Squeeze): تصف الورقة حالة "عصر" حيث لا يوجد حجم نموذج مثالي. النماذج الصغيرة لديها مساحة للتحسن ولكنها تفتقر إلى الإشارة التي تخبرها متى تتوقف وتصلح الأشياء (فهي تغير الأشياء كثيراً وبشكل خاطئ غالباً). أما النماذج الكبيرة، فلديها الإشارة لمعرفة متى تكون مخطئة، لكنها نادراً ما تغير إجاباتها الفعلية على الإطلاق، لذا لا يوجد شيء لـ "الحارس" ليستغله. الاستثناء الوحيد كان اختباراً واحداً محدداً (9B TriviaQA)، والذي أظهر فائدة ضئيلة وهامشية، لكنها لم تكن تغييراً جذرياً.

ما فعلوه لإثبات ذلك

لم يكتفِ الباحثون بالتخمين؛ بل بنوا تجربة ذكية لإثبات أن "التحسينات" كانت مجرد تنسيق.

اختبار "فتح القفل": أخذوا نص المنطق الأصلي الفوضوي للذكاء الاصطناعي وأجبروه على استخراج الإجابة مجدداً باستخدام قواعد صارمة (مثل قيود القواعد اللغوية) تضمن أن تكون الإجابة قابلة للقراءة. عندما فعلوا ذلك، اختفت التحسينات "السحرية". على سبيل المثال، في اختبار بدا فيه أن الذكاء الاصطناعي حقق مكسباً قدره +0.145 في الدقة، أدى فرض التنسيق القابل للقراءة إلى انخفاض هذا المكسب إلى +0.053. وفي حالة أخرى، تحول المكسب البالغ +0.020 إلى خسارة قدرها -0.017 بمجرد إزالة ضجيج التنسيق. أثبت هذا أن "الإصلاح" كان يتعلق أساساً بجعل الإجابة قابلة للقراءة، وليس بكونها أكثر ذكاءً.
خدعة "قلب الإشارة": أجروا نفس الاختبارات باستخدام أمرين (prompts) مختلفين: أحدهما يؤدي غالباً إلى قطع نص الذكاء الاصطناعي (truncation) والآخر ثابت. عندما كان الأمر سيئاً، كانت إجابة الذكاء الاصطناعي المعدلة غالباً ما تُقطع، مما يجعله يبدو وكأنه ساء. وعندما أصلحوا الأمر، كانت الإجابة الأولية هي التي تُقطع، مما جعل المراجعة تبدو كنجاح هائل. المنطق الفعلي لم يتغير؛ فقط "قابلية القراءة" هي التي تغيرت.
فحص "النسخ واللصق": حاولوا تكرار دراسة سابقة شهيرة زعمت أن التصحيح الذاتي للذكاء الاصطناعي يعمل بشكل رائع. عندما أجروا نفس الاختبار بالضبط على نموذج ذكاء اصطناعي مختلف، لم ينجح الأمر على الإطلاق. بدلاً من ذلك، أظهروا نفس النمط الذي وجدته هذه الورقة: الذكاء الاصطناعي لم يصبح أكثر ذكاءً؛ بل كان فقط ينسق إجاباته بشكل أفضل.

الخلاصة

تخلص الورقة إلى أنه لفترة طويلة، كان مجتمع الذكاء الاصطناعي يحتفل بـ "التصحيح الذاتي" باعتباره طفرة كبرى في المنطق. لكن هذه الدراسة تشير إلى أنه بالنسبة للنماذج المختبرة (من الصغيرة إلى الكبيرة جداً)، فإن المحتوى يمثل حصة أقلية مما نقيسه.

إذا ارتفعت درجة الذكاء الاصطناعي بعد أن "يصلح" نفسه، فقد يعني ذلك فقط أن الذكاء الاصطناعي كتب الإجابة أخيراً بطريقة يمكن للكمبيوتر فهمها، وليس أنه حل مسألة أصعب. يحذر المؤلفون من أنه حتى يتم فصل "الذهب" عن "القفل"، لا يمكننا التأكد مما إذا كان الذكاء الاصطناعي يصبح أكثر ذكاءً حقاً أم أنه فقط يصبح أفضل في اتباع قواعد التنسيق. "الإصلاح" الحقيقي الوحيد الذي وجدوه هو أن أصغر النماذج معرضة بالفعل لجعل إجاباتها أسوأ، بينما النماذج الأكبر مستقرة جداً لدرجة أنها نادراً ما تغير آراءها على الإطلاق.

ملخص تقني: أرضية المعايرة (The Calibration Floor)

1. بيان المشكلة

تتناول الورقة البحثية خللاً جوهرياً في تقييم التصحيح الذاتي الجوهري (intrinsic self-correction) في النماذج اللغوية الكبيرة (LLMs). تقيس المقاييس القياسية للتصحيح الذاتي التغير في الدقة ( $\Delta_{total}$ ) بين الإجابة الأولية ( $a_0$ ) والإجابة المنقحة ( $a_f$ ) التي يتم إنتاجها بعد أن يقوم النموذج بنقد استدلاله الخاص.

يجادل المؤلفون بأن $\Delta_{total}$ غالباً ما يُساء تفسيرها على أنها تغير في محتوى الاستدلال (أي أن النموذج قام فعلياً بإصلاح خطأ ما). ومع ذلك، في توليد النصوص الحرة، تعتمد الدقة على قابلية الاستخراج (extractability): أي ما إذا كان مخرج النموذج يحتوي على سلسلة نصية يمكن لمستخرج الإجابات تحليلها. إذا اختلف معدل نجاح الاستخراج بين $a_0$ و $a_f$ ، فإن فارق الدقة الملحوظ يكون ملوثاً بـ الآثار الناتجة عن التنسيق (format artifacts) بدلاً من التغيرات الحقيقية في الاستدلال.

تفترض الورقة ما يلي:

المكاسب أو الأضرار الظاهرية في التصحيح الذاتي قد تكون مدفوعة بالكامل بما إذا كان النموذج قد نجح في إصدار سلسلة نصية قابلة للتحليل، وليس بما إذا كان قد غير رأيه.
هذا الخلل يحجب "هامش المحتوى" الحقيقي (التحسن أو التدهور الفعلي في الاستدلال).
الأدبيات الحالية قد تكون بالغت في تقدير فعالية التصحيح الذاتي أو أساءت نسب أسباب النجاح أو الفشل.

2. المنهجية

2.1 تفكيك الهامش (The Margin Decomposition)

المساهمة المنهجية الجوهرية هي تفكيك جمعي دقيق لـ $\Delta_{total}$ :
$\Delta_{total} = \Delta_{content} + \Delta_{format\_recover} + \Delta_{format\_loss}$

$\Delta_{content}$ (هامش المحتوى): تغير الدقة المقتصر على العينات التي يكون فيها كل من $a_0$ و $a_f$ قابلين للتحليل. هذا هو الهامش الوحيد الذي يمكن عزوه إلى تغييرات الاستدلال الحقيقية.
$\Delta_{format\_recover}$ : الحالات التي كان فيها $a_0$ غير قابل للتحليل (سُجل كخطأ) ولكن $a_f$ أصبح قابلاً للتحليل (سُجل كصواب). هذه بمثابة "فرصة ثانية" للاستخراج، وليست بالضرورة إصلاحاً للاستدلال.
$\Delta_{format\_loss}$ : الحالات التي كان فيها $a_0$ قابلاً للتحليل (سُجل كصواب) ولكن $a_f$ أصبح غير قابل للتحليل (سُجل كخطأ). هذا يمثل فقداناً لإجابة كانت تعمل بسبب مشاكل في التنسيق.
Dead (ميت): الحالات التي يكون فيها كلاهما غير قابل للتحليل (تساهم بـ 0 في الهامش).

2.2 أرضية المعايرة (The Calibration Floor)

يقوم المؤلفون بتنقيح معيار "أرضية المعايرة" (الحد الأدنى لجودة الإشارة المطلوبة ليكون التعديل الانتقائي مربحاً) ليطبق فقط على هامش المحتوى. هم يحددون عتبة ربحية $\delta$ (ثابتة عند 0.01) ويحسبون الحد الأدنى المطلوب لـ $AUROC$ ( $AUROC^*$ ) لكي تتجاوز إشارة البوابة هذه الأرضية. إذا لم تستطع أفضل إشارة متاحة تجاوز $AUROC^*$ ، تُعتبر الخلية "مضغوطة" (لا يوجد مجال ناجع للبوابة).

2.3 التصميم التجريبي

النماذج: 29 خلية أساسية عبر عائلة Qwen3.5 (0.8B, 2B, 4B, 9B) و Gemma-4-12B.
اختبار الحدود الأمامية (Frontier Check): اختبارات قائمة على واجهة برمجة التطبيقات (API) على نماذج Tencent Hy3 و Nvidia Nemotron-3-Ultra-550B (~55B بارامتر نشط).
المهام: GSM8K, MATH, MMLU, ARC-Challenge, HumanEval, MBPP, TriviaQA، إلخ.
البروتوكول: نهج "المسار المجمد" (frozen-trajectory) حيث يولد النماذج إجابة أولية، ثم ينقدها، ثم يولد نسخة منقحة. يتم اتخاذ قرارات البوابة (gating) خارجياً (offline) بناءً على إشارات داخلية (مثل logprobs الرموز، أو الثقة المعلنة، إلخ).

2.4 الضوابط السببية (Causal Controls)

للانتقال من مجرد الارتباط الملاحظ إلى السببية، تستخدم الورقة:

استقصاء الاستمرار القسري (Forced-Continuation Probe): إجبار النموذج على إصدار إجابة نهائية فوراً بعد التوليد الأولي (لتجاوز خطوة المراجعة) لمعرفة ما إذا كانت "الإجابة" موجودة بالفعل ولكن لم يتم استخراجها.
التحكم السببي عبر فك التشفير المقيد (Constrained-Decoding Causal Control): إعادة استخراج الإجابات من النص الحر المتولد بالفعل باستخدام فك تشفير مقيد بالقواعد (مما يضمن قابلية التحليل). هذا يختبر مدى تقلص $\Delta_{total}$ عند إزالة ضوضاء التنسيق، مما يعزل تأثير المحتوى الحقيقي.
انعكاس الإشارة في نظام الحث (Prompt Regime Sign Reversal): مقارنة الأنظمة التي "تميل للاقتطاع" (ارتفاع فشل الاستخراج) مقابل الأنظمة "المُصلحة" (إظهار كيف ينقلب إشارة $\Delta_{total}$ بناءً على نجاح الاستخراج، بينما يظل $\Delta_{content}$ مستقراً).

3. المساهمات الرئيسية

التفكيك الدقيق: هوية جبرية تفصل تغيرات دقة التصحيح الذاتي إلى هوامش المحتوى والتنسيق، وهي قابلة للتطبيق على أي مسار مراجعة دائم.
الدليل السببي: التحكم عبر فك التشفير المقيد، في الخلايا التي تمتلك قناة استخراج نشطة ( $a_0$ -bad $\ge 8\%$ )، أغلق متوسط 71% من الفجوة بين التأثيرات الكلية القياسية وتقديرات هامش المحتوى (النطاق 55–100%)، مع تحقيق انغلاق تام في خليتين وإبلاغ عن بقايا صادقة في خلايا أخرى.
الضغط المرتبط بالحجم (Scale-Dependent Squeeze): أدلة تجريبية على أن:
- نماذج مستوى الأرضية (0.8B–2B): تظهر تغيرات حقيقية على مستوى المحتوى (غالباً ما تكون ضارة) ولكنها تفتقر إلى جودة إشارة كافية لتجاوز أرضية المعايرة.
- النماذج ذات القدرة العالية (4B–12B+): تظهر تغيراً يقترب من الصفر على مستوى المحتوى (جمود/Inertia) رغم امتلاكها إشارات موثوقة، مما يترك "مساحة" ضئيلة لاستغلالها من قبل البوابة.
فشل تكرار البروتوكول: فشل تكرار حرفي لبروتوكول بوابة الثقة (IoE) المقتبس على عائلة نماذج جديدة، حيث لم يستطع إعادة إنتاج المكاسب الأصلية، بل أظهر نفس هامش المحتوى القريب من الصفر وتأثيرات مدفوعة بالتنسيق.
القابلية للتكرار: إصدار مكتبة كاملة للمسارات، وبوابات الاستخراج، وكود التحليل.

4. النتائج الرئيسية

4.1 هيمنة آثار التنسيق (الادعاء C1)

عبر 12 خلية ذات معدلات غير قابلة للتحليل ذات معنى، يتجاوز مقدار آثار التنسيق ( $|\Delta_{format}|$ ) بشكل كبير مقدار آثار المحتوى ( $|\Delta_{content}|$ ) (اختبار Wilcoxon $p=1.7\times 10^{-3}$ ).
انعكاس الإشارة: في عدة خلايا (مثل 0.8B ARC)، أدى تغيير نظام الحث من الميل للاقتطاع إلى النظام المُصلح إلى عكس إشارة التأثير الكلي (من ضرر ظاهري إلى مكسب ظاهري)، بينما ظل هامش المحتوى صغيراً ومستقراً.
الانغلاق السببي: عند فرض إعادة استخراج قابلة للتحليل من الاستدلال الموجود، انهار التأثير الكلي نحو هامش المحتوى. بالنسبة للخلايا ذات قناة استخراج نشطة ( $a_0$ -bad $\ge 8\%$ )، كان متوسط الانغلاق 71% (النطاق 55–100%). على سبيل المثال، في 9B MMLU، انخفض المكسب الظاهري من +0.145 إلى +0.053؛ وفي 0.8B MMLU، انقلب من +0.020 إلى -0.017. تقاربت خليتان (2B/4B ARC) تماماً، بينما احتفظت 4B/9B MMLU ببقية بسيطة مقابل تقدير محتوى يقترب من الصفر.

4.2 التباين حسب الحجم: الجمود مقابل عدم الاستقرار (الادعاء C2)

المقياس القادر (4B–12B): هوامش المحتوى شبه معدومة. في 11 من أصل 13 خلية من هذا المقياس، كان معدل تغير المحتوى $\le 0.05$ وكان $\Delta_{content}$ ضمن نطاق $\pm 0.03$ . النماذج نادراً ما تغير إجاباتها القابلة للتحليل.
مقياس الأرضية (0.8B–2B): هوامش المحتوى نشطة وغالباً ما تكون ضارة. تظهر نماذج هذا المقياس معدلات تغير محتوى أعلى بكثير (متوسط 11.5% مقابل 0.5% للنماذج القادرة) وآثار محتوى ضارة صافية. يقدر نموذج GEE المجمع أن صفوف مقياس الأرضية لديها احتمالات أعلى بـ 16-21 مرة لتغيير المحتوى والضرر مقارنة بصفوف المقياس القادر.

4.3 الضغط (The Squeeze)

عند تطبيق معيار أرضية المعايرة على هامش المحتوى، فإن "منطقة البوابة الصالحة" (حيث يمتلك النموذج كلاً من تغيرات محتوى حقيقية وإشارة قوية لاكتشافها) تكاد تكون فارغة.
خلايا مقياس الأرضية: تمتلك تغيرات محتوى حقيقية (مساحة للتحسين) ولكنها تفشل في تجاوز أرضية الإشارة (إشارة غير كافية).
الخلايا القادرة: تمتلك إشارات موثوقة ولكن ليس لديها تقريباً أي مساحة للمحتوا (جمود).
النتيجة: خلية واحدة فقط (9B TriviaQA) تشغل المنطقة الصالحة بشكل هامشي، وحتى هناك، كان المكسب صغيراً (+0.020) وغير قوي تحت السياسة المغلقة.

4.4 اختبارات النماذج الرائدة والعائلات الأخرى

Gemma-4-12B: تكرر نمط Qwen: تحولات كلية كبيرة مدفوعة بالكامل بالتنسيق، مع صفر هامش للمحتوى.
النماذج الرائدة (Hy3, Nemotron-550B): رغم الحجم الأكبر، يتكثف النمط. وصلت التأثيرات الكلية إلى +0.275 (Hy3 MMLU)، لكن $\Delta_{content}$ كان بالضبط 0.000 في جميع خلايا النماذج الرائدة الخمس. هامش التنسيق يفسر التأثير المقاس بالكامل.

5. الأهمية والادعاءات

تدعي الورقة أن المحتوى يمثل حصة أقلية مما قاسته المجالات العلمية كـ "تصحيح ذاتي".

تصحيح القياس: درجة الاختبار بعد المراجعة هي مخرج لنظامين مقترنين (الاستدلال + الاستخراج). تفارق $\Delta_{total}$ هذين النظامين. تجادل الورقة أنه بدون تفكيك الهوامش، فإن المكاسب الملحوظة هي مجرد "تحسينات في تنسيق الإجابة".
التوفيق بين الأدبيات: النتائج توفق بين الأدبيات المتضاربة (مثل Huang et al. الذي وجد أن التصحيح الذاتي ضار مقابل Li et al. الذي وجده مفيداً). يقترح المؤلفون أن كلاهما قد يكون صحيحاً: "الضرر" قد يكون تدهوراً حقيقياً في المحتوى في المقاييس الصغيرة، بينما "الفائدة" قد تكون استرداداً للتنسيق في المقاييس الكبيرة، مع كون تأثير المحتوى الحقيقي ضئيلاً في النماذج القادرة.
معيار عملي: تقترح الورقة معياراً جديداً لأبحاث التصحيح الذاتي:
1. ذكر معدلات قابلية التحليل للمخرجات الأولية والمراجعة.
2. تفكيك تغيرات الدقة الكلية إلى هوامش المحتوى والتنسيق.
3. اختبار هذا التفكيك سببياً (مثلاً عبر فك التشفير المقيد) حيث تكون قنوات الاستخراج نشطة.
4. ذكر مكاسب السياسة المغلقة جنباً إلى جنب مع الدقة الكلية.

تخلص الورقة إلى أنه ما لم تُتخذ هذه الخطوات، فإن التحسينات المنسوبة إلى الاستدلال قد تكون مجرد تحسينات في تنسيق الإجابة. إن "أرضية المعايرة" على هامش المحتوى تكشف عن حالة "ضغط" حيث لا تقدم النماذج الصغيرة ولا الكبيرة حالياً مجالاً قوياً وقابلاً للتوسع للتصحيح الذاتي القائم على الثقة.