🤖 AI

BitCal-TTS: Bit-Calibrated Test-Time Scaling for Quantized Reasoning Models

يُعد BitCal-TTS متحكماً تشغيلياً خفيف الوزن وغير مضبوط بدقة، يعمل على تخفيف التوقف المبكر الضار في نماذج الاستدلال المكممة بـ 4 بت عبر الجمع بين مؤشرات عدم اليقين عبر الإنترنت وإعادة ضبط الثقة المشروطة بالبتات، مما يؤدي إلى تحسين الدقة وتقليل التوقفات المبكرة في المهام من طراز GSM8K مع الحفاظ على كفاءة الرموز.

المؤلفون الأصليون: Sai Babu Patarlapalli, Surya Teja Avvaru

نُشر 2026-05-08

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Sai Babu Patarlapalli, Surya Teja Avvaru

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك عالم رياضيات عبقري ولكنه متعب قليلاً (نموذج الذكاء الاصطناعي)، وهو يحاول حل لغز معقد. تريد منه أن يعمل بأسرع ما يمكن، لذا تضعه في "وضع استهلاك طاقة منخفض" (تكميم 4-بت/4-bit quantization) لتوفير الطاقة والذاكرة. كما تعطيه قاعدة صارمة: "توقف عن العمل بمجرد كتابة 512 كلمة، أو بمجرد أن تعتقد أنك توصلت إلى الإجابة".

المشكلة هي أنه في وضع استهلاك الطاقة المنخفض هذا، يصبح عالم الرياضيات مفرط الثقة في نفسه. قد يكتب إجابة نهائية تبدو صحيحة لأنها تتبع التنسيق الصحيح، رغم أن منطقه لا يزال مهزوزاً. ولأنهم يبدون واثقين، فإن "قاعدة التوقف" الخاصة بك تخبرهم بالتوقف مبكراً، وينتهي بك الأمر بإجابة خاطئة.

تقدم هذه الورقة البحثية، BitCal-TTS، "مشرفاً" ذكياً (متحكماً) يراقب عالم الرياضيات ويصلح مشكلة الإفراط في الثقة هذه دون الحاجة إلى إعادة تدريب عالم الرياضيات.

إليك كيف يعمل ذلك، باستخدام تشبيهات بسيطة:

1. المشكلة: فخ "الثقة المزيفة"

عندما تقوم بتقليص نموذج ذكاء اصطناعي كبير ليتناسب مع أجهزة كمبيوتر أصغر (التكميم/Quantization)، فالأمر يشبه إعطاء عالم الرياضيات نظارات ضبابية. لا يزال بإمكانه رؤية الشكل العام للمشكلة، لكن التفاصيل تصبح غير واضحة.

المشكلة: في هذه الحالة الضبابية، قد يقول النموذج: "أنا متأكد بنسبة 99% أن هذه هي الإجابة!" بينما هو في الواقع متأكد بنسبة 60% فقط.
النتيجة: يتوقف النظام بالنموذج في وقت مبكر جداً. قد يكتب النموذج سطراً نهائياً مثل #### 42 (الطريقة القياسية للإشارة إلى الإجابة في المسائل الرياضية) ويتوقف، رغم أن الخطوات التي أدت إلى 42 كانت خاطئة.

2. الحل: "المشرف المعاير للبتات" (Bit-Calibrated Supervisor)

بنى المؤلفون مشرفاً خفيف الوزن يسمى BitCal-TTS يجلس بين النموذج والمخرجات. هو لا يغير عقل النموذج؛ بل يغير فقط "متى" يُسمح له بالتوقف. يستخدم ثلاث حيل رئيسية:

أ. مقياس "فحص الواقع"

يعرف المشرف أن النموذج يرتدي "نظارات ضبابية" (دقة 4-بت).

كيف يعمل: إذا قال النموذج: "أنا واثق بنسبة 90%"، يقوم المشرف بتطبيق مضاعف "فحص الواقع". يفكر المشرف: "آه، ولكنك في وضع استهلاك طاقة منخفض، لذا سأعتبر ثقتك بنسبة 90% هي 76% فقط".
التشبيه: يشبه الأمر مديراً يعرف أن موظفه يعمل بآلة حاسبة معطلة. إذا قال الموظف: "أنا متأكد من أن الحساب صحيح"، يقول المدير: "حسناً، ولكن دعنا نتحقق من ذلك قبل الاعتماد". هذا يمنع النموذج من التوقف مبكراً جداً.

ب. فحص "الاستقرار"

يراقب المشرف "عملية التفكير" (مسار الاستدلال) للنموذج ليرى ما إذا كان يستقر فعلياً أم أنه مجرد يهذي.

كيف يعمل: يبحث عن شيئين:
1. التكرار: هل يكرر النموذج نفس الأرقام أو العبارات؟ (هذا يعني غالباً أنه انتهى أو عالق).
2. الانحراف الخفي: هل "الشعور" الداخلي للنموذج يتغير بشكل جامح؟
التشبيه: تخيل طالباً يكتب مقالاً. إذا كان يعيد كتابة نفس الجملة مراراً وتكراراً، فمن المرجح أنه انتهى. أما إذا كان يقفز ذهاباً وإياباً بين الأفكم، فهو ليس مستعداً للتسليم. ينتظر المشرف حتى يصبح كتابة الطالب مستقرة قبل السماي له بالتوقف.

ج. "منطقة الأمان" بعد الإجابة

هذه هي الحيلة الأكثر ذكاءً في الورقة البحثية بالنسبة للمسائل الرياضية.

المشكلة: في مجموعات البيانات الرياضية مثل GSM8K، يتم دائماً تمييز الإجابة النهائية بـ ####. في وضع استهلاك الطاقة المنخفض، قد يكتب النموذج #### بالخطأ في وقت مبكر، أو يكتب رقماً يبدو منطقياً لكنه ليس الإجابة النهائية.
الحل: لدى المشرف قاعدة: "بمجرد رؤية علامة #### ، لا يمكنك التوقف فوراً".
التشبيه: يشبه الأمر حكماً في مباراة كرة قدم. عندما يركل اللاعب الكرة نحو المرمى، لا يطلق الحكم صافرته لإعلان الهدف في اللحظة التي تعبر فيها الكرة الخط فحسب، بل ينتظر بضع ثوانٍ للتأكد من أن الكرة دخلت بالفعل ولم ترتد خارجاً. يجبر BitCal-TTS النموذج على كتابة بعض كلمات "التأكيد" الإضافية بعد #### لضمان أن الإجابة حقيقية.

3. النتائج: ماذا حدث؟

اختبر المؤلفون هذا المشرف على أحجام مختلفة من نماذج الذكاء الاصطناعي (صغيرة، متوسطة، وكبيرة) وهي تحل مسائل رياضية.

النموذج الصغير (3B): لم يستطع المشرف إنقاذه. كان النموذج ضعيفاً جداً في وضع استهلاك الطاقة المنخفض؛ حيث استمر في ارتكاب الأخطاء بغض النظر عن مدى تدقيق المشرف.
النماذج المتوسطة والكبيرة (7B و 14B): عمل المشرف بشكل رائع!
- أخطاء أقل: منع المشرف النماذج من الاستسلام مبكراً. انخفض معدل "التوقف المبكر" (التوقف بإجابة خاطئة) بشكل ملحوظ (على سبيل المثال، من 17% إلى 11% في نموذج 14B).
- دقة أفضل: حصلت النماذج على إجابات صحيحة أكثر لأنها سُمح لها بالتفكير لفترة أطول عندما احتاجت لذلك.
- لا يزال سريعاً: على الرغم من أنها فكرت لفترة أطول قليلاً، إلا أنها لا تزال توفر الكثير من الوقت والطاقة مقارنة بإجبار النموذج على كتابة الحد الأقصى البالغ 512 كلمة في كل مرة.

4. الملاحظة (القيود الهامة)

المؤلفون صريحون جداً بشأن حدود دراستهم:

حجم عينة صغير: لقد اختبروا فقط جزءاً صغيراً من المسائل الرياضية (حوالي 35 إلى 54 مسألة لكل حجم نموذج). وبينما تبدو النتائج جيدة، فقد اعترفوا بأنه مع هذه المجموعة الصغيرة، فإن النتائج ليست "مثبتة" إحصائياً بعد. هم بحاجة لاختبارها على مجموعة البيانات الكاملة ليكونوا متأكدين بنسبة 100%.
ضبط يدوي: القواعد التي يستخدمها المشرف (مثل عدد الكلمات الإضافية التي يجب كتابتها بعد ####) تم تحديدها بواسطة بشر جربوا أرقاماً مختلفة، وليس عن طريق تعلمها من قبل الذكاء الاصطناعي نفسه.

الملخص

BitCal-TTS هو "ساعة إيقاف" ذكية لنماذج الذكاء الاصطناعي التي تعمل في وضع استهلاك طاقة منخفض. هو يعرف أن هذه النماذج تصبح مفرطة الثقة عندما يتم ضغطها، لذا يجبرها على مراجعة عملها والانتظار لحظة بعد أن تعتقد أنها انتهت. هذه الحيلة البسيطة تساعد النماذج المتوسطة والكبيرة على حل المزيد من المسائل الرياضية بشكل صحيح دون إضاعة الوقت أو الطاقة.

ملخص تقني: BitCal-TTS

بيان المشكلة

غالباً ما تستفيد نماذج الاستدلال الضخمة (LLMs) من الحوسبة التكيفية أثناء وقت الاختبار، حيث يتم ضبط مدة الاستنتاج ديناميكياً بناءً على الثقة أو استقرار الاستدلال. ومع ذلك، في بيئات الإنتاج، يتم نشر هذه النماذج بشكل متكرر تحت قيود التكميم الصارمة لما بعد التدريب (مثل أوزان 4-بت) لتناسب قيود الأجهزة الاستهلاكية. تحدد الورقة نمط فشل حرج في هذا السياق: التكميم يشوه إشارات التوقف عبر الإنترنت (online halting signals).

تحت استنتاج 4-بت، يتغير هندس الهندسة (geometry) للـ logits والحالات الخفية (hidden states)، مما يؤدي إلى عدم معايرة المتحكمات القياسية (المصممة للدقة الكاملة). وتحديداً، قد يظهر النموذج ثقة عالية بشكل مصطنع أو استقراراً ظاهرياً في المسار بينما لا يزال الاستدلال الأساسي غير صحيح. يؤدي هذا إلى التوقف المبكر الضار، حيث يوقف المتحكم عملية التوليد قبل أوانها، مبرزاً سطراً نهائياً يبدو منطقياً (غالباً ما يتم تحفيزه بواسطة محدد مثل ####) بينما مسار الاستدلال غير مستقر. ينتج عن ذلك انخفاض في الدقة وهدر في الحوسبة التكيفية.

المنهجية: BitCal-TTS

يقترح المؤلفون BitCal-TTS، وهو متحكم تشغيل (runtime controller) خفيف الوزن، لا يتطلب تدريباً، ومصمم خصيصاً للنماذج اللغوية السببية المكممة. يعمل كـ "جانب" (sidecar) حول استنتاج Hugging Face القياسي، مستخدماً خطافات أمامية (forward hooks) للوصال إلى الـ logits وحالات الطبقة الأخيرة الخفية دون تعديل أوزان النموذج الأساسي.

تتكون الطريقة من ثلاثة مكونات أساسية:

الوكلاء عبر الإنترنت لعدم اليقين والاستقرار:
يحسب المتحكم إشارات قياسية بعد كل كتلة مكونة من $k$ من الرموز (tokens):
- إنتروبيا الرمز (Token Entropy - $H_t$ ): إنتروبيا شانون لتوزيع المخرجات.
- استقرار مسار الاستدلال (Reasoning-Trace Stability - $\tau^{tr}_t$ ): مقياس يقيس نسبة كتل النص المتتالية المتطابقة (التكرار الحرفي)، مما يشير إلى أن النموذج قد استقر على قالب أو إجابة.
- استقرار الحالة الخفية (Hidden-State Stability - $\tau^{hid}_t$ ): تشابه جيب التمام (cosine similarity) بين ناقلات الحالة الخفية للطبقة الأخيرة المعيرة والمتتالية للخطوات.
إعادة معايرة الثقة المشروطة بعدد البتات:
يتم اشتقاق درجة الثقة الخام من مزيج مرجح من وكلاء الإنتروبيا والاستقرار. ومن المهم أن هذه الدرجة تُضرب في عامل قياس عرض البت $s(b)$ :
- عندما يكون $b \le 4$ (تكميم عدواني)، فإن $s(b) = 0.85$ .
- عندما يكون $4 < b \le 8$ ، فإن $s(b) = 1.00$ .
- عندما يكون $b > 8$ ، فإن $s(b) = 1.05$ .
  هذا يجعل المتحكم محافظاً عند الدقة المنخفضة، مما يتطلب أدلة أقوى قبل إعلان الثقة العالية والتوقف.
أفق تأكيد ما بعد العلامة الواعية بالبت:
إدراكاً بأن مخرجات نمط GSM8K تستخدم المحدد #### كعلامة، يعامل المتحكم الظهور الأول لهذا المحدد كتحول في المرحلة وليس كإشارة توقف فورية.
- الأساس التكيفي: يتوقف فوراً بعد المحدد (إذا استوفيت الشروط الأخرى).
- BitCal-TTS: يفرض ذيل تأكيد (confirmation tail) مكون من $\Delta(b)$ من الرموز بعد المحدد. بالنسبة لاستنتاج 4-بت، فإن $\Delta(4) = 32$ رمزاً. يجب على النموذج توليد 32 رمزاً إضافياً لتأكيد الإجابة قبل السماح بإنهاء العملية. هذا يمنع التنسيقات الهشة ذات البتات المنخفضة من إطلاق عمليات التوقف المبكرة.

المساهمات الرئيسية

صياغة التوقف التكيفي المكمم: تصيغ الورقة التفاعل بين التكميم العدواني وسياسات التوقف التكيفية، وتسلط الضوء على كيفية عدم موثوقية الإشارات القياسية.
متحكم مدرك للدقة: تقديم BitCal-TTS، الذي يدمج الوعي بعرض البت في كل من قياس الثقة ومنطق تأكيد ما بعد المحدد دون الحاجة لإعادة تدريب النموذج الأساسي.
التحليل التجريبي لأحجام النماذج: تقيم الدراسة الطريقة عبر نماذج Qwen2.5 Instruct (3B, 7B, 14B) تحت استنتاج 4-بت، وتحدد أنه بينما يحسن الأسلوب النماذج الأكبر، فإنه يفشل في نموذج 3B بسبب تجاوز توزيع أطوال الحلول للحد الأدنى من رموز المتحكم.

النتائج التجريبية

قيم المؤلفون الطريقة على GSM8K باستخدام نماذج Qwen2.5 مع ميزانية رموز صلبة ( $B=512$ ) على شرائح تقييم صغيرة ( $N=54$ لـ 7B، و $N=35$ لـ 14B).

مكاسب الدقة: حقق BitCal-TTS تحسناً في دقة المطابقة التامة (exact-match accuracy) فوق خط الأساس التكيفي غير المدرك للبت بمقدار +3.7 نقطة (7B) و +2.8 نقطة (14B).
التقليل من التوقفات المبكرة: انخفض معدل التوقفات المبكرة التي تؤدي إلى إجابات خاطئة بشكل كبير:
- 7B: من 14.8% إلى 11.1%.
- 14B: من 17.1% إلى 11.4%.
الكفاءة: رغم إضافة رموز التأكيد، حافظ BitCal-TTS على توفير كبير في الرموز (32.1% لـ 7B، و 40.8% لـ 14B) مقارنة بفك التشفير ذو الميزانية الثابتة.
فشل نموذج 3B: في نموذج 3B، انهارت كلتا النسختين التكيفيتين إلى دقة تقارب 20% (مقابل 60% للفك الثابت) لأن طول الحل النموذجي تجاوز الحد الأدنى لرموز المتحكم ( $m=128$ )، مما تسبب في توقفات مبكرة أثناء الاستدلال الجزئي.

الأهمية والادعاءات

تضع الورقة BitCal-TTS كـ طبقة سياسة تشغيل (runtime policy layer) وليس كkernel تكميم جديد أو طريقة تدريب. تكمن أهميته في تمكين الحوسبة التكيفية الموثوقة للنماذج المكممة، والتي تزداد شيوعاً في عمليات النشر ذات التكلفة المنخفضة.

المؤلفون متواضعون بشأن ادعاءاتهم الإحصائية. فقد ذكروا صراحة أن التحسينات الملحوظة في الدقة (2-4 نقاط مئوية) ليست ذات دلالة إحصائية نظراً لصغر أحجام شرائح التقييم (تداخل فترات الثقة Wilson 95%). تصيغ الورقة النتتائج كـ "مؤشرات على وجود تأثير حقيقي" بدلاً من كونها تقديراً نهائياً للمقدار. المساهمة الأساسية هي إثبات اتجاه ثابت للتحسن عبر أحجام النماذج والمقاييس المختلفة، جنباً إلى جنب مع التحديد الواضح لأنماط الفشل (تحديداً في نظام 3B) التي تتطلب مزيداً من الضبط.

تخلص العمل إلى أنه بينما يستعيد المعايرة الواعية بالبت جزءاً ملموساً من فجوة الدقة بين الفك التكيفي والفك الثابت، فإن فعالية ذلك تعتمد على قدرة النموذج الأساسي على توليد مسارات استدلال مستقرة ضمن ميزانية الرموز. يتضمن العمل المستقبلي إعادة تقييم باستخدام تقسيم اختبار كامل، ودراسة استقصائية لكل مكون، وتوسيع الطريقة لتشمل اختبارات استدلال أخرى.