💰 quantitative finance

Calibration Bets on the Past: Post-Training Quantization for Financial Time-Series Forecasting

تُظهر هذه الورقة أنه في حين أن معايرة التنشيط لها تأثير ضئيل على التكميم بعد التدريب بدقة 8 بت للتنبؤ المالي، إلا أنها العامل الحاسم في تحديد الأداء التنبئي عند دقة 4 بت، حيث يتفوق المعايرة القائمة على المئينات بشكل كبير على الطرق القياسية القائمة على الحد الأقصى المطلق للتخفيف من فقدان المعلومات.

المؤلفون الأصليون: Junyi Ye, Ivy Gateri Wanjiku

نُشر 2026-08-13

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Junyi Ye, Ivy Gateri Wanjiku

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت التنبؤ بالطقس. لقد أعطيته دماغاً فائق الذكاء (شبكة عصبية) درس لسنواتٍ من الأمطار والرياح وأشعة الشمس. هذا الدماغ قوي للغاية، لكنه ضخم وثقيل، مثل حاسوب مركزي عملاق من حقبة الثمانينيات. لجعله مفيداً في وظيفة حقيقية — مثل العمل على طائرة بدون طيار صغيرة أو هاتف ذكي — تحتاج إلى تقليص حجمه. لا يمكنك ببساطة التخلص من معرفته، لذا تحاول بدلاً من ذلك تبسيط كيفية تخزين الأرقام. تسمى هذه العملية "التكميم" (Quantization). فكر في الأمر كتحويل فيلم عالي الدقة إلى ملف مضغوط: أنت تفقد القليل من التفاصيل لتوفير مساحة هائلة وجعل التشغيل أسرع.

ومع ذلك، هناك جزء معقد؛ فبينما تظل "معرفة" الروبوت (الأوزان) ثابتة بمجرد تدريبها، فإن "أفكاره" (التنشيطات) تتغير في كل مرة ينظر فيها إلى بيانات جديدة. لتقليص حجم أفكاره، عليك تحديد "منطقة آمنة" أو نطاق للأرقام التي يُسمح للروبوت باستخدامها. إذا جعلت المنطقة الآمنة واسعة جداً، فستضيع مساحة على أرقام لا تحدث أبداً. وإذا جعلتها ضيقة جداً، فستقوم بقطع الأرقام القصوى التي تحدث بالفعل، مثل عاصفة مفاجئة. يسمى هذا القرار "المعايرة" (Calibration). عادةً، يختار العلماء نطاقاً بناءً على البيانات المتوفرة لديهم الآن ويأملون أن ينجح الأمر في المستقبل. ولكن في عالم التمويل، حيث يمكن للأسواق أن تنتقل من الهدوء إلى الفوضى في طرفة عين، قد يعني التخمين الخاطئ للنطاق الفرق بين صفقة مربحة وبين كارثة.

هذه الورقة البحثية، التي تحمل عنوان "رهانات المعايرة على الماضي"، تغوص في هذا المشكل تحديداً بالنسبة للتنبؤ المالي. تساءل المؤلفان، جوني يي وإيفي غاتيري وانجيكو، سؤالاً بسيطاً ولكنه حاسم: عندما نقوم بتقليص نماذج الذكاء الاصطناعي المالية لتعمل على أجهزة رخيصة، هل يؤثر فعلياً الطريقة التي نحدد بها تلك "المنطقة الآمنة" لأفكار الروبوت؟ لم يكتفيا بالتخمين فحسب؛ بل أجريا تجربة ضخمة. لقد أخذا سبعة أنواع مختلفة من نماذج الذكاء الاصطناعي، ودرباها على بيانات سوق الأسهم لمؤشر (S&P 500)، ثم اختبراها عبر ثماني سنوات مختلفة (من 2018 إلى 2025). قاما بمحاكاة تقليص هذه النماذج إلى دقة منخفضة جداً (4 بت، وهو ما يشبه امتلاك 15 رقماً ممكناً فقط بدلاً من الملايين) وراقبا ما سيحدث.

إليك ما وجداه، وهي مفاجأة غير متوقعة. أولاً، اكتشفا أنه إذا قمت بتقليص "ذاكرة" الروبوت فقط (الأوزان) مع إبقاء "أفكاره" (التنشيطات) عالية الدقة، أو إذا قمت بتقليص كليهما مع إبقائهما عند 8 بت، فلن يلاحظ الروبوت فرقاً كبيراً؛ وسيظل يتنبأ بالسوق بنفس كفاءة النسخة العملاقة تقريباً. ولكن، إذا قمت بتقليص الأفكار إلى 4 بت باستخدام الطريقة القياسية الافتراضية (التي تعتمد فقط على أكبر رقم تم رصده حتى الآن وتضع الحد عنده)، فإن أداء الروبوت ينهار. في بعض الحالات، فقد ما يصل إلى 62% من قدرته التنبؤية! كان الأمر كما لو أن الروبوت قد نسي فجأة كيفية قراءة خريطة الطقس.

ومع ذلك، القصة لا تنتهي بالفشل. وجد المؤلفان أن الانهيار لم يكن حتمياً، بل كان مجرد اختيار سيئ لـ "المنطقة الآمنة". فمن خلال تغيير طريقة المعايرة لتنظر إلى مئوية محددة (مثل قول: "سنقلق فقط بشأن أعلى 99% من الأرقام، وليس أقصى قيمة شاذة مطلقة")، استطاعوا استعادة معظم القوة المفقودة. بالنسبة لبعض النماذج، أعادت هذه اللمسة البسيطة 94% من الأداء. لكن هنا تكمن العقبة: "المنطقة الآمنة" المثالية تتغير اعتماداً على السوق. فالنطاق الذي يعمل بشكل رائع خلال عام هادئ قد يفشل فشلاً ذريعاً خلال انهيار السوق، والعكس صحيح.

تخلص الورقة إلى أن تحديد هذا النطاق ليس مجرد تفصيل تقني ممل تضعه وتنساه، بل هو قرار استراتيجي رئيسي، يشبه المراهنة على الطقس. إذا كنت تريد تشغيل هذه النماذج المالية على أجهزة منخفضة الطاقة، فلا يمكنك استخدام الإعدادات الافتراضية فحسب. يجب عليك ضبط "المنطقة الآمنة" بعناية بناءً على ظروف السوق، أو كن مستعداً للعودة إلى إعداد أكبر قليلاً (8 بت) إذا أصبح السوق جامحاً جداً. يظهر المؤلفون أنه مع المعايرة الصحيحة، يمكننا جعل نماذج الذكاء الاصطناعي المالية القوية هذه صغيرة وسريعة دون أن نفقد قدرتها على التنبؤ بالمستقبل.

ملخص تقني: مراهنات المعايرة على الماضي

بيان المشكلة

عادة ما يتم تدريب نماذج التنبؤ المالي بالدقة الكاملة (FP32)، ولكنها غالبًا ما تتطلب استدلالًا منخفض الدقة عند النشر في بيئة الإنتاج لتلبية قيود الذاكرة، وزمن الاستجابة، والعتاد. وبينما يسمح التكميم بعد التدريب (PTQ) بنشر هذه النماذج دون إعادة تدريب، تظل موثوقية تكميم التنشيط (activation quantization) عقبة حرجة. فخلافًا للأوزان التي لها نطاقات ثابتة تحددها المعلمات المدربة، يجب تقدير نطاقات التنشيط من مجموعة بيانات معايرة تاريخية ثم تظل ثابتة أثناء الاستدلال المستقبلي.

يخلق هذا تحديًا جوهريًا في النشر: تعتمد المعايرة على بيانات السوق التاريخية، بينما يحدث النشر تحت ظروف السوق المستقبلية التي قد تختلف اختلافًا جوهريًا. إن نطاق التنشيط الواسع يحافظ على القيم المتطرفة النادرة ولكنه يقلل من الدقة العددية للقيم العادية، بينما يحسن النطاق الضيق الدقة ولكنه يزيد من عمليات القص (clipping). وفي التنبؤ المالي، حيث تتغير أنظمة السوق (market regimes)، يعد اختيار نطاق تنشيط ثابت قرارًا عالي المخاطر وغير مفهوم جيدًا في سياق التكميم بعد التدريب (PTQ). لقد ركزت الأبحاث الحالية على نماذج الرؤية واللغة، مما ترك فجوة في فهم كيفية تأثير معايرة التنشيط على الأداء التنبئي في التنبؤ بالسلاسل الزمنية المالية.

المنهجية

يقدم المؤلفون دراسة منهجية لمعايرة التنشيط لعملية التكميم بعد التدريب (PTQ) في التنبؤ بالتقلبات المقطعية لمؤشر S&P 500.

مجموعة البيانات والمهمة: تستخدم الدراسة لوحة يومية مكونة من 501 من مكونات S&P 500 من يونيو 2008 إلى ديسمبر 2025. المهمة هي التنبؤ بالتقلب لخمسة أيام قادمة. مقياس الأداء هو معامل المعلومات (IC)، وهو عبارة عن ارتباط سبيرمان المقطعي بين درجات التقلب المتوقعة والمحققة.
بروتوكول التقييم التجريبي: تم استخدام بروتوكول تقييم "المشي للأمام" (walk-forward) عبر ثماني سنوات اختبار (2018–2025). لكل سنة اختبار $Y$ ، يتم تدريب النماذج على الفترة من $Y-8$ إلى $Y-2$ ، والتحقق من صحتها في $Y-1$ ، واختبارها في $Y$ . يضمن هذا الإعداد أن بيانات المعايرة (من $Y-1$ ) تسبق فترة الاختبار ( $Y$ ).
النماذج: تم تقييم سبعة بنى عصبية ممثلة: DLinear، وTSMixer، وTimeMixer، وvanilla Transformer، وPatchTST، وiTransformer، وSegRNN. تم تحليل إجمالي 560 نموذجًا تم تدريبها بشكل مستقل (7 بنيات $\times$ 8 طيات $\times$ 10 بذور عشوائية).
إعدادات التكميم: تقارن الدراسة عدة معالجات للدقة:
- FP32: خط الأساس للدقة الكاملة.
- W8A8 / W4A4: التكميم الثابت للأوزان والتنشيط (INT8/INT4) باستخدام نطاق معايرة ثابت.
- W4: تكميم الأوزان فقط (أوزان INT4، وتنشيط FP32).
- Dynamic INT8: إعادة حساب نطاقات التنشيط أثناء الاستدلال (استُخدم كمرجع).
استراتيجيات المعايرة: تمت مقارنة استراتيجيتين رئيسيتين لضبط نطاق التنشيط $A$ $A$ :
- الحد الأقصى المطلق (Abs-Max): $A = \max(|x|)$ عبر مجموعة المعايرة.
- المئوية (Percentile): $A = P_p(|x|)$ ، باختيار المئوية رقم $p$ من قيم حجم التنشيط (مثل p99، p99.9).
مقياس الضرر (Damage Metric): يُعرف ضرر التكميم ( $\Delta$ ) بأنه الفرق بين معامل المعلومات (IC) للدقة الكاملة ومعامل المعلومات للنموذج المكمم.

المساهمات الرئيسية

أول دراسة منهجية: هذه هي أول استقصاء منهجي لمعايرة التنشيط لـ PTQ في التنبؤ المالي تحت بروتوكول تقييم "المشي للأمام".
تفكيك التدهور: كشف المؤلفون أن تدهور التنشيط بـ 4 بت يتكون من مكونين:
- الخسارة القابلة للاسترداد بالنطاق (Range-Recoverable Loss): الضرر الناتج عن الاختيار غير الأمثل للنطاق، والذي يمكن تخفيفه بشكل كبير عبر الانتقال من معايرة الحد الأقصى المطلق إلى معايرة المئوية.
- الخسارة المتبقية (Residual Loss): الضرر المعتمد على البنية والذي يستمر حتى مع اختيار النطاق الأمثل، لا سيما في النماذج المتكررة (SegRNN) والنماذج متعددة المقاييس (TimeMixer).
الحساسية لنظام السوق: أظهرت الدراسة أن نطاق التنشيط المفضل ليس ثابتًا؛ بل يتطور عبر الفترات الزمنية للسوق. فالنطاقات الضيقة (المئوية) تعمل بشكل جيد في الظروف العادية، لكنها تعاني بشكل كبير عندما يتجاوز تشتت السوق في فترة الاختبار تاريخ المعايرة (على سبيل المثال، أثناء أحداث الضغط مثل صدمة كوفيد عام 2020).
إرشادات النشر العملية: تقدم الورقة إطار عمل لاتخاذ القرار لاختيار استراتيجيات التكميم بناءً على أنماط الضرر الملحوظة، بدءًا من ضبط المئوية البسيط وصولًا إلى استراتيجيات التراجع مثل التنشيط بـ 8 بت أو التكميم بـ 4 بت للأوزان فقط.

النتائج الرئيسية

التكميم بـ 8 بت وتكميم الأوزان فقط: تسبب كل من تكميم التنشيط بـ 8 بت (W8A8) وتكميم الأوزان بـ 4 بت (W4) ضررًا تنبئيًا ضئيلاً (عادةً أقل من 0.2% من إشارة FP32) عبر معظم البنيات.
مخاطر التنشيط الثابت بـ 4 بت (W4A4): تحت معايرة الحد الأقصى المطلق الافتراضية، يتسبب تكميم التنشيط الثابت بـ 4 بت في تدهور كبير في الأداء، يتراوح بين 11% إلى 62% من معامل المعلومات (IC) للدقة الكاملة اعتمادًا على البنية.
- الأكثر تأثرًا: TimeMixer (خسارة 62%) وSegRNN (خسارة 59%).
- الأقل تأثرًا: DLinear (خسارة ضئيلة، رغم أن معامل IC الأساسي له قريب من الصفر).
الاسترداد عبر معايرة المئوية: استبدال الحد الأقصى المطلق بمعايرة المئوية (مثل p99 أو p99.9) يسترد جزءًا كبيرًا من الأداء المفقود:
- Transformer: يسترد 94% من الضرر.
- TSMixer: يسترد 80%.
- SegRNN: يسترد 73%.
- TimeMixer: يسترد 53%.
  على الرغم من الاسترداد، تحتفظ النماذج المتكررة ومتعددة المقاييس بحساسية متبقية كبيرة، مما يشير إلى أن اختيار النطاق وحده لا يمكنه حل مشكلات التكميم تمامًا.
الحساسية على مستوى الطبقة: بالنسبة لبنية Transformer، تتحمل طبقة واحدة (تضمين الرموز التلافيفي - convolutional token embedding) نسبة 72% من إجمالي ضرر W4A4. والحفاظ على هذه الطبقة المحددة بدقة 8 بت مع تكميم البقية إلى 4 بت يقضي فعليًا على التدهور.
عدم تطابق النظام (Regime Mismatch): عندما يكون السوق في فترة الاختبار أكثر تقلبًا من فترة المعايرة (مثل عام 2020)، فإن نطاقات المئوية الضيقة تقوم بقص (clip) تنشيطات الذيل الحرجة، مما يسبب ضررًا أعلى بمقدار 1.5 إلى 3.6 مرة مما هو عليه داخل غلاف المعايرة. وعلى العكس من ذلك، في الفترات الأكثر هدوءًا (مثل عام 2021)، تصبح معايرة الحد الأقصى المطلق غير مثالية لأنها تضحي بالدقة من أجل القيم المتطرفة التي لا تحدث.

الأهمية والادعاءات

تجادل الورقة بأن معايرة التنشيط ليست مجرد تفصيل تنفيذي عددي، بل هي قرار نشر من الدرجة الأولى لضمان موثوقية الـ PTQ بـ 4 بت في التنبؤ المالي.

الآثار الاستراتيجية: يحدد اختيار نطاق التنشيط مباشرة ما إذا كان النموذج منخفض الدقة سيحتفظ بفائدته التنبؤية. الاستراتيجيات الافتراضية (الحد الأقصى المطلوت) غالبًا ما تكون غير كافية للسلاسل الزمنية المالية بسبب الطبيعة غير المستقرة لبيانات السوق.
المتانة: بينما يوفر التكميم بـ 8 بت وتكميم الأوزان بـ 4 بت مسارات نشر قوية مع فقدان ضئيل للإشارة، فإن تكميم التنشيط بـ 4 بت يتطلب معايرة دقيقة.
إرشادات قابلة للتطبيق: يقترح المؤلفون إجراءً للنشر:
1. قياس ضرر W4A4 الافتراضي.
2. إذا كان الضرر كبيرًا، قم بإجراء مسح لنطاقات المئوية على بيانات ما قبل النشر لتقدير الخسارة القابلة للاسترداد مقابل الخسارة المتبقية.
3. إذا كانت الخسارة المتبقية عالية، ارجع إلى التنشيط بـ 8 بت، أو تكميم الأوزان بـ 4 بت، أو الدقة المختلطة على مستوى الطبقة.
4. راقب "غلاف المعايرة" (أقصى تشتت لوحظ أثناء المعايرة) أثناء النشر؛ إذا تجاوزت ظروف الاختبار هذا الغلاف، قم بتفعيل إعادة المعايرة أو الانتقال إلى نطاق أكثر تحفظًا (مثل p99.9) أو دقة أعلى.

تخلص الدراسة إلى أنه بينما يعد الـ PTQ قابلًا للتطبيق في التنبؤ المالي، فإن نجاحه يعتمد على التعامل مع معايرة التنشيط كقرار سياسي ديناميكي وليس كمجرد خطوة معالجة مسبقة ثابتة.