📊 statistics

Efficient Autoregressive Inference for Transformer Probabilistic Models

تقدم هذه الورقة بحثاً حول مخزن مؤقت ذاتي الانحدار سببي يتيح أخذ عينات التوزيع المشترك بكفاءة لنماذج المحولات القائمة على المجموعات من خلال تخزين السياق وتحديث التنبؤات بشكل تدريجي، محققاً سرعة استنتاج تصل إلى 20 ضعفاً واستهلاكاً أقل للذاكرة بمقدار 7 أضعاف دون التضحية بالدقة.

المؤلفون الأصليون: Conor Hassan, Nasrulloh Loka, Cen-You Li, Daolang Huang, Paul E. Chang, Yang Yang, Francesco Silvestrin, Samuel Kaski, Luigi Acerbi

نُشر 2026-04-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Conor Hassan, Nasrulloh Loka, Cen-You Li, Daolang Huang, Paul E. Chang, Yang Yang, Francesco Silvestrin, Samuel Kaski, Luigi Acerbi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك شيف ماهر تحاول التنبؤ بالنكهة المثالية لطبق جديد بناءً على بضعة مكونات تذوقتها من قبل (السياق - Context). كما يتعين عليك التنبؤ بتسلسل من النكهات المستقبلية (الأهداف - Targets)، حيث تعتمد كل نكهة جديدة على تلك التي تنبأت بها للتو.

في عالم الذكاء الاصطناعي، يسمى هذا الاستدلال الاحتمالي (Probabilistic Inference). تتناول هذه الورقة البحثية مشكلة محددة: كيف نجعل هذه التنبؤات سريعة دون فقدان الدقة؟

إليك قصة حلهم، مشروحة من خلال تشبيه المطبخ.

المشكلة: عنق زجاجة "إعادة الطهي"

تخيل أن لديك كتاب وصفات (السياك) يتكون من 1,000 صفحة من الملاحظات. تريد التنبؤ بمذاق الـ 16 طبقاً التالي في صف واحد.

الطريقة القديمة (التسلسل الذاتي القياسي - Standard Autoregressive):
في كل مرة تتنبأ فيها بطبق واحد جديد، يتعين عليك إعادة قراءة كتاب الوصفات المكون من 1,000 صفحة بالكامل من البداية، بالإضافة إلى الطبق الذي تنبأت به للتو، لمعرفة الطبق التالي.
- النتيجة: للتنبؤ بـ 16 طبقاً، ستعيد قراءة الكتاب 16 مرة. إذا كان لديك 1,000 صفحة، فهذا بطيء للغاية. الأمر يشبه محاولة كتابة رواية عبر إعادة قراءة أول 100 صفحة في كل مرة تكتب فيها جملة جديدة.
طريقة "السريع لكن الغبي" (التنبؤ المستقل - Independent Prediction):
تقرأ الكتاب مرة واحدة، ثم تتنبأ بالـ 16 طبقاً جميعها في وقت واحد، متجاهلاً كيف قد تؤثر كل منها على الأخرى.
- النتيجة: هي سريعة جداً، لكن الأطباق لن يكون مذاقها متناسقاً معاً لأنها تفتقر إلى "القصة" أو الترابط.

الحل: "المخزن المتسلسل السببي" (Causal Autoregressive Buffer)

قدم المؤلفون أداة جديدة ذكية: المخزن المتسلسل السببي (Causal Autoregressive Buffer).

فكر في هذا كـ منضدة مطبخ ذكية ذات منطقتين متميزتين:

مكتبة المراجع (السياق - The Context):
تأخذ كتاب الوصفات المكون من 1,000 صفحة، تقرأه مرة واحدة، وتنشئ بطاقة ملخص مثالية ومكثفة. تقوم بلصق هذه البطاقة على الحائط. لا تلمسها مرة أخرى أبداً. إنها "مجمدة". هذا يوفر عليك عناء إعادة قراءة الكتاب في كل مرة.
منضدة التحضير (المخزن - The Buffer):
هذه مساحة عمل صغيرة وديناميكية حيث تضع الأطباق التي تنبأت بها للتو.
- عندما تتنبأ بالطبق رقم 1، تنظر إلى بطاقة الملخص (السياق المجمد) وتكتب الطبق رقم 1 على المنضدة.
- عندما تتنبأ بالطبق رقم 2، تنظر إلى بطاقة الملخص وَ الطبق رقم 1 الموجود بالفعل على المنضدة.
- عندما تتنبأ بالطبق رقم 3، تنظر إلى بطاقة الملخص، و الطبق رقم 1، و الطبق رقم 2.

لماذا يعد هذا أمراً سحرياً؟

السرعة: أنت تقرأ الكتاب الكبير مرة واحدة فقط. بالنسبة للبقية، أنت فقط تلقي نظرة على المنضدة الصغيرة. هذا يجعل العملية أسرع بـ 20 مرة.
الذاكرة: لا تحتاج إلى الاحتفاظ بالكتاب بأكمله في رأسك (أو في ذاكرة حاسوبك) لكل خطوة. أنت تحتاج فقط إلى بطاقة الملخص والمنضدة الصغيرة. هذا يستخدم ذاكرة أقل بـ 7 مرات.
الدقة: لأن الأطباق الجديدة لا تزال "ترى" الأطباق السابقة على المنضدة، فإنها تظل متصلة ومتماسكة. أنت تحصل على سرعة الطريقة "السريعة" ودقة الطريقة "البطيئة".

كيف يعمل الأمر في الواقع (التجارب)

اختبر المؤلفون هذا "المنضدة الذكية" على أربعة أنواع مختلفة من المشكلات، وقد نجحت العملية تماماً:

الدوال الاصطناعية (لغز رياضي): التنبؤ بمنحنيات معقدة. كانت الطريقة الجديدة دقيقة تماماً مثل الطريقة البطيئة ولكنها أسرع بكثير.
بيانات EEG (موجات الدماغ): التنبؤ بإشارات الدماغ. استطاعت الطريقة ملء نقاط البيانات المفقودة (الاستكمال) والتنبؤ بالمستقبل (التنبؤ المستقبلي) بدقة عالية.
الاستدلال متعدد الحواس (لغز ذهني): معرفة ما إذا كان الصوت والضوء يأتيان من نفس المصدر. ساعدت الطريقة العلماء على مقارنة النظريات المختلفة حول كيفية عمل الدماغ، مطابقة نتائج "المعيار الذهبي" تماماً.
البيانات الجدولية (الجداول الحسابية): التنبؤ بأشياء مثل أسعار المنازل أو استخدام الكهرباء بناءً على جدول من الأرقام. حتى هنا، تعلمت الطريقة استخدام "المخزن" لتقديم تنبؤات أفضل من الطرق السريعة القياسية.

الخلاصة الكبرى

قبل هذه الورقة البحثية، كان على نماذج الذكاء الاصطناعي الاختيار بين أن تكون سريعة (لكن غير مترابطة) أو دقيقة (لكن بطيئة بشكل مؤلم).

تقدم هذه الورقة نهجاً هجيناً:

جمّد الماضي: قم بتشفير المعلومات المعروفة مرة واحدة واحتفظ بها.
بث المستقبل: ابنِ سلسلة فعالة وصغيرة من التنبؤات الجديدة التي تنظر فقط إلى الماضي المجمد والتاريخ المباشر.

الأمر يشبه امتلاك مكتبة حيث تستعير الكتاب مرة واحدة، ولكن يمكنك كتابة تكملة خاصة بك على دفتر ملاحظات يشير إلى الكتاب دون الحاجة إلى إعادة وضعه على الرف في كل مرة تكتب فيها كلمة.

باخت-صار: لقد اكتشفوا كيفية جعل نماذج الذكاء الاصطناعي سريعة للغاية في تقديم تنبؤات معقدة ومترابطة دون فقدان عقولها (أو ذاكرتها).

إليك ملخص تقني مفصل لورقة البحث بعنوان "الاستدلال التراجعي الذاتي الفعال للنماذج الاحتمالية القائمة على المحولات" (ICML 2026).

1. بيان المشكلة

تتفوق النماذج الاحتمالية القائمة على المحولات (Transformers)، مثل العمليات العصبية (Neural Processes - NPs)، والشبكات الملائمة للمسبقات (Prior-Fitted Networks - PFNs)، والنماذج التأسيسية للبيانات الجدولية، في الاستدلال الاحتمالي الموزع (Amortized Probabilistic Inference). فهي تعالج مجموعات سياقية متغيرة الحجم (البيانات المرصودة) باستخدام مشفرات ثابتة الترتيب (Permutation-invariant encoders) لإنتاج توزيعات تنبؤية هامشية لأهداف جديدة في تمريرة أمامية واحدة.

ومع ذلك، تتطلب العديد من التطبيقات (مثل استكمال الإشارات، والتنبؤ متعدد الخطوات، ومقارنة النماذج البايزية) توزيعات مشتركة (Joint Distributions) عبر أهداف متعددة لالتقاط الاعتمادات بينها.

العقبة: لإنتاج التوزيعات المشتركة، يتم عادةً نشر النماذج القائمة على المجموعات بأسلوب التراجع الذاتي (Autoregressive - AR). في هذا الوضع، يتنبأ النموذج بـ $y_1$ ، ثم يشترط بـ $(C, y_1)$ للتنبؤ بـ $y_2$ ، وهكذا.
التكلفة: نظرًا لأن مشفر السياق يستخدم الانتباه الذاتي ثنائي الاتجاه، فإن إضافة هدف جديد إلى مجموعة الشرط يستلزم إعادة تشفير كاملة للمجموعة الموسعة بأكملها عند كل خطوة.
التعقيد: يؤدي هذا إلى تعقيد حسابي قدره $O(K(N+K)^2)$ ، حيث $N$ هو حجم السياق و $K$ هو عدد الأهداف. وهذا يتوسع بشكل سيئ مع السياقات الكبيرة أو التسلسلات الطويلة، مما يؤدي إلى زمن انتقال مرتفع واستهلاك عالٍ للذاكرة (مما يتسبب غالبًا في أخطاء نفاذ الذاكرة - Out-of-Memory).

2. المنهجية: المخزن المؤقت للتراجع الذاتي السببي (Causal Autoregressive Buffer)

قدم المؤلفون آلية معمارية مبتكرة تسمى المخزن المؤقت للتراجع الذاتي السببي والتي تفصل بين التشفير المكلف للسياق الثابت وبين التنبؤ المتسلسل الخفيف للأهداف.

المعمارية الأساسية

يعالج النموذج ثلاثة أنواع متميزة من الرموز (Tokens):

رموز السياق ( $C$ ): أزواج المدخلات والمخرات المرصودة.
رموز المخزن المؤقت ( $B$ ): ذاكرة مؤقتة ديناميكية تخزن أزواج الأهداف التي تم توليدها (أو رصدها) سابقًا.
رموز الهدف ( $T$ ): الاستعلامات التي يتم إجراء التنبؤات لها.

الآليات الرئيسية

تشفير السياق لمرة واحدة: يتم تشفير مجموعة السياق $C$ مرة واحدة في البداية. ويتم تخزين تمثيلات المفتاح/القيمة (KV) الخاصة بها ومعاملتها كعناصر ثابتة (للقراءة فقط).
المخزن المؤقت السببي: أثناء توليد الأهداف، يتم إلحاقها بمخزن مؤقت. يستخدم المخزن المؤقت انتباهًا ذاتيًا سببيًا صارمًا، مما يعني أن الرمز $j$ يمكنه فقط الانتباه إلى الرموز التي تسبقه ( $<j$ ) داخل المخزن المؤقت.

الانتباه المتقاطع (Cross-Attention): تستمع استعلامات الأهداف إلى كل من ذاكرة السياق المجمدة والبادئة المرئية للمخزن المؤقت.
قناع الانتباه (Attention Masking): يفرض قناع انتباه مهيكل أربع قواعد:
1. السياق ثابت (يُشفر مرة واحدة).
2. المخزن المؤقت سببي صارم.
3. المعلومات تتدفق من السياق ولكن لا تعود إليه أبدًا.
4. الأهداف تستمع إلى السياق وبادئة المخزن المؤقت، ولكن ليس إلى بعضها البعض مباشرة (الاعتمادات تتم عبر الوساطة من خلال المخزن المؤقت).

تقليل التعقيد

من خلال تجنب إعادة تشفير السياق في كل خطوة، ينخفض تعقيد الانتباه من $O(K(N+K)^2)$ إلى:
$O(N^2 + NK + K^2)$

$O(N^2)$ : الانتباه الذاتي للسياق لمرة واحدة.
$O(NK)$ : الانتباه المتقاطع من المخزن المؤقت/الأهداف إلى ذاكرة السياق المخزنة.
$O(K^2)$ : الانتباه الذاتي السببي داخل المخزن المؤقت.

استراتيجية التدريب

يتم تدريب النموذج باستخدام منهج تعليمي موحد (Unified Curriculum) مع انتباه مقنع:

وضع السياق فقط: 50% من الأهداف تستمع فقط إلى $C$ (تعلم التنبؤات الهامشية).
وضع المخزن المؤقت: 50% من الأهداف تستمع إلى $C$ بالإضافة إلى بادئة عشوائية من المخزن المؤقت $B_{1:v_m}$ (تعلم الاعتمادات الشرطية).
يسمح هذا لنموذج واحد بالتعامل مع كل من الاستدلال الهامشي الفعال والاستدلال التراجعي الذاتي المشترك دون الحاجة لإعادة التدريب.

أوضاع الاستدلال

أخذ العينات بالتراجع الذاتي (Autoregressive Sampling): توليد متسلسل حيث ينمو المخزن المؤقت تدريجيًا مع العينات المولدة.
تقييم الكثافة المشتركة (Joint Density Evaluation): تقييم "بتمريرة واحدة" حيث يتم حزم $K$ من رموز الاستعلام و $K$ من رموز المخزن المؤقت (التي تحتوي على القيم الحقيقية أو الافتراضية). يسمي القناع السببي حساب جميع التكييفات $K$ آنيًا في تمريرة أمامية واحدة.
أخذ العينات المجمع (Batched Sampling): يتم مشاركة ذاكرة السياخ الواحدة عبر $B$ من مسارات التوليد المتوازية، مما يقلل بشكل كبير من الذاكرة والحوسبة مقارنة بالتراجع الذاتي المجمع التقليدي.

3. المساهمات الرئيسية

المخزن المؤقت للتراجع الذاتي السببي: آلية تقلل تكلفة الاستدلال التراجعي الذاتي المشترك للنماذج الاحتمالية القائمة على المحولات من $O(K(N+K)^2)$ إلى $O(N^2 + NK + K^2)$ .
التدريب الموحد: استراتيجية تجمع بين الانتباه المقنع ومنهج حجم المخزن المؤقت، مما يتيح لنموذج واحد تعلم كل من أوضاع التنبؤ الهامشي والمشترك بأقل قدر من التكاليف الإضافية.
العمومية: الطريقة قابلة للتطبيق على بنيات مختلفة، بما في ذلك العمليات العصبية القائمة على المحولات (TNPs)، والشبكات الملائمة للمسبقات (PFNs)، والنماذج التأسيسية للبيانات الجدولية (TabICL).
الأداء: يحقق سرعة تصل إلى 20 ضعفًا في أخذ العينات وتقييم الكثافة المشتركة، واستخدامًا للذاكرة أقل بنسبة 7 أضعاف في ذروة الاستهلاك مقارنة بالنشر التراجعي الذاتي القياسي، مع مطابقة دقة التنبؤ.

4. النتائج التجريبية

قيم المؤلفون الطريقة عبر أربعة مجالات:

الدوال الاصطناعية (GP & Sawtooth):
- طابقت الطريقة مع حجم مخزن مؤقت $K=16$ أداء النموذج المرجعي التراجعي الذاتي الكامل (TNP-D-AR) من حيث لوغاريتم الاحتمالية (log-likelihood).
- تفوقت بشكل كبير على نماذج التنبؤ المستقلة (TNP-D-Ind) ونماذج غاوس متعددة المتغيرات (TNP-ND) التي تفشل في التقاط الاعتمادات المعقدة.
سلاسل EEG الزمنية:
- حققت أداءً مشابهًا للنموذج التراجعي الذاتي الكامل في مهام الاستكمال (Interpolation).
- أظهرت أداءً فائقًا على النماذج المستقلة في مهام التنبؤ (Forecasting).
مقارنة النماذج البايزية (الاستدلال السببي متعدد الحواس):
- استُخدمت لتقدير لوغاريتم الاحتمالية الهامشي (LML) لاختيار النماذج.
- طابقت تقديرات LML لهذه الطريقة تقديرات الحقيقة الأرضية (المستمدة عبر Stacking Variational Bayesian Monte Carlo)، مع $R^2 \approx 1.00$ ، متفوقة على النماذج الأخرى.
النماذج التأسيسية للبيانات الجدولية (TabICL):
- دُمجت في بنية TabICL لمهام الانحدار على مجموعات بيانات UCI.
- طابق وضع "AR w/ buffer" أداء "Standard AR" (إعادة التشفيد خطوة بخطوة) ضمن هوامش الخطأ القياسية عبر مهام الاستكمال والتنبؤ، ولكن بتكلفة حسابية أقل بكثير.

مقاييس الكفاءة:

السرعة: تصل إلى 20 ضعفًا أسرع لأخذ العينات وتقييم الكثافة المشتركة.
الذاكرة: استخدام أقل بنسبة 7 أضعاف لذروة ذاكرة الفيديو (VRAM)، خاصة مع أحجام السياق الكبيرة ( $N=1024$ ).
التدريب: حد أدنى من التكاليف الإضافية مقارنة بالنماذج القياسية القائمة على المجموعات؛ وأسرع بكثير من تدريب TNP-A (الذي يتطلب معالجة مكررة للأهداف).

5. الأهمية

يسد هذا العمل الفجوة بين كفاءة المجموعات والتعبيرية التراجعية الذاتية.

القابلية للتوسع: يجعل الاستدلال التراجعي الذاتي ممكنًا للنماذج الاحتمالية ذات السياق الكبير، وهو ما كان غير ممكن سابقًا بسبب التوسع التربيعي.
العملية: الطبيعة "القابلة للتركيب والتشغيل" للمخزن المؤقت (التي تُنفذ عبر أقنعة الانتباه) تسمح بدمجها في النماذج التأسيسية الحالية (مثل TabPFN أو TabICL) دون تغيير جذري في البنية.
التطبيقات: يتيح تنبؤات مشتركة عالية الدقة في المجالات الحرجة مثل علوم الأعصاب الحسابية (اختيار النماذج)، والتنبؤ بالسلاسل الزمنية، وتحليل البيانات الجدولية، حيث يعد التقاط الاعتمادات بين الأهداف أمرًا ضروريًا ولكن الموارد الحسابية محدودة.

باختصار، تقدم الورقة تحسينًا جوهريًا للمحولات الاحتمالية، مما يمكنها من التوسع في مهام التنبؤ المشترك في العالم الحقيقي دون التضحية بدقة إعادة تشفير السياق الكامل.