ملخص تقني: المحول التتبعي الدقيق عبر تصفية كالمان، وكريجينج، وضجيج العملية

1. بيان المشكلة

تعمل بنية المحول (Transformer) القياسية، رغم كونها أساسية للذكاء الاصطناعي الحديث، تحت افتراض ضمني حرج: أن كل توكن (Token) يتمتع بموثوقية متساوية. وفي التطبيقات الواقعية، يعد هذا التماثل حالة متدهورة تفشل في مراعاة عدم اليقين السائد. يحدد المؤلفون ثلاثة أنماط فشل محددة تنشأ عن هذا الافتقار إلى التعامل المبدئي مع عدم اليقين:

• سيناريوهات البداية الباردة (Cold-start): في التوصية المتسلسلة، تمتلك العناصر النادرة والمستخدمون الجدد تاريخًا ضئيلًا، ومع ذلك تعاملهم المحولات القياسية بنفس درجة الثقة التي تعامل بها العناصر الشائعة.
• الإشراف الضوضائي (Noisy supervision): في ضبط النماذج اللغوية الكبيرة (LLM)، يؤدي فساد العلاقة بين التوكن والوسم (Token-label corruption) أو جودة الإشارة غير المتجانسة في مجموعات البيانات المتخصصة إلى تحديثات تدرج موحدة، حيث تُعامل التوكنات ذات الإشارة المنخفضة تمامًا مثل التوكنات ذات الإشارة العالية.
• بالوعات الانتباه (Attention sinks): يمكن لآلية "softmax attention" غير المقيدة أن تركز الكتلة على التوكنات المبكرة غير المفيدة (بالوعات الانتباه) أو تفشل في التكيف مع عدم اليقين في الموضع في سياق الاسترجاع الطويل، حيث تفتقر البنية إلى قناة أصلية لإعلان أن موضعًا ما "غير موثوق".

الحلول الحالية (مثل أقنعة إزالة الضجيج، معايرة الانتباه، أو بوابات السيجمويد) غالبًا ما تكون استدلالات معزولة. ويجادل البحث بأن هذه الظواهر تشترك في سبب هيكلي واحد: تدهور الدقة ($\lambda = 1$) في المحولات القياسية، حيث لا يتم تتبع عدم اليقين أو نشره.

2. المنهجية: محول تصفية بايز (BFT)

يقترح المؤلفون محول تصفية بايز (Bayesian Filtering Transformer - BFT)، وهو إطار عمل يعيد تفسير طبقة المحول كمرشح بايزي مكون من ثلاث خطوات (ملاحظة $\leftarrow$ تحديث $\leftarrow$ تنبؤ). تعيد هذه الصيغة الدقة (مقلوب التباين) كعنصر أساسي، مما يسمح للنموذج بوزن الأدلة بناءً على الموثوقية.

2.1 رسم الخرائط الإطارية

يقوم BFT برسم خرائط عمليات المحول القياسية إلى خطوات مرشح كالمان:

1. الملاحظة (الانتباه الذاتي كعملية كريجينج - Kriging):

   • يحسب الانتباه القياسي المتوسط الموزون للقيم. يعامل BFT هذا كـ متنبئ كريجينج (مقدر جيواحصائي).
   • بدلاً من استخدام أوزان الانتباه الخام $\alpha_{tj}$، يقوم BFT بحساب أوزان كريجينج الموزونة بالدقة $\tilde{\alpha}_{tj}$ عن طريق الجمع بين الصلة (تشابه الاستعلام والمفتاح) ودقة الأولوية $\bar{\lambda}_j$ للجار:
     $$\tilde{\alpha}_{tj} = \frac{\alpha_{tj} \bar{\lambda}_j}{\sum_{j'} \alpha_{tj'} \bar{\lambda}_{j'}}$$
   • هذا يضيف فعليًا انحيازًا للدقة إلى لوغاريتمات الانتباه. يتم خفض وزن الجيران غير الموثوقين (دقة منخفضة $\bar{\lambda}$) حتى لو كانوا ذوي صلة.
   • دقة الملاحظة ($\lambda^{obs}_t$): مشتقة من بقايا تقدير كريجينج باستخدام مقدر الاحتمال الأقصى المقيد (REML) مع أولوية بايزية مترافقة (Inverse-$\chi^2$). يوفر هذا تقديرًا يعتمد على المحتوى وخاليًا من المعلمات لتباين الملاحظة.

2. التحديث (اتصال المتبقي كـتحديث كالمان):

   • اتصال المتبقي القياسي $h' = h + e$ هو تحديث كالمان مع كسب ثابت $K=1$.
   • يقدم BFT كسب كالمان تكيفي $K_t$:
     $$K_t = \frac{\lambda^{obs}_t}{\lambda_t + \lambda^{obs}_t}$$
   • إذا كانت الملاحظة ضوضائية (دقة منخفضة $\lambda^{obs}$)، فإن $K_t \to 0$، ويعتمد النموذج على الحالة السابقة. إذا كانت الأولوية غير مؤكدة (دقة منخفضة $\lambda_t$)، فإن $K_t \to 1$، ويعتمد النموذج على الملاحظة. هذا يلغي الحاجة إلى آليات البوابات المتعلمة.

3. التنبؤ (الشبكة الأمامية FFN كنموذج ديناميكي):

   • تقوم الشبكة الأمامية (FFN) بتطوير الحالة للأمام. يقوم BFT بنشر الدقة عبر الـ FFN باستخدام طريقة دلتا (Delta Method) وجاكوبي (Jacobian) القطري للـ FFN:
     $$\tilde{\lambda}''_t = \frac{\lambda'_t}{(1 + J_{FFN,t})^2}$$
   • ضجيج العملية ($Q$): لمنع الدقة من التراكم بشكل رتيب (مما قد يجمد النموذج)، يتم إضافة حد ضجيج عملية قابل للتعلم $Q$، مما يحد من تحديث الدقة:
     $$\lambda''_t = \left( \frac{(1 + J_{FFN,t})^2}{\lambda'_t} + Q \right)^{-1}$$
   • يسمح هذا للنموذج بتحديد الأبعاد التي تكون فيها الديناميكيات غير قابلة للتنبؤ وزيادة الانفتاح على الأدلة الجديدة.

2.2 تفاصيل التنفيذ

• خالٍ من المعلمات: لا تتطلب المقدرات الأساسية (REML مع الأولوية المترافقة) أي أرضيات ضجيج متعلمة أو معاملات معايرة.
• تكامل مباشر (Drop-in): يستبدل BFT فئة طبقة محول واحدة. إنه يضيف عبئًا ضئيلاً جدًا على المعلمات (<0.1%) ويطابق استخدام الذاكرة للإنتباه القياسي عبر هوية "المربع الموسع" لحساب البقايا.
• الدقة الأولية: عند الطبقة 0، يتم تعلم الدقة الأولية $\tau_i$ لكل عنصر (أو عبر MLP صغير على التضمينات) لترميز الموثوقية الأولية (مثل تكرار العنصر في التوصية).
• التوسعات: يدعم الإطار مقدرات تباين مختلفة (مثل مقدر الساندوتش للانتباه غير المعاير مثل HSTU) وتوسعات الرؤوس المتعددة.

3. المساهمات الرئيسية

1. إطار عمل موحد: يصيغ البحث المحول كمرشح بايزي، محددًا الدقة الموحدة ($\lambda=1$) كسبب جذري لبالوعات الانتباه، وفساد التغذية الراجعة الضوضائية، وتدهور البداية الباردة.
2. خوارزمية فعالة: خوارزمية مباشرة (BFT) تشتق دقة الملاحظة عبر REML وتنشرها عبر الـ FFN باستخدام طرق جاكوبي ودلتا، وكل ذلك ضمن تعقيد الذاكرة القياسي.
3. التحقق التجريبي:
   • التوصية المتسلسلة: طُبق على ثلاث دعامات مختلفة (SASRec, BERT4Rec, HSTU) عبر ست مجموعات بيانات. حقق BFT مكاسب كبيرة، خاصة في حالات البداية الباسية للمستخدمين والعناصر النادرة (على سبيل المثال، +14.5% HR@10 على العناصر النادرة في مجموعة بيانات Sports).
   • ضبط النماذج اللغوية الكبيرة (LLM): طُبق على TinyLlama-1.1B تحت إشراف ضوضائي (فساد التوكن-الوسم) وسياق ضوضائي (مشتتات RAG). حسن BFT المتانة والأداء مقارنة بـ SFT القياسي، حتى على البيانات النظيفة، من خلال توجيه التوكنات غير المؤكدة عبر ديناميكيات FFN بدلاً من الانتباه الضوضائي.

4. النتائج

• التوصية: في مجموعات بيانات أمازون المتفرقة (Sports, Instruments)، يتفوق BFT باستمرار على النماذج المرجعية. ترتبط المكاسب بشكل صارم بنسب الإشارة إلى الضجيج: كلما كانت البيانات أكثر تشتتًا (دقة أعلى في عدم اليقين)، زادت نسبة التحسن. على سبيل المثال، في HSTU مع بيانات Instruments، حقق BFT تحسنًا قدره +15.1% HR@10.
• تحليل البداية الباردة: يؤكد تحليل الطبقات أن فوائد BFT تتركز في العناصر النادرة (Q0) والمستخدمين الجدد. يكشف تحليل الآلية أنه بالنسبة للعناصر النادرة، يتعلم النموذج كسب كالمان أقل ($K \approx 0.77$) ودقة أولية أعلى، مما يوجه التنبؤات بفعالية عبر ديناميكيات FFN بدلاً من الاعتماد على سياق الانتباه الضوضائي.
• متانة النماذج اللغوية الكبيرة: في ضبط SQuAD الضوضائي، تفوق BFT على كل من SFT القياسي وخط الأساس Focal-loss. والجدير بالذكر أنه في البيانات النظيفة ($np=0$)، حسن BFT مقياس F1 بمقدار +8.3% عن SFT، مما يثبت أن الآلية ليست مجرد مرشح للضجيج ولكنها منظم هيكلي يحسن جودة التمثيل من خلال التكيف مع موثوقية التوكن.
• بالوعات الانتباه: أظهر تحليل نموذج الانتباه المبوّب (Qiu et al., 2025) أن بوابة السيجمويد المتعلمة ثابتة هيكليًا بالنسبة لطول السياق، بينما يتتبع كسب كالمان المستمد من BFT هندسة المعلومات (حجم العينة الفعال) بشكل طبيعي، مما يوفر تفسيرًا مبدئيًا لسبب مساعدة التبويب.

5. الأهمية والادعاءات

يدعي البحث أن استعادة الدقة هي تعديل واحد ومبدئي يفتح آفاقًا كبيرة عبر كل من نماذج التسلسل الكلاسيكية وأنظمة LLM الحديثة.

• حل شامل: على عكس الحلول الجزئية لمواقف فشل محددة (مثل أقنعة إزالة الضجيج للبداية الباردة، أو البوابات للبالوعات)، يعالج BFT هذه المشكلات في آن واحد من خلال صيغة بايزية موحدة.
• التوجيه التكيفي: الآلية الأساسية ليست مجرد "تقليل وزن الضجيج" بل هي توجيه معلومات تكيفي: يتعلم النموذج الوثوق بديناميكيات FFN المكتسبة للتوكنات غير المؤكدة وبالانتباه للتوكنات الواثقة.
• القابلية للتوسع: نهج BFT فعال حاسبيًا، حيث لا يتطلب عمليات تمرير أمامي إضافية (على عكس MC Dropout أو المجموعات/Ensembles) ويضيف عبئًا ضئيلاً جدًا على المعلمات.
• نطاق متواضع: يشير المؤلفون إلى أن التحقق تم بشكل أساسي على نطاق التوصية المتسلسلة، بينما تعمل تجارب LLM كإثبات للمفهوم على TinyLlama-1.1B. وهم يقرون بأنه بينما يساعد BFT أكثر في أنظمة الإشارة إلى الضوضاء المنخفضة، فإن المكاسب تكون أصغر في مجموعات البيانات الكثيفة حيث تكون الأولوية محددة بالفعل.

باختصار، يفترض البحث أن قصور المحول ليس في بنيته بحد ذاتها، بل في فشله في نمذجة عدم اليقين في مدخلاته وحالاته الوسيطة. من خلال معاملة المحول كمرشح بايزي، يستعيد BFT هذا البعد المفقود، مما يؤدي إلى نماذج أكثر متانة ودقة في البيئات غير المستقرة.