Attention in Krylov Space: Transformer-Based Extrapolation of Lanczos Coefficients
تقدم هذه الورقة نموذجاً قائماً على المحولات يتنبأ بمعاملات لانزوس بشكل تلقائي من بادئات قصيرة، متفوقاً بذلك على الملاءمات التقاربية التقليدية في الدقة، وممكناً من النقل الصفري المعرفة عبر أحجام الأنظمة لاستكشاف ديناميكيات المؤثر في فضاء كريلوف بكفاءة.
تخيل أنك تحاول التنبؤ بمستقبل نظام فوضوي، مثل مجرة دوارة أو كرة ترتد في غرفة مليئة بالمرايا. في عالم الفيزياء الكمية، يستخدم العلماء أداة رياضية خاصة تسمى "خوارزمية لانزوس" لتتبع كيفية انتشار المعلومات عبر هذه الأنظمة. فكر في هذه الخوارزمية كدرج طويل متعرج حيث تمثل كل درجة منه لحظة زمنية. ولكي تعرف ما سيحدث في أعلى الدرج (المستقبل البعيد)، يجب أن تعرف ارتفاع كل درجة تحته. تُسمى ارتفاعات هذه الدرجات "معاملات لانزوس".
ولكن، هناك عقبة؛ فحساب هذه الدرجات يشبه محاولة عد حبات الرمل على الشاطئ بينما المد يرتفع؛ تصبح الرياضيات معقدة، وتصبح الأرقام ضخمة، وفي النهاية تنفد ذاكرة الحاسوب أو يصاب بالارتباك بسبب أخطاء التقريب الضئيلة. لفترة طويلة، حاول العلماء تخمين بقية الدرج عن طريق رسم خط مستقيم بسيط عبر الخطوات القليلة الأولى التي استطاعوا حسابها. لكن هذا يشبه محاولة التنبؤ ببقية رحلة الأفعوانية (الرولر كوستر) بمجرد النظر إلى التل الأول فقط؛ فهذا النهج يغفل عن جميع الالتواءات والمنعطفات والهبوطات المفاجئة التي تشكل جوهر الرحلة. وهذه التفاصيل المفقودة هي بالغة الأهمية لأنها هي التي تحدد سلوك النظام الفعلي.
الآن، تخيل لو كان بإمكانك تعليم حاسوب أن ينظر إلى تلك الخطوات القليلة الأولى ويستشعر "إيقاع" الدرج بأكما، ليتنبأ بالبقية بدقة مذهلة. هذا هو بالضبط ما تفعله هذه الورقة البحثية. فقد تعامل الباحثان، زيهو كي وكريستوفر إيرلز، مع تسلسل معاملات لانزوس ليس كمجرد مسألة رياضية بسيطة، بل كقصة لها بداية ووسط ونهاية. لقد استخدما نوعًا من الذكاء الاصطناعي يسمى "ترانسفورمر" (Transformer) — وهي نفس التكنولوجيا التي تشغل نماذج اللغة المتقدمة — لقراءة الجزء المبكر من التسلسل وكتابة بقيته.
بدلاً من إجبار البيانات على اتخاذ شكل خط مستقيم ممل، تعلم نموذج الذكاء الاصطناعي الخاص بهما رصد الأنماط الخفية والدقيقة، مثل شفرة سرية مكتوبة في طريقة تذبذب الدرجات صعودًا وهبوطًا. وقد اختبرا ذلك على ثلاثة أنواع مختلفة من الأنظمة: قطعة دوارة فوضوية، ومغناطيس كمي فوضوي، وسلسلة كمية منتظمة تمامًا (متكاملة). وفي كل حالة، لم يكتفِ الذكاء الاصطناعي بالتخمين فحًا، بل تفوق على الطريقة القديمة القائمة على الخط المستقيم بفارق هائل، حيث قلل الخطأ غالبًا بمقدار عشرة أضعاف. والأكثر إثارة للدهشة هو أنهما دربا الذكاء الاصطناعي على أنظمة صغيرة سهلة الحساب، واستطاع بنجاح التنبؤ بسلوك أنظمة أكبر وأصعب في الحساب دون الحاجة إلى أي تدريب إضافي. الأمر كما لو أنك علمت طفلًا التعرف على نمط ضربات طبول صغيرة، فاستطاع فورًا التنبؤ بإيقاع أوركسترا ضخمة ومعقدة.
كما ألقى الباحثون نظرة داخل "عقل" الذكاء الاصطناعي ليروا كيف يعمل. ووجدوا أن النموذج لم يكتفِ بالنظر إلى الخطوة الأخيرة فقط لتخمين الخطوة التالية، بل كان يولي اهتمامًا للخطوات الأولى من التسلسل (مثل المرساة) وللخطوات الأخيرة في آن واحد، مع ملاحظة "تذبذب زوجي-فردي" محدد في الدرجات تجاهله تمامًا أسلوب الخط المستقيم القديم. يشير هذا إلى أن تاريخ النظام مرتبط بعمق بمستقبله بطريقة لا تستطيع الصيغ الرياضية البسيطة استيعابها. ومن خلال استخدام نهج الذكاء الاصطناعي هذا، يمكن للعلماء الآن استكشاف "المستقبل العميق" للأنظمة الكمية — وهي أماكن كانت الحسابات التقليدية القائمة على القوة الغاشمة مستحيلة فيها — مما يفتح آفاقًا جديدة لفهم كيفية تشتت المعلومات وتطورها في العالم الكمي.
ملخص تقني: الانتباه في فضاء كريلوف (Krylov Space)
بيان المشكلة تعتمد دراسة نمو المؤثرات (operator growth) في الأنظمة الكمية والكلاسيكية متعددة الأجسام بشكل كبير على صياغة لانزوس (Lanczos formalism)، التي تحول التطور الزمني لهيزنبرج إلى مشكلة قفز (hopping problem) على سلسلة كريلوف شبه نهائية. وتُحكم الديناميكيات بواسطة معاملات لانزوس {bn}، والتي تعمل كأمبلتيدات (سعات) للقفز. وبينما تُشفر السلوكيات التقاربية لهذه المعاملات (مثل النمو الخطي bn∼αn للأنظمة الفوضوية) خصائص عالمية مثل معدلات تشتت المعلومات، فإن الحساب العملي يواجه قيوداً شديدة. تعاني تكرارات لانزوس الدقيقة من عدم استقرار عددي بسبب الحسابات ذات الدقة المحدودة والتكاليف الأسية للذاكرة مع زيادة حجم النظام. وبناءً على ذلك، يقوم الباحثون عادةً بحساب بادئة قصيرة فقط من المعاملات ثم يستنبطون بقية القيم باستخدام ملاءمة تقاربية بسيطة (مثل الأشكال الخطية أو الخطية-اللوغاريتمية). ومع ذلك، تفشل عمليات الملاءمة القياسية هذه في التقاط البنى الفرعية المنهجية — مثل التذبذب بين الزوجي والفردي (even-odd staggering) والتذبذبات المعتمدة على النموذج — وهي بنى ضرورية لإعادة بناء الملاحظات الفيزيائية بدقة، مثل دالات الارتباط الذاتي (autocorrelation functions) والتعقيد الكريلوفي (Krylov complexity).
المنهجية يقترح المؤلفون نهجاً قائماً على البيانات يعامل تسلسل معاملات لانزوس كسلسلة زمنية سببية. وبدلاً من الملاءمة مع دالة تقاربية محددة مسبقاً، يستخدمون بنية "ترانسفورمر" (Transformer) تعتمد على التنبؤ الذاتي (autoregressive) للتنبؤ بالمعاملات المستقبلية من بادئة مدخلة قصيرة.
تمثيل البيانات: للتعامل مع النطاق الديناميكي الواسع لـ bn، يتنبأ النموذج بالفروقات بين المعاملات المتجاورة، Δbn=bn−bn−1، بدلاً من المعاملات نفسها. هذا الإجراء يعمل على استقرار هدف التدريب، حيث يقترب Δbn من قيمة ثابتة في الحد التقاربي.
البنية: يستخدم النموذج بنية "ترانسفورمر" من نوع "المُفكك فقط" (Decoder-only Transformer). يتم رسم خرائط للمدخلات القياسية (Δbn) إلى متجهات تضمين (embedding vectors) وتعزيزها بتشفيرات موضعية (positional encodings). وتستخدم الآلية الجوهرية طبقة انتباه ذات رؤوس متعددة مقنعة (masked multi-head self-attention)، مما يفرض السببية (التنبؤات عند الخطوة n تعتمد فقط على n′≤n) ويسمح للنموذج بوزن تأثير المعاملات التاريخية على التنبؤات المستقبلية.
هدف التدريب: يتم تدريب النموذج لتقليل متوسط مربع الخطأ (MSE) بين الفرق المتوقع للخطوة التالية والحقيقة الأرضية، وذلك عبر متوسط مجموعة بيانات من تسلسلات لانزوس المستخرجة من نماذج مختلفة من الهاملتوني (Hamiltonian).
المقارنة المرجعية: تمت مقارنة الأداء مع ملاءمات تقاربية قياسية (خطية أو خطية-لوغاريتمية مع حدود التذبذب بين الزوجي والفردي) المستمدة من فرضية نمو المؤثر العالمي (UOGH).
النتائج الرئيسية تحقق المؤلفون من صحة نهجهم على ثلاثة نماذج نموذجية: "المنبوذ المغزلي XYZ الكلاسيكي" (classical XYZ spin top)، ونموذج "إيسينج للمجال المستعرض" (TFIM) الفوضوي، ونموذج "هيزنبرج XXZ" القابل للتكامل.
دقة استنباط فائقة: في كل من الأنظمة الكلاسيكية والفوضوية الكمية، يتفوق نموذج "الترانسفورمر" بشكل كبير على الملاءمات التقاربية. فقد حقق انخفاضاً في جذر متوسط مربع الخطأ (RMSE) بمقدار رتبة عشرية كاملة عند الاستنباط بعيداً عن نافذة المدخلات. والأهم من ذلك، نجح النموذج في التقاط الانحرافات غير الخطية والتذبذبات الفرعية والتذبذب بين الزوجي والفردي التي تغفلها الملاءمات الخطية.
إعادة بناء الملاحظات الفيزيائية: تترجم عملية استنباط المعاملات المحسنة مباشرة إلى دقة فيزيائية. فعند استخدامها لإعادة بناء التعقيد الكريلوفي K(t) ودالة الارتباط الذاتي C(t)، ينتج عن الطريقة القائمة على "الترانسفورمر" أخطاء أقل بعدة رتب من الملاءمات المرجعية عند الأوقات المتأخرة (tJ≳2).
قابلية النقل دون إعادة تدريب (Zero-Shot Transferability): نتيجة مذهلة هي قدرة النموذج على التعميم عبر أحجام الأنظمة المختلفة. فالنموذج الذي تم تدريبه حصرياً على تسلسلات لانزوس من نظام صغير (L=8) يمكنه استنباط المعاملات بدقة لنظام أكبر (L=12) دون الحاجة لإعادة التدريب. وهذا يشير إلى أن النموذج يتعلم السمات الهيكلية العالمية لتسلسل المعاملات بدلاً من حفظ بارامترات نظام محددة.
الأنظمة القابلة للتكامل: يؤدي النموذج أيضاً أداءً جيداً في الأنظمة القابلة للتكامل (نموذج XXZ)، حيث لا يوجد شكل تقاربي عالمي. فقد أعاد إنتاج النمو دون الخطي وأنماط التذبذب المعقدة بدقة دون أن يتم برمجته صراحة بهذه الأشكال الوظيفية.
تحليل آلية الانتباه: من خلال تحليل أوزان الانتباه المتعلمة، حدد المؤلفون أن النموذج يعتمد على ثلاثة أنماط رئيسية:
السياق المحلي: انتباه قوي لأحدث المعاملات.
الحساسية للزوجية (Parity Sensitivity): نمط "رقعة الشطرنج" الذي يشير إلى الحساسية للتذبذب بين الزوجي والفردي.
الترسيخ العالمي (Global Anchoring): أوزان انتباه كبيرة مُسندة إلى المعاملات الأولى في التسلسل، مما يشير إلى أنها تعمل كـ "مرتكزات" لاستنتاج الخصائص العالمية. أكدت دراسات الاستئصال (Ablation studies) أن إزالة الانتباه بعيد المدى أو حجب المعاملات المبكرة يؤدي إلى تدهور الأداء بشكل حاد، مما يثبت ضرورة التقاط الارتباطات طويلة المدى المعتمدة على التاريخ.
الأهمية والادعاءات يزعم البحث أن نماذج التسلسل الحديثة، وتحديداً "الترانسفورمر"، تعمل كبدائل عملية ومتفوقة لسبر أغوار ديناميكيات المؤثرات في أعماق فضاء كريلوف، حيث يكون إجراء تكرار لانزوس المباشر مستحيلاً حاسوبياً. يوضح العمل أن معاملة معاملات لانزوس كتسلسل سببي مهيكل يسمح باستخراج البنى الفرعية المعتمدة على التاريخ والتي تكون غير مرئية لإجراءات الملاءمة التقاربية القياسية.
يؤكد المؤلفون أن هذا النهج يتيح وصولاً أكثر موثوقية إلى ديناميكيات المؤثرات طويلة الأمد من بيانات مدخلة محدودة. علاوة على ذلك، فإن القدرة على التدريب على بيانات أنظمة صغيرة منخفضة التكلفة حاسوبياً ونقل النموذج إلى أنظمة أكبر توفر مساراً لدراسة أنظمة كمية متعددة الأجسام أكبر دون تحمل التكاليف الأسية للذاكرة الناتجة عن المحاكاة المباشرة. ويختتم البحث بالإشارة إلى القيود، وتحديداً أن النماذج الحالية مرتبطة بعائلات هاملتوني محددة ومؤثرات أولية معينة، ويقترح العمل المستقبلي نحو بناء "نموذج تأسيسي" (foundation model) للديناميكيات الكمية المصاغة في فضاء كريلوف.