ملخص تقني: الانتباه الوظيفي: من التقارب الزوجي إلى المراسلات الوظيفية

1. بيان المشكلة

تتناول الورقة تحدي تعلم المؤثرات (Operator Learning)، المعرّف بأنه تعلم الخرائط بين فضاءات الدوال ذات الأبعاد اللانهائية ($O: \mathcal{F} \to \mathcal{G}$). هذا النموذج يعد حاسماً لتطبيقات مثل حل المعادلات التفاضلية الجزئية (PDEs)، والمحاكاة الفيزيائية، والمعالجة الهندسية.

بينما حققت البنى القائمة على المحولات (Transformers) نتائج رائدة (SOTA) في العديد من المجالات، فإن تطبيقها على تعلم المؤثرات يواجه ثلاثة قيود رئيسية عند التعامل مع الحقول المستمرة كرموز (tokens) منفصلة:

1. القابلية للتوسع الحسابي: يتطلب "الانتباه بنقرة النقطة المتدرجة" (scaled dot-product attention) القياسي تعقيداً تربيعياً ($O(n^2)$) بالنسبة لعدد الرموز (العينات)، مما يعيق القدرة على التوسع.
2. الجهل بالبنية: يتعامل انتباه الرموز مع العينات كنقاط مستقلة، متجاهلاً البنية الوظيفية العالمية والعلاقات الهندسية/الفيزيائية المتأصلة في البيانات.
3. الاعتماد على الدقة (Resolution Dependence): تفتقر الطرق التي تعتمد على المراسلات بين الرموز المنفصلة إلى طرق منهجية للحفاظ على الاتساق عبر التجزئات المختلفة أو الشبكات غير المنتظمة، مما يحد من قدرتها على التعميم لمختلف مستويات الدقة.

تستخدم المؤثرات العصبية الحالية (مثل Fourier Neural Operators) قواعد وظيفية ثابتة (مثل قواعد فوريه أو قواعد لابلاس Eigenbases) وهي فعالة ولكنها تعاني من تحيزات استقرائية قد لا تتناسب مع الهندسات المعقدة وغير المنتظمة.

2. المنهجية: الانتباه الوظيفي (FUNCATTN)

تقترح المؤلفة الانتباه الوظيفي (Functional Attention)، وهو آلية تعيد تفسير الانتباه ليس كتقارب زوجي بين رموز منفصلة، بل كـ مراسلة وظيفية بين قواعد تكيفية. هذا النهج مستوحى من إطار عمل الخرائط الوظيفية (functional maps framework) من معالجة الهندسة، والذي يمثل المراسلات بين الأشكال كعوامل خطية تعمل على فضاءات الدوال.

البنية الأساسية

تستبدل هذه الطريقة مصفوفة التقارب القائمة على "softmax" بعامل خطي مهيكل يتم تعلمه عبر الانحدار المربعي الصغرى في مجال طيفي. تتضمن العملية:

1. تعلم القواعد التكيفية: بدلاً من القواعد الثابتة، تتعلم الطريقة دالات أساس تعتمد على البيانات. بالنظر إلى المدخل $X$، يتم تقدير مصفوفات القواعد $\Phi$ (للاستعلامات/queries) و $\Psi$ (للمفاتيح/keys والقيم/values) عبر طبقة خطية متبوعة بعملية Softmax:
   $$B = \text{Softmax}(\text{Linear}(X))$$
   تعمل هذه القواعد المتعلمة كعناصر (P0) عامة مجزأة تتكيف مع البنية الجوهرية للمدخل (الدلالية، الهندسية، أو الفيزيائية).

2. الإسقاط الطيفي: يتم إسقاط الاستعلامات ($Q$)، والمفاتيح ($K$)، والقيم ($V$) إلى المجال الطيفي باستخدام القواعد المتعلمة (عبر المعكوس الزائف أو المنقول):
   $$\tilde{Q} = \Phi^\dagger Q, \quad \tilde{K} = \Psi^\dagger K, \quad \tilde{V} = \Psi^\dagger V$$

3. النقل الخطي الأمثل: بدلاً من حساب مصفوفة انتباه كثيفة $n \times n$، تجد الطة عاملاً مضغوطاً $k \times k$ (حيث $k \ll n$) يقوم برسم خرائط من مساحة المفاتيح إلى مساحة الاستعلامات. يتم صياغة ذلك كمسألة مربعات صغرى منظمة بـ "Tikhonov":
   $$\min_C \| \tilde{Q} - C\tilde{K} \|_F^2 + \lambda \|C\|_F^2$$
   الحل المغلق هو:
   $$C^* = \tilde{Q}\tilde{K}^\top (\tilde{K}\tilde{K}^\top + \lambda I_k)^{-1}$$

4. إعادة البناء: يتم إعادة بناء المخرج عن طريق تطبيق المؤثر $C$ على المعاملات الطيفية للقيم وتحويلها مرة أخرى إلى المجال المكاني:
   $$\text{FUNCATTN}(Q, K, V) = \Phi C \tilde{V}$$

الخصائص النظرية

تثبت الورقة أن طبقة الانتباه الوظيفي تحقق استمرارية ليبشيتز المحلية (local Lipschitz continuity) بالنسبة للدوال المدخلة. يتحكم معامل التنظيم $\lambda$ في الحد الأعلى لثابت ليبشيتز، مما يضمن الاستقرار العددي ويمنع الحلول المتدهورة.

3. المساهمات الرئيسية

1. نموذج انتباه جديد: وضع المؤلفون صلة منهجية بين صيغ الانتباه القياسية وإطار عمل الخرائط الوظيفية، مما أعاد تعريف الانتباه كمؤثر خطي بين فضاءات دالية متعلمة بدلاً من مصفوفة تقارب لكل رمز.
2. تمثيل مستقل عن الدقة: من خلال العمل في مساحة طيفية متعلمة مع مؤثر مضغوط، تحقق الطريقة تمثيلاً مستقلاً عن الدقة يلتقط التبعيات العالمية بشكل صريح.
3. تطبيق متعدد الاستخدامات (FUNCATTN): أثبتت البنية المقترحة فعاليتها عبر مهام متنوعة، بما في ذلك حل المعادلات التفاضلية الجزئية (PDE)، وتقسيم ثلاثي الأبعاد، والانحدار، دون الحاجة إلى تغييرات هيكلية خاصة بالمهمة.
4. التحليل النظري: يقدم العمل إثباتاً نظرياً لاستمرارية ليبشيتز للطبقة، مما يضفي طابعاً رسمياً على دور التنظيم في استقرار عملية تعلم المؤثر.

4. النتائج التجريبية

قيم المؤلفون FUNCATTN مقابل خطوط أساس قوية (بما في ذلك FNO، وGeo-FNO، وGalerkin Transformer، وTransolver، وTransformers القياسية) عبر عدة اختبارات مرجعية:

• الانحدار في حالات التعلم القليل (Few-Shot Regression): في انحدار الجيب مع ملاحظات نادرة (مثلاً 4 نقاط)، تفوق FUNCATTN بشكل كبير على الانتباه القياسي وTransolver، محققةً أخطاءً أقل بمراتب تصل إلى ثلاث مراتب عشرية. كما أظهرت كفاءة عالية في العينات من خلال الاستفادة من الأولويات الهيكلية في القاعدة المتعلمة.
• حل المعادلات التفاضلية الجزئية (PDE): في ستة اختبارات تشمل ميكانيكا السوائل (Darcy, Navier-Stokes, Airfoil, Pipe) وميكانيكا المواد الصلبة (Elasticity, Plasticity)، حققت FUNCATTN أداءً رائداً (SOTA) في خمسة من ستة مجموعات بيانات، متفوقة على Transolver بنسبة تتراوح بين 6% إلى 26.3% في خسارة $L_2$ النسبية.
• التقسيم ثلاثي الأبعاد (3D Segmentation): في مجموعة بيانات سحب النقاط RNA، حققت FUNCATTN أعلى دقة تقسيم (89.0%)، متفوقة على ++PointNet وDiffusionNet وTransolver. ويعزو المؤلفون ذلك إلى قدرة الحل الخطي على إنتاج أوزان انتباه موقعة، مما يوفر قدرة تباينية صريحة.
• التعميم خارج التوزيع (OOD Generalization): في مهام تصميم الجناح (airfoil) مع أرقام رينولدز وزوايا هجوم غير مرئية، أظهرت FUNCATTN تعميماً قوياً، حيث قللت الخطأ النسبي بنسبة 8.8% إلى 9.5% مقارًة بأقرب منافس لها.
• الهندسات المعقدة: في مهمة تدفق دارسي (Darcy flow) ثنائية الأبعاد ذات نطاق مثلثي وفجوة حادة (ميزات مفردة)، حققت FUNCATTN خطأ $L_2$ نسبي قدره 0.64%، متفوقة على الطرق الطيفية القائمة على الشبكة (مثل dgFNO+) التي تعاني مع النطاقات غير المستطيلة.
• الدقة الفائقة من الصفر (Zero-Shot Super-Resolution): تعمم الطريقة بفعالية من التدريب على شبكات خشنة (2041 نقطة) إلى الاختبار على شبكات ناعمة (8192 نقطة) دون ضبط دقيق، مما يثبت استقلاليتها عن التجزئة.

5. الأهمية والادعاءات

تدعي الورقة أن الانتباه الوظيفي يقدم تحولاً جوهرياً في كيفية تصميم آليات الانتباه لتعلم المؤثرات. من خلال الانتقة من التقارب الزوجي إلى المراسلات الوظيفية، تقوم الطريقة بـ:

• فك الارتباط بين التعقيد والدقة: يعتمد التكلفة الحسابية على عدد دالات القاعدة ($k$) بدلاً من عدد الرموز ($n$)، مما يسمح بمعالجة فعالة للحقول عالية الدقة.
• التقاط البنية الجوهرية: تسمح القواعد التكيفية المتعلمة للنموذج بالتقاط الهياكل الهندسية والفيزيائية التي قد تغفل عنها القواعد الثابتة أو انتباه الرموز.
• تحسين المتانة: تظهر الطريقة متانة قوية تجاه التجزئات المتغيرة، والشبكات غير المنتظمة، وتحولات النطاق (OOD)، مما يجعلها مناسبة للحوسبة العلمية والهندسية حيث تختلف دقة البيانات والهندسة.

يخلص المؤلفون إلى أن هذا المنظور الوظيفي يفتح آفاقاً جديدة لتصميم آليات انتباه واعية بالبنية، ومستقلة عن الدقة، ومناسبة طبيعياً للطبيعة ذات الأبعاد اللانهائية لمهام تعلم المؤثرات. كما يقرون بوجود قيود تتعلق ببساطة إسقاط القاعدة الحالي والحاجة إلى مزيد من التحليل النظري حول ضمانات التقريب.