Mechanistic Evidence for Spectral Structures in Prior-Data Fitted Networks

ملخص تقني: الأدلة الميكانيكية للهياكل الطيفية في الشبكات الملائمة للبيانات المسبقة (PFNs)

بيان المشكلة
تتيح الشبكات الملائمة للبيانات المسبقة (PFNs) الاستدلال البايزي الموزع عبر رسم خرائط لبيانات السياق مباشرة إلى توزيعات التنبؤ البعدي في تمريرة أمامية واحدة، مما يوفر مزايا حسابية كبيرة مقارنة بالطرق التقليدية مثل العمليات الغاوسية (GPs). ومع ذلك، تعاني هذه الشبكات من غموض بنيوي؛ فبينما تستخدم العمليات الغاوسية الكلاسيكية نواة (kernel) صريحة وقابلة للتفسير، يُعتقد أن الـ PFNs تمتص البنية البايزية ضمنياً في أوزانها وتنشيطاتها. ولا يزال من غير المعروف ما إذا كانت هذه الشبكات تشفر هياكل طيفية محددة الهوية أم أنها تكتفي بحفظ خرائط المدخلات والمخرجات، وما إذا كان يمكن استخراج أي بنية كامنة كهذه ككائن بايزي صريح وقابل للنقل.

المنهجية
يستخدم المؤلفون مزيجاً من أدوات التفسير الميكانيكي وهياكل فك التشفير المبتكرة لاستقصاء التمثيلات الداخلية لثلاث معماريات مختلفة من الـ PFN: وهي (VA-PFN) القياسية، و(DVA-PFN) ذات الانتباه المنفصل القيم، و(TabPFN) المتاحة للعموم.

1. تجاريع الاستقصاء (Probing Experiments): تستخدم الدراسة "سلم الاستقصاء" لتقييم مدى إمكانية الوصول إلى المعلومات الطيفية داخل درجات الانتباه الكامنة ($\bar{H}$). ويتضمن ذلك مقاييس محاذاة هندسية خالية من المعلمات (تربط بين المسافات الكامنة وتغيرات تردد المدخلات) واستقصاءً موجهاً باستخدام مصنفات خطية وغير خطية (MLP) لتحديد ما إذا كانت المعلمات الطيفية (التردد، الوزن) قابلة لفك التشفير خطياً.
2. التدخلات السببية (Causal Interventions): للانتقال لما هو أبعد من الارتباط، يطبق المؤلفون رقعة التنشيط (activation patching) والتدخل في الفضاء الجزئي المستهدف.
   • رقعة التنشيط: استبدال التمثيل الكامن لإشارة ما بإشارة أخرى لقياس الأثر السببي (CE) على التنبؤ.
   • رقعة الفضاء الجزئي المستهدف: استبدال المكونات الرئيسية العليا ($k$-top) للفضاء الكامن لتحديد ما إذا كانت المعلومات الطيفية مركزة في فضاء جزئي منخفض الأبعاد أو موزعة بشكل منتشر.
3. مفكك بنك المرشحات (Filter Bank Decoder): بناءً على النتائج الميكانيكية، يقدم المؤلفون وحدة "مفكك بنك المرشحات". تقوم هذه الوحدة برسم خرائط لتمثيلات الـ PFN الكامنة المجمدة إلى تقديرات كثافة طيفية صريحة. وباستخدام مبرهنة بوخنر (Bochner's theorem)، يتم إعادة بناء هذه الكثافات إلى نوى مستقرة، مما يسمح بعمليات انحدار العمليات الغاوسية (GP regression) دون الحاجة لتحسين وقت الاختبار.

المساهمات الرئيسية

• أدلة ميكانيكية على التشفيد الطيفي: تقدم الورقة أول دليل منهجي على أن الـ PFNs تتعلم تمثيلات طيفية مهيكلة. حيث وُجد أن المعلومات الطيفية قابلة لفك التشفير خطياً من متوسط درجات الانتباه الكامنة ($\bar{H}$) ومنظمة على طول محور رئيسي مهيمن.
• التحقق السببي: من خلال رقعة التنشيط، يثبت المؤلفون أن $\bar{H}$ هي حامل سببي للهوية الطيفية. والأهم من ذلك، أن التدخلات في الفضاء الجزئي المستهدف كشفت أن هذه المعلومات مركزة في فضاء جزئي منخفض الأبعاد (غالباً في المكونات الرئيسية القليلة الأولى)، وهو ما يعد أكثر فعالية في التنبؤ من الاتجاهات العشوائية.
• القدرة على التعميم: أظهرت هذه الخصائص الطيفية أنها سمات ناشئة عن عملية التوفيق (amortization) من نمط PFN عبر مهام الانحدار المستمر، وليست مجرد نتاج لفرضيات سابقة محددة. وهي تظل ثابتة عبر آليات انتباه مختلفة (مشتركة، منفصلة، متبادلة) وعلى كل من المدخلات الاصطناعية والسلاسل الزمنية الواقعية (مثل حركة الركاب في شركات الطيران، وإنتاج الحليب) المحولة إلى انحدار جدولي.
• استخراج النواة الصريحة: نجح "مفكك بنك المرشحات" المقترح في استخراج نوى صريحة وقابلة للنقل من تمثيلات الـ PFN المجمدة. تدعم هذه النوى انحدار العمليات الغاوسية (GP regression) بشكل تنافسي مع النماذج التكرارية (مثل تعلم النواة العميقة وميزات راي-فورييه العشوائية)، مع اشتراط تمريرة أمامية واحدة فقط ودون الحاجة لتحسين وقت الاختبار.

النتائج

• قابلية فك التشفير الخطي: تحقق المستقصيات الخطية درجات $R^2$ عالية ($>0.93$) في استعادة التردد والأوزان من $\bar{H}$ عبر جميع المعماريات، مما يشدي إلى أن المعلومات الطيفية مشفرة في شكل قابل للفصل خطياً تقريباً.
• الفضاء الجزئي السببي: في رقعة الفضاء الجزئي المستهدف، يؤدي استبدال المكونات الرئيسية الطيفية العليا لـ TabPFN إلى تحويل التنبؤات نحو الإشارة المانحة بكفاءة عالية. على سبيل المثال، تحقيق رقعة لعدد قليل من الاتجاهات الطيفية يحقق أثراً سببياً يضاهي استبدال التنسور الكامل، بينما تتطلب الاتجاهات العشوائية رقعة لأكثر من 100 بُعد لتحقيق تأثير مماثل.
• أداء النواة المفككة: تعمل النوى المستخرجة بشكل تنافسي على معايير النواة القياسية (RBF, Periodic, Spectral Mixture). والجدير بالذكر أن المفكك يعمل بسرعة تفوق $\sim250$ ضعف النماذج التكرارية التي تتطلب تحسيناً لكل مهمة. ورغم أن المفكك لا يضاهي الأداء التنبؤي للـ PFN نفسها (التي تحتفظ بإمكانية الوصول إلى اللاتنت الكامل)، إلا أنه يتفوق بشكل كبير على طرق التقدير الطيفي الكلاسيكية (مثل المخطط الدوري/Periodogram) على الأهداف غير المرئية من خلال وراثة التنظيم الهيكلي للـ PFN.
• رؤى المعمارية: تشير الدراسة إلى أن البنية الطيفية تُبنى في خطوة الانتباه المتقاطع الأولى، بينما تُخصص الطبقات اللاحقة بشكل أساسي لتنسيق التوزيع البعدي. وهذا يعني أن عمق وعرض الـ PFN بعد نقطة معينة يعطي عوائد متناقصة فيما يخص بناء الطيف.

الأهمية والادعاءات
تدعي الورقة أنها تسد الفجوة بين كفاءة الاستدلال الموزع وقابلية التفسير للكائنات البايزية الصريحة. ومن خلال إثبات أن فرضيات الـ PFN ليست مجرد نماذج ضمنية بل هي قابلة للاستخراج صراحة كنوى قابلة للنقل، فإن هذا العمل يتحدى النظرة إلى الـ PFNs كـ "صناديق سوداء". ويرى المؤلفون أن هذه النتائج تقدم "فحصاً منطقياً" لتصميم الـ PFN، مما يشير إلى إمكانية تحسين المعماريات المستقبلية عبر التركيز على خطوات الانتباه المتقاطع الأولية لبناء الطيف بدلاً من طبقات التنسيق العميقة. علاوة على ذلك، فإن القدرة على استخراج النوى التي تدعم المهام اللاحقة (مثل التحسين البايزي على المعالج المركزي) دون استدعاء الشبكة العصبية مرة أخرى، يبرز مساراً عملياً لنشر الـ PFNs في البيئات ذات الموارد المحدودة أو التي تتطلب شفافية في التفسير. ويظل المؤلفون متواضعين في طرحهم، معترفين بأن المفكك هو أداة تشخيصية للقراءة وليس بديلاً كاملاً للـ PFN، وأن بعض المعلومات التنبؤية تظل خارج نطاق بارامترية الخليط الطيفي.