ملخص تقني: هندسة الميزات كتحيز للتعريف (Identifiability Bias) من أجل التعميم خارج التوزيع (OOD Generalization)

1. بيان المشكلة

تتفوق الشبكات العصبية العميقة في الاستيفاء (Interpolation) ضمن نطاق بيانات التدريب، لكنها تفشل تكراراً عند الاستقراء (Extrapolation) خارج التوزيع (OOD). وبينما تضمن مبرهنة التقريب العالمي (Universal Approximation Theorem) قدرات الاستيفاء، يظل الاستقراء المضمون رياضياً مشكلة لم تُحل بعد.

تتمثل المشكلة الجوهرية التي حددها هذا العمل في التكافؤ الرصدي (Observational Equivalence). ففي أي نافذة تدريب محدودة $W$، يمكن لعدد لا نهائي من عمليات توليد البيانات (DGPs) أن تكون متكافئة رصدياً بـ $\epsilon$ (أي غير قابلة للتمييز ضمن حد التسامح $\epsilon$)، ومع ذلك تتباعد بشكل تعسفي خارج $W$. وبناءً على ذلك، لا يمكن لأي معيار داخل التوزيع وحده (مثل خسارة التدريب، أو التحقق المتقاطع، أو الخسارة المحتجزة على $W$) أن يميز بشكل موثوق بين العملية الحقيقية والفرضيات المربكة الأخرى. ويجادل البحث بأن الاستقراء خارج التوزيع (OOD) هو أمر غير قابل للتعريف (Non-identifiable) من البيانات وحدها؛ حيث يشكل اختيار التمثيل وفئة النموذج "التزاماً هيكلياً" (Structural Commitment) لحل هذا الغموض.

2. المنهجية والإطار النظري

2.1 الالتزام بعملية توليد البيانات $(\phi, \psi, M)$

يصيغ المؤلفون عملية التعلم كالتزام مشترك يتضمن ثلاثة مكونات:

1. خريطة الميزات ($\phi$): تحول المدخل $x$ إلى فضاء تمثيل $Z_x$.
2. خريطة التسمية ($\psi$): تحول الهدف $y$ إلى $Z_y$.
3. فئة النموذج ($M$): فئة الفرضيات التي تعمل على الفضاءات المحولة.

يفترض البحث أن الثلاثية $(\phi, \psi, M)$ هي التي تحدد عملية توليد البيانات (DGP) المفترضة. إذا توافق هذا الالتزام مع الـ DGP الحقيقية بحيث يصبح الهدف قابلاً للتعبير عنه خطياً (أو بطريقة بسيطة أخرى) في الفضاء المحول، فإن الاستقراء خارج التوزيع يصبح استيفاءً.

2.2 التكافؤ الرصدي والتعريف (Identifiability)

تثبت الخاصية 1 (Proposition 1) أن تقليل الخطأ التجريبي (ERM) أعمى تجاه العمليات المتكافئة رصدياً. لأي نافذة $W$ ومستوى ضجيج $\sigma$، إذا اتفقت عمليتان $P_1$ و $P_2$ على $W$ ضمن التسامح $\epsilon$، فلا يمكن لأي اختبار مدعوم على $W$ أن يميز بينهما بشكل موثوق عندما يكون $\epsilon\sqrt{n} \ll \sigma$. وهذا يعني أن معايير الاختيار القياسية (مثل التحقق المتقاطع) لا يمكنها كسر التعادل بين الـ DGPs المتنافسة التي تتكافأ رصدياً في مجموعة التدريب.

تقدم الخاصية 2 (Proposition 2) وسيلة استدلالية لكسر هذا التعادل: البيانات القريبة من الحدود (Near-boundary data). إذا تباعدت عمليتان بمعدل $r$ خارج نافذة التدريب، فإن جزء التحقق بعرض $\delta \ge \epsilon/r$ المجاور مباشرة لحدود التدريب سيخرج من منطقة الاتفاق. إن تقييم المرشحين بناءً على هذا الجزء القريب من الحدود يسمح باختيار الالتزام الهيكلي الصحيح.

2.3 الوجود البنائي (Constructive Existence)

يوضح البحث أنه إذا كانت الـ DGP الحقيقية قابلة للتحقيق ضمن فئة النموذج $M$ بعد التحويل (أي أن $g^* \circ \phi = f$ على جميع قيم $X$، وليس فقط على $W$)، وكان النموذج قابلاً للتعريف من عينات محدودة، فإن خطأ الـ OOD يتلاشى ($\epsilon_{OOD} = 0$). وقد أظهر ذلك في:

• الدوال الجيبية (Sinusoidal functions): باستخدام إحداثيات فوريه $\phi(x) = (\sin x, \cos x)$، يتحول الاستقراء الدوري إلى استيفاء على دائرة $S^1$.
• قوانين القوة (Power laws): باستخدام تحويلات اللوغاريتم-لوغاريتم (log-log).
• الدوال الأسية (Exponentials): باستخدام تحويلات لوغاريتم $y$.

3. المساهمات الرئيسية

1. صياغة التكافؤ الرصدي: يوفر البحث حداً أدنى نظرياً للقدرة على التمييز بين العمليات المتكافئة رصدياً، ويثبت أن مخاطر الـ OOD غير قابلة للتعريف بدون التزامات هيكلية.
2. إطار الالتزام بـ DGP: يحدد البحث $(\phi, \psi, M)$ كمصدر وحيد للمعلومات الهيكلية التي يمكن للمُنمذج تقديمها لحل غموض الـ OOD. ويجادل بأن "هندسة الميزات" ليست خروجاً عن نجاح التعلم العميق، بل هي الحقن الصريح للالتزام الهيكلي الضروري.
3. تجارب مضبوطة على الأزواج الدنيا (Minimal Pairs): يعزل المؤلفون المتغيرات لإظداء أن البنى المتطابقة مع نفس خسارة التوزيع الداخلي (ID loss) يمكن أن تختلف بمراحل (مثلاً $\sim520\times$) في أداء الـ OOD بناءً على خريطة الميزات $\phi$ فقط.
4. التحقق عبر المجالات المختلفة: تم التحقق من الآلية عبر ثلاثة مجالات علوم طبيعية:
   • الكيمياء: حركية تفاعل الكتلة (MAK) حيث تقوم الميزات ثنائية الخطية (bilinear) بجعل الديناميكيات خطية.
   • الفيزياء: قانون كيبلر الثالث للتنبؤ بالكواكب الخارجية، حيث تستعيد تحويلات اللوغاريتم الأسس الفيزيائية.
   • الأحياء: اكتشاف الكود الجيني عبر الأنواع، حيث تنتقل الميزات الثابتة للكود الجيني (genetic-code-invariant) دون تدريب (zero-shot) عبر الكائنات ذات محتوى GC المتفاوت.
5. أدوات الممارسين:
   • التحقق بالقرب من الحدود (Near-Boundary Validation): وسيلة استدلالية تتفوق على التحقق المتقاطع لاختيار خرائط الميزات.
   • تشخيص $\delta_{OOD}$: مقياس يعتمد على SINDy (التعرف المتناثر على الديناميكيات غير الخطية) يرتبط ببقايا (residual) الملاءمة المتناثرة على بيانات OOD مع صحة خريطة الميزات.
   • فحص عدم التغير في البنية (Architecture-Invariance Check): دراسة تظهر أن ضمان الـ OOD ينتمي إلى خريطة الميزات (مثل الترميز الموضعي الفوري الدقيق - Exact Fourier Positional Encoding)، وليس إلى العمود الفقري (Transformer, Mamba, or S4D).

4. النتائج التجريبية

4.1 التجارب اللعبة (Sin(x) وقوانين القوة)

• Sin(x): نموذج MLP مدرب على $x$ الخام يستقر كمنحنى ناعم ومستوٍ مع خطأ OOD عالٍ ($\sim156\%$). بينما يحقق نفس الـ MLP المدرب على ميزات فوريه $(\sin x, \cos x)$ خطأ OOD يقارب الصفر ($\sim0.3\%$). وتظهر النماذج التأسيسية (TimesFM, TabPFN) السلوك نفسه: فهي تنجح عندما يوفر تنسيق المدخلات ضمناً خريطة الميزات الصحيحة، وتفشل بخلاف ذلك.
• قانون القوة مقابل الأسي: في حالة يكون فيها $x^2$ و $e^{\alpha(x-1)}$ متكافئين رصدياً على $[1, 2]$، فإن خريطة ميزات (log-log) الصحيحة مع نموذج خطي (OLS) فقط هي التي تحقق خطأ OOD منخفضاً. الالتزامات الخاطئة (مثل استخدام log-log على هدف أسي) تؤدي إلى فشل كارثي ($>9,999\%$ خطأ).

4.2 مجالات العلوم الطبيعية

• الكيمياء (MAK): تسمح الميزات ثنائية الخطية لـ OLS باستعادة المعادلات الحاكمة بدقة $0.0\%$ خطأ OOD، بينما تفشل نماذج MLP الخام بنسبة ($24.4\%$).
• الفيزياء (Kepler): استخدام $(\log a, \log M_{star})$ مع OLS يستعيد القانون الفيزيائي بخطأ OOD قدره $3.8\%$. أما نماذج MLP الخام فتفرط في التخصيص (overfit) لبيانات ID (بنسبة $6.9\%$) لكنها تفشل في OOD (بنسبة $79.0\%$).
• الأحياء (CDS): تفشل الترميزات الموضعية القياسية (Learned APE, Sinusoidal) في التعميم عبر الأنواع ذات محتوى GC المختلف (تنخفض إلى مستوى الصدفة). بينما تمكن خرائط الميزات التي تشفر دورية الكودون وتكوين الأحماض الأمينية من نقل المعرفة (zero-shot transfer) مع AUROC يصل إلى $0.96$.

4.3 عدم تغير البنية (Transformer, Mamba, S4D)

في مهمة تسلسل دوري، يحقق الترميز الموضعي الفوري الدقيق (Exact Fourier Positional Encoding) خطأ OOD يقارب الصفر ($\le 0.2\%$) عبر البنى الثلاث ودرجات طول مختلفة. في المقابل، تفشل الترميزات الموضعية القياسية، وRoPE، والمتعلمة (نسبة خطأ $>90\%$). وهذا يؤكد أن ضمان الـ OOD هو خاصية لخريطة الميزات، وليس للبنية.

4.4 الحدود والشروط الضرورية

باستخدام اختبار $d$-torus دوري، يحدد البحث ثلاثة شروط ضرورية مشتركة للتعميم خارج التوزيع (OOD):

1. محاذاة التمثيل (Representation Alignment): يجب أن تتوافق خريطة الميزات مع الـ DGP.
2. سعة فئة النموذج (Model Class Capacity): يجب أن يكون النموذج قادراً على التعبير عن رتبة التفاعل للهدف في الفضاء المحول.
3. التغطية (Coverage): يجب أن تغطي بيانات التدريب فضاء التمثيل بشكل كافٍ (التغطية الحرجة $M_{crit} \approx 4$).
   تظهر الدراسة أنه حتى مع وجود خريطة ميزات صحيحة، يحدث فشل الـ OOD إذا افتقرت فئة النموذج للسعة أو إذا كانت تغطية العينات غير كافية.

5. الأهمية والادعاءات

يدعي البحث أنه يحل مسألة "متى ولما لماذا" يفشل الاستقراء في الشبكات العصبية. ويجادل بأن:

• مخاطر الـ OOD غير قابلة للتعريف من البيانات في نافذة واحدة؛ فالالتزام الهيكلي $(\phi, \psi, M)$ هو الآلية الوحيدة لحل هذا الغموض.
• هندسة الميزات ليست مهجورة. بينما يمكن للتعلم العميق تعلم الميزات داخل التوزيع (in-distribution)، إلا أن الالتزامات الهيكلية الصريحة مطلوبة للاستقراء.
• التدريب المسبق (Pretraining) لا يحل المشكلة. ترث النماذج المدربة مسبقاً مشكلة الالتزام عبر تنسيق مدخلاتها؛ فهي تنجح فقط عندما يقدم المستخدم التحويل الصحيح.
• الميزات الصحيحة ضرورية ولكنها ليست كافية. يجب أن تعبر فئة النموذج عن الهدف، ويجب أن تغطي البيانات فضاء التمثيل.

يخلص المؤلفون إلى أن "مجموعة راشومون" (مجموعة النماذج التي تتفق على بيانات التدريب ولكن تختلف خارج التوزيع) لا يتم التعامل معها عبر البيانات وحدها، بل عبر اختيار المُنموذج للالتزام الهيكلي. ويعيد البحث صياغة هندسة الميزات باعتبارها الحقن الصريح للالتزام بـ DGP المطلوب لجعل الاستقراء قابلاً للتعريف.