ملخص تقني: اكتشاف خوارزمية خريطة زيتا على مسارات ديك عبر التفسير الآلي

بيان المشكلة

يتم تطبيق التعلم الآلي بشكل متزايد في الأبحاث الرياضية، ومع ذلك تظل هناك فجوة جوهرية بين التنبؤ عالي الدقة وتوليد البناءات الرياضية الصريحة والقابلة للتحقق. في علم التراكيب (Combinatorics)، غالبًا ما يكون المخرج المنشود هو حدسية، أو بناء، أو خوارزمية يمكن فحصها بشكل مستقل، بدلاً من مجرد تقريب عددي. تعالج هذه الورقة هذه الفجوة من خلال استقصاء ما إذا كانت أدوات التفسير الآلي (Mechanistic Interpretability) يمكنها استخراج خوارزميات تركيبية صريحة من الشبكات العصبية المدربة.

الحالة الاختبارية المحددة هي خريطة زيتا ($\zeta$) على مسارات ديك (Dyck paths)، وهي تقابل (bijection) كلاسيكي مركزي في نظرية أعداد كاتالان لـ $q,t$. تقوم خريطة زيتا بتبادل إحصائيات $(dinv, area)$مع إحصائيات$(area, bounce)$. وبين أن خريطة زيتا مفهومة جيدًا وتسمح بعدة أوصاف خوارزمية موجودة (مثل تسلسلات المساحة أو خرائط الكنس/sweep maps)، إلا أنها توفر بيئة محكومة مثالية للاكتشاف بمساعدة الذكاء الاصطناعي؛ لأن البيانات قابلة للتوليد بدقة، والصحة قابلة للفحص الشامل، والهدف هو إجراء تركيبي منفصل.

المنهجية

1. الإعداد التجريبي

قام المؤلفون بتدريب نماذج محولات (Transformers) لتعلم خريطة زيتا على مسارات ديك ذات طول نصف $n$.

• البيانات: مجموعات بيانات خاضعة للإشراف تتكون من كلمات ديك وصورها تحت خريطة زيتا (تحديدًا $\text{rev} \circ \zeta$، حيث يمثل $\text{rev}$ قراءة الكلمة بالعكس وعكس الخطوات 0 و1، بما يتوافق مع تنفيذ SAGEMATH المستخدم).
• التدريب الأولي: حققت نماذج المحولات (Encoder-Decoder) القياسية (4 طبقات، 8 رؤوس) دقة تجاوزت $99\%$ عبر أطوال نصف مختلفة ($n=11$ إلى $16$).
• الضغط: لتمكين التحليل الآلي، قام المؤلفون بتدريب محول ديك الأدنى (Minimal Dyck Transformer): وهو بنية مصغمة عمدًا تتكون من طبقة مشفر واحدة، وطبقة فك تشفير واحدة، ورأس انتباه واحد (أبعاد التضمين 128، وحوالي 340 ألف معلمة). حقق هذا النموذج دقة كاملة أو قريبة من الكاملة.

2. تحليل التفسير الآلي

يتضمن جوهر المنهجية تحليل العمليات الداخلية لـ "محول ديك الأدنى" باستخدام ثلاث أدوات رئيسية:

• تحليل الانتباه المتقاطع لفك التشفير (Decoder Cross-Attention): تتبع المؤلفون أي المواضع في المدخلات تلقت أعلى أوزان الانتباه أثناء توليد تسلسل المخرجات.
• الاستئصال السببي (Causal Ablation): قاموا بحجب الانتباه المتقاطع لمواضع مدخلات محددة (مثل الخطوات الصاعدة حيث $w_i=1$) لاختبار ما إذا كانت تلك المواضع ضرورية وظيفيًا لفك التشفير.
• المسبار الخطي (Linear Probing): تم تدريب مصنفات خطية على الحالات الخفية للمشفر للتنبؤ بـ "مستوى" كل موضع في مسار ديك، واختبار ما إذا كان هذا الإحصاء التركيبي متاحًا خطيًا في التمثيلات.

3. استخراج الخوارزمية

بناءً على الأنماط الملاحظة في النموذج الأدنى، صاغ المؤلفون خوارزمية صريحة جديدة، وهي خريطة السقالات (Scaffolding Map)، ثم أثبتوا تكافؤها مع خريطة زيتا.

النتائج والمساهمات الرئيسية

1. اكتشاف آلية قائمة على المستويات

كشف تحليل التفسير الآلي أن النموذج لا يعامل خريطة زيتا كجدول بحث عشوائي، بل ينظم التوليد عبر آلية هيكلية قائمة على المستويات:

• اختيار المستوى الأعلى: ينجذب فك التشفير باستمرار إلى مواضع المدخلات ذات المستويات القصوى بين المواضع ذات الصلة، خاصة في خطوات التوليد المبكرة.
  يدرك فك التشفير نادرًا المواضع التي تكون فيها $w_i=1$ (الخطوات الشمالية). وقد أكد الاستئصال السببي أن حجب الانتباه لهذه المواضع تسبب في تدهور ضئيل في الدقة، مما يعني أن فك التشفير لا "يقرأ" هذه المواضع مباشرة بل يعتمد على معلومات مجمعة.
• الإزاحة التسلسلية المثلثية: يظهر نمط الانتباه إزاحة من موضع الخطوة الشرقية عالية المستوى ($w_i=0$) إلى موضع الخطوة الشرقية المؤهل التالي ($i+1$)، وهو ما يقابل انخفاضًا تسلسليًا في المستوى ($\ell_{i+1} = \ell_i - 1$).
• الإتاحة الخطية: أكدت المسابير الخطية أن تمثيلات المشفر تجعل تسلسل المستوى ($\ell_i$) لمسار ديك متاحًا خطيًا (دقة تنبؤية 84%).

2. خريطة السقالات (The Scaffolding Map)

من خلال ترجمة هذه الإشارات إلى مفاهيم تركيبية، اقترح المؤلفون خريطة السقالات، وهي خوارزمية عبور ممركزة حول القمم:

• الآلية: تقوم الخوارزمية بتجميع مواضع القمم حسب مستواها. تبدأ بوضع "وكلاء" عند هذه القمم وتتحرك عبر المسار مستوى تلو الآخر من الأعلى إلى الأسفل.
• العبور: يتحرك الوكلاء على طول المواضع المجاورة للخطوات الشرقية وغير الشرقية. يتم توليد كلمة المخرجات عن طريق قراءة الرموز التي يواجهها هؤلاء الوكلاء أثناء عبورهم "السقالة" التي بنيت بواسطة الخطوات الصاعدة.
• الهيكل: تفصل الخوارزمية بين هيكل الدعم الكامن (المستويات التي تبنيها الخطوات الصاعدة) وعملية العبور التي تولد المخرجات.

3. التحقق النظري

قدم المؤلفون برهانًا رسميًا (Theorem 6.1) يثبت أن خريطة السقالات تكافئ خريطة زيتا (مع مراعاة اصطلاح العكس المستخدم في مجموعة البيانات).

• استراتيجية البرهان: تقارن خريطة السقالات مستوى بمستوى مع وصف تسلسل المساحة لـ $\text{rev} \circ \zeta$. وتوضح أن المتتاليات الفرعية المولدة بواسطة آلية الطابور في خريطة السقالات ($Q'_k$) تطابق تمامًا المتتاليات الفرعية المولدة بواسطة خوارزمية خريطة زيتا القياسية ($P_k$) عند مسح تسلسل المساحة في الاتجاه المعاكس.

الأهمية والادعاءات

تدعي الورقة تقديم مثال محكوم على الاكتشاف الرياضي بمساعدة الذكاء الاصطناعي حيث يحول التفسير الآلي سلوك النموذج إلى خوارزمية تركيبية دقيقة وقابلة للتحقق من قبل البشر.

• الجدة: حسب علم المؤلفين، هذه هي الحالة الأولى التي يتم فيها استخدام التفسير الآلي لنموذج تسلسل عصبي مدرب لاستخراج وصف تقابل صريح جديد لخريطة تركيبية مدروسة جيدًا.
• سير العمل: تصيغ الورقة سير عمل حيث:
  1. يوفر النموذج إشارات هيكلية متكررة (أنماط الانتباه، المسابير الخطية).
  2. يفسر المحققون البشريون هذه الإشارات كعمليات تركيبية.
  3. تختبر التدخلات (الاستئصال) الصلة السببية.
  4. يصبح الإجراء الناتج كائنًا رياضيًا (خريطة السقالات) يمكن صياغته وإثباته بشكل مستقل عن الشبكة العصبية.
• القيود: كان المؤلفون متواضعين بشأن النطاق، حيث أشاروا إلى أن:
  • أنماط الانتباه وحدها ليست برهانًا؛ بل الجمع بينها وبين الاستئصال والبرهان الرسمي أمر ضروري.
  • يبدو أن الآلية المتعلمة في المحول هي نسخة "ضبابية" من الخوارزمية (كما يتضح من نتائج المسابير غير الكاملة)، مما يشير إلى أن النماذج الأكبر أو المدربة بشكل مختلف قد تنفذ آليات أكثر تعقيدًا أو "نقاءً".
  • تم استخراج خريطة السقالات من نموذج بسيط للغاية؛ وقد تنفذ النماذج الأكبر حلولًا داخلية مختلفة.

تخلص الورقة إلى أنه بينما قد لا تنتقل التفاصيل المحددة لهذا الاكتشاف مباشرة إلى جميع المسائل الرياضية، فإن مفهوم استخدام التفسير الآلي لسد الفجوة بين التنبؤ "الصندوق الأسود" والبناء التركيبي الصريح هو مفهوم قابل للتطبيق على نطاق واسع ضمن أبحاث التركيبات.