ProofWala: A Framework for Multilingual Proof Data Synthesis and Theorem-Proving
تقدم هذه الورقة ProofWala، وهو إطار عمل متعدد اللغات مبني على مكتبة قابلة لإعادة الاستخدام للتفاعل البرمجي مع مبرهنات التفاعل التي تتيح استخراج بيانات برهنة وفحصاً متوازياً يتسمان بالقدرة على التوسع والأمانة الدلالية، مما يثبت أن التدريب عبر اللغات بين Lean وRocq يحسن بشكل كبير أداء إثبات النظريات والتكيف مع المجالات.
المؤلفون الأصليون:Amitayush Thakur, George Tsoukalas, Greg Durrett, Swarat Chaudhuri
تخيل أنك تحاول تعليم روبوت كيفية حل ألغاز رياضية معقدة. يحتاج الروبوت إلى تعلم "لغة" خاصة بالبراهين الرياضية، وهي لغة صارمة ومنطقية للغاية. لفترة طويلة، عمل الباحثون على بناء روبوتات للقيام بذلك، لكنهم كانوا يعملون في عزلة. قام فريق ببناء روبوت للغة Lean (وهي لغة رياضية محددة)، وفريق آخر بنى روبوتاً مختلفاً للغة Rocq (المعروفة سابقاً باسم Coq، وهي لغة رياضية أخرى). لا يتحدث الفريقان مع بعضهما البعض، وأدواتهما بدائية، كمن يحاول إصلاح محرك سيارة بمطرقة لا تناسب إلا برغياً واحداً محدداً.
يقدم هذا البحث ProofWala، وهو "مجموعة أدوات عالمية" مصممة لإصلاح هذه الفوضى. إليك كيف يعمل، باستخدام تشبيهات بسيطة:
1. المشكلة: فجوة "المترجم"
تخيل أن Lean وRocq هما دولتان مختلفتان بلهجات مختلفة. قبل ProofWala، إذا أردت دراسة كيفية عمل البراهين في كلتا الدولتين، كان عليك استئجار فريقين منفصلين من المترجمين يستخدم كل منهما خرائط وقواميس مختلفة.
الطريقة القديمة: كانت الأدوات "خاصة بالمساعد" (assistant-specific). إذا أردت تحليل مكتبة كاملة من البراهين الرياضية (مستودع)، كان عليك الذهال إلى كل ملف على حدة، مثل قراءة كتاب صفحة بصفحة مع حبس أنفاسك. كان الأمر بطيئاً، وهشاً، ويجعل من المستحيل رؤية الصورة الكبيرة أو إجراء العديد من التجارب في وقت واحد.
الطريقة الجديدة (ProofWala): بنى المؤلفون مترجماً عالمياً يسمى itp-interface. هذه الأداة تتحدث لغتي Lean وRocq بطلاقة. هي لا تكتفي بقراءة النص فحسب، بل تفهم البنية العميقة للرياضيات، مما يسمح للباحثين بتحليل مكتبات كاملة دفعة واحدة، تماماً مثل مسح رف كامل من الكتب في لحظة واحدة.
2. المحرك: "استنساخ" المختبر
أحد أروع ميزات ProofWala هو كيفية تعامله مع "البحث المتوازي عن البراهين".
التشبيه: تخيل أنك تحاول إيجاد مخرج في متاهة ضخلة ومظلمة.
الطريقة القد القديمة: ترسل شخصاً واحداً. يجرب مساراً، وإذا كان طريقاً مسدوداً، يعود ويبدأ من جديد ويجرب المسار التالي. هذا يستغرق وقتاً طويلاً جداً.
طريقة ProofWala: يمكن للنظام استنساخ المتاهة والمستكشف. يقوم بإنشاء 10 أو 20 أو 100 نسخة متطابقة من المتاهة ويرسل مستكشفاً عبر كل مسار ممكن في نفس الوقت تماماً.
كيف يعمل: يقوم الإطار بإنشاء "تجمعات" (pools) من بيئات البراهيد المتطابقة. إنه يشغل العديد من سيناريوهات "ماذا لو" في آن واحد. إذا فشل أحد المسارات، فلا يهم؛ فالنسخ الأخرى تستمر في الاستكشاف. هذا يجعل البحث عن الحل سريعاً وفعالاً للغاية.
3. تدريب "الدماغ": التعلم متعدد اللغات
استخدم الباحثون هذه المجموعة لتدريب نموذج ذكاء اصطناعي (دماغ) للتنبؤ بالخطوة التالية في البرهان.
التجربة: قاموا بتدريب ثلاثة أنواع من الأدمغة:
دماغ تعلم لغة Lean فقط.
دماغ تعلم لغة Rocq فقط.
دماغ تعلم كلتا اللغتين معاً (متعدد اللغات).
النتيجة: تبين أن الدماغ "متعدد اللغات" هو الأذكى. على الرغم من أنه يتعلم لغتين مختلفتين، إلا أنه بدأ في التعرف على الأنماط الموجودة في كلتيهما.
التشبيه: الأمر يشبه طالباً يتعلم الفرنسية والإسبانية معاً. رغم اختلاف الكلمات، إلا أنه يدرك أن قواعد "الزمن الماضي" متشابهة. هذا يساعده على تعلم كلتا اللغتين بشكل أسرع وأفضل مما لو درس لغة واحدة فقط.
الإثبات: عند اختباره على أصعب المسائل الرياضية (معيار Mathlib) وفي مجال متخصص يسمى "نظرية الفئات" (Category Theory)، ارتكب الدماغ متعدد اللغات أخطاءً أقل بكثير من الأدمغة أحادية اللغة. لقد أظهر أن تعلم "لغات رياضية" متعددة يساعد الذكاء الاصطناعي على فهم المنطق الأساسي بشكل أفضل.
4. رؤية "الأشعة السينية": رؤية البنية
لا يكتفي ProofWala بتشغيل البراهين فحسب، بل يسمح للباحثين بالنظر داخل الآلة.
الأداة: بنوا لوحة تحكم مرئية (مثل خرائط جوجل لبرمجيات الرياضيات) توضح كيف تعتمد التعريفات الرياضية المختلفة على بعضها البعض.
الفائدة: بدلاً من مجرد رؤية ما إذا كان البرهان قد نجح أم لا (إجابة "نعم/لا")، يمكن للباحثين رؤية كيف فكر الذكاء الاصطناعي. يمكنهم تصور "شجرة" القرارات التي اتخذها الذكاء الاصطناعي، ورؤية المسارات التي جربها والتي نجحت بالفعل. هذا يحول "الصندوق الأسود" لاستنتاج الذكاء الاصطناعي إلى شيء شفاف ومفهوم.
ملخص الادعاءات
يزعم البحث أن:
ProofWala هو إطار عمل جديد مفتوح المصدر يوحد التفاعل مع Lean وRocq.
يستخدم البرمجة الميتا (البرمجة التي تكتب الكود) للاندماج بعمق مع المحركات الرياضية، مما يسمح بمعالجة سريعة ومتوازية وتحليل بنيوي عميق.
تدريب الذكاء الاصطناعي على بيانات كل من Lean وRocq في وقت واحد يؤدي إلى أداء أفضل من التدريب على لغة واحدة فقط، مما يثبت أن "النقل عبر اللغات" يعمل في الرياضيات الرسمية.
يوفر النظام طريقة بحث متوازية وقابلة للتوسع، وهي أسرع بكثير من النهج السابق أحادي المسار.
جميع الأدوات والبيانات والنماذجة المدربة هي مفتوحة المصدر، مما يسمح لأي شخص باستخدام هذه "المجموعة العالمية" لبناء روبوتات أفضل لإثبات النظريات.
باختدات، ProofWala هو "السكين السويسري" الذي سمح أخيراً للباحثين ببناء وتدريب واختبار ذكاء اصطنا حل المسائل الرياضية عبر لغات مختلفة بطريقة موحدة وسريعة وشفافة.
ملخص تقني: ProofWala
بيان المشكلة
يتطلب إثبات النظريات الآلي باستخدام الطرق العصبية بنية تحتية قوية للربط مع مبرهنات التفاعل (ITPs)، واستخراج بيانات الإثبات المهيكلة، وتنفيذ البحث عن الإثبات على نطاق واسع. غالبًا ما تكون الأدوات الحالية مجزأة، خاصة ببرنامج مساعد معين، وموجهة نحو التنفيذ التفاعلي على مستوى الملف عبر واجهات REPL (حلقة القراءة والتقييم والطباعة). وتفرض هذه البنية قيودًا كبيرة:
القابلية للتوسع: إنها تعيق التحليل على مستوى المستودعات والتجارب المتوازية.
استخراج البيانات: توفر وصولاً محدودًا إلى البيانات الوصفية على مستوى الإعلان (مثل التعريفات الاستقرائية، والثوابت، والمساحات الاسمية/Namespaces)، وتجعل بناء رسوم بيانية لتبعيات المستودع بأكمله أمرًا صعبًا أو غير ممكن.
الفجوات بين المساعدين: يجعل نقص الأدوات الموحدة من الصعب استغلال المكاسب المحتملة عبر اللغات والمجالات المختلفة الناتجة عن التدريب على مجموعات النصوص الرسمية متعددة اللغات (مثل Lean وRocq).
المنهجية
يقدم المؤلفون ProofWala، وهو إطار عمل هندسي للبرهان متعدد اللغات مصمم لتوحيد التفاعل، واستخراج البيانات، والتدريب، والبحث عبر مختلف مبرهنات التفاعل (ITPs). تم بناء إطار العمل حول ثلاثة مكونات أساسية:
1. وحدة الواجهة (itp-interface)
هذه مكتبة قابلة لإعادة الاستخدام للتفاعل البرمجي مع مبرهنات التفاعل، وتوفر تجريدًا موحدًا لكل من Lean 4 وRocq (إصدارات متعددة).
خلفية Lean 4: بدلاً من الاعتماد على بنية قائمة على REPL، قام المؤلفون بتنفيذ برامج ميتا (meta-programs) تعمل مباشرة داخل برنامج استنباط Lean (elaborator). وهذا يتيح:
تتبعًا دقيقًا دلاليًا على مستوى التكتيك (tactic-level tracing).
استخراج البيانات الوصفية على مستوى الإعلان وبناء رسوم بيانية لتبعيات المستودع بأكمله.
تحسين التعامل مع بنى التكتيكات المتداخلة (مثل كتل have).
استنساخ البيئة (Environment Cloning): القدرة على استنساخ بيئات الإثبات للتنفيذ المتوازي، وهو أمر يصعب تحقيقه مع سير عمل REPL القياسي.
متانة الإصدار: تضمن طبقة توافق رقيقة التوافق المستقبلي عبر إصدارات Lean 4 بدءًا من 4.15.0.
خلفية Rocq: مبنية على coq_serapy مع توسيعها لدعم الاستخراج المنهجي لحالات الإثبات وآثار التكتيكات، وربطها بنفس التنسيق الموحد المستخدم لـ Lean.
نموذج الحالة الموحد: يتم رسم كلتا الأداتين في نظام انتقال حالة معياري حيث تكون حالة الإثبات عبارة عن مجموعة من الالتزامات (الأهداف والفرضيات)، وتقوم التكتيكات بنقل هذه الحالات.
2. وحدة البيانات والنموذج
استخراج البيانات: يقوم إطار العمل باستخراج أزواج (حالة الإثبات–التكتيك) من المستودعات الكبرى (CompCert, MathComp, GeoCoq, Mathlib, CategoryTheory) عن طريق إعادة تشغيل نصوص التكتيكات داخل نواة المساعد (kernel).
التنسيق الموحد: يتم تخزين البيانات المستخرجة في تنسيق JSON موحد يجرد التفاصيل الخاصة بالمساعد مع الحفاظ على المعلومات الدلالية. تنسيق المطالبة (prompt format) للتدريب متطابق عبر Lean وRocq، مع حذف الرموز (tokens) الخاصة بكل مساعد لتسهيل التدريب متعدد اللغات.
التدريب: قام المؤلفون بضبط نموذج CodeT5-Base (بـ 220 مليون معلمة) بدقة على ثلاث إعدادات:
ProofWala-Rocq: تم التدريب على مستودعات Rocq.
ProofWala-Lean: تم التدريب على مستودعات Lean.
ProofWala-Multilingual: تم التدريب بشكل مشترك على كلا المساعدين.
3. وحدة البحث عن الإثبات المتوازي
تجميع البيئات (Environment Pooling): الابتكار الرئيسي هو تجميع البيئات، الذي يحافظ على عدة نسخ مستنسخة من بيئات الإثبات التي تم تهيئتها لتبدأ من حالات حدودية متطابقة.
التنفيذ المتوازي: يتم تنفيذ التكتيكات المرشحة بشكل متزامن عبر هذه النسخ المستنسخة. يتكامل هذا التجميع مع Ray للتنفيذ الموزع، مما يسمح بالبحث عن الإثبات والترميز (annotation) على نطاق واسع.
خوارزميات البحث: تدعم الوحدة البحث الأفضل أولاً (best-first search) والبحث الشعاعي (beam search) بشكل متوازٍ. وهي تحافظ على شجرة إثبات مرمزة تسجل فقط انتقالات الحالة الصالحة والقابلة للتجميع، مما يتيح تحليلًا دقيقًا لديناميكيات البحث.
المساهمات الرئيسية
إطار عمل معياري ومكتبة هندسية: يوفر ProofWala إطار عمل موحد لاستخراج وتنظيم بيانات مستوى التكتيك ودعم تطوير الأدوات. كما يقدم خط أنابيب أدوات (instrumentation pipeline) يعتمد على البرمجة الميتا لـ Lean يدعم التتبع المعتمد على التبعية واستنساخ البيئة، وهي قدرات كان من الصعب تحقيقها سابقًا عبر REPL.
دعم إكمال الإثبات المتوازي: يعد إطار العمل أول نظام مفتوح المصدر يوفر بحثًا متوازيًا عن الإثبات من خلال دعم صريح لبيئات الإثبات المستنسخة وتقييم التكتيكات المتزامن ضمن واجهة موحدة متعددة المبرهنات (multi-ITP).
مجموعات ونماذج متعددة اللغات: يطلق المؤلفون مجموعة بيانات متعددة اللغات (~450 ألف نقطة بيانات، 270 مليون رمز) ونماذج مدربة (Lean، Rocq، وMultilingual) تسهل عملية البحث عن الإثبات من البداية إلى النهاية.
النتائج
قيم المؤلفون النماذج على تقسيمات الاختبار من CompCert، وMathComp، وGeoCoq، وCategoryTheory، وLean/Mathlib، بالإضافة إلى معيار MiniF2F.
النقل عبر اللغات (Cross-Lingual Transfer): نموذج ProofWala-Multilingual يطابق أو يتفوق عمومًا على النماذج أحادية اللغة المرجعية.
تحسينات ذات دلالة إحصائية: لوحظت في المعيار الأكبر (Lean/Mathlib) وفي إعداد تكيف النطاق الخاص بـ CategoryTheory (حيث تم ضبط النموذج متعدد اللغات بدقة على بيانات CategoryTheory).
الاتجاهات: أظهرت مجموعات البيانات الأخرى اتجاهات متسقة ولكن غير ذات دلالة إحصائية لصالح التدريب متعدد اللغات.
التكيف مع النطاق (Domain Adaptation): في نطاق CategoryTheory، حقق النموذج متعدد اللغات درجات pass-at-k أعلى بكثير بعد الضبط الدقيق مقارنة بالنموذج المرجعي المخصص لـ Rocq فقط، مما يشير إلى أن التدريب المسبق على بيانات مختلطة اللغات يساعد في التكيف حتى عندما يكون النطاق المستهدف متمثلًا في مساعد واحد فقط.
ديناميكيات البحث: كشف تحليل أشجار الإثبات أن النماذج متعددة اللغات تنتج غالبًا أشجارًا أكبر ذات عوامل تفرع (branching factors) أعلى، مما يشيد بأنها تقترح عددًا أكبر من التكتيكات الصالحة لكل حالة.
القابلية للتوسع: أدى التنفيذ المتوازي عبر تجميع البيئات إلى تحسين الإنتاجية بشكل كبير. أدى رفع عدد عمال المعالجة المركزية (CPU workers) من 8 إلى 20 إلى تحسين pass@5 في MiniF2F من 22.54% إلى 26.23% مع تقليل متوسط وقت الإثبات.
الأهمية والادعاءات
يزعم الورقة أن ProofWala يمثل تحولًا من الأدوات المجزأة والخاصة بمساعد معين إلى بنية تحتية موحدة وقابلة للتوسع للبرهان العصبي.
التوحيد الهيكلي: من خلال توحيد التنفيذ، وجمع البيانات، وتحليل التبعية، والبحث، يتيح إطار العمل إجراء تحليل منهجي وقابل للتكرار ودقيق للبحث عن الإثبات العصبي عبر مختلف مبرهنات التفاعل.
دليل على الانتقال: يقدم العمل دليلًا تجريبيًا على أن التدريب متعدد اللغات يحقق نقلًا إيجابيًا عبر اللغات والمجالات في الاستدلال الرسمي، لا سيما في الأنظمة ذات البيانات الكثيفة وسيناريوهات التكيف مع النطاق.
أساس بحثي: يضع المؤلفون ProofWala ليس مجرد نظام للبحث عن الإثبات، بل كإطار بحثي يحول البحث عن الإثبات من تقييم "الصندوق الأسود" إلى خط أنابيب قابل للتحليل. وهذا يسم يسمح للباحثين بدراسة الانتقال الهيكلي، وحجم الأشجار، وعوامل التفرع، وزمن تنفيذ العمليات بطرق كان من الصعب الحصول عليها سابقًا.
يشير المؤلفون إلى أنه بينما قد تكون النماذج الأكبر والبنية التحتية الإضافية (مثل الاسترجاع، والمحققات/verifiers) ضرورية لتحقيق الأداء الأمثل في المعايير، فإن مساهمتهم الأساسية هي إطار العمل نفسه، الذي يعزل آثار التدريب متعدد اللغات واستراتيجيات البحث المتوازي. وهم يعتبرون التوسع ليشمل المساعدات الموجهة نحو الوثائق (مثل Isabelle) تحديًا هندسيًا وليس قيدًا مفاهيميًا، ويتركون ذلك للعمل المستقبلي.