💻 computer science

Towards Language Model Guided TLA+ Proof Automation

تقدم هذه الورقة نهجاً قائماً على التلقين يستفيد من النماذج اللغوية الكبيرة لتوجيه التفكيك الهرمي لالتزامات إثبات TLA+ إلى ادعاءات فرعية أبسط من أجل التحقق الرمزي، مما يتغلب على التحديات الهيكلية ويتفوق على الطرق المرجعية في معيار جديد يتكون من 119 نظرية.

المؤلفون الأصليون: Yuhao Zhou, Stavros Tripakis

نُشر 2026-03-03

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yuhao Zhou, Stavros Tripakis

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول بناء قلعة ضخمة ومعقدة من قطع "ليغو" (LEGO). لديك مجموعة صارمة جداً من المخططات (لغة TLA+) تضمن عدم انهيار قلعتك. ومع ذلك، فإن بناء هذه القلعة يدوياً أمر صعب للغاية؛ فأنت بحاجة إلى أن تكون مهندساً معمارياً بارعاً لتعرف بالضبط أين توضع كل قطعة، وإذا ارتكبت خطأً صغيراً واحداً، فستصبح البنية بأكملها غير صالحة.

هذا هو عالم التحقق الرسمي (Formal Verification). الأمر يشبه وجود مفتش شديد الصرامة يفحص كل قطعة من الطوب للتأكد من أن نظامك (مثل تطبيق بنكي أو سيارة ذاتية القيادة) آمن تماماً. ولكن في الوقت الحالي، يتطلب الحصول على موافقة هذا المفتش من خبير بشري يقضي ساعات أو أياماً في كتابة البرهان.

هنا يأتي دور نماذج اللغات الكبيرة (LLMs) — وهي "العقل" الاصطناعي الذي قرأ كل شيء تقريباً على الإنترنت. قد تفكر: "دعونا نطلب من الذكاء الاصطناعي بناء القلعة لنا مباشرة!"

المشكلة: الذكاء الاصطناعي يرتبك بسبب المخططات

حاول الباحثون في هذه الورقة البحثية طلب كتابة البرهان من الذكاء الاصطناعي دفعة واحدة، مثل طلب كتابة مقال من 50 صفحة من طالب في جلسة واحدة. لم ينجح الأمر جيداً، وإليك السبب:

الأسلوب الخاطئ: معظم نماذج الذكاء الاصطناعي مدربة على أنظمة إثبات تعتمد على "التكتيكات" (Tactic-based) (مثل Lean أو Coq). فكر في هذه الأنظمة كأنها لعبة فيديو؛ حيث تعطي الذكاء الاصطناعي أمراً ("اقفز"، "هاجم"، "افتح الباب")، وتتغير حالة اللعبة خطوة بخطوة حتى تفوز.
اختلاف TLA+: لغة TLA+ ليست لعبة فيديو؛ بل هي أشبه بـ كتابة عقد قانوني أو شجرة عائلة. أنت لا تعطي أوامر خطوة بخطوة، بل تقول: "لإثبات النقطة الرئيسية (الهدف)، أحتاج لإثبات هذه النقاط الثلاث الأصغر (الادعاءات الفرعية). ولإثبات تلك النقاط، أحتاج لإثبات نقاط أصغر منها". إنها شجرة هرمية من المنطق.

عندما حاول الذكاء الاصطناعي كتابة برهان TLA+، أصيب بالارتباك. لقد حاول لعب أسلوب "لعبة الفيديو" في عالم "العقود القانونية". استخدم كلمات خاطئة، وخلط بين الرموز، وأنشأ جملًا لم يستطع المفتش الصارم (برنامج TLAPS) حتى قراءتها. كان الأمر أشبه بمحاولة دفع ثمن البقالة باستخدام أموال لعبة "مونوبولي".

الحل: استراتيجية "المهندس والمعماري والبنّاء"

ابتكر المؤلفان، يوهاو زو وستافروس تريباکيس، طريقة جديدة ذكية لاستخدام الذكاء الاصطناعي. أدركا أن الذكاء الاصطناعي بارع في التفكير الشامل ولكنه سيء في التفاصيل الدقيقة للغاية.

لذا، أنشأا نظاماً يسمى LMGPA (أتمتة الإثبات الموجهة بنموذج اللغة) والذي يعمل كفريق بناء يتكون من دورين متميزين:

1. المهندس المعماري (الذكاء الاصطناعي - العقل)

بدلاً من طلب بناء القلعة بأكملها من الذكاء الاصطناعي، نطلب منه رسم المخطط.

المهمة: "هذه مشكلة كبيرة ومخيفة. قم بتفكيكها إلى ثلاث مشكلات أصغر وأسهل، والتي إذا تم حلها، ستؤدي لإثبات المشكلة الكبيرة".
الحيلة: أجبر الباحثون الذكاء الاصطناعي على التحدث بلغة محددة ومبسطة جداً. قالوا له: "لا تكتب البرهان كاملاً. فقط أعطني أسماء المشكلات الفرعية والقواعد الخاصة بها. التزم بهذا التنسيق الصارم".
النتيجة: هذا يمنع الذكاء الاصطناعي من ارتكاب أخطاء في قواعد اللغة (Syntax). الأمر يشبه إخبار طباخ: "لا تطبخ الوجبة كاملة؛ فقط أعطني قائمة المكونات".

2. البنّاء الرمزي (الروبوت)

بمجرد أن يرسم الذكاء الاصطناعي المخطط (الادعاءات الفرعية)، يسلم النظام عملية البناء الفعلية إلى المثبت الرمزي (وهو برنامج يسمى TLAPS).

المهمة: يتحقق الروبوت مما إذا كان مخطط الذكاء الاصطناعي منطقياً. "هل إثبات (أ) و (ب) يؤدي فعلاً إلى (ج)؟".
التحقق: إذا كان المخطط جيداً، يحاول الروبوت حل المشكلات الفرعية الصغيرة تلقائياً. إذا كانت إحدى المشكلات الفرعية صعبة للغاية، يطلب الروبوت من "المهندس المعماري" (الذكاء الاصطناعي) تفكيكها أكثر.

الحلقة "التكرارية" (Recursive Loop)

تحدث هذه العملية بشكل تكراري (مثل دمى الماتريوشكا الروسية):

الذكاء الاصطناعي يفكك مشكلة كبيرة إلى مشكلات متوسطة.
الروبوت يتحقق مما إذا كانت المشكلات المتوسطة صالحة.
إذا ظلت المشكلة المتوسطة صعبة للغاية، يقوم الذكاء الاصطناعي بتفكيكها إلى مشكلات صغيرة.
الروبوت يحاول حل المشكلات الصغيرة فوراً.
إذا نجح الروبوت، يتم تثبيت السلسلة بأكملها، ويكتمل البرهان!

النتائج: فريق فائز

اختبر الباحثون هذا النظام على 119 لغزاً رياضياً وبروتوكولاً من بروتوكولات الأنظمة الموزعة (مثل قواعد كيفية تواصل الحواسيب مع بعضها البعض).

الطريقة القديمة (الذكاء الاصطناعي وحده): حاول الذكاء الاصطناعي كتابة البرهان كاملاً وفشل في معظم المرات بسبب أخطاء الصياغة والارتباك.
الطريقة الجديدة (الذكاء الاصطناعي + الروبوت): من خلال تقسيم العمل، تمكن نظامهم من حل عدد أكبر بكثير من المشكلات مقارنة بالذكاء الاصطناعي وحده أو الروبوت وحده.

التشبيه باختصار

تخيل أنك تحاول حل لغز صور (Jigsaw puzzle) ضخم مكون من 1000 قطعة.

الذكاء الاصطناعي هو عبقري يمكنه النظر إلى الصورة الموجودة على الصندوق ويقول: "حسناً، السماء توضع هنا، والمحيط هناك، والقارب في المنتصف". إنه بارع في الاستراتيجية.
المثبت الرمزي هو روبوت ذو نظر حاد يمكنه فوراً تركيب قطعتين معاً إذا كانتا متطابقتين. إنه بارع في التنفيذ.

إذا طلبت من الذكاء الاصطناعي التقاط القطع وتركيبها معاً، فسوف يتعثر ويسقطها (أخطاء الصياغة). وإذا طلبت من الروبوت معرفة الصورة، فسيظل يحدق في الصندوق دون فعل أي شيء (لأنه يفتقر للإبداع).

الاختراق الذي حققته هذه الورقة البحثية هو إدراك أنه إذا جعلت الذكاء الاصطناعي يخطط للاستراتيجية (تقسيم اللغز إلى أقسام) وتركت للروبوت مهمة التركيب (التحقق من القطع)، يمكنك بناء القلعة بأسرعة أكبر وبأخطاء أقل.

لماذا يهم هذا؟

الأمر لا يتعلق فقط بالألغاز الرياضية. بل يتعلق بجعل عالمنا الرقمي أكثر أماناً. من خلال جعل من السهل إثبات أن الأنظمة المعقدة (مثل البرمجيات البنكية أو الأجهزة الطبية) خالية من الأخطاء، يمكننا الوثوق بها أكثر. هذه الطريقة الجديدة تخفض الحاجز، مما يسم يسمح للمزيد من المهندسين باستخدام هذه الفحوصات الأمنية القوية دون الحاجة لأن يكونوا علماء رياضيات بمستوى الدكتوراه.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "نحو أتمتة إثبات TLA+ بتوجيه من النماذج اللغوية الكبيرة" (Towards Language Model Guided TLA+ Proof Automation) من تأليف يو هاو زو وستافروس تريبايس.

1. بيان المشكلة

يعد التحقق الرسمي باستخدام TLA+ (المنطق الزمني للأفعال) أمراً بالغ الأهمية لضمان صحة الأنظمة الموزعة المعقدة (مثل تلك المستخدمة في أمازون، ومايكروسوفت، وإنتل). ومع ذلك، فإن بناء البراهين الرسمية في TLA+ يمثل عقبة كبيرة بسبب:

متطلبات الخبرة العالية: يتطلب الأمر رؤية رياضية عميقة وإلماماً بنظام إثبات TLA+ (المعروف بـ TLAPS).
البنية الهرمية: على عكس المثبتات القائمة على التكتيكات (مثل Lean أو Coq) التي تحول حالات الإثبات تسلسلياً عبر الأوامر، فإن براهين TLA+ هي أشجار هرمية. يجب تقسيم أي ادعاء معقد إلى ادعاءات فرعية (Lemmas) وسيطة تعمل معاً لإثبات الهدف الرئيسي.
محدودية النماذج اللغوية الكبيرة (LLMs): رغم نجاح النماذج اللغوية الكبيرة في المثبتات القائمة على التكتيكات من خلال توليد تسلسلات من التكتيكات، إلا أن تطبيقها مباشرة على TLA+ يفشل بسبب:
- تعثر النماذج اللغوية في بنية (Syntax) براهين TLA+، مما يؤدي غالباً لتوليد أكواد غير صالحة.
- فشل النماذج في التوليد الأحادي (Monolithic Generation)؛ حيث يؤدي توليد برهان كامل دفعة واحدة إلى حدوث أخطاء تنتشر وتتراكم، وبدون التحقق التدريجي، لا يمكن للنموذج تصحيح نفسه ذاتياً.
- نقص مجموعات البيانات الضخمة لـ TLA+ لغرض الضبط الدقيق (Fine-tuning) مقارنة بـ Lean/Coq.

الهدف: أتمتة توليد براهين TLA+ كاملة وقابلة للتحقق آلياً للادعاءات غير المثبتة (التزامات الإثبات) من خلال تسخير قدرات النماذج اللغوية الكبيرة في الاستدلال مع التخفيف من نقاط ضعفها المتعلقة بالبنية والمنطق.

2. المنهجية: أتمتة الإثبات بتوجيه من النماذج اللغوية الكبيرة (LMGPA)

يقترح المؤلفون نظام LMGPA، وهو نظام هجين يجمع بين قدرات الاستدلال للنماذج اللغوية الكبيرة والتحقق الصارم للمثبتات الرمزية (TLAPS). الجوهر يكمن في تقييد النماذج اللغوية لتوليد عمليات تفكيك للادعاءات بشكل معياري (Normalized) بدلاً من توليد براهين كاملة.

المكونات الرئيسية:

استراتيجية التفكيك المتكرر (Recursive Decomposition):
- بدلاً من مطالبة النموذج اللغوي بكتابة برهان كامل، يطلب النظام منه تقسيم هدف معقد إلى مجموعة من الادعاءات الفرعية الأبسط.
- يطبق النظام هذه العملية بشكل متكرر: إذا كان الادعاء الفرعي لا يزال معقداً للغاية، يتم تفكيكه مرة أخرى حتى تصبح الادعاءات بسيطة بما يكفي للمثبتات الخلفية.
بنية الادعاء المعيارية (Normalized Claim Structure):
- لمعالجة أخطاء البنية (Syntax)، يتم توجيه النموذج اللغوي لإنتاج ادعاءات فرعية بصيغة معيارية صارمة (تعتمد على ASCII، وعوامل منطقية محددة مثل \A و \E و /\ و =>).
- يقوم النظام بتحليل هذا المخرج المعياري وتحويله برمجياً إلى كتل ASSUME-PROVE صالحة في TLA+، مما يلغي الحاجة لتوليد النموذج اللغوي لبنية TLA+ المعقدة مباشرة، ويقلل بشكل كبير من أخطاء البنية.
توليد الإثبات الذاتي الرمزي (Symbolic Auto-Proof Generation):
- بالنسبة للادعاءات البسيطة، يستخدم النظام طريقة رمزية استدلالية (بدون نماذج لغوية) لتوليد "إثباتات تلقائية" باستخدام توجيهات TLA+ مثل OBVIOUS أو BY DEF (توسيع التعريفات).
- يتعامل هذا مع الحالات التافهة بكفاءة ويقلل العبء على النموذج اللغوي.
حلقة التغذية الراجعة للتحقق (Verification Feedback Loop):
- التحقق من التفكيك: قبل التكرار، يستخدم النظام TLAPS للتحقق مما إذا كانت مجموعة الادعاءات الفرعية المولدة تستلزم منطقياً الادعاء الأصلي. إذا فشل الاستلزام، تُرسل التغذية الراجعة للنموذج اللغوي لإعادة توليد التفكيك.
- الإثبات المتكرر: بمجرد العثور على تفكيك صالح، يحاول النظام تكرار عملية إثبات كل ادعاء فرعي. إذا فشل أي ادعاء فرعي في الإثبات، يفشل المحاولة بأكملها لهذا الفرع، ويعود النظام للخلف (Backtrack) أو يعيد المحاولة.

تدفق الخوارزمية:

المدخلات: التزام الإثبات (السياق + الهدف).
محاولة الإثبات الذاتي: محاولة الإثبات مباشرة باستخدام TLAPS (OBVIOUS/BY DEF). إذا نجحت، يتم الإرجاع.
التفكيك: إذا فشل الإثبات الذاتي، يتم توجيه النموذج اللغوي لتوليد قائمة من الادعاءات الفرعية بالصيغة المعيارية.
التحقق من التفكيك: استخدام TLPS للتحقق مما إذا كان (الادعاءات الفرعية $\land$ $\land$ السياق) $\Rightarrow$ $\Rightarrow$ الهدف.
- إذا كان صالحاً، انتقل للخطوة 5.
- إذا كان غير صالح، قدم تغذية راجعة عن الخطأ للنموذج اللغوي وأعد المحاولة (حتى حد معين).
التكرار: لكل ادعاء فرعي صالح، استدعِ مولد الإثبات بشكل متكرر.
البناء: تجميع شجرة الإثبات الهرمية.

3. المساهمات الرئيسية

نهج مبتكر للبراهين الهرمية: تقدم الورقة أول إطار عمل مصمم خصيصاً لأتمتة براهين TLA+ عبر تسخير النماذج اللغوية لعملية التفكيك بدلاً من توليد التكتيكات، مع احترام الهيكل الشجري الفريد لـ TLA+.
تقنية المعيارية (Normalization): مساهمة حاسمة هي استراتيجية التوجيه الخاصة بـ "بنية الادعاء المعيارية". من خلال إجبار النماذج اللغوية على إنتاج بيانات مهيكلة (افتراضات وأهداف) بدلاً من الكود الخام، يحقق النظام صلاحية بنيوية عالية، مما يحل مشكلة فشل التوليد المباشر.
مجموعة الاختبارات (Benchmark Suite): أنشأ المؤلفون مجموعة اختبارات جديدة مكونة من 119 نظرية:
- 93 نظرية رياضية مقتبسة من miniF2F و ProofNet.
- 26 إثباتاً استقرائياً لبروتوكولات موزعة (Invariants استقرائية).
- ملاحظة: تمت ترجمة هذه النظريات يدوياً إلى TLA+ لضمان صحتها، حيث ثبت عدم موثوقية الترجمة الآلية من الصيغ الأخرى.
تنفيذ النظام: نظام يعمل بلغة Python يتكامل مع TLAPS، وTree-sitter (للتحليل)، ومختلف واجهات برمجة تطبيقات النماذج اللغوية (Claude, Gemini, GPT-5, o3-mini, DeepSeek).

4. النتائج التجريبية

تم تقييم النظام مقابل ثلاثة خطوط أساس (Baselines):

TLAPS OBVIOUS: محاولة رمزية مباشرة (بدون نموذج لغوي).
توليد الإثبات الذاتي الرمزي (SAPG): توليد رمزي استدلالي.
التوليد المباشر للبرهان عبر النماذج اللغوية (DLPG): مطالبة النماذج اللغوية بكتابة براهين كاملة (مع التغذية الراجعة).

النتائج الرئيسية:

معدل النجاح: تفوق LMGPA باستمرار على جميع الخطوط الأساسية عبر جميع النماذج المختبرة.
- في اختبارات البروتوكولات الموزعة: حقق LMGPA معدلات نجاح تتراوح بين 42.3% – 50.0% (حسب النموذج)، مقارنة بـ 0% لـ DLPG وحوالي 38% لـ SAPG.
- في الاختبارات الرياضية: حقق LMGPA معدلات نجاح تتراوح بين 53.8% – 59.1%، مقارنة بحوالي 29% لأفضل نماذج DLPG وحوالي 49% لـ SAPG.
الصلاحية البنيوية (Syntactic Validity): كان هذا هو التحسن الأكثر أهمية.
- سجلت DLPG صلاحية بنيوية منخفضة جداً (مثلاً 0.2% لـ o3-mini-high، وحوالي 20% لـ Claude).
- حقق LMGPA صلاحية بنيوية عالية لتفكيكاته (مثلاً 74.8% – 86.8%)، مما يثبت أن استراتيجية المعيارية تعزل وتصلح أخطاء النماذج اللغوية بفعالية.
الكفاءة: رغم أن LMGPA يتطلب استعلامات أكثر للنماذج اللغوية مقارنة بالمحاولة لمرة واحدة، إلا أنه أكثر كفاءة بكثير من DLPG لأنه يتجنب توليد أشجار براهين ضخمة وغير صالحة. لقد نجح في إثبات نظريات لا تستطيع الطرق الرمزية وحدها إثباتها.

5. الأهمية والعمل المستقبلي

خفض الحواجز: يقلل هذا العمل بشكل كبير من حاجز الدخول إلى التحقق الرسمي في TLA+، مما يجعله متاحاً للمهندسين الذين قد لا يكونون خبراء في إثبات النظريات.
تحول في النموذج (Paradigm Shift): يوضح العمل أنه بالنسبة للأنظمة الهرمية، فإن استراتيجية "فرق تسد" (التفكيك) هي استراتيجية أكثر فعالية للنماذج اللغوية من "توليد التسلسل" (التكتيكات).
الاتجاهات المستقبلية:
- الضبط الدقيق (Fine-tuning): يقترح المؤلفون ضبط النماذج اللغوية خصيصاً على مجموعات بيانات براهين TLA+ لتحسين جودة التفكيك وتقليل أخطاء البنية المتبقية.
- النماذج اللغبية المدركة للمثبتات (Prover-Aware LLMs): تدريب النماذج على فهم القدرات المحددة وفترات المهلة (Timeouts) للمثبتات الخلفية (Z3, Zenon, Isabelle) لتوليد تفكيكات ليست صحيحة رياضياً فحسب، بل قابلة للتحقق أيضاً ضمن الحدود الزمنية.
- توسيع نطاق الاختبارات: إنشاء مجموعات اختبارات أكبر وخالية من التسريب لتقييم التعميم بشكل أفضل.

في الختام، تقدم الورقة بنية هجينة قوية تنجح في سد الفجوة بين قوة الاستدلال للنماذج اللغوية الحديثة والمتطلبات الصارمة للتحقق في بيئة TLA+، محققة نتائج رائدة في أتمتة توليد براهين TLA+.