💬 NLP

ConformalNL2LTL: Translating Natural Language Instructions into Temporal Logic Formulas with Conformal Correctness Guarantees

تقترح الورقة البحثية ConformalNL2LTL، وهي طريقة مبتكرة تترجم التعليمات باللغة الطبيعية إلى صيغ المنطق الزمني الخطي (LTL) مع ضمانات صحة محددة من قبل المستخدم عبر الحل التكراري لمشكلات الأسئلة والأجوبة ذات المفردات المفتوحة باستخدام النماذج اللغوية الكبيرة المعززة بالتنبؤ المطابق لتقليل تدخل المستخدم.

المؤلفون الأصليون: David Smith Sundarsingh, Jun Wang, Jyotirmoy V. Deshmukh, Yiannis Kantaros

نُشر 2026-02-23

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: David Smith Sundarsingh, Jun Wang, Jyotirmoy V. Deshmukh, Yiannis Kantaros

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مدير لمساعد آلي (روبوت) ذكي جداً وسريع جداً. تريد إعطاءه مهمة معقدة، مثل: "اذهب إلى المطبخ، والتقط الصندوق الأحمر، ولكن إذا رأيت قطة، التقط صورة أولاً، ثم ضع الصندوق في المرآب."

المشكلة هي أن الروبوت لا يتحدث "الإنجليزية". هو يتحدث لغة رياضية صارمة تسمى المنطق الزمني الخطي (LTL). فكر في الـ LTL على أنه "الكود المصدري" الخاص به. إذا كتبت الكود بشكل خاطئ، فقد يتعطل الروبوت، أو يتجاهل القطة، أو يضع الصندوق في المكان الخاطئ.

عادةً، يحتاج خبير بشري لترجمة جملتك الإنجليزية إلى هذا الكود الصارم. وهذا أمر بطيء، ومكلف، وعرضة للخطأ البشري.

مؤخراً، حاول العلماء استخدام الذكاء الاصطناائي (النماذج اللغوية الكبيرة) للقيام بعملية الترجمة هذه تلقائياً. الأمر يشبه توظيف مترجم فائق السرعة. ولكن هناك مشكلة: الذكاء الاصطناعي واثق من نفسه، لكنه غالباً ما يكون مخطئاً. قد يترجم جملتك إلى كود يبدو مثالياً، ولكنه في الواقع يعني شيئاً مختلفاً تماماً. وإذا اتبع الروبوت هذا الكود الخاطئ، فستحدث كارثة.

يقدم هذا البحث نظاماً جديداً يسمى ConformalNL2LTL. إنه يشبه توظيف مترجم لديه "جهاز كشف كذب" مدمج و"شبكة أمان".

إليك كيف يعمل، باستخدام تشبيه بسيط:

فريق "التحقق المزدوج"

تخيل أنك تبني برجاً من المكعبات، ولكن يمكنك إضافة مكعب واحد فقط في كل مرة. لديك اثنان من البنائين الخبراء:

الباني الأساسي (الذكاء الاصطناعي): هذا هو مترجمك الرئيسي. هو سريع وغالباً ما يكون على صواب.
الباني المساعد (الذكاء الاصطناعي الثانوي): هذا هو الخبير الاحتياطي، فقط في حال ارتبك الأول.

"مقياس الثقة"

الباني الأساسي لا يقول فقط: "إليك المكعب التالي". بدلاً من ذلك، يقوم باختبار داخلي سريع. يسأل نفسه: "ما مدى تأكدي من أن هذا المكبع هو الصحيح؟"

إذا كان متأكداً بنسبة 100%: يضع المكعب. ينمو البرج.
إذا كان غير متأكد: يتوقف. هو يعلم أن التخمين قد يؤدي إلى انهيار البرج.

"شبكة الأمان" (التنبؤ المطابق - Conformal Prediction)

هذا هو المكون السحري. يستخدم النظام خدعة إحصائية تسمى التنبؤ المطابق (Conformal Prediction). فكر في هذا على أنه ضمان.

قبل أن تبدأ حتى في البناء، تخبر النظام: "أريد أن أكون متأكداً بنسبة 99% من أن البرج النهائي قد بُني بشكل صحيح."

يقوم النظام بعد ذلك بإعداد شبكة أمان. إذا كان الباني الأساسي غير متأكد، فهو لا يخمن فحداً. بل يستدعي الباني المساعد.

السيناريو (أ): الباني الأساسي غير متأكد، لكن الباني المساعد يتفق معه. رائع! يضعان المكعب معاً.
السيناريو (ب): الباني الأساسي غير متأكد، والباني المساعد أيضاً غير متأكد (أو أنهما مختلفان). الآن، يعرف النظام أنه في "منطقة الخطر".

خطوة "المدير البشري"

إذا ارتبك كلا البنائين الآليين، يتوقف النظام ويسألك أنت (المدير البشري).
"مهلاً أيها المدير، لسنا متأكدين ما إذا كان المكعب التالي يجب أن يكون 'التقط' أم 'ضع'. ماذا تريد؟"

ولأن النظام يطلب المساعدة فقط عندما يكون غير متأكد حقاً، فأنت نادراً ما تضطر للتدخل. ولكن عندما تفعل، فإنك تصحح الخطأ فوراً.

النتيجة

يظهر البحث أن هذه الطريقة مذهلة لسببين:

إنها تفي بوعودها: إذا طلبت دقة بنسبة 99%، فهي تقدم دقة بنسبة 99%. لن تسمح بمرور أي كود خاطئ.
إنها مهذبة: نادراً ما تزعجك. في اختباراتهم، حققوا دقة بنسبة 99% بينما طلبوا المساعدة من الإنسان في أقل من 0.4% من المرات.

لماذا يعد هذا أمراً هاماً؟

الأساليب السابقة كانت مثل طالب يخمن في الامتحان ويتمنى الأفضل. إذا أخطأ، يتحطم الروبوت.
ConformalNL2LTL هو مثل طالب يعرف تماماً متى لا يعرف الإجابة. يرفع يده، ويطلب المساعدة من المعلم (الإنسان)، ويحصل على الإجابة الصحيحة.

هذا يعني أننا نستطيع أخيراً إعطاء الروبوتات تعليمات معقدة وطبيعية ("اذهب إلى المطبخ، وتجنب القطة...") ونكون مضمونين رياضياً بأن الروبوت سيفهمنا بشكل صحيح، دون الحاجة لوجود إنسان يجلس هناك ليفحص كل سطر من الكود. هذا هو الجسر بين اللغة البشرية وسلامة الروبوتات.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "ConformalNL2LTL: ترجمة تعليمات اللغة الطبيعية إلى صيغ المنطق الزمني الخطي مع ضمانات صحة توافقية."

1. بيان المشكلة

السياق: يُعد المنطق الزمني الخطي (LTL) صياغة قياسية لتحديد مهام روبوتية معقدة (مثل المراقبة، أو التغطية) مع ضمانات الصحة. ومع ذلك، فإن كتابة صيغ LTL يدويًا تتطلب خبرة كبيرة في المجال. وتُعد اللغة الطبيعية (NL) بديلاً أكثر سهولة في الوصول، لكن الطرق الحالية لترجمة اللغة الطبيعية إلى LTL باستخدام النماذج اللغوية الكبيرة (LLMs) تفتقر إلى ضمانات الصحة. فهي تعامل مخرجات النماذج اللغوية الكبيرة كحقائق مطلقة، متجاهلةً عدم اليقين في النموذج، مما قد يؤدي إلى خطط روبوتية تفشل في تلبية القصد الأصلي.

الهدف: يهدف المؤلفون إلى تصميم خوارزمية ترجمة احتمالية تحول تعليمات اللغة الطبيعية إلى صيغ LTL مكافئة دلاليًا مع معدل نجاح محدد من قبل المستخدم (على سبيل المثال، دقة 99%) في المهام غير المرئية، مع تقليل الحاجة إلى التدخل البشري.

المشكلة الصورية: بالنظر إلى سيناريو ترجمة $\sigma = \{\xi, \mathcal{A}\}$ (حيث $\xi$ هي مهمة لغة طبيعية و $\mathcal{A}$ هي مجموعة من مهارات الروبوت) مأخوذة من توزيع غير معروف $\mathcal{D}$ ، فإن الهدف هو توليد صيغة LTL بحيث:
$P_{\sigma \sim \mathcal{D}}(\phi \equiv \xi) \geq 1 - \alpha$
حيث تشير $\equiv$ إلى التكافؤ الدلالي، و $\alpha$ هو التسامح المحدد من قبل المستخدم في الخطأ.

2. المنهجية: ConformalNL2LTL

يدمج الإطار المقترح، ConformalNL2LTL، النماذج اللغوية الكبيرة مع التنبؤ التوافقي (Conformal Prediction - CP) لقياس عدم اليقين وضمان الضمانات الإحصائية.

أ. صياغة السؤال والجواب المتكررة (Iterative QA)

بدلاً من توليد صيغة LTL كاملة في خطوة واحدة، يتم تأطير الترجمة كمتتالية من مهام السؤال والجواب (QA) المترابطة.

في كل خطوة $k$ ، يتم بناء مطالبة (prompt) $\ell(k)$ تحتوي على مهمة اللغة الطبيعية الأصلية، ومجموعة مهارات الروبوت، وصيغة LTL المبنية جزئيًا.
يُطلب من النموذج اللغوي الكبير اقتراح المكون التالي: إما عامل زمني/منطقي (مثل $\diamond$ ، $\square$ ، $\land$ ) أو قضية ذرية (Atomic Proposition - AP) مستندة إلى البيئة.
تنتهي العملية عندما يتم توليد عامل إنهاء محدد (/).

ب. قياس عدم اليقين عبر التنبؤ التوافقي

لمعالجة نقص الثقة في مخرجات النماذج اللغوية الكبيرة:

أخذ العينات: يتم استعلام النموذج اللغوي الأساسي $\psi_p$ عدد $m$ من المرات بنفس المطالبة لتوليد مجموعة من الاستجابات المرشحة.
التكرار كدليل على الثقة: يُستخدم التكرار التجريبي لكل استجابة فريدة كوسيط لثقة النموذج.
الدمج الدلالي: يتم دمج الاستجابات المتشابهة دلاليًا (مثل "pick up box" مقابل "grab box") باستخدام عتبة تشابه $\zeta$ لتجميع تكراراتها.
مجموعات التنبؤ: باستخدام التنبؤ التوافقي (CP)، يتم بناء مجموعة تنبؤ $C(\ell(k))$ $C (ℓ (k))$ . تحتوي هذه المجموعة على الاستجابة الصحيحة باحتمال لا يقل عن $1-\alpha$ $1 - α$ .
- إذا كانت المجموعة مكونة من عنصر واحد فقط، يستمر الخوارزم في العمل.
- إذا كانت المجموعة غير أحادية (مما يشير إلى عدم يقين عالٍ)، يقوم الخوارزم باستدعاء وحدة المساعدة (Help Module).

ج. وحدة المساعدة (حل عدم اليقين التعاوني)

لتقليل التدخل البشري، يستخدم النظام استراتيجية مساعدة هرمية:

النموذج الأساسي: يولد مجموعة تنبؤ. إذا كان هناك عدم يقين، فإنه يستعلم من نموذج لغوي مساعد ( $\psi_{aux}$ ).
التقاطع: يتم تقاطع مجموعات التنبؤ الخاصة بالنموذج الأساسي والمساعد.
- إذا كان التقاطع مكونًا من عنصر واحد، يتم اختيار تلك الاستجابة.
- إذا كان التقاطع غير أحادي أو فارغًا، يُطلب من المستخدم البشري اختيار الخيار الصحيح من بين المرشحين المتبقين.
معالجة الفشل: إذا لم يتمكن المستخدم من العثور على الخيار الصحيح في المجموعة، تُعلن عملية الترجمة كفشل.

د. الضمانات النظرية

يثبت المؤلفون أنه بموجب الافتراضات التوزيعية القياسية (سيناريوهات i.i.d.)، تحقق الخوارزمية معدل نجاح الترجمة المحدد من قبل المستخدم ( $1-\alpha$ ). يعتمد الإثبات على رفع البيانات إلى تسلسلات من المطالبات وتحديد درجة عدم التطابق (Non-Conformity Score - NCS) بناءً على الحد الأدنى لتكرار الاستجابة الصحيحة عبر جميع الخطوات وكلا النموذجين.

3. المساهمات الرئيسية

أول مترجم من اللغة الطبيعية إلى LTL قائم على التنبؤ التوافقي (CP): أول خوارزمية تطبق التنبؤ التوافقي على الترجمة من اللغة الطبيعية إلى LTL، مما يوفر ضمانات صحة صارمة ومحددة من قبل المستخدم.
إطار عمل تعاوني للنماذج اللغوية الكبيرة: يقدم آلية مبتكرة حيث يتعاون نموذج لغوي أساسي ومساعد لحل عدم اليقين قبل إشراك الإنسان، مما يقلل بشكل كبير من "معدل المساعدة".
استقلالية النموذج: يعمل الأسلوب مع كل من النماذج اللغوية الكبيرة مفتوحة المصدر والمغلقة (مثل GPT-4o، Deepseek) من خلال الاعتماد على ترددات أخذ العينات بدلاً من درجات الـ logit الداخلية.
التحقق النظري والتجريبي: يوفر إثباتات رسمية لمعدلات النجاح وتجارب واسعة النطاق تظهر دقة عالية مع حد أدنى من التدخل البشري.

4. النتائج التجريبية

أجريت التجارب على 1,000 سيناريو ترجمة تتضمن مهام المناولة المتحركة (مثل "Pick up the red box and place it in storage").

معدلات النجاح: حققت الطريقة معدلات نجاح تجريبية تطابق الأهداف المحددة من قبل المستخدم (على سبيل المثال، معدل نجاح 99.24% لهدف قدره 99%).
التدخل البشري (معدل المساعدة):
- مع النموذج اللغوي المساعد: كان معدل المساعدة منخفضًا للغاية (على سبيل المثال، 0.378% لهدف 99%). تطلبت 4% فقط من السيناريوهات مساعدة بشرية مرة واحدة على الأقل.
- بدون النموذج اللغوي المساعد: قفز معدل المساعدة بشكل كبير (على سبيل المثال، 7.43% لهدف 99%)، مما يوضح فعالية النموذج المساعد في تقليل عدم اليقين.
المقارنة مع الخطوط المرجعية (Baselines):
- الخط المرجعي غير المدرك لعدم اليقين (UA): حقق حوالي 87.4% نجاح ولكن دون تقديم ضمانات.
- الأدوات الموجودة (Lang2LTL, nl2spec): حققت معدلات نجاح أقل (53%–82%) وافتقرت إلى آليات لاكتشاف متى تكون المساعدة مطلوبة.
- التحويل المباشر من اللغة الطبيعية إلى خطة (CMAS): حقق 88% نجاح ولكنه افتقر إلى الوحدات والقدرة على التفسير التي يوفرها نهج LTL.
القوة في مواجهة البيانات خارج التوزيع (OOD): حتى عند اختبارها على مهام تتضمن مساحات إجراء وبيئات مختلفة (مما ينتهك افتراضات CP)، حافظت الطريقة على معدلات نجاح معقولة (79.5%–84.5%) مع معدلات مساعدة منخفضة، رغم أن الضمانات النظرية لم تعد قائمة بدقة.

5. الأهمية

الموثوقية في الأنظمة المستقلة: يسد هذا العمل الفجوة بين مرونة اللغة الطبيعية وصرامة الأساليب الرسمية. فهو يسم يسمح لغير الخبراء بتحديد مهام روبوتية معقدة مع ضمانات صحة رياضية.
تقليل وجود الإنسان في الحلقة (Human-in-the-Loop): من خلال استخدام نموذج لغوي ثانوي لحل عدم اليقين، يقلل النظام بشكل كبير من عبء المشغلين البشريين، مما يجعله قابلاً للتطبيق في العالم الحقيقي حيث تكون المراقبة البشرية المستمرة غير عملية.
الوحدات (Modularity): يفصل الإطار بين الترجمة والتخطيط. يمكن تغذية صيغ LTL المولدة إلى أي مخطط LTL موجود وصحي، مما يضمن أن تنفيذ الروبوت النهائي صحيح بالنسبة للمواصفات المترجمة.

باختاً، يمثل ConformalNL2LTL تقدمًا مهمًا في الذكاء الاصطناعي الموجه للروبوتات من خلال توفير خط أنابيب مؤتمت وسليم إحصائيًا لترجمة قصد الإنسان إلى مواصفات روبوتية رسمية، موازنًا بين الدقة العالية والحد الأدنى من الإشراف البشري.