🤖 AI

SymboUQ: Symbolic Uncertainty Quantification for Spatial Reasoning in LLMs

تقدم الورقة البحثية SymboUQ، وهو إطار عمل رمزي لتقدير عدم اليقين يعمل على تحسين تقدير الموثوقية للاستدلال المكاني في النماذج اللغوية الكبيرة من خلال التمييز بين قدرة الادعاء على الصياغة الرمزية وبين حتميته الدلالية، متفوقاً بذلك على النماذج المرجعية الحالية عبر اختبارات معيارية متعددة.

المؤلفون الأصليون: Dahai Yu, Lin Jiang, Rongchao Xu, Guang Wang

نُشر 2026-08-04

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Dahai Yu, Lin Jiang, Rongchao Xu, Guang Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية التنقل في مدينة ما. أنت لا تريد منه فقط أن يقول: "أعتقد أن البنك على اليسار"، لأن الروبوت قد يكون بارعاً في التحدث بطلاقة بينما يخطئ تماماً في رسم الخريطة. هذا هو تحدي الاستدلال المكاني في الذكاء الاصطناعي: التأكد من أن الكمبيوتر لا يبدو واثقاً فحسب، بل يفهم بالفعل أين توجد الأشياء وعلاقتها ببعضها البعض. لقد بنى العلماء "نماذج لغوية كبيرة" (LLMs) بارعة في كتابة القصص وحل الألغاز، لكنها تتعثر أحياناً في المنطق البسيط، مثل الخلط بين اليمين واليسار. ولإصلاح ذلك، يستخدم الباحثون تكميم عدم اليقين (Uncertainty Quantification - UQ)، وهو في الأساس وسيلة تجعل الذكاء الاصطناعي يقول: "أنا لست متأكداً من هذا"، أو "أنا واثق جداً". السؤال الكبير هو: كيف نعرف ما إذا كان الذكاء الاصطناعي على حق فعلاً عندما يدعي أنه متأكد، خاصة عندما يتنقل في خريطة ذهنية معقدة؟

هنا يظهر SymboUQ، وهي طريقة جديدة تعمل بمثابة محرر فائق الذكاء لعملية التفكير لدى الذكاء الاصطناعي. فبدلاً من مجرد التحقق من الإجابة النهائية، ينظر SymboUQ إلى خطوات الاستدلال التي يكتبها الذكاء الاصطناعي. إنه يعامل أفكار الذكاء الاصطناعي كأنها مشروع بناء. أولاً، يتحقق مما إذا كان الذكاء الاصطناعي يستخدم الأدوات الصحيحة (هل يمكن تحويل الجملة إلى مسألة رياضية؟). ثم يتحقق مما إذا كان البناء صامداً بالفعل (هل الرياضيات تعمل، أم أن المبنى سينهار؟). وجد الباحثون أنه من خلال فصل هذين التحققين، يستطيع SymboUQ التنبؤ بما إذا كانت إجابة الذكاء الاصطناعي النهائية موثوقة بشكل أفضل بكثير من الطرق السابقة. وفي الاختبارات عبر خمس ألغاز مكانية، حسن هذا النهج الجديد قدرة الذكاء الاصطناعي على رصد أخطائه بنسبة 8% تقريباً وقلل من أخطاء التخمين بنسبة 7% مقارنة بأفضل الأدوات الموجودة.

المشكلة: الكاذب الفصيح

تخيل أن ذكاءً اصطناعياً يحاول معرفة مكان مصباح في غرفة. يكتب فقرة طويلة وسلسة: "المصباح على الطاولة. الطاولة تحت النافذة. لذلك، المصباح بالقرب من النافذة". يبدو هذا مثالياً. ولكن ماذا لو كان الذكاء الاصطناعي يعتقد سراً أن الطاولة كانت فوق النافذة؟ قد تكون الجملة الأخيرة صحيحة بالصدفة، أو قد يكون التسلسل بأكمله بلا معنى، لكن الذكاء الاصطناعي يبدو فصيحاً للغاية لدرجة تجعلنا نثق به.

تحاول الأساليب الحالية تخمين ما إذا كان الذكاء الاصطناعي يكذب من خلال النظر في مدى "ثقة" الذكاء الاصطناعي أو من خلال سؤاله عن تكرار الإجابة عدة مرات. لكن هذه الأساليب تشبه التحقق مما إذا كانت يدا الساحر تتحركان بسرعة؛ فهي لا تخبرك ما إذا كان الأرنب موجوداً بالفعل داخل القبعة. تجادل الورقة البحثية بأنه بالنسبة للاستدلال المكاني، نحتاج إلى نوع مختلف من التحقق. نحن بحاجة لرؤية ما إذا كانت خريطته الداخلية منطقية حقاً.

الحل: محقق SymboUQ

بنى المؤلفون نظاماً يسمى Symboq (تكميم عدم اليقين الرمزي). فكر فيه كفريق تحقيق مكون من ثلاثة أجزاء يدقق في أثر استدلال الذكاء الاصطناعي (القصة التي يرويها لنفسه).

1. مدقق التخطيط (المترجم والبناء)

أولاً، يحاول مدقق التخطيط (Layout Auditor) ترجمة جمل الذكاء الاصطناعي الإنجليزية إلى لغة رياضية صارمة من القواعد. ويطرح سؤالين:

هل يمكن ترجمتها؟ (قابلية الرمزية - Symbolizability): هل يمكن تحويل جملة "القط على الحصير" إلى قاعدة واضحة مثل القط فوق الحصير؟ إذا قال الذكاء الاصطناعي شيئاً غامضاً مثل "القط قريب نوع ما من الحصير"، فقد يتعثر المترجم.
هل تبني منزلاً؟ (الحتمية الدلالية - Semantic Determinacy): حتى لو تمت ترجمة الجملة، هل تعمل الرياضيات؟ إذا قال الذكاء الاصطناعي "القط على الحصير" ثم "الحصير يطفو في السماء"، فإن الرياضيات ستتعطل. ينهار المنزل.

الجزء الذكي في SymboUQ هو إدراك أنه لمجرد أن الذكاء الاصطناعي يمكنه ترجمة جملة ما (أي أنها "قابلة للرمزية")، فهذا لا يعني أن الجملة تؤدي إلى إجابة محددة. قد يترجم الذكاء الاصطناعي جملة بشكل مثالي، لكن الرياضيات قد تقول: "لا أعرف، لا توجد معلومات كافية". يطلق SymboUQ على هذا اسم الحتمية الدلالية. إنه الفرق بين امتلاك مخطط هندسي وامتلاك مبنى قائم بالفعل.

2. ملف الحتمية (بطاقة الدرجات)

بعد ذلك، ينشئ النظام ملف حتمية (Determinacy Profile). تخيل بطاقة درجات لا تكتفي بقول "عمل جيد" أو "فشل"، بل تقول بدلاً من ذلك:

"لقد حاولت ترجمة 5 من أصل 6 جمل."
"لكن 3 فقط من تلك الترجمات شكلت بناءً يعمل فعلياً."
"الجملتان الأخريان كانتا إما غامضتين جداً أو تسببتا في انهيار الهيكل بأكمله."

هذا الملف يخبر النظام مقدار الاستدلال الذي يمكن استخدامه فعلياً من كلام الذكاء الاصطناعي. إذا كان الذكاء الاصطناعي يكتب قصة بنسبة 90% منها فصيحة ولكن 10% فقط منها منطقية رياضياً، فإن هذا الملف سيكشف ذلك.

3. مُركّب الموثوقية (الخلاط الذكي)

أخيراً، يأخذ مُركّب الموثوقية المدرك للحتمية (DARC) كل القرائن. فهو يمزج "البرهان الرياضي" من مدقق التخطيط مع إشارات أخرى، مثل مدى ثقة الذكاء الاصطناعي أو عدد المرات التي كرر فيها الإجابة. ولكن إليك السحر: هو يعرف متى يثق في الرياضيات ومتى يثق في الإشارات الأخرى.

إذا كان استدلال الذكاء الاصطناعي واضحاً والرياضيات تعمل (حتمية عالية)، فإن DARC يعتمد بقوة على البرهان الرياضي.
إذا كان استدلال الذكاء الاصطناعي فوضوياً أو كانت الرياضيات متعثرة (حتمية منخفضة)، فإن DARC يدرك أن البرهان الرياضي ليس مفيداً بعد، لذا يستمع أكثر إلى الإشارات الأخرى.

ما وجدوه

اختبر الباحثون SymboUQ على خمس مجموعات بيانات مختلفة (مثل أنواع مختلفة من الألغاز المكانية) باستخدام أربعة نماذج ذكاء اصطناعي مختلفة. ووجدوا أن:

إنه يعمل بشكل أفضل: كان SymboUQ أفضل بنسبة 8% تقريباً في ترتيب الإجابات الصحيحة لتكون أعلى من الإجابات غير الصحيحة مقارنة بأقوى الطرق السابقة.
يرتكب أخطاء أقل: قلل من الخطأ في تقديرات الاحتمالية بنسبة 7%.
التمييز بين "الرياضيات" و"الغموض" أمر جوهري: أثبتوا أن مجرد عد عدد الجمل التي يمكن للذكاء الاصطناعي ترجمتها (تغطية الإعراب) ليس كافياً. يجب عليك عد عدد الجمل التي أدت بالفعل إلى "نعم" أو "لا" محددة (الحتمية الدلالية).

لماذا هذا مهم

لا تدعي هذه الورقة البحثية أنها حلت جميع مشاكل الذكاء الاصطناعي، ولا تقول إن الذكاء الاصطناعي أصبح الآن مثالياً في الاستدلال المكاني. بدلًا من ذلك، هي تقدم طريقة أفضل للثقة في الذكاء الاصطناعي. إنها توضح أنه من خلال التحقق مما إذا كان استدلال الذكاء الاصطناعي ليس فصيحاً فحسب، بل أيضاً قابلاً للتنفيذ وحاسماً، يمكننا الحصول على صورة أوضح لما إذا كانت الإجابة موثوقة حقاً. إنه يشبه الانتقال من سؤال الطالب: "هل تشعر أنك أجبت بشكل صحيح؟" إلى التحقق فعلياً من واجباته الرياضية لرؤية ما إذا كانت الخطوات متماسكة.

باختاً، يعلمنا SymboUQ أنه في عالم الذكاء الاصطناعي، ليست كل قصة فصيحة هي قصة حقيقية. لمعرفة ما إذا كان الذكاء الاصطناعي على حق، نحتاج إلى رؤية ما إذا كانت خريطته الذهنية يمكن بناؤها فعلياً، طوبة تلو الأخرى من المنطق.

ملخص تقني: SymboUQ

بيان المشكلة

غالبًا ما تولد النماذج اللغوية الكبيرة (LLMs) مسارات استدلال سلسة لمهام الاستدلال المكاني، ومع ذلك قد تفشل الخطوات العلاقاتية الوسيطة في دعم الاستنتاج النهائي. يمكن لخطأ واحد في علاقة اتجاهية أو احتواء أن يفسد التكوين المكاني المستنتج مع ترك التفسير يبدو متماسكًا ظاهريًا. تعتمد طرق تقدير عدم اليقين (UQ) الحالية على الإحصاءات على مستوى الرمز (token)، أو الاتفاق الدلالي، أو التمثيلات الداخلية، والتي قد ترتبط بالصحة دون تقييم الدلالات المكانية بشكل مباشر. ومن ناحه أخرى، توفر أدوات التحقق الرسمية أدلة دلالية أقوى ولكنها تعاني من قابلية تطبيق جزئية: فقد يتم تحليل ادعاء ما بنجاح إلى لغة رسمية (قابل للترميز/symbolizable) ومع ذلك يؤدي إلى نتيجة "غير معروفة" أو "غير قابلة للتقييم" بسبب نقص المقدمات أو عدم اتساق السياق. بناءً على ذلك، فإن تغطية التحليل (parse coverage) وحدها تعد مؤشرًا غير كافٍ لحجم الأدلة القابلة للاستخدام التي يوفرها المُحقق.

المنهجية: SymboUQ

يقترح المؤلفون SymboUQ، وهو إطار عمل لتقدير عدم اليقين الرمزي يقوم بتقدير موثوقية الإجابة النهائية من خلال التمييز بين القابلية للترميز (ما إذا كان يمكن ترجمة الادعاء إلى اللغة الرسمية للمُحقق) والحتمية الدلالية (ما إذا كان تنفيذ هذا الادعاء يؤدي إلى حكم قاطع بالاستلزام أو التناقض). يتكون الإطار من ثلاثة مكونات أساسية:

1. مدقق التخطيط (Layout Auditor)

يقوم مدقق التخطيط بتنفيذ الادعاءات المكانية المرتبة بالتتابع مقابل وصف مشهد موثوق.

توليد القيود: يقوم برسم خرائط للعبارات ذات اللغة الطبيعية إلى نظام علاقات معياري (ثلاثيات تتكون من موضوع، علاقة، ومفعول به) تغطي الاتجاه، الاحتواء، المسافة، والطوبولوجيا.
التنفيذ والأحكام: يحافظ على سياق نشط (المشهد الموثوق بالإضافة إلى الادعاءات القابلة للترميز السابقة) ويقيم كل ادعاء $c_k$ $c_{k}$ مقابل هذا السياق. تتلقى الادعاءات أحد أربعة حالات:
- مستلزم ($en$): الادعاء يتبع السياق النشط.
- متناقض ($co$): الادعاء يتعارض مع السياق النشط.
- غير معروف ($un$): الادعاء قابل للترميز ولكن السياق يفتقر إلى المعلومات الكافية لحله.
- غير قابل للتقييم ($no$): السياق النشط غير قابل للتطبيق بالفعل (بسبب تناقضات سابقة)، مما يمنع المزيد من التقييم.
استخراج الأدلة: يستخرج المدقق ميزات تتعلق بالجدوى، اكتشاف التناقض، وتكاليف الإصلاح المحدودة (إزالة العلاقات المولدة لاستعادة الجدوى مع إبقاء المشهد الموثوق ثابتًا).

2. ملف الحتمية (Determinacy Profile)

يولد هذا النموذج ملف تعريف خالٍ من الملصقات (label-free profile) $\phi(r)$ يصف "التغطية التنفيذية الفعالة" لمسار الاستدلال، بشكل مستقل عن قطبية الحكم.

القابلية للترميز ( $\pi(r)$ ): نسبة الادعاءات التي يمكن تحليلها إلى اللغة الرسمية.
معدل "غير المعروف" ( $\nu(r)$ ): نسبة الادعاءات التي تم تحليلها ولكنها ظلت غير محلولة (unknown).
الحتمية الدلالية ( $d(r)$ ): نسبة الادعاءات التي تم تحليلها والتي تتلقى حكمًا محددًا ($en $أو$ co$) تحت سياق قابل للتطبيق. ومن الأهمية بمكان أن الادعاءات المصنفة كـ "غير قابلة للتقييم" تقلل من الحتمية، لأنها تمثل فقدانًا للأدلة القابلة للاستخدام.
قابلية تطبيق المُحقق ( $\delta(r)$ ): تُعرف بأنها $\pi(r) \times d(r)$ ، وتمثل نسبة جميع الادعاءات التي هي قابلة للترميز وحتمية دلاليًا في آن واحد.

3. مُركِّب الموثوقية المدرك للحتمية (DARC)

يقوم DARC بدمج إشارات الموثوقية غير المتجانسة (القائمة على القيود، القائمة على التمثيل، والقائمة على فك التشفير) مشروطة بملف تعريف قابلية التطبيق الخاص بالمسار.

بنك المرشحين: يستخدم بنكًا من المقدرات مسبقة التدريب أو الخالية من التدريب (مثل إنتروبيا الرمز، المجسات العصبية، وحلال القيود).
تكييف الهدف: باستخدام تقسيم تحقق مصنف من المجال المستهدف، يقوم DARC بفحص المرشحين (إزالة الدرجات القريبة من العشوائية) وتوجيهها (قلب الدرجات إذا كان AUROC $< 0.5$ ).
التركيب المشروط بالقابلية للتطبيق: يقوم DARC ببناء نواقل ميزات تتفاعل فيها درجات المرشحين مع ملف تعريف الحتمية. وتحديدًا، يستخدم حدود التفاعل مثل $\delta(r) \cdot s_j(r)$ لتعديل مساهمة الأدلة القائمة على القيود بناءً على الحتمية الدلالية. وهذا يسمح للنموذج بخفض وزن الأدلة الرمزية عندما تكون الحتمية منخفضة مع الحفاظ على الدرجات الخام من المصادر العصبية/التشفيرية. يتم حساب درجة الموثوقية النهائية $p(r)$ عبر دالة لوجستية مع تنظيم $\ell_2$ .

المساهمات الرئيسية

التمييز المفاهيمي: يميز العمل بين القابلية للترميز النصي والحتمية الدلالية، مما يوفر أساسًا مبدئيًا لتحديد متى تكون الأدلة المستمدة من المُحقق معلوماتية. ويجادل بأن تغطية التحليل وحدها غير كافية لأنها لا تأخذ في الاعتبار الادعاءات غير المحلولة أو المعطلة.
الإطار التقني: يقدم SymboUQ خط معالجة ثلاثي المراحل (مدقق التخطيط، ملف الحتمية، DARC) يتعامل صراحةً مع حالات "غير معروف" و"غير قابل للتقييم" للتحقق الرسمي، ويدمجها مع الإشارات العصبية.
الأداء التجريبي: أظهر الإطار تحسينات متسقة على خطوط الأساس القوية عبر مختلف اختبارات الاستدلال المكاني ونماذج LLM الأساسية.

النتائج التجريبية

قيم المؤلفون SymboUQ في خمسة اختبارات استدلال مكاني (StepGame, SpaRTQA, SpaRTUN, SpaceNLI, SpaRP) باستخدام أربعة نماذج LLM مجمدة (Mistral-7B, Llama-3.1-8B, Gemma-2-9B, Qwen3-8B).

الأداء: حقق SymboUQ أقوى أداء إجمالي في ترتيب المسارات (AUROC) وتقدير الاحتمالية (خسارة Brier المتوازنة للفئات). وأظهر تحسنًا نسبيًا متوسطًا بنسبة 8% في AUROC وانخفاضًا نسبيًا بنسبة 7% في خسارة Brier المتوازنة للفئات مقارنة بأقوى خط أساس خارجي.
دراسات الاستئصال (Ablation Studies):
- الوعي بالقابلية للتطبيق: أدى إزالة التفاعلات المدركة للحتمية (باستخدام تكديس الدرجات فقط) إلى انخفاض في الأداء بمقدار 0.032–0.052 في AUROC، مما يؤكد أن الشرط بالقابلية للتطبيق أمر بالغ الأهمية.
- الحتمية مقابل تغطية التحليل: أظهر التحليل أن الفصل بين درجة القيود يزدير طرديًا مع الحتمية الدلالية وليس مع تغطية التحليل، مما يؤكد أن الحتمية هي واصف أفضل لجدوى المُحقق.
- دلالات السياق: استخدام "سياق مفترض" (يسمح بالفرضيات غير المتحقق منها) بدلاً من "سياق مستند إلى الواقع" (grounded context) حقق مكاسب كبيرة، حيث يسمح للنظام باكتشاف التناقضات الذاتية داخل السلسلة المولدة.
الكفاءة: الطريقة فعالة حاسوبيًا، حيث تعالج حوالي 159 مسارًا في الثانية مع عدد صغير من المعلمات القابلة للتدريب (8.13 مليون) وتتطلب وقت تدريب قصير قدره (9 دقائق) على تقسيم التحقق المستهدف.

الأهمية

يزعم البحث أن SymboUQ يعالج فجوة حرجة في تقدير موثوقية LLM: وهي الانفصال بين القدرة على تحليل الادعاء والقدرة على حله دلاليًا. من خلال معاملة نتائج "غير معروف" و"غير قابل للتقييم" كحالات متميزة عن "المتناقض" ونمذجة فقدان الأدلة الناتج عن عدم جدوى السياق صراحةً، يوفر الإطار مقياسًا أكثر دقة لقابلية تطبيق المُحقق. تشير النتائج إلى أن تقدير الموثوقية في الاستدلال المكاني يستفيد بشكل كبير من دمج إشارات التحقق الرسمي مع الإشارات العصبية، بشرط أن يكون هذا الدمج مشروطًا بالحتمية الدلالية للمسار وليس مجرد قابليته للترميز. يرسخ هذا العمل حقيقة أن تقدير عدم اليقين الرمزي يمكن تطبيقه بفعالية على مسارات الاستدلال ذات الشكل الحر دون الحاجة إلى تسميات (labels) للخطوات الوسيطة أثناء عملية التدقيق.