💻 computer science

On the (Intuitionistic) Logic of Next-Token Prediction

تنمذج هذه الورقة التنبؤ بالرمز التالي في الشبكات العصبية ذاتية الانحدار باستخدام المنطق الاستدلالي الحدسي وتناظر كوري-هوارد، حيث يتوافق توليد الرموز مع قاعدة الاستلزام (modus ponens) ومعالجة التسلسل مع تمديد البرهان البنائي، مما يؤدي في النهاية إلى اشتقاق بنية عصبية مكافئة للشبكات العصبية المتكررة الضربيه (multiplicative RNNs) والتحقق من خصائصها من خلال مبرهنات برمجية متخصصة.

المؤلفون الأصليون: Paul Tarau (University of North Texas)

نُشر 2026-08-11

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Paul Tarau (University of North Texas)

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيف يروي قصة. تعطي الروبوت الكلمات القليلة الأولى، وعليه أن يخمن الكلمة التالية. معظم الروبوتات الحديثة، مثل تلك التي تشغل برامج الدردشة الآلية اليوم، تفعل ذلك من خلال النظر إلى القصة بأكملها حتى الآن والتساؤل: "أي كلمة عادة ما تتردد مع هذه الكلمات؟" إنها تستخدم كشافاً ضخماً يسمى "الانتباه" (attention) لمسح الكلمات الماضية والعثين على أفضل تطابق. الأمر يشبه أمين مكتبة يتذكر كل كتاب كُتب على الإطلاق ويجد الكتاب الأكثر تشابهاً مع الكتاب الذي تمسكه بيدك.

لكن هناك طريقة أخرى للتفكير في هذا الأمر. بدلاً من مجرد البحث عن كلمات متشابهة، ماذا لو عامل الروبوت القصة كسلسلة من الخطوات المنطقية؟ تخيل أن كل كلمة ليست مجرد كلمة، بل هي تعليمات صغيرة تغير حالة القصة. إذا قلت "القط"، فهذا ليس مجرد وصف؛ إنه أمر يضع توقعاً محدداً لما سيأتي بعده. في هذا المنظور، التنبؤ بالكلمة التالية يشبه حل لغز رياضي أو إكمال برهان: إذا كان لديك الظروف الأولية الصحيحة، فإن الخطوة التالية هي الشيء الوحيد المنطقي الذي يمكن أن يحدث. يتعمق هذا البحث في هذه الفكرة، متسائلاً عما إذا كان بإمكاننا بناء روبوت يتعلم من خلال اتباع هذه السلاسل المنطقية بدلاً من مجرد محاكاة الأنماط.

نموذج السهم: عندما تصبح الكلمات مفكات للبراغي

في هذا البحث، يقترح بول تارو طريقة جديدة للنظر في كيفية تنبؤ الذكاء الاصطناعي بالكلمة التالية في الجملة. يطلق على فكرته الجديدة اسم نموذج لغة السهم (Arrow Language Model). بدلاً من الطريقة المعتادة حيث يقوم الذكاء الاصطناعي بمسح قائمة ضخمة من الكلمات الماضية للعثور على التشابهات، يقترح تارو أن نعامل تسلسل الكلمات كبرهان منطقي.

إليك الفكرة الجوهرية: تخيل أنك تبني برجاً من المكعبات. في الطريقة القديمة (مثل المحولات/Transformers)، تنظر إلى البرج بأكمله وتسأل: "أي مكعب يناسب الأعلى بشكل أفضل؟" في طريقة تارو الجديدة، كل مكعب تضيفه هو في الواقع أداة خاصة، مثل مفك براغي أو مفتاح ربط. عندما تضيف مكعباً، فإنه لا يجلس هناك فحسب؛ بل إنه يغير شكل البرج الموجود تحته. المكعب التالي الذي تضيفه يجب أن يناسب الشكل الجديد الذي خلقه المكعب السابق.

يستخدم تارو فرعاً من الرياضيات يسمى المنطق الحدسي (intuitionistic logic) لوصف هذا. في هذا المنطق، الجملة ليست مجرد قائمة من الكلمات؛ بل هي سلسلة طويلة ومتداخلة من عبارات "إذا... فإن...".

إذا كان لديك كلمة "الـ"، فهي تضع شرطاً.
إذا أضفت "قط"، فإنها تغير هذا الشرط.
إذا أضفت "يجلس"، فإنها تغيره مرة أخرى.

يشير البحث إلى أن التنبؤ بالكلمة التالية يشبه تماماً قاعدة Modus Ponens (الاستلزام)، وهي قاعدة منطقية شهيرة تقول: "إذا كان لدي 'إذا كان P فإن Q'، ولدي 'P'، فيجب أن يكون لدي 'Q'". في عقل الذكاء الاصطناعي، حالة الجملة الحالية هي "إذا كان P فإن Q"، والكلمة الجديدة هي "P". النتيجة؟ الكلمة التالية تظهر تلقائياً كـ "Q".

كيف تعمل الآلة

لجعل هذا يعمل في حاسوب حقيقي، بنى تارو شبكة عصبية حيث كل كلمة هي عامل (operator). فكر في ذاكرة الذكاء الاصطناعي (حالته الخفية) كقطعة من الصلصال.

في الذكاء الاصطناعي العادي، الكلمات تشبه الملصقات التي تضعها على الصلصال.
في نموذج السهم، الكلمات تشبه الأيدي التي تعجن وتلوي الصلصال.

عندما تأتي كلمة "الـ"، فإنها تلوي الصلصال بطريقة معينة. وعندما تأتي كلمة "قط"، فإنها تلويه بطريقة مختلفة. ولأن لوي الصلصال بكلمة "الـ" أولاً ثم "قط" يخلق شكلاً مختلفاً عن فعل "قط" أولاً ثم "الـ"، فإن ترتيب الكلمات مدمج في الرياضيات. لست بحاجة لإخبار الكمبيوتر "هذه الكلمة هي الأولى" أو "هذه الكلمة هي الثانية" برموز إضافية؛ فعملية اللوي هذه تتذكر الترتيب بشكل طبيعي.

يوضح البحث أن عملية اللوي هذه هي رياضياً نفس عملية ضرب المصفوفات (طريقة تقوم بها الحواسيب بعمليات حسابية باستخدام شبكات من الأرقام). وهذا يجعل النموذج فعالاً للغاية. فهو لا يحتاج إلى النظر إلى تاريخ الجملة بأكمله في كل مرة؛ بل يحتاج فقط إلى معرفة الشكل الحالي للصلصال وتطبيق اللوية التالية.

التجارب: هل يمكنه التعلم؟

اختبر المؤلف هذه الفكرة بهدف محدد للغاية: معرفة ما إذا كان النموذج يستطيع "حفظ" كتاب من خلال تعلم البنية المنطقية لجمله. أخذوا كتباً من الملكية العامة (مثل الحرب والسلام و موبي ديك) وغذوا النموذج بها.

للتأكد من أن الاختبار عادل وواضح، لم يطلبوا من النموذج كتابة قصص جديدة. بدلاً من ذلك، طلبوا منه إكمال جمل قد رآها بالفعل.

الإعداد: أعطوا النموذج جزءاً من جملة (مثل "القط") وطلبوا منه التنبؤ بالباقي.
فحص المنطق: قاموا أيضاً ببناء "روبوت منطقي" (باستخدام لغة برمجة تسمى Prolog) يمكنه حل نفس الجمل باستخدام قواعد رياضية بحتة.
النتيجة: تعلم نموذج السهم التنبؤ بالكلمات التالية بشكل مثالي تقريباً، مطابِقاً إجابات الروبوت المنطقي.

يشير البحث إلى أن النموذج استطاع التدرب على كتب كبيرة بسرعة كبيرة. على سبيل المثال، استغرق الأمر حوالي 7 دقائق و52 ثانية للتدرب على كتاب الحرب والسلام (الذي يحتوي على أكثر من 560,000 كلمة) باستخدام بطاقة رسوميات قياسية. كما استطاع إكمال الجملة في حوالي 0.1 إلى 0.3 ثانية.

ماذا يعني هذا (وما لا يعنيه)

يشير البحث إلى أننا لسنا بحاجة إلى "الكشاف" الضخم (الانتباه) الذي تستخدمه معظم نماذج الذكاء الاصطناي الحديثة لفهم الترتيب. بدلاً من ذلك، يمكن بناء الترتيب مباشرة في كيفية تغيير الكلمات لحالة الذكاء الاصطناعي. وهذا يقدم طريقة مختلفة، وربما أبسط، لبناء نماذج اللغة.

ومع ذلك، يوضح المؤلف بحذر حدود هذا النموذج. نجحت هذه التجربة لأن الذكاء الاصطناعي طُلب منه فقط إكمال جمل رآها بالفعل، مثل طالب يردد قصيدة حفظها. ويعترف البحث بأن هذا النموذج قد يواجه صعوبة إذا أعطيته جملة تحتوي على خطأ مطبعي، أو كلمة ناقصة، أو صياغة غريبة لم يسبق له رؤيتها. فاللغة في العالم الحقيقي فوضوية، وهذا النهج القائم على "البرهان المنطقي" هو حالياً الأفضل في التعامل مع الأنماط النظيفة والدقيقة.

كما يشير المؤلف إلى أنه بينما يتفوق هذا النموذج في فهم الترتيب من خلال اللوي والتدوير، إلا أنه لا يتعامل بعد مع الروابط "الكلية" التي تبرع فيها طريقة الكشاف. إنه اتجاه واعد، يشير إلى أن مستقبل الذكاء الاصطناعي قد لا يقتصر فقط على البحث عن كلمات متشابهة، بل يتعلق بفهم كيف تغير كل كلمة مسار القصة منطقياً.

باختصار، يقترح هذا البحث أن سر التنبؤ بالكلمة التالية ليس مجرد تذكر الماضي، بل معاملة كل كلمة كأداة تعيد تشكيل المستقبل. إنها طريقة مرحة، ومنطقية، وأنيقة رياضياً للتفكير في كيفية تعلم الآلات التحدث.

ملخص تقني: حول المنطق (الحدسي) للتنبؤ بالرمز التالي

بيان المشكلة

تتناول الورقة الافتقار إلى الشفافية المنطقية في نماذج الذكاء الاصطناائي التوليدي التأسيسية الحالية، وخاصة نماذج "ترانسفورمر" (Transformers). بينما تتعلم نماذج "ترانسفورمر" بفعالية التنبؤ بالرمز التالي عبر التعلم غير الخاضع للإشراف على مجموعات بيانات ضخمة، فإن اعتمادها على الترميز الموضعي وآليات الانتباه القائمة على التشابه يحجب البنية المنطقية الكامنة وراء التنبؤ بالتسلسلات. يفترض المؤلف أن مهمة التنبؤ بالرمز التالي يمكن إعادة تفسيرها ليس مجرد مطابقة لأنماط إحصائية، بل كإكمال لإثبات بنائي ضمن المنطق الاستدلالي الحدسي. التحدي الجوهري يكمن في اشتقاق بنية عصبية تجسد هذا التفسير المنطقي بشكل طبيعي، مستبدلةً آليات الانتباه بتركيب العمليات (operator composition) الذي يرمز للترتيب جوهرياً.

المنهجية

1. الصياغة المنطقية: الاستلزام المتداخل من اليسار

يقترح المؤلف نمذجة تسلسلات الرموز كـ استلزامات حدسية متداخلة من اليسار. بخلاف الاستلزامات المتداخلة من اليمين (التي تنهار إلى روابط عطف وتكون محايدة للتبديل)، تحافظ الاستلزامات المتداخلة من اليسار على حساسية الترتيب.

التمثيل: يتم ترميز تسلسل الرموز $w_1, \dots, w_n$ كـ $L_n = ((((w_1 \to w_2) \to w_3) \to \dots) \to w_n)$ .
آلية الاستدلال: يتم رسم عملية التنبؤ بالرمز التالي كعملية "القياس الاستثنائي" (Modus Ponens). بالنظر إلى استلزام بادئة $I_p$ واستلزام كامل $I_f = (I_p \to w)$ ، فإن التنبؤ بـ $w$ يقابل خطوة الحذف $I_f \to (I_p \to I_f) \to w$ .
تطابق كوري-هوارد (Curry-Howard Correspondence): تحت هذا التماثل، تمثل القضايا أنواعاً (types)، والإثباتات هي حدود لامدا ( $\lambda$ -terms)، والتنبؤ بالرمز التالي هو بناء حدٍ يشغل نوعاً استلزاميًا. تُعتبر عملية التنبؤ بتسلسل ما بمثابة عمليات اختزال $\beta$ متتالية (تحديثات الحالة).

2. الأدوات النظرية

يستخدم المؤلف حساب LJT لروي ديكوف، وهو حساب تسلسل لـ "المنطق الاستدلالي القضايا" المقيد بالجزء الاستلزامي. قام بتنفيذ مبرهنات متخصصة في لغة برولوغ (lprove/2) من أجل:

التحقق من سلامة الترميز المنطدي.
إثبات أن الترتيب يتم الحفاظ عليه في السلاسل المتداخلة من اليسار (على سبيل المثال، $((p \to q) \to r)$ لا يكافئ $((q \to p) \to r)$ ).
إجراء استرجاع المعلومات عبر معاملة أجزاء الجمل كصيغ فرعية (نهايات بادئات) لسلاسل الاستلزام المخزنة.

3. البنية العصبية: نموذج لغة السهم (The Arrow Language Model)

يشتق المؤلف بنية عصبية متكررة، وهي نموذج السهم (Arrow Model)، والتي تعمل كتحقيق عددي لبناء الإثبات المنطقي.

الحالة الخفية كسياق إثبات: تمثل الحالة الخفية $h_t \in \mathbb{R}^d$ سياق الإثبات المتراكم (الافتراضات والمبررات) بعد معالجة البادئة.
الرموز كعمليات: بدلاً من التضمينات الجمعية، يعمل كل رمز $t$ كعملية خطية $M_t: \mathbb{R}^d \to \mathbb{R}^d$ تقوم بتحويل الحالة الحالية.
التمثيل منخفض الرتبة (Low-Rank Parameterization): للتعامل مع المفردات الكبيرة بكفاءة، تُعرف العملية كـ $M_t = I + U \text{diag}(s_t) V^\top$ ، حيث $U, V$ مصفوفات مشتركة و $s_t$ هو متجه بوابة خاص بالرمز مشتق من التضمينات.
تحديث الحالة (القياس الاستثنائي): تعيد علاقة التكرار تنفيذ حذف الاستلزام:
$h_{t+1} = \text{LayerNorm}(h_t + U((V^\top h_t) \odot s_t))$
هذا التحديث غير تبديلي ( $M_a M_b \neq M_b M_a$ )، مما يعني أن ترتيب الرموز مشفر جوهرياً بواسطة جبر تركيب العمليات، مما يلغي الحاجة إلى ترميزات موضعية صريحة.
التدريب: يستخدم النموذج معيار "الاعتراف بالخطأ" (cross-entropy) القياسي للرمز التالي مع "الإجبار بالمعلم" (teacher forcing). ولإدارة الذاكرة للمفردات الكبيرة، يتم حساب الفقد (loss) بطريقة تدفقية.

المساهمات الرئيسية

التفسير المنطقي للتنبؤ بالرمز التالي: تؤسس الورقة لمراسلة رسمية حيث يعادل التنبؤ بالرمز التالي التمديد الإثباتي البنائي (القياس الاستثنائي) في المنطق الاستدلالي الاستلزامي.
اشتقاق نموذج السهم: يشتق نموذج عصبي متكرر مباشرة من التفسير النظري للإثبات، حيث تعمل الرموز كعمليات تحويل حالة بدلاً من كونها تضمينات ثابتة.
حساسية الترتيب بدون ترميزات موضعية: يوضح النموذج أن تركيب العمليات غير التبدلي يشفر ترتيب التسلسل بطبيعته، مما يقدم بديلاً لاستراتيجيات الترميز الموضعي المستخدمة في نماذج "ترانسفورمر".
إطار عمل الاسترجاع الرمزي-العصبي: يوضح المؤلف إطار عمل موحداً حيث يعمل كل من الاسترجاع الرمزي (عبر إثبات المبرهنات في برولوغ على سلاسل الاستلزام) والاسترجاع العصبي (عبر نموذج السهم) على نفس البنية المنطقية الأساسية.

النتائج التجريبية

أجرى المؤلف تجارب للتحقق من صحة الخوارزميات القائمة على المنطق ومعادلاتها العصبية باستخدام نصوص من الملكية العامة من مشروع غوتنبرغ (Project Gutenberg).

الإعداد: استخدمت التجارب نظام "فحص السلامة" (Sanity Check) حيث تم تدريب النماذج على الإفراط في التخصيص (overfitting) لمجموعات بيانات صغيرة (مثل ساحر أوز، موبي ديك) للتحقق من قدرة التعلم وكفاءة البنية.
تعزيز البيانات: تم تعزيز مجموعة التدريب بجميع الأجزاء المتصلة من الجمل لمحاكاة استرجاع الصيغ الفرعية على المستوى المنطقي.
الأداء:
- كفاءة التدريب: تم تدريب نموذج السهم على وثائق كبيرة (مثل الحرب والسلام مع حوالي 560 ألف كلمة) في أقل من 8 دقائق على وحدة معالجة رسومات استهلاكية واحدة (RTX 3090).
- الاستدلال: حقق مسار الاسترجاء أولاً (تعداد المرشحين متبوعاً بالتقييم العصبي) أوقات استدلال تتراوح بين 0.1 و0.3 ثانية لكل استعلام، بشكل مستقل إلى حد كبير عن الحجم الإجمالي للمتن.
- الخط المرجعي الرمزي: أظهر نظام الاسترجاع القائم على برولوغ تهيئة سريعة لقاعدة البيانات (1-2 ثانية) وأوقات استعلام تفاعلية (~0.5 ثانية)، مما يؤكد جدوى استخدام الاسترجاع على مستوى المنطق كخط مرجعي قابل للتفسير.

الأهمية والادعاءات

تقدم الورقة نموذج لغة السهم كـ أساس قائم على المنطق للتنبؤ بالرمز التالي، وهو متميز عن الانتباه القائم على التشابه (الترانسفورمر) أو البدائل التلافيفية/فضاء الحالة.

القوة التفسيرية: من خلال ربط العمليات العصبية بمفاهيم نظرية الإثبات (حذف الاستلزام، اختزال $\beta$ )، يقدم النموذج صلة تفسيرية بين الديناميكيات العصبية والاستدلال الرمزي التي تفتقر إليها نماذج "ترانسفورمر".
المنظور المعماري: يُطرح نموذج السهم كبديل مدفوع بالمنطق للمهام التي يكون فيها حساسية الترتمان وتمديد الإثبات البنائي أمراً بالغ الأهمية، رغم أن المؤلف يشير صراحة إلى أنه ليس بعد بديلاً جاهزاً للاستبدال في النماذج التأسيسية العامة.
القيود: يقر المؤلف بأن العمل الحالي يركز على البنى المتصلة الدقيقة. وهو لا يتناول بعد متطلبات المتانة لنماذج اللغة الحديثة، مثل التعامل مع الأخطاء الإملائية، أو إعادة الصياغة، أو الأدلة غير المتصلة، وهي مجالات للعمل المستقبلي.
الاتجاهات المستقبلية: تحدد الورقة محاكاة استدلال نمط "ترانسفورمر" (المطابقة التقريبية) باستخدام تقنيات مشابهة قائمة على المنطق كتحدٍ مركزي مفتوح.

يُقدم هذا العمل كخطوة نحو "بدائل للنماذج التأسيسية القائمة على الترانسفورمر"، مستنداً إلى الفرضية القائلة بأن البنية المنطقية للتنبؤ بالتسلسل يمكن جعلها صريحة وبنائية من خلال المنطق الاستدلالي.