💬 NLP

Probability Distributions Computed by Autoregressive Transformers

تُوصّف هذه الورقة التوزيعات الاحتمالية التي يمكن التعبير عنها بواسطة النماذج اللغوية للمحولات ذاتية الانحدار، مبرهنةً على أن طبيعتها ذاتية الانحدار والاحتمالية يمكن أن تزيد من القدرة التعبيرية وتكسر أوجه التكافؤ الموجودة في المعرّفات اللغوية غير الاحتمالية.

المؤلفون الأصليون: Andy Yang, Anej Svete, Jiaoda Li, Anthony Widjaja Lin, Jonathan Rawski, Ryan Cotterell, David Chiang

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Andy Yang, Anej Svete, Jiaoda Li, Anthony Widjaja Lin, Jonathan Rawski, Ryan Cotterell, David Chiang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج "ترانسفورمر" (Transformer) -وهو النموذج الذكي الذي يقف وراء أدوات مثل ChatGPT- كأنه أمين مكتبة آلي ذكي جداً، ولكنه جامد بعض الشيء. لسنوات، درس الباحثون هذا الأمين من خلال طرح سؤال بسيط بنظام "نعم أو لا": "هل ينتمي هذا الكتاب تحديداً إلى قسم الخيال العلمي؟" إذا قال الروبوت "نعم"، يتم قبول الكتاب؛ وإذا قال "لا"، يتم رفضه. هذا ما تطلق عليه الورقة البحثية اسم المصنف (Classifier).

ومع ذلك، في العالم الحقيقي، نحن لا نطلب من أمين المكتبة فرز الكتب فحسب، بل نطلب منه كتابة قصة. نعطيه الكلمات القليلة الأولى، وهو يخمن الكلمة التالية، ثم التي تليها، وهكذا، مكوناً توزيعاً احتمالياً (تخميناً لما سيأتي بعد ذلك). هذا ما تطلق عليه الورقة اسم المولد التلقائي (Autoregressor).

تطرح الورقة سؤالاً جوهرياً: هل الروبوت أفضل في كتابة القصص أم في فرز الكتب؟ أو بعبارة أخرى، هل قدرته على فرز الكتب تخبرنا بكل ما نحتاج لمعرفته عن قدرته على كتابة القصص؟

إليك تفصيل نتائجهم باستخدام تشبيهات بسيطة:

1. الطريقتان في التفكير

أدرك المؤلفون أن معظم الأبحاث السابقة عاملت "الترانسفورمر" كـ قاضٍ (مصنف)، بينما يعمل الذكاء الاصطناعي الذي نستخدمه فعلياً كـ راوٍ للقصص (مولد تلقائي).

القاضي: ينظر إلى جملة كاملة ويقول: "صحيح" أو "خطأ".
الراوي: ينظر إلى الجملة حتى الآن ويقول: "هناك احتمال بنسبة 90% أن تكون الكلمة التالية هي 'قطة' واحتمال بنسبة 10% أن تكون 'كلب'".

2. عالم الـ "Boolean" (الحالة البسيطة)

تخيل عالماً يتعامل فيه الروبوت فقط بالأبيض والأسود (صواب/خطأ).

النتيجة: في هذا العالم البسيط، القاضي والراوي هما في الأساس نفس الشخص. إذا استطاع الروبوت فرز كتاب بشكل صحيح، فيمكنه أيضاً كتابة قصة تتبع نفس القواعد، والعكس صحيح.
العقبة: رغم أنهما متساويان في القوة، إلا أن "الراوي" يحتاج أحياناً إلى "كتيب تعليمات" (منطق) أكثر تعقيداً للقيام بنفس المهمة التي يقوم بها "القاضي". الأمر يشبه أن القاضي يمكنه رصد النمط فوراً، بينما يضطر الراوي لكتابة وصفة طويلة ومعقدة لتوليد ذلك النمط كلمة بكلمة.

3. عالم "الأوزان الحقيقية" (الحالة المعقدة)

الآن، تخيل أن الروبوت يتعامل مع درجات الرمادي (الاحتمالات، مثل 0.5، 0.9، إلخ). هذا هو أسلوب عمل الذكاء الاصطناعي الحقيقي.

النتيجة: هنا، القاضي والراوي ليسا نفس الشخص. لكل منهما قدرات خارقة مختلفة.
- الراوي أكثر مرونة: يمكنه توليد أنواع معينة من أنماط الاحتمالات التي لا يستطيع القاضي التعرف عليها ببساطة.
- القاضي أكثر جموداً: هناك أنماط احتمالية محددة يمكن للقاضي تحديدها ولكن لا يستطيع الراوي توليدها، لأن على الراوي اتباع قواعد صارمة لضمان أن مجموع احتمالاته يساوي دائماً 100%.
التشبيه: فكر في القاضي كحارس أمن يمكنه كشف الهوية المزورة فوراً. والراوي كمزور يحاول صنع هوية مزورة. أحياناً، يمكن للمزور صنع هوية مزورة لا يستطيع الحارس كشفها (لأن الحارس يفحص مقابل قائمة محددة فقط). ولكن في أحيان أخرى، يكون المزور مقيداً بقواعد الورق والحبر لدرجة أنه لا يستطيع صنع نوع معين من الهويات المزورة التي يمكن للحارس كشفها بسهولة.

4. منطق "السفر عبر الزمن"

تستخدم الورقة نوعاً خاصاً من المنطق يسمى "المنطق الزمني الخطي" (LTL) لوصف ما يمكن لهذه الروبوتات فعله. إنه يشبه مجموعة من قواعد السفر عبر الزمن:

"الأمس" (Y): النظر إلى الكلمة السابقة.
"تاريخياً" (H): النظر إلى كل الكلمات السابقة.
"منذ" (S): النظر إلى الوراء من نقطة محددة.

وجد المؤلفون أن:

إذا كان لدى الروبوت إمكانية الوصول إلى "الأمس" و"تاريخياً" (النظر إلى الوراء)، فإن القاضي والراوي متساويان.
إذا كان الروبوت مقيداً (على سبيل المثال، يمكنه فقط النظر إلى الوراء لبضع خطوات أو يستخدم "تاريخياً" فقط)، فإن الراوي يصبح أقوى بشكل صارخ من القاضي. يمكن للراوي التعامل مع أنماط لا يستطيع القاضي المقيد التعامل معها.

5. مشكلة "العد"

نظرت الورقة أيضاً في الروبوتات الجيدة في العد (مثل عد عدد مرات ظهور حرف 'a' في سلسلة نصية).

أظهرت الأبحاث السابقة أن هذه الروبوتات، بصفتها "قضاة"، يمكنها العد فقط حتى حد معين بناءً على حجمها.
ومع ذلك، بصفتها "رواة قصص"، استطاعت التعامل مع مهام عد أكثر تعقيداً قليلاً. عملية التنبؤ بالكلمة التالية خطوة بخوة منحتهم قدرة ذهنية أكبر قليلاً مما لو كانوا يحكمون على السلسلة بأكملها دفعة واحدة.

الملخص

الخلاصة الرئيسية هي أن نا لا يمكننا افتراض أن ما يمكن للـ "ترانسفورمر" فعله كـ "قاضٍ" (التعرف على الأنماط) هو بالضبط ما يمكنه فعله كـ "راوٍ للقصص" (توليد النصوص).

في السيناريوهات البسيطة ذات الأبيض والأسود، هما متشابهان إلى حد كبير.
في سيناريو الاحتمالات المعقد والواقعي، يمتلك "الراوي" قدرات فريدة لا يمتلكها "القاضي"، والعكس صحيح.

هذا يعني أنه عندما يختبر العلماء قدرات الذكاء الاصطناعي، يجب عليهم توخي الحذر. مجرد فشل الروبوت في "اختبار الفرز" لا يعني بالضرية أنه سيفشل في "كتابة قصة"، والروبوت الذي يتفوق في الفرز قد يعاني مع القواعد المحددة لتوليد قصة. توفر هذه الورقة خريطة لفهم أين تكمن هذه الاختلافات بالضبط.

ملخص تقني: توزيعات الاحتمالات المحسوبة بواسطة نماذج المحولات ذاتية الانحدار (Autoregressive Transformers)

بيان المشكلة

تتعامل الأعمال النظرية الحالية حول قدرة التعبير لدى نماذج المحولات (Transformers) بشكل أساسي مع المحولات كـ مُميزات لغة (مصنفات - Classifiers)، حيث يكون المدخل سلسلة كاملة والمخرج هو تصنيف ثنائي (قبول/رفض). ومع ذلك، فإن التطبيق العملي الأساسي للمحولات هو نماذج لغة (نماذج ذاتية الانحدار - Autoregressors)، والتي تولد سلاسل رمزاً تلو الآخر عبر التنبؤ بتوزيع احتمالي للرمز التالي بناءً على السابقة (Prefix).

تتناول هذه الورقة فجوة جوهرية: من غير الواضح ما إذا كانت النتائج النظرية المتعلقة بقدرة التعبير لدى المحولات في سياق "التمييز" (Recognition) تنطبق أيضاً على سياق "النمذجة اللغوية" (Language Modeling). وتحديداً، يبحث المؤلفون فيما إذا كانت فئات التكافؤ التي تم تحديدها للمحولات كمصنفات بولينية (مثل التكافؤ مع المنطق الزمني الخطي LTL أو الأوتوماتا الخالية من العدادات Counter-free automata) تظل صالحة عندما تُستخدم المحولات كأنظمة ذات أوزان حقيقية أو بولينية ذات انحدار ذاتي.

المنهجية

يطور المؤلفون إطاراً رسمياً للمقارنة بين المحولات كـ مصنفات وبينها كـ نماذج ذات انحدار ذاتي عبر مجالين للأوزان:

الحلقة شبه البولينية ( $\mathbb{B}$ ): الأوزان هي $\{0, 1\}$ (خطأ/صواب).
الحلقة شبه الحقيقية ( $\mathbb{R}_{\geq 0}$ ): الأوزان هي أعداد حقيقية غير سالبة (احتمالات).

يعرّفون مشفر الحالة (State Encoder) كدالة تربط مقدمة السلسلة (String Prefix) بتسلسل من الحالات، حيث تعتمد الحالة عند الموضع $i$ فقط على المقدمة $w_{\leq i}$ . باستخدام هذا التجريد، يحللون أربعة تكوينات محددة:

المصنفات البولينية: تسند قيمة بولينية للسلسلة الكاملة.
النماذج البولينية ذات الانحدار الذاتي: تسند توزيعاً للرمز التالي لمقدمة السلسلة (أوزان بولينية).
المصنفات الحقيقية: تسند وزناً حقيقياً للسلسلة الكاملة.
النماذج الحقيقية ذات الانحدار الذاتي: تسند توزيعاً احتمالياً للرمز التالي لمقدمة السلسلة.

تركز الدراسة على محولات الانتباه الفريد ذات الانتباه الحاد (UHATs) ومحولات انتباه Softmax (SMATs) ذات الدقة الثابتة. وتتم مقارنتها بـ:

المنطق الزمني الخطي (LTL) ومجزئاته (مثل $TL[P]$ و $TL[H]$ ).
الأوتوماتا الحتمية الخالية من العدادات (cfDFAs) والأوتوماتا غير الحتمية الخالية من العدادات (cfNFAs).

تتمثل المنهجية الجوهرية في بناء اختزالات (Reductions) بين هذه الصيغ لتحديد ما إذا كان يمكن لأحدهما محاكاة الآخر في كلا وضعي المصنف والنموذج ذات الانحدار الذاتي.

المساهمات والنتائج الرئيسية

1. التكافؤ في المصنفات والنماذج البولينية ذات الانحدار الذاتي

المنطق الزمني الخطي الكامل (Full LTL): في الحلقة شبه البولينية، تعتبر مصنفات LTL ونماذج LTL ذات الانحدار الذاتي متكافئة. فالمحول الذي يعمل كنموذج بوليني ذي انحدار ذاتي يمكنه تعريف نفس اللغات التي يعرّفها كمصنف، بشرط أن يتضمن المنطق عاملي "الأمس" ( $Y$ ) و"التاريخي" ( $H$ ).
تعقيد التحويل: رغم التكافؤ، فإن تحويل النموذج ذي الانحدار الذاتي إلى مصنف (تحديداً بإزالة عامل $Y$ ) قد يتطلب تضخماً أسياً في حجم الصيغة. وتثبت الورقة أن بناء تحويل مكافئ في وقت متعدد الحدود لبعض المجزئات أمر غير مرجح ما لم يكن $P = PSPACE$ أو $P = NP$ .

2. التباين في المجزئات المقيدة (بولينية)

عند تقييد مجموعة المعاملات الزمنية (مثل $TL[H]$ أو $TL[P]$ بدون $Y$ )، تصبح النماذج ذات الانحدار الذاتي أكثر قدرة على التعبير من المصنفات.

مثال: اللغة $(ab)^*$ يمكن تعريفها بواسطة نموذج بوليني ذي انحدار ذاتي من نوع $TL[\emptyset]$ ، ولكن لا يمكن تعريفها بواسطة أي مصنف من نوع $TL[H]$ أو $TL[Y]$ .
الاستنتاج: المحولات ذات آليات انتباه محددة (مثل leftmost UHATs أو SMATs ذات الدقة الثابتة، والتي تقابل هذه المجزئات) يمكنها التعرف على لغات كنماذج انحدار ذاتي لا تستطيع التعرف عليها كمصنفات.

3. التباين في الإعدادات ذات الأوزان الحقيقية

في الحلقة شبه الحقيقية، يتغير مشهد القدرة التعبيرية بشكل كبير:

المصنفات مقابل النماذج ذات الانحدار الذاتي: هما غير قابلين للمقارنة.
- هناك لغات موزونة يمكن التعبير عنها بواسطة نماذج انحدار ذاتي حقيقية ولكن ليس بواسطة مصنفات حقيقية (مثل $(\frac{1}{2}a)^*$ ، والتي تتطلب أوزاناً متميزة لانهائية).
- هناك لغات موزونة يمكن التعبير عنها بواسطة مصنفات حقيقية ولكن ليس بواسطة نماذج انحدار ذاتي حقيقية (مثل $(1a)^*$ ، والتي ليست توزيعاً احتمالياً معيارياً).
نماذج UHATs و cfDFAs: في الإعداد الحقيقي، تعادل نماذج UHATs (و LTL) كنماذج انحدار ذاتي الأوتوماتا الحتمية (DFAs) الخالية من العدادات. ومع ذلك، فهي أقل قدرة على التعبير من الأوتوماتا غير الحتمية (NFAs) الحقيقية الخالية من العدادات.
- توضح الورقة وجود أوتوماتا (NFA) حقيقية خالية من العدادات غير قابلة للتحويل إلى حالة حتمية (لا يمكن تحويلها إلى DFA موزون مكافئ)، مما يظهر أن عدم الحتمية في الإعداد الموزون حقيقياً يضيف قدرة تعبيرية لا تستطيع المحولات (التي تُنمذج كأجهزة تشفير حالة حتمية) استيعابها.

4. تأثير معاملات العد (Counting Operators)

تعيد الورقة النظر في النتائج المتعلقة بالمحولات ذات قدرات العد (مثل SMATs ذات الدقة العالية داخل الانتباه، المكافئة لـ $TL[\#]$ ).

أظهرت أعمال سابقة أن هذه المحولات تتعرف على لغات محددة كمصنفات.
تظهر هذه الورقة أن هذه النماذج، كنماذج انحدار ذاتي، هي أقوى قليلاً، حيث يمكنها التعرف على لغات (مثل $L_{k+2}$ ) لا تستطيع التعرف عليها كمصنفات (المقتصرة على $L_k$ ). وهذا يفسر التناقضات بين حدود التعرف النظرية والأداء التجريبي في التنبؤ بالرموز في الأدبيات السابقة.

الأهمية والادعاءات

تدعي الورقة أنها توفر طريقة منهجية لتفسير التجارب الحالية حول قدرة التعبير لدى المحولات.

التحقق: في كثير من الحالات (تحديداً Full Boolean LTL)، تنتقل نتائج أدبيات التعرف على اللغات إلى نماذج اللغة. فعلى سبيل المثال، بما أن UHATs لا يمكنها التعرف على PARITY كمصنفات، فلا يمكنها القيام بذلك أيضاً كنماذج انحدار ذاتي.
التنبيهات: يؤكد المؤلفون أنه لا يمكن الافتراض بشكل أعمى أن نتائج التعرف تنطبق على التوليد.
- الأوزان الحقيقية: الانتقال من الأوزان البولينية إلى الأوزان الحقيقية يكسر حالات التكافؤ الموجودة في الحالة البولينية (مثل التكافؤ بين DFAs و NFAs).
- الانحدار الذاتي مقابل التصنيف: يمكن للانحدار الذاتي أن يزيد من القدرة التعبيرية بشكل صارخ في المجزئات المنطقية المقيدة (بولينية)، ويغير فئة اللغات الموزونة القابلة للتعبير (حقيقية).
الاتجاهات المستقبلية: يقترح المؤلفون أن العمل المستقبلي يجب أن يمتد ليشمل انتباه Softmax ذو الدقة اللوغاريتمية، والترميزات الموضعية (Positional Encodings)، و"سلسلة الأفكار" (Chain of Thought) في الإعدادات ذات الأوزان الحقيقية، مشيرين إلى أن التقنيات الحالية لإثبات عدم القدرة على التعبير في نماذج الانحدار الذاتي لا تزال محدودة.

باختصار، تثبت الورقة أنه بينما تشترك المحولات كنماذج لغة في الكثير من الأسس النظرية مع المحولات كأدوات تمييز، فإن التحول إلى الانحدار الذاتي والاحتمالات ذات القيم الحقيقية يُدخل اختلافات دقيقة ولكنها حاسمة في القدرة الحسابية، لا سيما فيما يتعلق بقوة عدم الحتمية والمعاملات الزمنية المتاحة.