تؤسس هذه الورقة إطاراً لدمج نماذج اللغة الانتشارية ضمن الأنظمة الكمومية المفتوحة لتمكين التوليد القائم على التراكب (SoP/SoT) وتقديم آلية مراجعة الرموز المدفوعة بالثقة (QIR)، مما يوسع قدرات توليد النصوص إلى ما وراء الحالات المنفصلة الكلاسيكية.
في عالم الذكاء الاصطناعي، أصبحت الحواسيب ماهرة بشكل ملحوظ في كتابة النصوص، وغالباً ما تحاكي الأسلوب البشري بدقة تجعل التمييز بينهما ضبابياً. تعمل معظم هذه الأنظمة مثل شخص يقرأ جملة ويخمن الكلمة التالية، واحدة تلو الأخرى، في خط مستقيم. هذه الطريقة سريعة وفعالة، لكنها تتسم بطبيعة جامدة؛ فبمجرد اختيار كلمة، يصبح المسار المستقبلي محدداً، ولا يمكن للنظام إعادة النظر بسهولة في الخيارات السابقة أو دمج الأفكار المختلفة في مخرج واحد. يقدم نهج أحدث، يُعرف باسم "الانتشار" (diffusion)، طريقة مختلفة للتفكير. فبدلاً من بناء الجملة من الصفر، تبدأ نماذج الانتشار بكتلة فوضوية من الكلمات العشوائية وتقوم بتنظيفها تدريجياً، حيث تصقل الضجيج وتحوله إلى قصة متماسكة. تشبه هذه العملية كيفية تحول صورة ضبابية ببطء إلى صورة واضحة، ولكنها تُطبق على اللغة. وبينما أظهرت هذه التقنية وعوداً كبيرة، ظل الباحثون لفترة طويلة يتساءلون عما إذا كانت هناك بنية رياضية أعمق تحكم كيفية تطور هذه النماذج، بنية قد تفتح طرقاً جديدة لتوليد نصوص أكثر مرونة وإبداعاً.
لقد اقترح فريق من الباحثين من اليابان الآن صلة مفاجئة بين نماذج اللغة هذه وفيزياء العالم المتناهي الصغر. فهم يشيرون إلى أن الطريقة التي ينظف بها نموذج الانتشار جملة ما يمكن فهمها من خلال منظور "الأنظمة الكمومية المفتوحة"، وهو إطار يُستخدم لوصف كيفية تفاعل الجسيمات الدقيقة مع محيطها. في العالم الكمومي، يمكن للجسيمات أن توجد في حالة "تراكب" (superposition)، مما يعني أنها يمكن أن تكون في أماكن أو حالات متعددة في آن واحد حتى يتم رصدها. وجد الباحثون أن بإمكانهم رسم خريطة لسلوك نموذج الذكاء الاصطناعي لتوليد النصوص وربطه بهذا الإطار الكمومي. ومن خلال القيام بذلك، عاملوا الجمل المختلفة المحتملة ليس كخيارات منفصلة ومتنافسة، بل كاحتمالات متداخلة تتطور معاً. هذا التحول في المنظور سمح لهم بابتكار طريقة جديدة لتوليد النصوص حيث لا يكتفي النموذج باختيار مسار واحد والالتزام به، بل يحمل بدلاً من ذلك قصصاً محتملة متعددة في وقت واحد، مما يسمح لها بالتأثير في بعضها البعض قبل الاستقرار أخيراً على نتيجة واحدة.
ولاختبار هذه الفكرة، طور الفريق تقنية أخذ عينات محددة تعمل كمحاكاة لهذه الحالات الشبيهة بالكم. بدأوا بتغذية النموذج بمطالبتين مختلفتين، مثل طلب كتابة قصة تدور أحداثها في غابة غناء، وأخرى لكتابة قصة تدور في مشهد شتوي متجمد. وبدلاً من اختيار أحد المطالب وتجاهل الآخر، تم توجيه النموذج للإبقاء على كليهما في حالة تراكب. ومع تقدم عملية التوليد، لم يقرر النموذج فوراً أي قصة سيحكيها، بل قام بتوليد نص يمزج خصائص كلتا البيئتين. غالسبال كانت القصص الناتجة تحتوي على عناصر من كلتا البيئتين: الغابة النابضة بالحياة والدافئة، والمشهد الثلجي البارد والصامت، مما خلق سرداً بدا وكأنه دمج فريد بين هذين الإعدادين المتميزين. وعندما قاس الباحثون مدى تشابه هذه القصص الممزوجة مع المطالب الأصلية، وجدوا أن المخرج احتفظ بكمية كبيرة من المعلومات من المطالب الذي لم يتم اختياره في النهاية كإجابة نهائية. وهذا يشير إلى أن النموذج نجح في حمل "شبح" الفكرة غير المختارة طوال العملية بأكملها، مما سمح لها بتشكيل النص النهائي بطريقة لا يستطيع النموذج القياسي القيام بها.
كما طبق الباحثون هذا التفكير المستوحى من الكم لتحسين جودة النص نفسه. في نماذج الانتشار القياسية، بمجرد الكشف عن كلمة، فإنها تبقى عادةً في مكانها. ومع ذلك، تسمح الطريقة الجديدة للنموذج بـ "إعادة قناع" (remask) الكلمات التي يكون أقل ثقة بشأنها، مما يمنحه فعلياً الإذن لتغيير رأيه والمحاولة مرة أخرى. ومن خلال معاملة قرار تغيير الكلمة كعملية فيزيائية مدفوعة بعدم يقين النموذج، أنشأوا قاعدة تستهدف فقط أجزاء الجملة التي تحتاج إلى مزيد من العمل. وأظهرت تجاربهم أن التوقيت هو كل شيء؛ فإذا بدأ النموذج في تغيير الكلمات في وقت مبكر جداً من العملية، يصبح النص تكرارياً ويفقد التنوع. ولكن إذا انتظر النموذج حتى منتصف عملية التوليد ليبدأ عملية الصقل هذه، فإن النص الناتج يكون أفضل بكثير. وفي الاختبارات التي استخدمت نماذج لغوية كبيرة لتقييم الجودة، كان النص المولد باستخدام هذا الصقل في منتصف العملية مفضلاً على المخرج القياسي في أكثر من ستين بالمائة من الحالات. وقد جاء هذا التحسن دون الحاجة إلى إعادة تدريب النموذج الأساسي، بل ببساطة من خلال تغيير كيفية توجيه عملية التوليد.
لا تدعي الدراسة أن هذه الحواسيب هي في الواقع آلات كمومية أو أنها تقوم بعمليات حسابية على أجهزة كمومية. بدلاً من ذلك، استخدم الباحثون اللغة الرياضية للفيزياء الكمومية كأداة قوية لوصف ومعالجة سلوك الحواسيب التقليدية. ومن خلال استعارة مفاهيم مثل "التراكب" و"القفزات الكمومية"، فتحوا مساحة تصميم جديدة لكيفية إنشاء النصوص. وتشير النتائج إلى أنه لا يزال هناك الكثير لتعلمه حول ديناميكيات توليد اللغة، وأن النظر إلى هذه العمليات من خلال نافذة الفيزياء يمكن أن يكشف عن روافع خفية للتحكم. وبينما يعد العمل الحالي محاكاة على أجهزة قياسية، فإن الإطار الذي بنوه يقدم مخططاً لأنظمة مستقبلية قد تعمل يوماً ما على حواسيب كمومية حقيقية، مما قد يسمح بأشكال أكثر تعقيداً وتماسكاً من التعبير الإبداعي. وفي الوقت الحالي، يقف هذا العمل كدليل على أن القواعد التي تحكم العالم دون الذري يمكن أن تقدم رؤى جديدة للطريقة التي تتعلم بها الآلات التحدث.
ملخص تقني: نماذج اللغة الانتشارية كنظم كمومية مفتوحة
بيان المشكلة
تقوم نماذج اللغة الانتشارية (DLMs) بتوليد النصوص عبر عكس عملية انتشار كلاسيكية فوق تسلسلات الرموز (tokens)، والتي تُنمذج عادةً كعمليات عشوائية في الميكانيكا الإحصائية غير المتوازنة. وبينما أظهرت هذه النماذج نجاحاً، إلا أنها مقيدة جوهرياً بنظرية الاحتمالات الكلاسيكية، حيث يتقدم التوليد عبر مسار واحد من تسلسلات الرموز. يحدد المؤلفون فرصة لتوسيع فضاء التصميم لنماذج اللغة الانتشارية من خلال دمج ديناميكياتها في الزمن المستمر ضمن إطار النظم الكمومية المفتوحة. يوفر هذا الإطار، الذي يصف الأنظمة الكمومية المتفاعلة مع بيئة ما، أدوات رياضية لتمثيل الحالات كـ تراكبات (superpositions) لخيارات جمل متعددة وتعديل ديناميكيات التوليد من خلال اضطرابات مستوحاة من الكم. ويتمثل التحدي الجوهري المعالج في كيفية رسم خريطة رسمية لديناميكيات الانتشار المنفصلة إلى معادلة ليندبلاد (Lindblad equation) والاستفيد من هذا الرسم لتمكين استراتيجيات أخذ عينات جديدة تتجاوز الانتشار الكلاسيكي القياسي.
المنهجية
1. التضمين الكمومي لديناميكيات الانتشار
يُظهر المؤلفون أن نماذج اللغة الانتشارية ذات الزمن المستمر والمنفصل يمكن تضمينها بدقة في معادلة ليندبلاد، وهي المعادلة الرئيسية التي تحكم تطور النظم الكمومية المفتوحة.
العملية الأمامية: يتم رسم خريطة لعملية الانتشار الأمامي الكلاسيكية، الموصوفة بمعادلة رئيسية ذات مصفوفة معدل انتقال Qt، إلى القطاع القطري لمؤثر الكثافة ρt الذي يتطور تحت معادلة ليندبلاد. ومن خلال ضبط الهاملتوني Ht=0 وتحديد مؤثرات قفز (jump operators) محددة Lμ تعمل على مواقع الرموز الفردية، تتقلص معادلة ليندبلاد إلى معادلة الانتشار الكلاسيكية.
العملية العكسية: يتم رسم خريطة لديناميكيات الزمن العكسي المطلوبة للتوليد بشكل مماثل لمعادلة ليندبلاد العكسية. ويتم اشتقاق مؤثرات القفز العكسية L~μ بناءً على نسب الاحتمالات (الدرجات الملموسة) التي يقدرها النموذج.
التراكب (Superposition): على عكس الانتشار الكلاسيكي، الذي يتتبع توزيعاً احتمالياً واحداً فوق التسلسلات، يسمح هذا الصياغة لمؤثر الكثافة بالتطور في فضاء هيلبرت الكامل. وهذا يسمح للنظام بالوجود في تراكب من حالات الجمل (∣ψt⟩=∑ci∣mi⟩)، حيث تتطور جمل متعددة متميزة بشكل متماسك مع أوزان متغيرة زمنياً.
2. أخذ العينات عبر التفكيك العشوائي و τ-Leaping
لأخذ عينات من هذه الحالات المتراكبة، يقترح المؤلفون مخطط تفكيك عشوائي (stochastic unraveling).
المسارات العشوائية: بدلاً من حل معادلة مصفوفة الكثافة مباشرة، تقوم الطريقة بمحاكاة مسارات الحالة النقية العشوائية. ويعيد تجمع من هذه المسارات الحل لمعادلة ليندبلاد.
تفكيك τ-Leaping: يقوم متغير τ-leaping، الذي لا يقوم بتحديث سوى رمز واحد في كل خطوة، بتحديث عدة مواقع للرموز في وقت واحد ضمن خطوة زمنية واحدة. تقرب هذه الطريقة الديناميكيات العكسية للزمن إلى الدرجة الأولى في الخطوة الزمنية Δt، مما يحسن كفاءة أخذ العينات بشكل كبير مع الحفاظ على الخصائص الإحصائية للتراكب.
القياس: تنتهي عملية التوليد بـ قياس إسقاطي (استناداً إلى قاعدة بورن) يؤدي إلى انهيار التراكب ∣ψt⟩ إلى جملة منفصلة واحدة m باحتمال ∣cm∣2.
3. التوسعات المقترحة
بناءً على هذه الصياغة، يقدم البحث توسعين محددين:
تراكب المحفزات (SoP) والأفكار (SoT): تسمح الطريقة بالاشتراط على تراكب من المحفزات أو أفكار الاستدلال المختلفة. يولد النموذج نصاً عبر تطوير تراكب من الحالات المشروطة بهذه المدخلات المختلفة. يختار القياس النهائي مكوناً واحداً، لكن عملية التوليد تحتفظ بتأثير المكونات غير المختارة.
إعادة القناع المستوحاة من الكم (QIR): من خلال إدخال اضطراب على مؤثرات القفز في العملية الأمامية (تحديداً عبر إدخال احتمال صغير للانتقال من رمز القناع إلى رمز غير قناع، مُعلمات بـ γ)، يشتق المؤلفون قاعدة إعادة قناع تعتمد على الثقة. الرموز ذات إعادة البناء الأقل ثقة (الاحتمالية الأعلى لكونها غير صحيحة بالنظر إلى السياق) يتم تخصيص معدل أعلى لها ليتم إعادة قمعها وإعادة توليدها.
النتائج الرئيسية
1. التوليد القائم على التراكب
تُظهر التجارب باستخدام نماذج الانتشار المقنعة مسبقاً (SEDD و iLLaDA) على أزواج من المحفزات (مثل "غابة" مقابل "ثلج") أن SoP و SoT يولدان مخرجات ممتزجة دلالياً.
الاحتفاظ بالمعلومات غير المختارة: عندما يتم اختيار شرط معين (مثل "غابة") عند القياس النهائي، لا يزال النص المولد يظهر تشابهاً أعلى مع الشرط غير المختار (مثل "ثلج") مقارنة بالخط المرجعي المولد فقط من محفز "الغابة".
الامتزاج النوعي: في تجارب SoT، نجح النموذج في دمج قيود أسلوبية متباعدة (مثل سرد يكون "حياً وترابياً" و"صامتاً وقاسياً" في آن واحد) في مخرج واحد متماسك، مما يشير إلى أن النموذج يتنقل بين مسارات استدلال متضاربة أثناء عملية إزالة الضجيج.
2. إعادة القناع المستوحاة من الكم (QIR)
قيم المؤلفون QIR على النماذج المدربة مسبقاً (SEDD, RADD, iLLaDA) عبر تغيير وقت بدء إعادة القناع أثناء التوليد:
الحساسية للتوقيت: أدى تطبيق QIR في منتصف عملية التوليد (بعد حوالي 50% من الخطوات) إلى تحقيق أعلى درجات التفضيل من قبل حكم LLM (Qwen3-32B)، متفوقاً على كل من الخطوط المرجعية بدون إعادة قناع وعلى إعادة القناع في المراحل المبكرة.
المقايضات:
إعادة القناع المبكرة: تطبيق QIR في وقت مبكر جداً (بداية التوليد) أدى إلى خفض حده (GenPPL) وزيادة القبول القواعدي (درجات CoLA)، ولكنه أدى إلى زيادة ملحوظة في التكرار وانخفاض في تنوع الرموز.
إعادة القماء في المنتصف: حقق هذا الجدول الزمني أفضل توازن، حيث حسن الجودة التي قيمها الحكم دون العقوبات الشديدة للتكرار التي لوحظت في التطبيق المبكر.
الاستنتاج: لا يعني انخفاض الحيرة (perplexity) بالضرورة ارتباطاً أفضل بجودة النص الإجمالية؛ فتوقيت الاضطراب أمر بالغ الأهمية.
الأهمية والادعاءات
يدعي البحث توفير أساس نظري لتوسيع نماذج اللغة الانتشارية باستخدام مفاهيم من الفيزياء الكمومية، وتحديداً نظرية النظم الكمومية المفتوحة.
المساهمة النظرية: يثبت التضمين الدقيق لديناميكيات الرموز المنفصلة في معادلة ليندبلاد، مما يسد الفجوة بين نماذج الانتشار الكلاسيكية والنظم الكمومية المفتوحة.
الابتكار المنهجي: يقدم خوارزميات أخذ عينات عملية (τ-leaping unraveling) تتيح التلاعب بالحالات المتراكبة واشتقاق قواعد توليد جديدة (QIR) دون الحاجة لإعادة تدريب النماذج الأساسية.
التحقق التجريبي: تثبت التجارب أن التوليد القائم على التراكب يمكنه الاحتفاظ بالمعلومات من مكونات الاشتراط غير المختارة، وأن اضطراب الديناميكيات (QIR) يمكن أن يحسن جودة النص عند تطبيقه في مراحل مناسبة.
الآفاق المستقبلية: يشير المؤلفون إلى أنه بينما يعمل التنفيذ الحالي على أجهزة كلاسيكية، فإن هذا الإطار يفتح الطريق نحو نماذج لغة أصلية كمومية حيث يشكل التراكب والتداخل احتمالات التوليد بشكل فعال. كما يقرون بوجود قيود، مثل التكلفة الحسابية لإعادة القناع وعدم وجود تسريع كمي مثبت أو تنفيذ للدوائر.
يُقدم العمل كاستكشاف لمساحة تصميم أوسع لتوليد اللغة، مما يشير إلى أن الصياغات المستوحاة من الكم يمكن أن تؤدي إلى طرق أخذ عينات جديدة وتطبيقات مستقبلية على الحواسيب الكمومية.