Stochastic Thermodynamics for Autoregressive Generative Models: A Non-Markovian Perspective

إليك ملخص تقني مفصل للورقة البحثية بعنوان "الديناميكا الحرارية العشوائية للنماذج التوليدية ذاتية الانحدار: منظور غير ماركوفي" للباحث تاكاهيرو ساغاوا.

1. بيان المشكلة

تولد النماذج التوليدية ذاتية الانحدار (بما في ذلك المحولات "Transformers"، والشبكات العصبية المتكررة "RNNs"، ومرشحات كالمان "Kalman filters"، ونماذج الحالة الفراغية "SSMs"، ونماذج مامبا "Mambas") تسلسلات حيث يتم أخذ عينة من كل مخرج من توزيع شرطي يعتمد على ملخص حتمي لكامل التاريخ الماضي.

• التحدي: هذه العمليات هي عمليات غير ماركوفية حقيقية فيما يتعلق بالمتغيرات الملحوظة (الرموز/القياسات). حيث يراكمت الحالة الكامنة المعلومات من التاريخ الكامل ولا يمكن عموماً اختزالها إلى تحديث تكراري ثابت الرتبة (باستثناء حالات معينة مثل الـ RNNs).
• الفجوة: الديناميكا الحرارية العشوائية القياسية، التي تقيس عدم العكوسية عبر إنتاج الإنتروبيا، متطورة جيداً للعمليات الماركوفية. أما التوسع ليشمل العمليات غير الماركوفية، فيتطلب عادةً تكاليف أخذ عينات أسية لتقدير احتمالات المسارات أو يفترض وجود خزانات فيزيائية مخفية.
• الهدف: تطوير إطار نظري موحد لتعريف وحساب إنتاج الإنتروبيا (وهو مقي de لعدم العكوسية) بكفاءة لهذه الفئة الواسعة من النماذج ذاتية الانحدار دون عبء حسابي أسي.

2. المنهجية

أ. الإطار الموحد

يعرّف المؤلف بنية عامة للنماذج ذاتية الانحدار ذات ذاكرة كامنة حتمية:

1. الحالة الكامنة ($h_t$): دالة حتمية $\Phi_t$ لتاريخ الملاحظات الماضي بأكمله ($y_{1:t}$).
2. نواة الانبعاث ($p_t$): توزيع عشوائي $p_t(y_{t+1} | h_t)$ تُسحب منه الملاحظة التالية.
3. العملية الأمامية: تولد $y_{1:T}$ عبر تكرار قاعدة التحديث والانبعاث.

ب. بناء العملية الخلفية

لتعريف عدم العكوسية، يتم بناء عملية خلفية عبر إعادة استخدام نفس المكونات المعمارية ($\Phi_t$ و $p_t$) ولكن بترتيب زمني معكوس:

• العملية الخلفية تولد تسلسلاً $\tilde{y}_{1:T}$ (يُعرف بـ $y_{T}, y_{T-1}, \dots, y_1$) عن طريق تشغيل النموذج "للخلف".
• المعلومة الجوهرية: بما أن الحالة الكامنة حتمية ونوى الانبعاث صريحة، يمكن تقييم احتمالية مسار العملية الخلفية مباشرة من مسار أمامي واحد دون الحاجة لأخذ عينات من التوزيع الخلفي.

ج. تعريف إنتاج الإنتروبيا

يُعرَّف إنتاج الإنتروبيا ($S_y$) بأنه تباعد كولباك-ليبلر (KL divergence) بين مقياس المسار الأمامي $P_\rightarrow$ ومقياس المسار الخلفي $P_\leftarrow$:
$$S_y = D_{KL}(P_\rightarrow(y_{1:T}) \parallel P_\leftarrow(y_{T:1}))$$
هذه الكمية غير سالبة وتستوفي نظرية التقلب التكاملية.

د. القابلية للحساب التكتيكي

على عكس العمليات غير الماركوفية العامة حيث يتطلب تقدير $P(y_{t+1}|y_{1:t})$ أخذ عينات توافقية، تسمح البنية ذاتية الانحدار بحساب $S_y$ عبر أخذ عينات مونت كارلو القياسية:

• التكلفة: $O(T)$ أو $O(T^2)$ اعتماداً على البنية (مثل RNN مقابل Transformer)، مع عدم وجود عبء أسي.
• الإجراء: لمسار تم أخذ عينة منه، يتم حساب لوغاريتم الاحتمالية للتسلسل الأمامي ولوغاريتم الاحتمالية للتسلسل المعكوس باستخدام نفس النموذج. الفرق بينهما هو إنتاج الإنتروبيا العشوائي.

هـ. التجميع الزمني الخشن (Temporal Coarse-Graining)

لمعالجة مشكلة أن عكس الرموز (tokens) يدمر البنية النحوية (مما يجعل إنتاج الإنتروبيا يهيمن عليه النحو بدلاً من الدلالة)، تقدم الورقة مفهوم عكس المستويات الكتلية (block-level reversal).

• بدلاً من عكس الرموز الفردية، يتم تقسيم التسلسل إلى كتل (مثل الجمل)، ويتم عكس ترتيب الكتل مع الحفاظ على الرموز داخل الكتل في ترتيبها الأمامي.
• هذا يعزل عدم العكوسية بين الحلقات (inter-episode) عن الآثار النحوية داخل الحلقات (intra-episode).

3. المساهمات الرئيسية

1. إطار ديناميكي حراري موحد: يضع صياغة واحدة تغطي Transformers وRNNs وKalman filters وSSMs وMambas، باعتبارها عمليات غير ماركوفية ذات ذاكرة حتمية.
2. خوارزمية تقدير فعالة: يثبت أنه يمكن تقدير إنتاج الإنتروبيا من المسارات المأخوذة بعينة بتكلفة حسابية خطية (أو تربيعية)، متجاوزاً "لعنة الأبعاد" النموذجية للأنظمة غير الماركوفية.
3. تفكيك دقيق: يشتق تفكيكاً دقيقاً لإنتاج الإنتروبيا إلى مساهمات غير سالبة لكل خطوة ($D_t$)، والتي تنقسم بدورها إلى:
   • خسارة الضغط ($L_t$): المعلومات المفقودة عند ضغط المستقبل في حالة خلفية محدودة.
   • عدم تطابق النموذج ($M_t$): تكلفة إعادة استخدام نواة الانبعاث الأمامية في الاتجاه الخلفي.
     هذا التفكيك يشبه الحد الأدنى للبرهان (ELBO) في الاستدلال المتغير، ولكنه ينشأ من ديناميكا عكس الزمن.
4. القانون الثاني المنقح: يضع حداً أدنى لإنتاج الإنتروبيا بناءً على الفجوة بين المعلومات المتبادلة للملخص الأمامي (الماضي) والملخص الخلفي (المستقبل).

4. النتائج

أ. إثبات المفهوم: تجارب GPT-2

• العكس على مستوى الرمز (Token-Level): طُبق على GPT-2 (117 مليون معلمة). إنتاج الإنتروبيا مرتفع جداً، وتهيمن عليه "الآثار النحوية" الناتجة عن عكس ترتيب الكلمات (مثلاً: "كتاب هو هذا" بدلاً من "هذا كتاب" لها احتمالية تقترب من الصفر).
• العكس على مستوى الكتلة (Block-Level): عند عكس الجمل (الكتل) بدلاً من الرموز، ينخفض إنتاج الإنتروبيا بشكل كبير ولكنه يظل موجباً.
• النصوص السببية مقابل غير السببية:
  • تم الاختبار على نصوص مولدة بواسطة Claude Opus 4.6 (30 سردية سببية و30 قوائم حقائق غير سببية).
  • على مستوى الرمز: لا يوجد فرق كبير بين النصوص السببية وغير السببية.
  • على مستوى الكتلة: أظهرت النصوص السببية إنتاج إنتروبيا أعلى بكثير من النصوص غير السببية. يشير هذا إلى أن العكس على مستوى الكتلة يلتقط عدم العكوسية في العلاقات السببية/الزمنية، بينما العكس على مستوى الرمز يهيمن عليه النحو.

ب. حالة تحليلية: (مرشح كالمان - Linear Gaussian)

• طُبق الإطار على حالة Gaussian الخطية، مما أدى إلى اختزالها إلى تمثيل ابتكار كالمان (Kalman innovation representation).
• تم اشتقاق تعبير تحليلي لإنتاج الإنتربطيا باستخدام "مصفوفة عكس الابتكار" $R$.
• التحقق العددي: طابقت نتائج عينات مونت كارلو الاشتقاق التحليلي تماماً.
  • في الحالات أحادية المتغير (scalar)، تستقر الإنتروبيا (عكوسة زمنياً).
  • في الحالات متعددة المتغيرات، تنمو خطياً مع الزمن (غير عكوسة زمنياً).

ج. التفكيك النظري

• نجحت الورقة في إثبات أن إجمالي إنتاج الإنتروبيا هو مجموع خسائر الضغط وعدم تطابق النماذج، مما يوفر تفسيراً معلوماتياً لعدم العكوسية في النماذج التوليدية.

5. الأهمية

• الربط بين المجالات: يربط بين الديناميكا الحرارية العشوائية (فيزياء عدم العكوسية) وبين الذكاء الاصطناائي التوليدي الحديث (نماذج اللغة الكبيرة LLMs، والمحولات Transformers).
• قياس عدم العكوسية: يوفر أول أداة عملية لقياس "سهم الزمن" في العمليات شديدة عدم الماركوفية مثل نماذج LLM دون الحاجة لمعرفة الديناميكيات الفيزيائية الأساسية أو الحالات المخفية.
• القابلية للتفسير: يوفر إنتاج الإنتروبيا على مستوى الكتلة مقياساً جديداً لسبر البنية السببية والمنطق الزمني المشفر في نماذج اللغة. الإنتروبيا العالية في عكس الكتلة تعني أن النموذج يعتمد بشدة على الترتيب السببي/الزمني، وليس فقط على التواجد الإحصائي المشترك.
• الحدود الديناميكية الحرارية: يفتح الباب لدراسة علاقات عدم اليقين الديناميكية الحرارية والمقايضات بين السرعة والدقة في توليد التسلسلات، مما قد يربط "تكلفة" توليد تسلسلات دقيقة بإنتاج الإنتروبيا.
• العمومية: لا يقتقت الإطار بنماذج LLM فحسب، بل ينطبق على أي نظام ذي ذاكرة حتمية وانبعاث عشوائي، بما في ذلك نظرية التحكم ومعالجة الإشارات.

باختاً، توفر هذه الورقة طريقة صارمة ومجدية حسابياً لقياس مدى "عدم عكوسية" مخرجات نموذج توليدي، كاشفة أنه بينما يكون العكس على مستوى الرمز غير عكوس بشكل بديهي بسبب النحو، فإن الهياكل الدلالية والسببية الأعمق للغة تُظهر أيضاً عدم عكوسية ديناميكية حرارية كبيرة.