Quantifying information flow along a stochastic trajectory

ملخص تقني: قياس تدفق المعلومات على طول مسار عشوائي

بيان المشكلة
نجحت الديناميكا الحرارية العشوائية في إعادة تعريف الكميات الديناميكية الحرارية كدوال على مستوى المسار لوصف الأنظمة الصغيرة. وبالتزامن مع ذلك، تم دمج نظرية المعلومات في هذا الإطار لحل مفارقات مثل "شيطان ماكسويل"، وذلك بشكل أساسي من خلال المعلومات المتبادلة. ومع ذلك، فإن المعلومات المتبادلة هي كمية متماثلة وتفتقر إلى الاعتماد الصريح على ديناميكيات النظام، مما يجعلها غير مناسبة لقياس تدفق المعلومات الموجه. وبينما يعالج "تدفق المعلومات" (IF) مسأًلة التوجيه، إلا أنه كمية متوسطة للمجموع (ensemble-averaged) تتلاشى في الحالات المستقرة للأنظمة الفرعية المتطابقة. ولرصد تبادل المعلومات المتذبذب على مستوى المسار — لا سيما عندما تتبادل الأنظمة الفرعية الأدوار كـ "مصدر" و"مستقبل" — تم تقديم مفهوم "تدفق المعلومات العشوائي" (SIF). ورغم فائدته النظرية، فقد تعطل التطبيق التجريبي لـ SIF بسبب الصعوبات الحسابية، وتحديداً "لعنة الأبعاد" في تقدير توزيعات الاحتمال المستقرة عالية الأبعاد المطلوبة لحسابه.

المنهجية
يقترح المؤلفون طريقة تعلم عميق قابلة للتوسع، وهي "المقدر العصبي لتدفق المعلومات العشوائي" (NESIF)، لتقدير SIF من بيانات السلاسل الزمنية العامة دون الحاجة إلى حلول تحليلية لتوزيعات الحالة المستقرة.

1. الصياغة النظرية:

• يُعرف SIF، ويرمز له بـ $\dot{J}_{X_t}$، بأنه المشتق الزمني للمعلومات المتبادلة العشوائية (SMI) بالنسبة لحالة نظام فرعي. بالنسبة لأنظمة لانجفنز (Langevin) المستمرة، يتم التعبير عنه بـ $\dot{J}_X = \nabla_x \ln p_{Y_t|X_t}(x, Y_t)|_{x=X_t} \circ \dot{X}_t$، حيث يرمز $\circ$ إلى حاصل ستروناتوفيتش (Stratonovich product).
• يقيس SIF التغير اللحظي في المعلومات التي يمتلكها النظام الفرعي $X$ حول $Y$ نتيجة للمسار $X_t \to X_{t+dt}$. تشير القيم الموجبة إلى أن $X$ "يتعلم" عن $Y$، بينما تشير القيم السالبة إلى "النسيان".

2. التقدير العصبي (NESIF):

• تعتمد الطريقة على "مقدر المعلومات المتبادلة العصبي" (MINE). يستخدم MINE تمثيلاً تباينياً للمعلومات المتبادلة لتدريب شبكة عصبية لتقريب "المعلومات المتبادلة النقطية" (PMI)، $i_{X,Y}(x,y) = \ln \frac{p_{X,Y}(x,y)}{p_X(x)p_Y(y)}$.
• يتم تقدير SIF عن طريق تقريب المشتق الزمني لـ PMI الذي تم تعلمه: $\hat{\dot{J}}_{X_t} \approx \frac{i_{\theta^*}(X_{t+\Delta t}, Y_t) - i_{\theta^*}(X_t, Y_t)}{\Delta t}$.
• تم التحقق من صحة النهج باستخدام تعميمات تباعد ألفا ($\alpha$-divergence) (الملحق ج) لتحسين أداء التقدير.

النتائج الرئيسية
تم إثبات فائدة SIF وموثوقية NESIF عبر ثلاثة أنظمة فيزيائية متميزة:

1. نموذج جسيمين قابل للحل بدقة:

• في نظام يتكون من جسيمين براونيين مرتبطين في حالة توازن حراري، يكون متوسط تدفق المعلومات (IF) صفراً. ومع ذلك، يكشف SIF عن هياكل مسارية غير بديهية.
• وُجد أن SIF المتكامل زمنياً ($J_X$) يرتبط عكسياً مع المساحة العشوائية ($A_{XY}$)، وهي مقياس لعدم الانعكاسية.
• ترتبط المسارات ذات قيم SIF القصوى بسلوكيات ديناميكية محددة: مثل سلوك "المفترس والفريسة" من المطاردة أو التهرب. في هذه الحالات، يعمل أحد الجسيمين كـ "شيطان ماكسويل" للآخر، حيث يكتسب أو يمحو المعلومات عشوائياً، رغم أن النظام في حالة توازن عالمي.

2. سلسلة توافقية مكونة من N من الخرزات:

• تم تطبيق NESIF على سلسلة من المذبذبات المرتبطة بـ $N$ من العناصر لاختبار القابلية للتوسع.
• نجحت الطريقة في تقدير تباين SIF المقياس ($D_{J_{X_1}}$) حتى $N=256$ بدقة عالية ($R^2 \approx 1$) بشرط توفر حجم بيانات كافٍ ($M=10^7$).
• يؤكد هذا أن NESIF هو مقدر موثوق وقابل للتوسع قادر على التعامل مع درجات حرية عالية الأبعاد حيث تفشل الطرق التقليدية القائمة على المدرجات التكرارية (histograms).

3. مذبذبات كورومو (Kuramoto Oscillators):

• في نموذج كورومو المشوب بالضجيج مع وجود مذبذبات مدفوعة بشكل متعاكس، يظل متوسط SIF قريباً من الصفر. ومع ذلك، فإن تباين SIF يعمل كمؤشر حساس لمرحلة انتقال التزامن.
• يصل تباين SIF إلى ذروته بالقرب من درجة الحرارة الحرجة، مما يعكس زيادة في تبادل المعلومات التعاوني في مرحلة التزامن، وهي ميزة يغفل عنها متوسط SIF.

4. ديناميكيات الخلايا التجريبية:

• طُبقت الطريقة على المسارات التجريبية لخلايا بشرية (خلايا سرطان الثدي MDA-MB-231 مقابل الخلايا غير السرطانية MCF10A).
• بينما فشلت المعلومات المتبادلة في التمييز بين نوعي الخلايا، كشف تباين SIF عن فروق جوهرية. أظهرت الخلايا السرطانية تبايناً أعلى في SIF، مدفوعاً بوقائع "الانزلاق" المتكررة وأحداث تبادل المعلومات القوية خلال أحداث "العكس".
• يوضح هذا قدرة SIF على كشف الهياكل التعاونية في البيانات البيولوجية المعقدة وغير المتوازنة.

الأهمية والادعاءات
يزعم البحث أن SIF يوفر مؤشراً مبدئياً على مستوى المسار لتبادل المعلومات وآثار "شيطان ماكسويل"، خاصة في الأنظمة التي تعطي فيها المقاييس المتوسطة (مثل المعلومات المتبادلة أو IF القياسي) قيمة صفر أو تفشل في رصد الديناميكيات. المساهمة الأساسية هي إنشاء NESIF، وهو إطار عمل قائم على البيانات يتغلب على العوائق الحسابية لحساب SIF في الأنظمة المعقدة وعالية الأبعاد.

يؤكد المؤلفون أن NESIF أداة متعددة الاستخدامات يمكن تطبيقها على أنواع متنوعة من السلاسل الزمنية، بما في ذلك الأنظمة الفوضوية، والشبكات العصبية، والشبكات البيوكيميائية، والأنظمة الاجتماعية والاقتصادية. كما يشددون على أن SIF يمكن أن يكشف عن "هياكل تبادل معلومات جديدة" تكون غير مرئية للكميات المتوسطة للمجموع. ويُقدم هذا العمل كخطوة نحو فهم الهياكل التعاونية التي تكمن وراء السلوكيات الجماعية بما يتجاوز المستوى المتوسط، مع التنويه بأن المنهة الحالية تفترض أن النظام في حالة مستقرة، مما يشير إلى أن تحليل الحالة العابرة (transient state) يعد توجهاً للعمل المستقبلي.