ML-PWS: Estimating the Mutual Information Between Experimental Time Series Using Neural Networks

تخيل أنك تحاول اكتشاف مقدار ما يتم نقله من رسائل سرية بين شخصين، أليس وبوب، يتحدثان عبر جهاز لاسلكي (walkie-talkie) مليء بالضجيج. في عالم العلوم، يُسمى هذا "انتقال المعلومات". وسواء كانت هذه الإشارات عبارة عن نبضات عصبية في الدماغ، أو استجابة سوق الأسهم للأخبار، أو خلية تستشعر بيئتها، فإن العلماء يريدون معرفة: ما مدى سرعة ووضوح وصول القصة؟ الطريقة القياسية لقياس ذلك تسمى "معدل المعلومات". الأمر يشبه عدّ الكلمات الفريدة التي تقولها أليس في الثانية الواحدة والتي يفهمها بوب بالفعل، مع تجاهل التشويش وسوء الفهم.

المشكلة هي أن الإشارات في الحياة الواقعية ليست كلمات بسيطة؛ بل هي مسارات بيانات معقدة وملتوية تتغير كل ميلي ثانية. محاولة حساب معدل المعلومات لهذه المسارات عالية الأبعاد والمعقدة تشبه محاولة عدّ كل حبة رمل على الشاطئ بينما تهب عاصفة رملية. الطرق الرياضية التقليدية غالبًا ما تنهار لأن البيانات شديدة التعقيد، وإما أنها تخمن الكثير أو تتعثر في الضجيج. لقد كان العلماء يبحثون عن طريقة لقياس "معدل المعلومات" هذا مباشرة من البيانات نفسها، دون الحاجة إلى معرفة القواعد الدقيقة للعبة مسبقًا.

هنا يأتي دور طريقة جديدة تسمى ML-PWS، والتي طورها الباحثون مانويل راينهاردت، غاشبر تكاتشيك، وبيتر راين تن وولد. فكر في نهجهم كخدعة سحرية ذكية تتكون من خطوتين. أولاً، يستخدمون "نموذجًا توليديًا" (generative model) — وهو نوع من الذكاء الاصطناعي يعمل كطالب فائق الذكاء — لدراسة البيانات الفوضوية وفهم كيفية سلوك النظام. الأمر يشبه مراقبة الطالب لأليس وبوب وهما يتحدثان لساعات، ثم بناء محاكاة مثالية لأسلوب حوارهما. ولكن إليك التحول المفاجئ: مجرد امتلاك محاكاة ليس كافيًا للحصول على رقم دقيق.

هنا تدخل الخطوة الثانية، المسماة أخذ عينات وزن المسار (Path Weight Sampling - PWS)، إلى المسرح. تخيل أن الطالب الذكي قد رسم خريطة لجميع المحادثات الممكنة. تقنية PWS هي تقنية رياضية صارمة تتجول عبر هذه الخريطة، وتتحقق من كل مسار محتمل يمكن أن تكون المحادثة قد اتخذته لترى مدى احتمالية حدوثه. ومن خلال الجمع بين "خريطة" الذكاء الاصطناعي المتعلمة وهذه "المشي الرياضي" الدقيق، يمكن للباحثين حساب حد أدنى صارم (rigorous lower bound) لمعدل المعلومات. باللغة البسيطة، هذا يعني أنه يمكنهم القول بيقين مطلق: "المعلومات تتدفق بسرعة لا تقل عن هذا القدر". لقد أثبتوا نجاح ذلك من خلال اختباره على بيانات وهمية حيث كانوا يعرفون الإجابة الدقيقة بالفعل، حيث حققت طريقتهم الهدف بدقة، بينما كانت الطرق الأخرى الشائعة إما تخمن بشكل منخفض جدًا أو تخطئ في الإجابة. حتى أنهم طبقوها على بيانات حقيقية من خلايا عصبية لحيوان السلمندر، مما أظهر أن هذه الأداة الجديدة يمكنها قياس مقدار المعلومات التي يشاركها بالفعل مجموعة من خلايا الدماغ، وكشفت أنه عندما تعمل الخلايا معًا، فإنها أحيانًا تكرر نفسها، مما يقلل من سرعة المعلومات الإجمالية.

الفكرة الجوهرية: تعلم القواعد لعدّ الأسرار

يتناول البحث مشكلة صعبة: كيف تقيس مقدار المعلومات التي تتدفق عبر نظام ما عندما لا تعرف القواعد الأساسية؟ عادةً، لحساب "معدل المعلومات"، تحتاج إلى معرفة الاحتمالية الدقيقة لكل نتيجة ممكنة. إذا كان لديك نموذج رياضي للنظام (مثل مجموعة من المعادلات التي تصف كيفية إطلاق خلية عصبية لإشاراتها)، يمكنك استخدام تقنية تسمى أخذ عينات وزن المسار (PWS) للحصول على إجابة دقيقة. الأمر يشبه امتلاك كتاب قواعد للعبة لوحية؛ يمكنك حساب احتمالات الفوز بدقة تامة.

لكن في العالم الحقيقي، نادرًا ما نملك كتاب القواعد. نحن نملك فقط "بيانات السلاسل الزمنية" — أي تسجيل لما حدث. نرى المدخلات (المحفز) والمخرجات (الاستجابة)، لكننا لا نعرف الرياضيات الخفية التي تربط بينهما. حاولت الأساليب السابقة تخمين القواعد باستخدام تقريبات (مثل افتراض أن كل شيء يتبع منحنى جرس بسيط) أو باستخدام حيل تعلم آلي أخرى غالبًا ما تعطي نتائج غير موثوقة، إما بتقدير المعلومات بأقل من قيمتها أو بالفشل تمامًا عندما تصبح البيانات شديدة التعقيد.

الحل: الذكاء الاصطناعي كمحقق، والرياضيات كقاضٍ

يقترح المؤلفون ML-PWS، وهو منهج هجين يجمع بين أفضل ما في العالمين.

1. المحقق (التعلم الآلي): أولاً، يتم تغذية بيانات السلاسل الزمنية التجريبية في شبكة عصبية. يتم تدريب هذه الشبكة لتكون "نموذجًا توليديًا". هي لا تحفظ البيانات فحسب، بل تتعلم "الاحتمالية الشرطية". في مثال جهاز اللاسلكي، تتعلم الشبكة: "إذا قالت أليس هذه العبارة المحددة، فما هو احتمال أن يسمع بوب تلك العبارة المحددة؟". تتعلم الشبكة التنبؤ بالمخرجات بناءً على التاريخ الكامل للمدخلات والمخرجات السابقة. الأمر يشبه تعلم الذكاء الاصطناعي لـ "أسلوب" المحادثة لدرجة تمكنه من التنبؤ بالكلمة التالية بدقة عالية.

2. القاضي (أخذ عينات وزن المسار - PWS): بمجرد أن يتعلم الذكاء الاصطناعي هذا الأسلوب، لا يتوقف الباحثون عند هذا الحد. بل يستخدمون تنبؤات الذكاء الاصطناعي كـ "كتاب قواعد" لتقنية PWS. ولأن الذكاء الاصطناعي قد تعلم الاحتمالية الشرطية (احتمالية وقوع مخرج معين بناءً على مدخل معين)، يمكن لتقنية PWS الآن إجراء عملية "التهميش" (marginalize) على المدخلات رياضياً. وهي طريقة معقدة تعني أنهم يستطيعون حساب الاحتمالية الإجمالية لحدوث المخرج، بغض النظر عما كان المدخل، وذلك عن طريق جمع كل الاحتمالات التي توقعها الذكاء الاصطناعي.

لماذا يعد هذا أمراً هاماً: ضمان "الحد الأدنى"

الجزء الأكثر إثارة في هذا البحث هو الضمان. العديد من أساليب التعلم الآلي لقياس المعلومات هي "صناديق سوداء". تقوم بتشغيلها، وتعطيك رقماً، لكنك لا تعرف ما إذا كان هذا الرقم مرتفعاً جداً، أو منخفضاً جداً، أو مجرد ضربة حظ.

أثبت المؤلفون رياضياً أن طريقتهم توفر حداً أدنى صارماً (rigorous lower bound). هذا يعني أن الرقم الذي يحسبونه سيكون دائماً أقل من أو يساوي معدل المعلومات الحقيقي. قد يكون متحفظاً قليلاً (أي يقلل من تقدير الحقيقة)، لكنه لن يكذب أبداً ويقول إن هناك معلومات أكثر مما هو موجود فعلياً. هذا أمر بالغ الأهمية للعلوم لأنه يعطي الباحثين أرضية صلبة وموثوقة يمكنهم الوقوف عليها. إذا قالوا "معدل المعلومات هو 5 بت في الثانية على الأقل"، فهم يعلمون يقيناً أنه ليس صفراً.

لقد اختبروا ذلك على ثلاثة أنظمة اصطناعية (بيانات وهمية ناتجة عن نماذج رياضية معروفة) حيث كانوا يعرفون "الحقيقة الأرضية" (الإجابة الحقيقية).

• الاختبار: قارنوا بين ML-PWS وبين طرق شائعة أخرى مثل التقريب الغاوسي (Gaussian approximation) الذي يفترض أن كل شيء يتبع منحنى بسيط، وDoE (فرق الإنتروبيا)، والمقدرات التباينية مثل MINE وInfoNCE.
• النتيجة: في كل حالة تقريباً، كانت ML-PWS هي الأكثر دقة. فقد ظلت قريبة جداً من الحقيقة الأرضية.
  • التقريب الغاوسي فشل عندما كان النظام غير خطي (عندما لم تكن العلاقة بين المدخل والمخرج خطاً مستقيماً).
  • المقدرات التباينية (مثل MINE وInfoNCE) وصلت إلى "سقف". لم تتمكن من قياس معدلات المعلومات العالية لأن رياضياتها تتعثر عندما تصبح البيانات معقدة جداً أو عندما تصبح المسارات طويلة جداً. لقد استسلمت تقريباً وقالت: "هذا هو أقصى ما يمكن أن يكون عليه الأمر"، حتى عندما كان المعدل الحقيقي أعلى بكثير.
  • طريقة DoE أحياناً بالغت في تقدير المعلومات، مما أعطى رقماً مرتفعاً جداً وبالتالي غير موثوق.

التطبيق في العالم الحقيقي: الاستماع إلى الخلايا العصبية

لإثبات أن هذا ليس مجرد تجربة نظرية، طبق المؤلفون ML-PWS على بيانات بيولوجية حقيقية: تسجيلات من 50 خلية عقدية شبكية في عين حيوان السلمندر. كانت هذه الخلايا تراقب قضيباً يتحرك صعوداً وهبوطاً على شاشة.

• الإعداد: قاموا بتدريب شبكة عصبية للتنبؤ بأنماط إطلاق هذه الخلايا العصبية بناءً على حركة القضيب.
• النتيجة: حسبوا معدل المعلومات لكل خلية عصبية على حدة، وللمجموعة بأكملها وهي تعمل معاً.
• المفاجأة: عندما نظروا إلى المجموعة، وجدوا أن معدل المعلومات الإجمالي كان أقل من مجموع المعدلات الفردية. وذلك لأن الخلايا العصبية كانت "متكررة" (redundant) — أي أنها كانت تقول الشيء نفسه. المجموعة لم تكن تضيف معلومات جديدة، بل كانت تكرر المعلومات الموجودة فحسب.
• سعة القناة: استخدموا النموذج أيضاً للسؤال: "ما هو نوع الحركة للقضيب الذي قد يحمل أكبر قدر من المعلومات؟" ومن خلال تحسين المدخلات (حركة القضيب)، وجدوا نمطاً معيناً يمكنه حمل معلومات أكثر بكثير من النمط المستخدم في التجربة. هذا يشير إلى أن النظام البصري للسلمندر يمكن أن يكون أكثر كفاءة إذا تحرك العالم بطريقة مختلفة.

الخلاصة

هذا البحث لا يقدم مجرد طريقة للتخمين، بل يقدم طريقة لـ المعرفة. من خلال تعليم الآلة كيفية تعلم قواعد النظام ثم استخدام الرياضيات الصارمة لعد المعلومات بناءً على تلك القواعد المتعلمة، ابتكر المؤلفون أداة تتسم بالقوة والأمانة في آن واحد. فهي تعترف عندما لا تعرف كل شيء (من خلال تقديم حد أدنى)، لكنها تضمن أن ما تعرفه هو حقيقة راسخة. لأي شخص يحاول فهم كيفية تدفق المعلومات عبر الأنظمة المعقدة — من الأدمغة إلى أسواق الأسهم إلى الأجهزة الهندسية — توفر هذه الطة بوصلة موثوقة في بحر من البيانات.