A First-Order Entropy Law for Canonical T-Complexity of Finite-Alphabet i.i.d. Sources

في المشهد الشاسع لنظرية المعلومات، سعى العلماء منذ فترة طويلة لإيجى طريقة لقياس التعقيد المتأصل في سلسلة من البيانات، تماماً مثل عالم طبيعة يحاول قياس دقة عروق ورقة شجر أو تشكل نجم. هذا المجال، الذي يتعامل مع كيفية توليد المعلومات وتخزينها وضغطها، يعتمد على فكرة أن بعض المتواليات من الرموز هي أبسط وأكثر قابلية للتنبؤ من غيرها. عندما يولد مصدر ما بيانات، مثل تدفق من الحروف أو الأرقام، فإنه يفعل ذلك بمستوى معين من العشوائية، المعروف باسم الإنتروبيا (الاعتلاج). إذا كان المصدر عشوائياً تماماً، فإن كل رمز يمثل مفاجأة؛ أما إذا كان مهيكلاً للغاية، فتظهر أنماط تسمح بضغط فعال. لعقود من الزمن، طور الباحثون طرقاً مختلفة لحساب تعقيد السلاسل المحدودة، بحثاً غالباً عن قاعدة عالمية تصف كيف ينمو هذا التعقيد مع زيادة طول السلسلة. إحدى هذه الطرق، والمعروفة باسم "تعقيد T" (T-complexity)، تقوم بتفكيك السلسلة إلى سلسلة من كتل البناء، وتحسب عدد الخطوات اللازمة لإعادة بناء الكل من أجزائه. إن فهم سلوك هذا المقياس أمر بالغ الأهمية لأنه يكشف عن الحدود الأساسية لمدى قدرتنا على ضغط البيانات ومدى قابلية تدفق يبدو عشوائياً للتنبؤ به حقاً.

لقد كشف باحث يدعى توماس شورمان الآن عن قانون دقيق يحكم هذا التعقيد لنوع محدد من مصادر البيانات. فقد ركز على سلاسل يتم توليدها بواسطة مصدر حيث يتم اختيار كل رمز بشكل مستقل وباحتمالية ثابتة، وهو سيناريو يمثل عملية عشوائية بحتة لا تحتوي على ذاكرة خفية أو قواعد متغيرة. تدرس الدراسة ما يحدث عندما تأخذ كتلة طويلة ودقيقة من مثل هذه البيانات وتطبق عليها خوارزمية محددة وحتمية لتفكيكها. هذه الخوارزمية، المسماة "تفكيك T القانوني" (canonical T-decomposition)، تعمل من خلال تحديد النمط المتكرر الأطول في نهاية السلسلة المتبقية بشكل متكرر، وتسجيله، ثم استبدال ذلك النمط برمز جديد أقصر. تستمر هذه العملية حتى يتم اختزال السلسلة بأكملها إلى رمز واحد. بعد ذلك، يُعرف تعقيد السلسلة الأصلية بعدد الخطوات والخطوات المأخوذة وحجم الأنماط المسجلة. يثبت عمل شورمان أنه بالنسبة لهذه المصادر العشوائية، فإن التعقيد لا ينمو بطريقة فوضوية أو غير متوقعة، بل يتبع مساراً صارماً وقابلاً للتنبؤ يعتمد على عاملين رئيسيين: طول السلسلة وإنتروبيا المصدر.

النتيجة المركزية للورقة البحثية هي أنه مع زيادة طول كتلة البيانات، ينمو تعقيد السلسلة بشكل مباشر بما يتناسب مع طول السلسلة مقسوماً على اللوغاريتم الطبيعي لطولها. هذا النمو ليس عشوائياً؛ فهو يتم قياسه بثابت محدد مشتق من إنتروبيا المصدر، والتي تقيس متوسط مقدار المفاجأة في كل رمز. ومن المثير للاهتمام أن الصيغة تتضمن أيضاً ثابتاً عالمياً، وهو رقم يظهر في مجالات عديدة من الرياضيات وله علاقة بسلوك الأعداد الأولية والمتسلسلات التوافقية. يعمل هذا الثابت كمعامل يضبط معدل النمو، مما يضمن بقاء تقدير التعقد دقيقاً بغض النظر عن الاحتمالات المحددة للرموز في المصدر. وقد أثبت الباحث أن هذه العلاقة تظل صحيحة بيقين عالٍ جداً. فكلما أصبحت السلسلة أطول وأطول، تقترب نسبة التعقيد الفعلي إلى القيمة المتوقعة من الواحد الصحيح، مما يعني أن التنبؤ يصبح مثالياً تقريباً. وقد تم إثبات هذه النتيجة رياضياً، حيث تبين أن متوسط الخطأ يتلاشى وأن احتمال حديد الانحراف الكبير يصبح ضئيلاً.

للوصول إلى هذه النتيجة، كان على الباحث مواجهة تحدٍ دقيق. فالخوارزمية المستخدمة لتفكيك السلسلة تعمل على كتلة محدودة من البيانات، مما يعني أن لها نقطة توقف حتمية عند البداية والنهاية. تخلق هذه الحدود المحدودة تأثيراً لـ "التاريخ"، حيث يعتمد اختيار النمط التالي على ما تمت معالجته بالفعل، وهو قيد يجعل الرياضيات صعبة. في نسخة مثالية وغير محدودة من العملية، ستختفي مشاكل الحدود هذه، لكن البيانات الواقعية دائماً ما تكون محدودة. طور شورمان أداة رياضية جديدة للتعامل مع هذه الحدود بدقة. لقد عامل الكتلة المحدودة كسلسلة من الأحداث حيث يتم اشتراط كل خطوة لتجنب نمط محظور معين كان قد استُخدم بالفعل. ومن خلال استخدام تقنية تحول احتمالية هذه الخطوات، أظهر أن تأثير الحد المحدود لا يتراكم ليصبح خطأً كبيراً بمرور الوقت، بل إن الأخطاء تلغي بعضها البعض بطريقة تترك قانون النمو الإجمالي دون تغيير. سمح له هذا بربط الواقع الفوضوي للكتلة المحدودة بالسلوك النظري النقي للعملية المثالية.

تؤكد الدراسة أن تعقيد السلسلة العشوائية ليس مجرد مفهوم غامض، بل هو كمية تتبع قانوناً صارماً. إن مقدار المعلومات المطلوبة لوصف بنية السلسلة يتحدد بطولها وعشوائيتها المتأصلة، موازنةً بعامل عالمي. يحل هذا الاكتشاف مسألة طال انتظارها حول كيفية سلوك "تعقيد T" للمصادر العشوائية المستقلة. إنه يوضح أنه على الرغم من أن عملية التفكيك حتمية والبيانات عشوائية، إلا أن التعقيد الناتج قابل للتنبؤ به بدرجة عالية. لا تدعي هذه الدراسة حل كل مشكلة في ضغط البيانات أو توفير معدل تقارب لكل نوع ممكن من المصادر، فهي تركز تحديداً على المصادر حيث يتم اختيار الرموز بشكل مستقل وباحتمالات ثابتة. ومع ذلك، من خلال إثبات هذا القانون بيقين رياضي، توفر الورقة أساساً صلباً لفهم حدود التعقيد في البيانات العشوائية. إنها تكشف أنه تحت الفوضى الظاهرية لسلسلة طويلة من الرموز العشوائية، يوجد إيقاع هادء ومنظم يمكن وصفه بصيغة بسيطة، مما يسد الفجوة بين عشوائية المصدر وهيكل الخوارزمية المستخدمة لتحليله.