💻 computer science

libhmm: A Modern C++20 Library for Hidden Markov Models with Correct MLE Emission M-Steps

تقدم هذه الورقة مكتبة libhmm، وهي مكتبة C++20 حديثة وخالية من الاعتمادات الخارجية لنماذج ماركوف الخفية، تسد الفجوات الحرجة في البرمجيات الجاهزة للإنتاج عبر تنفيذ مقدرات الاحتمال الأقصى الصحيحة لتوزيعات انبعاث متنوعة، وحسابات كاملة في فضاء اللوغاريتم، وأداءً معززاً بتقنية SIMD مع روابط لغة بايثون.

المؤلفون الأصليون: Gary Wolfman

نُشر 2026-05-29

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Gary Wolfman

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول التنبؤ بالطقس، لكن لا يمكنك رؤية السماء. أنت فقط ترى ما يرتديه الناس (مظلات، نظارات شمسية، معاطف ثقيلة). أنت تشتبه في وجود "حالات" خفية للغلاف الجوي (مشمس، ممطر، عاصف) تسبب هذه الملاحظات، لكن لا يمكنك رؤية الحالات مباشرة. هذا هو جوهر مشكلة النموذج الخفي لـ ماركوف (HMM).

لفترة طويلة، كانت الأدوات المستخدمة لحل هذا اللغز إما:

ثقيلة للغاية: مثل محاولة حمل رافعة بناء ضخمة ومعقدة (مكتبات R أو Python) لمجرد نقل طوبة واحدة. فهي تتطلب بيئات برمجية ضخمة لا يمكن دمجها بسهولة في البرامج الأخرى.
غير دقيقة: كانت تستخدم "تخمينات ذكية" (طريقة العزوم - Method of Moments) لمعرفة قواعد اللعبة، بدلاً من القيام بالرياضيات الصعبة للوصول إلى أفضل إجابة دقيقة.

ظهور libhmm: أداة جديدة وخفيفة الوزن

قام غاري وولفمان ببناء أداة جديدة تسمى libhmm. فكر فيها كسكين سويسري أنيق للتنبؤ بالأنماط الخفية. لقد كُتبت بلغة ++C الحديثة (وهي لغة برمجة سريعة جداً) وصُممت ليتم وضعها في أي مشروع برمجيات دون الحاجة لتثبيت عشرات البرامج الأخرى.

إليك كيف يشرح البحث ميزاتها، باستخدام تشبيهات بسيطة:

1. وعد "صفر تبعيات" (Zero-Dependency)

معظم المكتبات البرمجية تشبه المنزل الذي يحتاج إلى أساس محدد، وتمديدات سباكة، وشبكة كهرباء ليعمل. إذا أردت استخدامها، عليك بناء كل تلك البنية التحتية أولاً.

ادعاء البحث: libhmm تشبه خيمة قائمة بذاتها. لا تحتاج إلى أي شيء آخر لتعمل. ليس لها تبعات خارجية. يمكنك وضعها في أي مشروع ++C، وستعمل ببساطة. وهذا يجعلها مثالية لـ "أنظمة الإنتاج" — وهي أنواع البرامج التي تدير مهاماً حرجة في العالم الحقيقي حيث لا يمكنك تحمل حمل أعباء ثقيلة.

2. "شرطة الرياضيات" (خطوات MLE الصحيحة)

عندما يحاول النموذج التعلم من البيانات، يجب عليه تحديث قواعده.

الطريقة القديمة (MOM): تخيل طباخاً يخمن كمية الملح في الحساء عن طريق تذوقه والقول: "همم، ربما رشة صغيرة؟". إنها طريقة سريعة، لكنها غالباً ما تكون خاطئة. تستخدم العديد من الأدوات الموجودة هذه الطريقة "التخمينية" للتوزيعات المعقدة (مثل توزيع غاما أو توزيع "ت" Student-t).
طريقة libhmm (MLE): تعمل هذه الأداة مثل شرطي مرور رياضي. هي ترفض التخمين. بدلاً من ذلك، تستخدم صيغاً رياضية دقيقة وصارمة (خوارزميات Newton-Raphson و ECME) لحساب الكمية الدقيقة للملح المطلوبة.
- النتيجة: في اختبار باستخدام بيانات سوق الأسهم (مؤشر DAX)، تعثرت طريقة "التخمين" القدية عند حل متوسط، بينما وجد libhmm حلاً أفضل بكثير، مما أثبت أن طريقة "التخمين" كانت في الواقع تضلل النتائج.

3. شبكة أمان "المجال اللوغاريتمي" (Log-Space)

حساب الاحتمالات لسلاسل طويلة من البيانات يشبه محاولة ضرب مليون رقم صغير جداً في بعضها البعض. في النهاية، تصبح الأرقام صغيرة جداً لدرجة أن الحواسيب تعتبرها صفراً (وهذا ما يسمى "Underflow")، مما يؤدي إلى انهيار العملية الحسابية أو إنتاج نتائج غير منطقية.

التشبيه: معظم الأدوات تحاول إبقاء الأرقام قابلة للإدارة عن طريق إعادة ضبط حجمها باستمرار (مثل لاعب السيرك الذي يوازن نفسه باستمرار باستخدام عصا التوازن). إذا انزلقوا، تفشل العملية برمتها.
حل libhmm: تقوم الأداة بكل حساباتها في "المجال اللوغاريتمي" (Log-space). تخيل بدلاً من عد حبات الرمل الفردية، أن تقوم بعد ارتفاع كومة الرمل. مهما صغرت حبات الرمل، يظل الارتفاع رقماً يمكن التعامل معه. هذا يعني أن libhmm يمكنها معالجة سلاسل بيانات طويلة جداً دون أن تنهار أو تفقد الدقة، بغض النظر عن طول السلسلة.

4. السرعة والقوة (SIMD)

حتى مع الرياضيات المثالية، أنت بحاجة إلى السرعة.

التشبيه: تخيل فريقاً من العمال ينقلون الصناديق.
- الحوسبة القياسية (Scalar - الطريقة القديمة): عامل واحد ينقل صندوقاً واحداً في كل مرة.
- تقنية SIMD (طريقة libhmm): رافعة شوكية تنقل 8 صناديق دفعة واحدة.
ادعاء البحث: يستخدم libhmm تقنية "SIMD" (تعليمات واحدة، بيانات متعددة). يحتوي على تعليمات خاصة للرقائق الحاسوبية الحديثة (مثل AVX-512) تسمح له بمعالجة نقاط بيانات متعددة في وقت واحد. وبينما قد يكون أبطأ قليلاً من بعض الأدوات القديمة المتخصصة في المهام البسيطة، إلا أنه سريع للغاية بالنسبة لأنواع البيانات المستمرة والمعقدة التي صُمم لأجلها.

5. اختبارات العالم الحقيقي

لم يكتفِ المؤلف بكتابة الكود فحسب؛ بل اختبره مقابل "المعايير الذهبية" التي يستخدمها العلماء في مجالات البيئة، والتمويل، والأرصاد الجوية.

حركة الأيائل: توقع مسارات الحيوانات تماماً كما تفعل أدوات لغة R الشهيرة، ولكن بسرعة أكبر.
أسواق الأسهم: وجد أنماطاً أفضل في بيانات الأسهم الألمانية مقارنة بالأداة المالية الرائدة (fHMM)، وذلك تحديداً عبر استخدام نهج "شرطة الرياضيات" لتوزيع Student-t.
اتجاه الرياح: تعامل بشكل صحيح مع بيانات الرياح التي تلتف حول نفسها (حيث أن 359 درجة هي بجانب 0 درجة مباشرة). الأدوات الأخرى التي تعامل الرياح كخط مستقيم فشلت فشلاً ذريعاً عند هذه الحدود، لكن libhmm نجح في ذلك.

المقايضات (قسم الصراحة)

البحث صريح جداً بشأن ما لا يفعله libhmm:

ليس الأسرع للمهام البسيطة: إذا كان لديك لغز صغير وبسيط (بيانات منفصلة/Discrete)، فقد تكون مكتبة C قديمة تسمى GHMM أسرع قليلاً لأنها أقل مرونة. libhmm تضحي بجزء ضئيل من السرعة الخام لتكتسب القدرة على التعامل مع أنواع بيانات معقدة من العالم الحقيقي.
ليس نظاماً للإضافات (Plugin System): لا يمكنك ببساطة "إضافة" معادلة رياضية جديدة دون إعادة تجميع (recompiling) الكود. إنه مجموعة ثابتة من 16 توزيعاً قوياً، وليس إطار عمل عاماً لتوزيعات مخصصة لا نهائية.

الملخص

libhmm هو أداة حديثة، خفيفة الوزن، وصارمة رياضياً لإيجاد الأنماط الخفية في البيانات. إنها تستبدل "التخمين" بـ "الحساب الدقيق"، وتستخدم شبكات أمان لمنع انهيار الحواسيب عند التعامل مع البيانات الطويلة، وهي مصممة ليتم دمجها بسهولة في أي مشروع برمجيات دون أعباء التبعات الثقيلة. وهي حالياً مكتبة ++C الوحيدة التي تجمع بين هذا المستوى من الدقة الرياضية والتصميم الحديث وسهل الاستخدام.