Offline-First Quantized MamaBot AI: Design and Evaluation of an On-Device Maternal-Health Assistant for Low-Connectivity Environments
تقدم هذه الدراسة وتُقيّم مساعداً ذكياً لصحة الأم يعمل بنظام "الأولوية للعمل دون اتصال" (offline-first) ومكمماً (quantized) لأجهزة الأندرويد ذات الاتصال الضعيف، حيث تُثبت أن نموذج "Gemma" يقدم استجابات مقبولة سريرياً مع قدرات استرجاع محلي فعالة رغم وجود تأخير متوسط في الاستجابة.
المؤلفون الأصليون:Okenla AbdulQahhar, Maurice Abraham John, Adepoju Jeremiah Moyandafoluwa
في أجزاء كثيرة من العالم، غالباً ما تكون المعلومات الأكثر حيوية التي يمكن أن يتلقاها المرء هي الأصعب وصولاً. فقد تحتاج امرأة حامل في قرية نائية إلى معرفة ما إذا كان عرض معين يشير إلى مشكلة روتينية أو حالة طوارئ تهدد الحياة، ومع ذلك قد تظل شبكة الهاتف المحمول في جيبها صامتة لساعات. لا تكمن المشكلة في المسافة فحسب، بل في الموثوقية. لعقود من الزمن، كان الوعد الذي قدمه الذكاء الاصطناعي هو العمل كمرشد واسع المعرفة، لكن هذا الوعد يعتمد عادةً على اتصال دائم وعالي السرعة بخوادم بعيدة. وعندما ينقطع الإنترنت، يختفي المرشد. يسعى مجال الذكاء الاصطناعي الموجود على الأجهزة (on-device AI) إلى تغيير ذلك من خلال تصغير عقول حاسوبية قوية بحيث يمكنها العيش بالكامل داخل الهاتف، والعمل دون الحاجة أبداً لإرسال سؤال إلى الفراغ. لقد كان التحدي الذي واجه الباحثين مزدوجاً: جعل هذه العقول الرقمية صغيرة بما يكفي لتناسب هاتفاً عادياً، وضمان ذكائها بما يكفي لتقديم نصائح طبية آمنة ودقيقة عندما تعتمد حياة إنسان على الإجابة.
وضع فريق من الباحثين من "Helpmum Africa" نصب أعينهم بناء واختبار هذا النوع من المرشد تحديداً، المصمم خصيصاً للواقع القاسي لبيئات الاتصال المنخفض. لقد أنشأوا تطبيقاً لنظام أندرويد يسمى "MamaBot"، والذي يحمل مكتبة كاملة من المعلومات الصحية الموثقة سريرياً ونموذج لغة مدمج مباشرة على الجهاز. تم تصميم النظام للإجابة على الأسئلة المتعلقة بالحمل، ورعاية حديثي الولادة، والتطعيمات دون لمس الإنترنت مطلقاً. ولرؤية ما إذا كان هذا النهج فعالاً حقاً، وضع الفريق نموذجين مختلفين من الذكاء الاصطناعي المدمج في مواجهة بعضهما البعض في سلسلة من الاختبارات الصارمة. لم يكتفوا بطرح أسئلة بسيطة على النماذج؛ بل أشركوهم في 45 محادثة تضم 312 دورة لكل نموذج لمعرفة ما إذا كان بإمكان الذكاء الاصطناعي تذكر التفاصيل السابقة، والتعامل مع التغيرات المفاجئة في درجة الاستعجال، ومعرفة متى يتوقف عن الكلام ويطلب المساعدة. كما اختبروا ميزة تتيح للذكاء الاصطناعي اختيار البحث عن حقائق محددة في مكتبته المحلية قبل الإجابة، محاكياً بذلك طبيباً يراجع كتاباً مرجعياً.
ركزت الدراسة على نموذجين محددين، تم اختيارهما لأنهما صغيران بما يكفي للعمل على هاتف محمول عادي. تم اختبار أحد النموذجين، وهو "Gemma"، مقابل نموذج آخر يسمى "Qwen". أجرى الباحثون هذه المحادثات المحاكية، والتي غطت كل شيء من نصائح التغذية الروتينية إلى التحذيرات العاجلة بشأن النزيف الشديد. وقاسوا مدى قدرة كل نموذج على تذكر المحادثة، ومدى سلامة نصائحه، وسرعة استجابته. أظهرت النتائج وجود مقايضة واضحة؛ فقد كان نموذج "Qwen" أسرع ويستهلك ذاكرة أقل، مما يجعله فعالاً للمهام السريعة. ومع ذلك، أثبت نموذج "Gemma" تفوقه في المجالات الأكثر حرجاً: فقد قدم إجابات ذات جودة أعلى، وتذكر سياق المحادثة بشكل أفضل بكثير، وكان أكثر أماناً بشكل ملحوظ عند التعامل مع حالات الطوارئ الطبية المحتملة. وفي مراجعة تفصيلية من قبل أطباء، حصلت إجابات نموذج "Gemma" على تقييم عالٍ، حيث استوفت جميعها تقريباً المعايير الصارمة المطلوبة للاستخدام السريري.
تضمن جزء حاسم من التجربة اختبار ما إذا كان بإمكان الذكاء الاصطناعي تحسين إجاباته من خلال البحث عن معلومات في قاعدته البيانية المحلية. وضع الباحثون سيناريو حيث يمكن للذكاء الاصطناعي اختيار البحث في مكتبته قبل التحدث. ووجدوا أنه عندما استخدم الذك_الاصطناعي أداة الاسترجاع هذه، أصبحت الإجابات غال،اً أكثر فائدة وصحة، لا سيما بالنسبة للأسئلة التي تتطلب إرشادات أو جداول زمنية محلية محددة. ومع ذلك، كشفت الدراسة أيضاً أن هذه الأداة ليست حلاً سحرياً؛ ففي عدد قليل من الحالات، لم تتناسب المعلومات المسترجعة مع الموقف المحدد، ولم تتحسن إجابة الذكاء الاصطناعي أو حتى أصبحت أقل دقة. سلط هذا الضوء على أن نجاح النظام لا يعتمد فقط على امتلاك المعلومات، بل على قدرة الذكاء الاصطناعي على تقرير متى يستخدمها وكيف يطبقها بشكل صحيح. كما تم اختبار النظام على هاتف فعلي بذاكرة محدودة، حيث نجح في توليد الإجابات دون اتصال بالإنترنت بمتوسط تأخير قدره أربع عشرة ثانية بقليل، وهي سرعة تعتبر مقبولة لمساعد صحي يعطي الأولوية للسلامة على حساب الرغبة في الحصول على إجابة فورية.
كما بنى الباحثون اختباراً خاصاً لمعرفة ما إذا كان بإمكان الذكاء الاصطناعي أن يعمل كـ "وكيل" (agent)، يؤدي مهام محددة مثل حساب تاريخ الحمل أو حفظ سجل صحي، بدلاً من مجرد الدردشة. قيموا هذه القدرات باستخدام معيار مرجعي مخصص حيث تم تسجيل سلوك الأدوات على مقياس من -5 إلى +5، مع مراعاة الإجراءات المفقودة، أو الأدوات الخاطئة، أو الحجج غير الصالحة. أشارت النتائج إلى أنه بينما استطاعت النماذج تنفيذ هذه الإجراءات، فإن التقييم الدقيق كشف عن مجالات محددة تباين فيها الأداء، مما يشير إلى أن المهام المؤتمتة تتطلب تقييماً دقيقاً لتفاصيل التنفيذ. خلصت الدراسة إلى أن النهج القائم على العمل دون اتصال (offline-first) ليس ممكناً فحسب، بل هو ضروري للوصول إلى الفئات المحرومة. ومن خلال الجمع بين قاعدة معرفية موثقة سريرياً ونموذج لغة مدمج وعالي الجودة، يمكن إنشاء مساعد صحي يعمل في أي مكان وفي أي وقت. تشير النتيات إلى أنه بالنسبة لصحة الأم في المناطق ذات الاتصال المنخفض، فإن المسار الأفضل للمضي قدماً ليس اتصال إنترنت أسرع، بل أداة ذكية ومستقلة تظل مع المستخدم، جاهزة لتقديم إرشادات منقذة للحياة حتى عندما تنقطع الشبكة.
ملخص تقني: نظام MamaBot الذكي المعتمد على العمل دون اتصال والكمي (Quantized)
بيان المشكلة
تواجه نيجيريا عبئاً شديداً في صحة الأم، حيث تتحمل حوالي 28.7% من وفيات الأمهات عالمياً، بمعدل وفيات يصل إلى 993 حالة لكل 100,000 مولود حي. وتعد المعلومات الصحية المناسبة والمفهلة أمراً حاسماً للرعاية، إلا أن الوصول إليها يعوقه عدم استقرار الاتصال بالإنترنت. وبينما توجد خدمات ذكاء اصطناعي بعيدة، إلا أنها تفشل في البيئات ذات الاتصال المنخفض حيث يستحيل إجراء رحلات ذهاب وإياب عبر الشبكة. علاوة على ذلك، غالباً ما تفتقر الوكلاء الحواريين الحاليين إلى الحساسية السريرية المحددة المطلوبة للتمييز بين المخاوف الروتينية وعلامات التحذير العاجلة، أو تفشل في العمل بفعالية تحت القيود الحسابية الصارمة للأجهزة المحمولة. ويتمثل التحدي الجوهري في نشر مساعد صحي للأم يعمل بشكل حواري وملائم سريرياً، ويعمل بالكامل دون اتصال بالإنترنت على أجهزة أندرويد قياسية دون التضحية بجودة الاستجابة أو السلامة.
المنهجية
بنية النظام
قام البحث بتطوير مساعد أندرويد يعمل كأولوية للعمل دون اتصال، يدمج:
نماذج لغوية محلية: تمت مقارنة نموذجين مدمجين ومكميين (quantized): هما Gemma 4 E2B (باستخدام LiteRT-LM) و Qwen3.5 0.8B (باستخدام Q4_K_M GGUF). وكلاهما يستخدم الاستدلال عبر المعالج (CPU).
حزمة معرفية معتمدة سريرياً: مستودع محلي يتكون من 21,673 فقرة من الأسئلة والأجوبة التي تمت مراجعتها سريرياً والمستمدة من الإرشادات الصحية النيجيرية والدولية (مثل منظمة الصحة العالمية، NPHCDA، إلخ).
الاسترجاع ببدء النموذج (RAG): يستخدم النظام حلقة استرجاع وكيلة محدودة؛ حيث يمكن للنموذج اختيار استدعاء أداة بحث محلية (SQLite FTS5/BM25) لاسترجاع الأدلة قبل توليد الاستجابة النهائية. هذه الأداة حتمية، وتُرجع فقرتين على الأكثر، ومقتصرة على الحزمة المحلية المعتمدة.
إدارة السياق: يحافظ النظام على تاريخ محادثة محدود لدعم التفاعلات متعددة الأدوار مع الحفاظ على حدود الاستعجال السريري والسلامة.
تصميم التقييم
استخدمت الدراسة ثلاثة مكونات تقييم متميزة:
بنك الأسئلة السريرية: مجموعة من 150 سؤالاً عبر تسعة مجالات (مثل: مراحل الحمل، علامات التحذير، التطعيمات) تم تطويرها ومراجعتها من قبل أطباء. يتضمن كل سؤال الحقائق المتوقعة، والإجراءات، وحالات الخطأ الحرجة.
اختبار المحادثة متعدد الأدوار: 45 محادثة (312 دوراً لكل نموذج) صُممت لاختبار الاحتفاظ بالسياق، وتغير درجة الاستعجال، والقدرات الوكيلية دون اتصال (مثل: البحث عن التحصينات، حفظ السجلات) باستخدام واجهة إجراء مخصصة.
تجربة الاسترجاع المقترنة: 74 سؤالاً متطابقاً حيث قام النموذج المختار (Gemma) بتوليد الإجابات مع تفعيل الاسترجاع (RAG-on) ومع تعطيله (RAG-off) لقياس التأثير المحدد للأدلة المحلية.
المقاييس والتنقيط
حد السلامة السريرية: تم تصنيف الاستجابات إلى أربعة مستويات (E0–E3) تتراوح من التعليم الروتيني إلى حالات الطوارئ. تم تقييم السلامة بناءً على ما إذا كانت الاستجابة تعطي الأولوية للإلحاح المناسب وتتجنب الطمأنة غير الملائمة.
التحكيم القائم على المعايير (Rubric): قام الأطباء بتقييم الاستجابات على خمسة أبعاد (الصحة، الاكتمال، السلامة، الصلة، الوضوح) على مقياس من 0 إلى 4. تطلب القبول الحصول على متوسط درجة ≥3.2 مع عدم وجود أخطاء حرجة.
معيار الوكيل (Agentic Benchmark): تم تقييم سلوك الأداة على مقياس من -5 إلى +5، مع معاقبة الاستدعاءات غير الصالحة أو الإجراءات المفقودة، بينما استُخدم مقياس 0–4 لجودة الواجهة الموجهة للمستخدم.
مقاييس التنفيذ: تم قياس زمن الاستجابة (Latency)، واستهلاك الذاكرة، والإنتاجية (Throughput) على أجهزة أندرويد فعلية (ذاكرة وصول عشوائي 6 جيجابايت).
المساهمات الرئيسية
تقييم النظام المتكامل: يجمع البحث بين بنك أسئلة مطور من قبل أطباء، وأعباء عمل محادثة مستمرة، ومهام إجراءات مخصصة للاختبار لتقييم نظام متكامل يعمل دون اتصال، بدلاً من تقييم أداء النموذج بشكل منعزل.
مقارنة النماذج: يوفر مقارنة مباشرة بين تكوينين من النماذج المدمجة غير المتغيرة (Gemma 4 E2B مقابل Qwen3.5 0.8B)، مع الحفاظ على جودتها المتأصلة ومقايضات الموارد دون الحاجة إلى ضبط دقيق (fine-tuning) إضافي أو بحث في التكميم (quantization).
تحليل تأثير الاسترجاع: يفحص البحث الآثار المحددة لتفعيل الاسترجاع المحلي على نموذج مختار، مع الاحتفاظ والتحليل الصريح للحالات غير المواتية حيث أدى الاسترجاع إلى تدهور الاستجابة أو فشل في تحسينها.
القدرة الوكيلية دون اتصال: يقدم معياراً للسلوك الوكيل دون اتصال، لتقييم ما إذا كانت النماذج قادرة على اختيار الأدوات، وإدارة الوسائط (arguments)، وتفسير النتائج دون اتصال بالشبكة.
قدم Qwen3.5 0.8B أوقات توليد أسرع واستهلاكاً أقل للذاكرة، ولكنه سجل درجات أقل في السلامة السريرية والاحتفاظ بالسياق.
التقييم السريري: بالنسبة لنموذج Gemma، استوفت 147 استجابة من أصل 150 معيار القبول (متوسط درجة جودة 3.80/4).
تأثير الاسترجاع (RAG)
في التجربة المقترنة (74 سؤالاً):
التحسن: أدى الاسترجاع إلى تحسين 11 استجابة.
الحياد: لم تظهر 56 استجابة أي تغيير جوهري.
الآثار السلبية: تأثرت 4 استجابات سلباً بالأدلة المسترجعة.
غير قابلة للتقييم: لم يمكن عزو 3 أزواج من الاستجابات إلى تأثيرات الاسترجஅ.
في المجموعة الشرطية (باستثناء الحالات الأربع السلبية)، أظهر وضع (RAG-on) درجات متوسطة أعلى وصفياً في الفائدة، والسلامة، والصحة، والقابلية للتنفيذ.
الأداء والتنفيذ
نجح النظام في توليد استجابات دون اتصال على هاتف أندرويد بذاكرة 6 جيجابايت بمتوسط زمن استجابة قدره 14.3 ثانية.
أظهر التطبيق مزامنة ناجحة لإعادة الاتصال، مما سمح بمزامنة البيانات بمجرد استعادة الاتصال.
تم نشر حزمة المعرفة المحلية بنجاح والاستعلام عنها دون الاعتماد على الشبكة.
الأهمية والادعاءات
يدعي البحث توثيق جودة الاستجابة السريرية والأداء العملي لمساعد صحة أم يعمل دون اتصال ومتكامل. ويؤكد ما يلي:
يمكن للنماذج اللغوية المدمجة والمنشورة محلياً تقديم معلومات ملائمة سريرياً ومساعدة حوارية موثوقة دون الحاجة لاتصال مستمر بالإنترنت.
يمكن لآلية استرجاع محدودة ومبدوءة بالنموذج أن تعزز جودة الإجابة، رغم أنها تتطلب تقييماً دقيقاً لأنها قد تؤدي أحياناً إلى تدهور الاستجابات إذا لم تتوافق الأدلة المسترجعة مع السياق.
إن المقايضة بين حجم النموذج، وتكلفة التنفيذ، والسلامة السريرية هي أمر بالغ الأهمية؛ وتقدم الدراسة دليلاً على أن تكويناً معيناً (Gemma 4 E2B) يمكنه تلبية المتطلبات المزدوجة للصلاحية السريرية والجدوى على الأجهزة المحمولة.
يؤكد المؤلفون أن مساهمتهم تكمن في النظام الذي تم تقييمه والأدلة التي يوفرها لاتخاذ قرارات النشر، وليس في خوارزمية تكميم جديدة أو بنية نموذج متفوقة عالمياً. يسلط العمل الضوء على ضرورة تقييم "التكوين المعتمد الكامل" — بما في ذلك أثر النموذج، وبيئة التشغيل، وسياسة التلقين (prompt policy)، والاسترجاع — بدلاً من المكونات المنعزلة.