Invisible Agents, Uninformed Patients: Towards Responsible Deployment Of Autonomous AI Diagnostic Agents In Sub-Saharan Africa

في العيادات الصاخبة والقرى النائية في أفريقيا جنوب الصحراء الكبرى، تحدث ثورة هادئة في كيفية وصول الناس إلى الرعاية الطبية. لسنوات، اعتمد الأطباء على أدوات تساعدهم في اتخاذ القرارات، حيث تعمل كعين ثانية أو دليل مرجعي. ولكن جيلًا جديدًا من التكنولوجيا قد وصل: الوكلاء المستقلون للذكاء الاصطناعي. وخلافًا للمساعدين المفيدين في الماضي، فإن هذه الأنظمة لا تنتظر الطبيب ليسأل سؤالًا؛ بل تأخذ بيانات المريض — مثل الأعراض، أو صور الأشعة السينية، أو نتائج فحوصات الدم — وتنتج بشكل مستقل تشخيصًا أو قرارًا بشأن المكان الذي يجب أن يذهب إليه المريض بعد ذلك. إنها تعمل دون وجود إنسان يراقبها في الوقت الفعلي. يوفر هذا التحول حلاً قويًا للنقص الحاد في الأطباء المتخصصين في المنطقة، مما يعد بتوسيع نطاق الرعاية لملايين الأشخاص الذين قد يبقون بدونها لولا ذلك. ومع ذلك، فإن هذه السرعة تأتي مع سؤال عميق لم يُطرح إلا نادرًا: إذا اتخذت آلة قرارًا طبيًا يغير مجرى الحياة بمفردها، فهل يعرف المريض أن ذلك يحدث؟

تبحث ورقة بحثية حديثة أعدها الباحثان بيرسي براون وكويكو يامواه في هذه الفجوة تحديدًا. ويجادلان بأنه بينما تتقدم التكنولوجيا لتشخيص أمراض مثل السل واعتلال الشبكية السكري بسرعة كبيرة، فإن القواعد والحمايات المخصصة للأشخاص الذين يتلقون هذه التشخيصات لم تواكب هذا التقدم. ووجد الباحثان أنه في أجزاء كثيرة من أفريقيا جنوب الصحراء الكبرى، غالبًا ما يكون المرضى غير مدركين تمامًا أن برنامجًا حاسوبيًا مستقلاً يقوم بتحليل بياناتهم الصحية ويتخذ القرار النهائي بشأن علاجهم. يخلق هذا النقص في الوعي فراغًا خطيرًا حيث لا يوجد أحد مسؤول بوضوح إذا ارتكبت الآلة خطأً. وتقترح الورقة أن مجرد بناء آلات أفضل وأكثر دقة ليس كافيًا؛ بل يجب إعادة تصميم النظام بأكته لضمان إطلاع المرضى، وقدرتهم على طلب رأي بشري ثانٍ، وفهم كيفية التوصل إلى القرار.

لفهم حجم المشكلة، نظر الباحثون في ثلاثة أمثلة محددة لكيفية استخدام هذه الأنظمة حاليًا في جميع أنحاء القارة. ففي تنزانيا، يتم نشر برمجيات الكمبيوتر على نطاق واسع للكشف عن مرض السل من خلال تحليل صور الأشعة السينية للصدر. وفي العديد من المناطق النائية، لا يتوفر أطباء أشعة لفحص الصور. وقد صُمم البرنامج لقراءة الأشعة السينية وتحديد ما إذا كان المريض مصابًا بالمرض، وغالبًا دون أن يراجع أي إنسان النتيجة قبل إرسال المريض لتلقي العلاج أو إرساله إلى منزله. وفي زامبيا، تُستخدم أنظمة التعلم العميق المماثلة للكشف عن اعتلال الشبكية السكري، وهو حالة يمكن أن تؤدي إلى العمى، وكذلك لمرض السل. وقد ثبت تقنيًا أن هذه الأنظمة تعمل بشكل جيد، حيث تضاهي أداء الأطباء البشريين في الدراسات. ومع ذلك، عندما انتقلت هذه الأدوات من مختبرات الأبحاث إلى العيادات الحقيقية، نادراً ما أُخبر المرضى الذين يستخدمونها بأن جهاز كمبيوتر هو من يقوم بالتشخيص، كما لم تُمنح لهم وسيلة لطلب مراجعة بشرية إذا كانوا قلقين بشأن النتيجة.

والوضع أكثر مباشرة في غانا، حيث أصبحت روبوتات الدردشة الصحية عبر الهاتف المحمول وسيلة أساسية للناس لطلب المشورة الطبية. تسأل هذه المساعدات الرقمية المرضى عن أعراضهم من خلال الرسائل النصية على هواتفهم، ثم تقدم تقييمًا للمخاطر أو توصية بشأن ما يجب فعله بعد ذلك. بالنسبة للعديد من المستخدمين، يعد روبوت الدردكة هذا نقطة الاتصال الوحيدة مع النظام الصحي. ووجد الباحثون أن هذه التفاعلات تعمل كوكلاء تشخيص مستقلين، ومع ذلك نادرًا ما توضح الواجهة أن خوارزمية هي التي تتخذ القرار الصحي. فقد يتلقى المريض توصية خطيرة أو تجاهلاً لأعراضه دون أن يعرف أن آلة، وليس شخصًا، هي من أصدر ذلك الحكم. في الحالات الثلاث، تعمل التكنولوجيا كما أراد لها مهندسوها، ولكن تم ترك العنصر البشري المتمثل في الثقة والمساءلة خلف الركب.

تتمثل المشكلة الجوهرية التي حددها المؤلفون في "عجز الشفافية" الذي يعمل على مستويين. أولاً، غالبًا ما تكون التكنولوجيا نفسها "صندوقًا أسود"، مما يعني أن المطورين أنفسهم لا يستطيعون دائمًا شرح كيفية توصل الكمبيوتر إلى استنتاج معين بدقة. ثانيًا، والأكثر أهمية للمريض، هو الفشل في التواصل. فالمرضى لا يُخبرون بأن وكيلًا مستقلًا مشارك في العملية، ولا بما يمكن لهذا الوكيل القيام به، أو ما هي حقوقهم إذا اختلفوا مع النتاج. وهذا يخلق فجوة هيكلية في المساءلة. إذا ارتكب طبيب بشري خطأً، يعرف المريض من يحاسب ويمكنه استئناف القرار. أما إذا ارتكب نظام مستقل خطأً ولم يراجعه أي إنسان، فإن سلسلة المسؤولية تنقطع؛ حيث يُترك المريض مع نتيجة طبية لم يفهمها ولا يوجد مسار واضح للطعن فيها.

واستجابة لهذه النتائج، تقترح الورقة إطارًا جديدًا مبنيًا على ثلاثة مبادئ بسيطة ولكنها أساسية لتوجيه الاستخدام المسؤول لهذه التقنيات. المبدأ الأول هو "الموافقة المستنيرة الواعية بالوكيل". وهذا يعني أنه قبل تحليل بيانات المريض بواسطة نظام مستقل، يجب إخباره بوضوح وبلغة بسيطة أن حاسوبًا هو من يتخذ القرار، وليس بشرًا. ويجب أن يكون هذا الإفصاح متاحًا للأشخاص بمختلف مستويات تعليمهم وباللغات المحلية، لضمان أن تكون الموافقة مستنيرة حقًا وليست مجرد إجراء شكلي.

ويطالب المبدأ الثاني بضرورة وجود "تجاوز بشري" كمتطلب هيكلي. فلا ينبغي السماح لأي نظام مستقل بإصدار قرار طبي نهائي لا يمكن مراجعته من قبل متخصص بشري. يجب تصميم كل نظام بمسار مدمج يسمح للمريض أو للعامل الصحي المحلي بإيقاف مخرجات الآلة وطلب مراجعة بشرية قبل بدء أي علاج. هذا ليس رفاهية للمستشفيات الغنية، بل هو ميزة سلامة أساسية يجب أن تكون موجودة في كل عملية نشر، بغض النظر عن ندرة الموارد.

أما المبدأ الثالث فيدعو إلى "قابلية التفسير المتكيفة مع السياق". وبينما قد يكون من المستحيل شرح الرياضيات المعقدة وراء قرار الذكاء الاصطناعي للمريض، إلا أنه يجب إيصال سبب التوصية بطريقة يمكنهم فهمها. فبدلاً من المصطلحات التقنية، يجب أن يقدم النظام حسابًا بسيطًا لما وجده ولماذا، بما يتناسب مع مستوى إلمام المريض بالقراءة والكتابة ولغته. وهذا يضمن أن الشفافية ليست مجرد ميزة تقنية للمهندسين، بل تجربة حقيقية للشخص الذي يتلقى الرعاية.

ويؤكد الباحثون أن هذه المبادئ ليست رفضًا للذكاء الاصطناعي، الذي يحمل وعودًا حقيقية لإنقاذ الأرواح في المناطق التي تفتقر إلى الأطباء. بدلاً من ذلك، يجادلون بأن وتيرة النشر الحالية قد سبقت الحوكمة اللازمة. إن الحماس لما يمكن أن تفعله هذه الآلات لا ينبغي أن يكون على حساب حقوق المرضى. ومن خلال دمج هذه الضمانات الثلاثة في تصميم ونشر الوكلاء المستقلين، يمكن للأنظمة الصحية ضمان ألا يترك توسيع نطاق الرعاية الفئات الأكثر ضعفًا في ضباب رقمي. وتخلص الورقة إلى أنه بدون هذه التغييرات الهيكلية، فإن وعد الذكاء الاصطناعي في الرعاية الصحية الأفريقية يظل غير مكتمل، إذ يقدم السرعة والكفاءة ولكنه يفشل في توفير المساءلة والثقة اللتين تشكلان أساس أي علاقة علاجية.