MCP-Driven Accessibility Tree Standardization for AI-Powered Screen Reader Agents
تقترح هذه الورقة إطار عمل مفاهيمي يستفيد من بروتوكول سياق النموذج (MCP) لتوحيد واجهات برمجة تطبيقات إمكانية الوصول غير المتجانسة والخاصة بكل منصة في طبقة موحدة غنية دلالياً لوكلاء قارئات الشاشة القائمين على النماذج اللغوية الكبيرة، مما يقلل من تعقيد التكامل مع تمكين تفضيلات المستخدم المستمرة والتفاعل المتسق عبر المنصات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
على مدى عقود، اعتمدت الطريقة التي تتواصل بها أجهزة الكمبيوتر مع الأشخاص الذين لا يستطيعون رؤية الشاشة على طبقة ترجمة خفية. فعندما يفتح المستخدم نافذة على جهاز كمبيوتر أو صفحة على هاتف، لا يقوم البرنامج بمجرد رسم البكسلات؛ بل يبني أيضًا خريطة سرية لما تمثله تلك البكسلات. تسرد هذه الخريطة كل زر، ورابط، وصندوق نص، مع تعيين اسم ودور لكل منها، مثل "زر إرسال" أو "عنوان". وتقوم برامج قارئ الشاشة بقراءة هذه الخريطة بصوت عالٍ، مما يسمح للمستخدم الكفيف بالتنقل في العالم الرقمي من خلال الاستماع بدلاً من النظر. ومع ذلك، ظهر مؤخرًا نوع جديد من برامج الكمبيوتر: وكلاء الذكاء الاصطناعي الذين يمكنهم النظر إلى الشاشة والنقر على الأزرار بأنفسهم، تمامًا كما يفعل البشر. تم تصميم هؤلاء الوكلاء لمساعدة الأشخاص ذوي الإعاقة من خلال تنفيذ المهام بشكل مستقل. وللقيام بذلك، يحتاجون إلى فهم الشاشة، لكنهم يواجهون حاليًا خيارًا صعبًا؛ فإما أن يلتقطوا صورة للشاشة ويحاولوا تخمين ماهية كل شيء، أو يحاولوا قراءة الخريطة السرية. ولكلا الطريقتين عيوب؛ فالتقاط صورة يفتقر إلى الأسماء والأدوار الدقيقة التي يعتمد عليها قارئو الشاشة، بينما قراءة الخريطة غالبًا ما تكون بطيئة وتتطلب بناء مترجم مختلف لكل نوع من أنواع أجهزة الكمبيوتر أو الهواتف.
اقترح فريق من الباحثين من شركات وجامعات في الولايات المتحدة طريقة جديدة لحل هذه المشكلة. فهم يقترحون بناء مترجم عالمي يقع بين نظام تشغيل الكمبيوتر ووكيل الذكاء الاصطناعي. وبدلاً من إجبار الوكيل على تعلم كيفية قراءة الخرائط السرية لأنظمة ويندوز، وماك أو إس، وأندرويد، ومتصفحات الويب بشكل منفصل، سيعمل هذا النظام الجديد كجسر موحد ومعياري. أطلق الباحثون على هذا الجسر اسم "بروتوكول سياق النموذج" (Model Context Protocol). لقد صمموا نظامًا حيث تغذي ميزات الوصول الأصلية في الكمبيوتر خادمًا مركزيًا، والذي يقوم بعد ذلك بتنقية المعلومات وتقديمها للذكاء الاصطناعي بتنسيق مرتب ومتسق. كما سيقوم هذا الخادم بتذكر احتياجات المستخدم الخاصة، مثل السرعة التي يريد بها قراءة المعلومات، أو الحجم الذي يجب أن تكون عليه الأزرار، والحفاظ على أمان هذه المعلومات عبر جلسات وأجهزة مختلفة. والهدف هو السماح لوكيل الذكاء الاصطناعي بطلب ما يحتاجه بالضبط — جزء محدد من الشاشة أو قائمة بالإجراءات — دون الحاجة إلى تحميل خريطة الواجهة بأكملها في كل مرة.
لم يقم الباحثون ببناء نسخة تعمل بالكامل من هذا النظام لاختبارها على أشخاص حقيقيين، بل أنشأوا خطة معمارية مفصلة وقارنوها بالأسالهم المستخدمة حاليًا في هذا المجال. لقد حللوا كيف تدرك وكلاء الذكاء الاصطناعي الحالية الشاشات، باحثين عن المقايضات بين السرعة والدقة والجهد المطلوب لبناء البرمجيات. ويشير تحليلهم إلى أن نظامهم المقترح من شأنه أن يقلل بشكل كبير من العمل الهندسي اللازم لدعم المنصات المختلفة. حاليًا، يجب على المطورين كتابة كود فريد لاستخراج المعلومات من كل نظام تشغيل، ولكن مع هذا المعيار الجديد، سيتعين عليهم فقط كتابة مجموعة واحدة من التعليمات للاتصال بالجسر، وسيتولى الجسر الباقي. كما وجد الباحثون أنه من خلال طلب أجزاء صغيرة ومحددة فقط من خريطة الشاشة بدلاً من الخريطة بأكملها، يمكن للنظام توفير قدر كبير من ذاكرة الكمبيوتر، وهو أمر بالغ الأهمية لنماذج الذكاء الاصطناعي.
ومع ذلك، توضح الدراسة أيضًا أن هذا الجسر الجديد لا يمكنه إصلاح مشكلة جوهرية موجودة في التكنولوجيا الحالية. فسرعة رؤية الذكاء الاصطناعي للشاشة لا تزال محدودة بمدى سرعة توفير نظام تشغيل الكمبيوتر للمعلومات. فإذا كانت الخريطة الأصلية على الهاتف أو الكمبيوتر بطيئة في الإنشاء، فسيكون النظام الجديد بطيئًا أيضًا. ويؤكد الباحثون أن اقتراحهم لا يسرع التكنولوجيا الأساسية بشكل سحري؛ بل ينظم تدفق المعلومات بشكل أكثر كفاءة فحسب. كما أشاروا إلى أن النظام يعتمد على جودة المعلومات المقدمة من الكمبيوتر؛ فإذا كانت الخريطة الأصلية تفتقر إلى التسميات أو تحتوي على أخطاء، فلا يمكن للنظام الجديد ابتكار التفاصيل المفقودة، بل يمكنه فقط ترجمة ما هو موجود.
حدد الفريق ثلاثة مجالات رئيسية يقدم فيها اقتراحهم أكبر قدر من القيمة. أولاً، إنه يخلق لغة مشتركة لوكلاء الذكاء الاصطناعي للتحدث مع أي شاشة، مما يلغي الحاجة إلى حلول مخصصة لكل جهاز. ثانيًا، يسمح للنظام بتذكر ملف تعريف المستخدم الخاص بالإعاقة، مثل سرعة القراءة المفضلة لديه أو أسلوب التنقل، بحيث يمكن للوكيل التكيف معه تلقائيًا في كل مرة يسجل فيها دخوله. ثالثًا، يوفر طريقة منظمة لطلب المعلومات في أجزاء صغيرة، مما يمنع الذكاء الاصطناعي من الارتباك بسبب الكثير من البيانات دفعة واحدة. ويرى الباحثون أنه على الرغم من أن فكرتهم ليست منتجًا نهائيًا، إلا أنها توفر مسارًا واضحًا للمضي قدمًا. ويقترحون أن الخطوة التالية هي بناء نموذج أولي يعمل لنوعين مختلفين على الأقل من أجهزة الكمبيوتر لقياس السرعة والدقة الفعليتين. وحتى ذلك الحين، يعمل بحثهم كخريطة طريق لكيفية جعل وكلاء الذكاء الاصطناعي أكثر موثوقية وأسهل في البناء للأشخاص الذين هم في أمس الحاجة إليهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.