تصبح أنظمة الذكاء الاصطناعي الحديثة التي يمكنها الرؤية والتحدث قادرة بشكل ملحوظ، ومع ذلك فهي تحمل عبئاً حوسبياً ثقيلاً. تعمل نماذج الرؤية واللغة هذه عن طريق تحويل الصورة أولاً إلى تسلسل طويل من القطع الرقمية الصغيرة، والتي تُسمى غالباً "رموزاً" (tokens)، والتي تمثل أجزاء مختلفة من الصورة. قد يتم تقسيم صورة فوتوغرافية عادية إلى مئات من هذه القطع. ثم يقوم النظام بمعالجة هذا التسلسل بأككامل جنباً إلى جنب مع النص، تماماً مثل الإنسان الذي يقرأ جملة أثناء النظر إلى رسم توضيحي. تكمن المشكلة في أن العمليات الرياضية المطلوبة لربط هذه القطع ببعضها البعض تنمو بشكل أسي مع زيادة عدد القطع. إذا أنتجت صورة ما 576 رمزاً، فيجب على الكمبيوتر القيام بقدر هائل من العمل لفهم كيفية ارتباط هذه الرموز ببعضها البعض، على الرغم من أن العديد من تلك الرموز تمثل تفاصيل غير مهمة في الخلفية مثل جدار فارغ أو رقعة من السماء. هذا عدم الكفاءة يجعل من الصعب تشغيل هذه الأنظمة القوية على الأجهزة القياسية أو استخدامها للمهام في الوقت الفعلي مثل تحليل الفيديو.

لقد حاول الباحثون طويلاً حل هذه المشكلة عن طريق إزالة القطع غير الضرورية قبل أن يبدأ النظام في العمل. تعمل بعض الأساليب كمرشح في البداية تماماً، حيث تستبعد الرموز بناءً على شكل الصورة فقط. بينما تنتظر أساليب أخرى حتى يبدأ النظام في معالجة النص والصورة معاً، وتقوم بإزالة القطع التي تبدو غير ذات ص relevance للسؤال المطروح تحديداً. ومع ذلك، فإن كلا النهجين لديهما نقطة ضعف؛ فالمرشحات المبكرة غالباً ما تلقي بعيداً تفاصيل مهمة لأنها لا تعرف ما يسأل عنه المستخدم، بينما تهدر المرشحات المتأخرة الطاقة في معالجة الصورة بأكملها قبل أن تصل إلى مرحلة الحذف. يقدم بحث جديد نهجاً موحداً يجمع بين نقاط القوة في كلا الأسلوبين، مما يخلق مساراً أكثر كفاءة لهذه الأنظمة الذكية لتتبعه.

قام الباحثون، بقيادة جيان هوا كوي وميزو دينغ، بتطوير إطار عمل يسمى "UniPrune"، والذي يعامل تقليل الرموز كرحلة من خطوتين بدلاً من كونها حدثاً واحداً. تخيل أنك تحاول حزم حقيبة سفر لرحلة حيث لا تعرف حالة الطقس بدقة بعد؛ لن تقوم فقط برمي كل شيء في الحقيبة وتأمل الأفضل، ولن تحاول تقرير ما ستحتفظ به بعد أن تكون قد حزمت الحقيبة بالكامل بالفعل. بدلاً من ذلك، قد تقوم أولاً بتجميع العناصر المتشابهة معاً وتحتفظ بالأكثر تمثيلاً منها، ثم، بمجرد معرفة وجهتك، تقوم بعملية اختيار نهائية وأكثر دقة. هذا هو بالضبط ما يفعله UniPrune؛ فهو يقوم أولاً بعملية تنظيف واسعة لبيانات الصورة باستخدام الأنماط البصرية، ومن ثم، بينما يبدأ النظام في فهم سياق السؤال، يقوم بعملية تنظيف ثانية وأكثر حدة.

تحدث الخطوة الأولى من هذه العملية مباشرة بعد مسح الصورة وقبل تدخل النموذج اللغوي. يقوم النظام بتجميع الرموز البصرية في مجموعات (clusters) بناءً على تشابهها، تماماً مثل فرز كومة من الصور المختلطة حسب موضوعها العام. ومن كل مجموعة، يحتفظ بالرمز الأكثر أهمية ويستبعد البقية. هذا يزيل التكرارات الواضحة، مثل وجود رموز متعددة تمثل نفس الرقعة من السماء الزرقاء. ومع ذلك، أدرك الباحثون أن مجرد قطع عدد الرموز إلى النصف في هذه المرحلة قد يكون محفوفاً بالمخاطر؛ فإذا قام النظام بالقطع بشكل عدواني للغاية في وقت مبكر جداً، فقد يفقد رمزاً يكون حاسماً للإجابة على سؤال محدد لاحقاً. ولحل هذه المشكلة، قدموا استراتيجية ميزانية ديناميكية. فبدلاً من استخدام قاعدة ثابتة لعدد الرموز التي سيتم الاحتفاظ بها في هذه المرحلة الأولى، يقيس النظام مدى تعقيد الصورة. فالصورة البسيطة ذات الموضوع الواضح تحصل على ميزانية ضيقة، بينما يُسمح للمشهد المعقد والمزدحم بالاحتفاظ بمزيد من الرموز. وهذا يضمن احتفاظ النظام بتفاصيل كافية للتعامل مع الأسئلة الصعبة دون إضاعة الطاقة في الأسئلة البسيطة.

بمجرد إجراء هذا الاختيار الأولي، يتم تمرير الرموز المتبقية إلى النموذج اللغوي الكبير، الذي يبدأ في معالجتها جنباً إلى جنب مع النص. هنا، يستخدم النظام استراتيجية تقليم ثانية تعمل مثل الهرم؛ فبينما تتحرك البيانات عبر الطبقات الأعمق من النموذج، يقوم النظام تدريجياً بإزالة المزيد من الرموز. المنطق هو أنه مع فهم النموذج للصورة بشكل أفضل في سياق السؤال، يصبح من الواضح أي القطع لم تعد هناك حاجة إليها. وجد الباحثون أن الطريقة الأكثر فعالية لتقسيم العمل بين هاتين المرحلتين ليست تقسيم الرموز بالتساوي، بل اتباع توازن رياضي محدد. لقد اكتشفوا أن العدد المثالي للرموز التي يجب الاحتفاظ بها بعد المرحلة الأولى هو تقريباً الجذر التربيعي لحاصل ضرب العدد الأصلي والعدد المستهدف النهائي. هذه القاعدة الإرشادية، التي يسمونها "الميزانية المدركة للمعلومات"، تسمح للنظام بإيجاد نقطة التوازن حيث يوفر ما يكفي من قدرة الحوسبة دون التضحية بالقدرة على الإجابة على الأسئلة بدقة.

وللتأكد من أن المرحلة الأولى لا تحذف عن طريق الخطأ الرموز التي قد تجدها المرحلة الثانية مفيدة، أضاف الباحثون طبقة ثالثة من الذكاء. فقد قاموا بتحليل كيفية تفاعل الرموز البصرية مع بعضها البعض داخل مشفر الصورة نفسه. ووجدوا أن بعض الرموز تعمل كمدمجات عالمية (global integrators)، تربط المعلومات عبر الصورة بأكملها، بينما تعمل رموز أخرى كمكتشفات محلية فقط. ومن خلال إعطاء وزن إضافي لهذه المدمجات العالمية أثناء عملية القطع الأولى، يضمن النظام أن الرموز الممررة إلى النموذج اللغوي تشكل أساساً عالي الجودة. هذا "الاستمرار عبر المراحل" يعني أن المرحلة الثانية لديها نقطة انطلاق أفضل، مما يسمح لها باتخاذ قرارات أذكى بشأن ما يجب إزالته لاحقاً.

كانت نتائج اختبار إطار العمل هذا على عائلتين رئيسيتين من نماذج الرؤية واللغة مذهلة. فعندما دفع الباحثون الأنظمة إلى حدود قصوى، حيث تم الاحتفاظ بجزء ضئيل فقط من الرموز الأصلية — أحياناً 24 رمزاً فقط من أصل 576 — تفوق الأسلوب الجديد بشكل كبير على التقنيات الموجودة. أما الأساليب أحادية المرحلة، التي تحاول القيام بكل عمليات القطع في وقت واحد، فقد شهدت انخفاضاً حاداً في دقتها تحت هذه الظروف. في المقابل، حافظ نهج UniPrune ثنائي المرحلة على أداء عالٍ، حيث أجاب بشكل صحيح على أسئلة حول الأشياء والمشاهد التي فاتتها الأساليب الأخرى. على سبيل المثال، في اختبار قياسي للفهم البصري، احتفظت الطريقة الجديدة بأكثر من 90% من أداء النموذج الكامل غير المضغوط مع استخدام جزء بسيط فقط من قدرة الحوسبة.

بعيداً عن الدقة، قاس البحث أيضاً الفوائد العملية لتشغيل هذه النماذج على أجهزة حقيقية. فمن خلال تقليل عدد الرموز في وقت مبكر من العملية، خفض النظام بشكل كبير ذروة الذاكرة المطلوبة لتشغيل النموذج. وهذا عامل حاسم لنشر هذه التقنيات على الأجهزة ذات الموارد المحدودة. وقد حسب الباحثون أن الطريقة الجديدة قللت إجمالي العمل الحوسبي بأكثر من النصف مقارنة بتشغيل النموذج بدون أي تقليم، وأكثر مقارنة بالأساليب التي تنتظر حتى النهاية للقطع. وكانت التكاليف الإضافية التي فرضتها آليات الميزانية والتقييم الذكية أقل من 1% من الوقت الإجمالي، مما يعني أن مكاسب الكفاءة هي مكاسب صافية بالكامل تقريباً.

تشير الدراسة إلى أن مفتاح الذكاء الاصطناعي الفعال ليس مجرد اختصار الطرق، بل يتعلق بفهم أين ومتى يتم القطع. ومن خلال الإقرار بأن التكرار البصري يأتي في شكلين مختلفين — أحدهما يعتمد على الصورة نفسها والآخر يعتمد على المهمة المطلوبة — ابتكر الباحثون نظاماً يتعامل مع كليهما. وتشير النتائج إلى أن النهج الموحد متعدد المراحل يتفوق على محاولة حل المشكلة في خطوة واحدة. يوفر هذا العمل مساراً واضحاً لجعل نماذج الرؤية واللغة القوية أسرع وأكثر سهولة في الوصول إليها، مما يثبت أنه مع الاستراتيجية الصحيحة، يمكننا تجريد الزائد دون فقدان جوهر ما يجعل هذه الأنظمة ذكية.