OmniGAIA: Towards Native Omni-Modal AI Agents
تقدم هذه الورقة OmniGAIA، وهو معيار شامل لتقييم الوكلاء متعددين الأنماط في مهام الاستدلال المعقدة واستخدام الأدوات عبر وسائط الفيديو والصوت والصورة، إلى جانب OmniAtlas، وهو وكيل تأسيسي أصيل متعدد الأنماط تم تدريبه باستراتيجيات متقدمة لسد الفجوة بين النماذج ثنائية الأنماط الحالية والجيل القادم من المساعدين الذكيين في العالم الحقيقي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول بناء مساعد شخصي فائق الذكاء، مثل خادم رقمي يمكنه الرؤية والسمع والتحدث تماماً كالبشر.
في الوقت الحالي، معظم المساعدين الذكيّين يشبهون أشخاصاً يتحدثون لغتين فقط في كل مرة. فهم بارعون في النظر إلى صورة ووصفها (الرؤية + اللغة)، أو الاستماع إلى أغنية ومعرفة كلماتها (الصوت + اللغة). لكنهم يعانون عندما تطلب منهم القيام بشيء معقد يتطلب استخدام الحواس الثلاث معاً في آن واحد: مشاهدة فيديو، والاستماع إلى الضوضاء في الخلفية، وقراءة الترجمة، ثم الخروج إلى الإنترنت للبحث عن مزيد من المعلومات لحل لغز ما.
تقدم هذه الورقة البحثية شيئين كبيرين لإصلاح هذه المشكلة: اختباراً ضخماً يسمى OmniGAIA وعميلاً خارقاً جديداً يسمى OmniAtlas.
إليك التفاصيل بتبسيط شديد:
1. المشكلة: محدودية "القناتين"
فكر في الذكاء الاصطناعي الحالي كأنه محقق لديه كاميرا وميكروفون فقط، لكنه لا يستطيع استخدامهما معاً بفعالية. إذا عرضت عليه فيديو لجسر وسألته: "كم كان عمر هذا الجسر عندما صُوّر فيلم شهير هنا؟"، فقد يرتبك الذكاء الاصطناعي. قد ينظر إلى الجسر لكنه يتجاهل الأدلة الصوتية، أو قد يخمن بناءً على ما "يعتقد" أنه يعرفه بدلاً من التحقق من الحقائق.
2. الحل (الجزء أ): امتحان "OmniGAIA"
ابتكر الباحثون اختباراً جديداً وصعباً للغاية يسمى OmniGAIA.
- التشبيه: تخيل امتحاناً نهائياً لوكالة تحريات. بدلاً من طرح أسئلة بسيطة مثل "ما لون السيارة؟"، يعطي الامتحان للمحقق مقطع فيديو مدته 10 دقائق مع ضوضاء في الخلفية، وسؤالاً محدداً حول حدث تاريخي، وقاعدة: "يجب عليك استخدام الإنترنت للتحقق من إجابتك قبل كتابتها".
- ماذا يختبر:
- تعدد الحواس: هل يمكن للذكاء الاصطناعي مشاهدة الفيديو والاستماع إلى الصوت في نفس الوقت؟
- استخدام الأدوات: هل يمكن للذكاء الاصطناعي أن يدرك أنه لا يعرف الإجابة، فيقوم بفتح متصفح ويب للبحث عن الحقائق؟
- المنطق: هل يمكنه ربط النقاط ببعضها؟ (مثلاً: "الفيديو يقول إن الجسر في جوليت. أحتاج للبحث عن 'جسور جوليت' لأجد الاسم، ثم البحث عن تاريخ الإنشاء، ثم القيام ببعض العمليات الحسابية").
النتيجة: الامتحان صعب للغاية. حتى أذكى ذكاء اصطنا_ي (Gemini-3-Pro) حصل على حوالي 62% فقط. بينما حصل ذكاء اصطناعي مفتوح المصدر مشهور (Qwen-3-Omni) على 13% فقط. وهذا يوضح أن أمامنا طريقاً طويلاً لنقطعه!
3. الحل (الجزء ب): العميل "OmniAtlas"
بما أن الاختبار كان صعباً، فقد بنى الباحثون عميلاً جديداً للذكاء الاصطناعي يسمى OmniAtlas لمحاولة اجتيازه.
- التشبيه: فكر في OmniAtlas كأنه محقق تعلم خدعة جديدة: "الإدراك النشط".
- الذكاء الاصطنا_ي القديم: يشبه شخصاً يحدق في صورة ضبابية لمدينة كاملة، ويحاول تخمين ما يوجد في الأفق.
- OmniAtlas: يشبه محققاً يقول: "هذا الجزء من الفيديو ضبابي جداً، دعني أقوم بعمل زووم (تكبير) على هذا المقطع المحدد لمدة 5 ثوانٍ"، أو "الصوت ضعيف هنا، دعني أستمع إلى هذه الجملة تحديداً مرة أخرى". هو لا يبتلع الفيديو بالكامل فحسب؛ بل يختار ما ينظر إليه وما يستمع إليه.
- التدريب: علموا OmniAtlas من خلال إطلاعه على آلاف الأمثلة لكيفية حل هذه الألغاز. استخدموا طريقة تسمى "استكشاف الشجرة الموجه بالنظر إلى الماضي" (Hindsight-Guided Tree Exploration).
- الاستعارة: تخيل محققاً يحاول حل جريمة. يجرب مساراً، يدرك أنه طريق مسدود، ثم يعود ويجرب مساراً آخر. تم تدريب OmniAtlas على النظر إلى جميع "الطرق المسدودة" (الأخطاء)، ومعرفة أين أخطأ بالضبط (هل أخطأ في سماع الصوت؟ أم بحث في الموقع الخاطئ؟)، ومن ثم التعلم من أجل إصلاح تلك الخطوة المحددة.
4. النتائج: قفزة كبيرة للأمام
عندما وضعوا OmniAtlas تحت الاختبار:
- لقد رفع درجة الذكاء الاصطناعي مفتوح المصدر من 13% إلى 20%. وهذه قفزة هائلة في عالم الذكاء الاصطناعي!
- الدرس الرئيسي: وجد الباحثون أن مجرد جعل الذكاء الاصطناعي "أكبر" (بإضافة المزيد من القدرات الذهنية) لم يساعد كثيراً. السر الحقيقي كان تعليم الذكاء الاصطناعي كيفية استخدام الأدوات (مثل محركات البحث) وكيفية التحقق من عمله بنفسه.
الملخص
- العالم: نحن بحاجة إلى ذكاء اصطناعي يمكنه الرؤية والسمع والتفكير معاً لمساعدتنا في العالم الحقيقي.
- الاختبار (OmniGAIA): امتحان جديد وصعب يجبر الذكاء الاصطناعي على استخدام جميع حواسه والذهاب إلى الإنترنت للعثور على الإجابات.
- البطل (OmniAtlas): عميل ذكاء اصطناعي جديد يتعلم كيفية "التركيز" على التفاصيل واستخدام الأدوات بذكاء، بدلاً من مجرد التخمين.
الخلا_صة: نحن ننتقل من ذكاء اصطناي "ينظر ويسمع" إلى ذكاء اصطناعي يمكنه التحقيق، والتحقق، والعمل كمساعد بشري حقيقي. هذه الورقة البحثية هي خطوة رئيسية نحو ذلك المستقبل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.