💻 computer science

Unified Multimodal Uncertain Inference

تقدم هذه الورقة البحثية الاستدلال الموحد لعدم اليقين متعدد الوسائط (UMUI)، وهو مهمة جديدة تتطلب استدلالاً احتماليًا معايرًا عبر الوسائط النصية والصوتية والمرئية، وتقترح نموذج CLUE الذي يحقق أداءً هو الأفضل في فئته بمعلمات أقل بكثير من النماذج المرجعية الحالية.

المؤلفون الأصليون: Dengjia Zhang, Alexander Martin, William Jurayj, Kenton Murray, Benjamin Van Durme, Reno Kriz

نُشر 2026-04-13

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Dengjia Zhang, Alexander Martin, William Jurayj, Kenton Murray, Benjamin Van Durme, Reno Kriz

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق تحاول حل لغز ما. في الأيام الخوالي، ربما كنت ستسأل مساعدك ببساطة: "هل المتهم مذنب؟" وسيجيب بكلمة واحدة: "نعم" أو "لا". لكن الحياة الواقعية ليست بهذه البساطة. أحياناً تسمع صوت صفارة إنذار، وترى نافذة مكسورة، وتقرأ ملاحظة، فتفكر: "أنا متأكد بنسبة 85% أنه فعلها، لكني لست متأكداً بنسبة 100%".

هذه الورقة البحثية تتحدث عن تعليم الذكاء الاصطناعي أن يفكر مثل ذلك المحقق، ولكن مع قوة خارقة: يمكنه الاستماع، والمشاهدة، والقراءة في آن واحد، ثم يخبرك بمدى تأكده بالضبط بشأن إجابته.

إليك تفصيل عملهم، الاستدلال الموحد متعدد الوسائط (UMUI)، وطريقتهم الجديدة في الذكاء الاصطناعي، CLUE، باستخدام بعض التشبيهات من الحياة اليومية.

1. المشكلة: الروبوت "الثنائي"

معظم نماذج الذكاء الاصطنا اليوم تشبه الروبوتات الجامدة. إذا عرضت عليهم فيديو لحادث سيارة وسألتهم: "هل اصطدمت السيارة بالشجرة؟"، فإنهم عادة ما يجبرون أنفسهم على اختيار جانب: صواب أو خطأ.

لكن البشر لا يعملون بهذه الطريقة. إذا شاهدت فيديو مهتز لحادث مع صوت سيء، قد تفكر: "يبدو أنها شجرة، لكن الصوت غير واضح. سأقول إن هناك احتمال 70%".

الفجوة: الذكاء الاصطناعي الحالي بارع في قول "نعم" أو "لا"، لكنه سيء جداً في قول "أنا متأكد بنسبة 70%".
فوضى تعدد الوسائط: والأسوأ من ذلك، عندما تخلط الفيديو والصوت والنص، يصاب معظم الذكاء الاصطناعي بالارتباك. قد يتجاهل صفارة الإنذار الصارخة في الصوت لأنه يركز بشدة على النص الموجود على الشاشة، أو العكس.

2. الحل: تقديم "CLUE"

ابتكر المؤلفون مهمة جديدة تسمى UMUI (الاستدلال الموحد متعدد الوسائط غير اليقيني). فكر في هذا كأنه ساحة تدريب حيث يتعين على الذكاء الاصطناعي النظر في مزيج من الأدلة (مقطع فيديو، ملف صوتي، وجملة) وإعطاء درجة احتمالية (من 0% إلى 100%) بدلاً من مجرد نعم/لا.

ولحل هذه المهمة، بنوا نموذج ذكاء اصطناعي جديداً يسمى CLUE (تقدير عدم اليقين الكامن المعاير). إليك كيف يعمل CLUE، باستخدام ثلاث استعارات بسيطة:

أ. "لجنة الخبراء" (معايرة المعلم المتسقة ذاتياً)

تخيل أنك تحاول تخمين وزن بطيخة. إذا سألت شخصاً واحداً، فقد يكون بعيداً جداً عن الصواب. لكن إذا سألت خمسة خبراء، وجعلتهم يخمنون بشكل مستقل، ثم أخذت المتوسط، فستحصل على رقم أكثر موثوقية.

ما يفعله CLUE: يستخدم "ذكاءً اصطناعياً معلماً" لتوليد الإجابات. بدلاً من سؤال المعلم مرة واحدة، يسأله خمس مرات. ثم يقوم بمتوسط تلك الإجابات لإنشاء تسمية "المعيار الذهبي". هذا يعلم النموذج الطالب (CLUE) أن عدم اليقين أمر طبيعي وأن "الحقيقة" غالباً ما تكون نطاقاً، وليست نقطة واحدة.

ب. "المفتاح الدوار" مقابل "مفتاح الضوء" (ثقة التوزيع الكامن)

معظم نماذج الذكاء الاصطناعي تشبه مفتاح الضوء: فهي إما تشغيل (صواب) أو إيقاف (خطأ).

الطريقة القديمة: يحاول الذكاء الاصطناعي "نطق" رقم مثل "0.8" كما لو كان كلمة. ولكن بما أنه مصمم لنطق الكلمات، فإنه يعلق عند أرقام محددة (0.5، 0.8، 0.9) ولا يستطيع التعبير عن الفروق الدقيقة بينها.
طريقة CLUE: CLUE يشبه مفتاح التحكم في السطوع (Dimmer) أو مفتاح التحكم في مستوى الصوت. بدلاً من محاولة قول رقم، فإنه ينظر إلى "مفتاح دوار" مخفي داخل دماغه يحتوي على 100 إعداد مختلف. إنه يتعلم كيف يشير إلى الموقع الدقيق على المفتاح الذي يمثل "82.4% من التأكد". وهذا يسمح له بأن يكون دقيقاً للغاية في تحديد مستوى ثقته.

ج. "الفصل الدراسي المتخصص" (تجميع الوسائط النوعية)

تخيل فصلاً دراسياً يحاول فيه المعلم تدريس الرياضيات، والموسيقى، والرسم في نفس الوقت تماماً لنفس المجموعة من الطلاب. الأمر فوضوي. طلاب الرياضيات يتشتتون بالموسيقى، والرسامون يرتبكون بالمعادلات.

المشكلة: عندما يتدرب الذكاء الاصطناعي على النصوص والصوت والفيديو مختلطة معاً بشكل عشوائي، تصبح "الإشارة" مشوشة. النص قصير؛ الفيديو طويل. إنهم يتصارعون على الانتباه.
حل CLUE: ينظم CLUE التدريب مثل فصل دراسي متخصص. فهو يجمع كل أمثلة النصوص معاً، ثم جميع الأمثلة الصوتية، ثم جميع أمثلة الفيديو. هذا يبقي "الضجيج" منخفضاً ويسمح للنموذج بتعلم القواعد الخاصة بكل حاسة قبل خلطها معاً.

3. النتائج: صغير ولكن قوي

الجزء الأكثر إثارة للدهشة في الورقة هو حجم النموذج.

العمالقة: قارنوا نموذجهم بنماذج ذكاء اصطناعي ضخمة (32 مليار معلمة). هذه تشبه الحواسيب الفائقة.
المنافس الضعيف: نموذج CLUE الخاص بهم صغير جداً (3 مليارات معلمة فقط).
النتيجة: نموذج CLUE الصغير هزم العمالقة. لقد كان أفضل في إعطاء درجات احتمالية دقيقة عبر النصوص والصوت والفيديو من النماذج الضخمة.

لماذا يهم هذا؟

تخيل طبيباً يعمل بالذكاء الاصطناعي يحلل صورة أشعة سينية (فيديو)، وتسجيلاً لصوت المريض (صوت)، وتاريخه الطبي (نص).

الذكاء الاصطناعي القديم: "المريض يعاني من الالتهاب الرئوي". (واثق، ولكنه قد يكون مخطئاً).
CLUE: "هناك احتمال 85% للإصابة بالالتهاب الرئوي بناءً على الأشعة السينية، لكن الصوت غير واضح، لذا أنا متأكد بنسبة 60% فقط بشكل عام".

هذا "اليقين المعاير" أمر بالغ الأهمية للوظائف عالية المخاطر. فهو يخبر البشر متى يثقون في الذكاء الاصطناعي ومتى يجب عليهم التحقق المزدوج. إنه يمنع الذكاء الاصطناعي من أن يكون مخطئاً بثقة، ويبدأ في أن يكون صادقاً في عدم تأكده.

باختصار: تعلم هذه الورقة الذكاء الاصطناعي أن يتوقف عن التخمين بـ "نعم أو لا" ويبدأ في قول: "إليك مدى تأكدي بالضبط"، وذلك باستخدام مزيج من متوسط الخبراء، والمفاتيح الدوارة الداخلية الدقيقة، والتدريب المنظم. وقد فعلوا ذلك بنموذج صغير بما يكفي ليعمل على جهاز كمبيوتر محمول، متفوقين بذلك على الحواسيب الفائقة الضخمة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "الاستدلال الموحد متعدد الوسائط لعدم اليقين" (UMUI).

1. بيان المشكلة

تعتمد مهام الاستدلال اللغوي الطبيعي (NLI) والاستدلال متعدد الوسائط الحالية إلى حد كبير على الأحكام الفئوية (الثنائية) (مثل: استلزام مقابل عدم استلزام). ومع ذلك، فإن الاستدلال البشري هو في جوهره احتمالي، حيث يعمل بناءً على درجات الاعتقاد والثقة بدلاً من التصنيفات الثنائية.

الفجوة: بينما يوجد "الاستدلال اللغوي الطبيعي غير المؤكد" (UNLI) للنصوص، فإن توسيع هذا المفهوم ليشمل الصوت والفيديو والوسائط المتعددة عبر النماذج لا يزال محدوداً. مهام الاستدلال متعدد الوسائط الحالية هي عادةً ثنائية، وتفتقر إلى إطار عمل للاستدلال الاحتمالي دقيق التفاصيل.
النتيجة: أنظمة الذكاء الاصطناعي متعددة الوسائط التي يتم نشرها في المجالات عالية المخاطر لا يمكنها التعبير عن عدم اليقين المعاير، مما يحد من موثوقيتها. غالباً ما تفشل النماذج الحالية في دمج الأدلة عبر الرؤية والصوت والنص لتشكيل تقدير موحد ومعاير للاعتقاد.

2. المنهجية

يقترح المؤلفون مهمة جديدة وإطار عمل تدريبي مقابل لمعالجة هذه القيود.

أ. تعريف المهمة: الاستدلال الموحد متعدد الوسائط لعدم اليقين (UMUI)

المدخلات: مقدمة (نص، مقطع صوتي، فيديو، أو مزيج منها) وفرضية (عبارة تقريرية).
المخرجات: تقدير احتمالي عددي $p \in [0, 1]$ يمثل احتمالية صحة الفرضية بناءً على المقدمة.
النطاق: تغطي المهمة سيناريوهات أحادية الوسائط (نص فقط، صوت فقط، فيديو فقط) ومتعددة الوسائط (صوت-بصري، نص-بصري، إلخ).

ب. جمع البيانات

المصدر: بُنيت على مجموعة بيانات WIKIVIDEO (الادعاءات مقابل محتوى الفيديو) وCLOTHO (أوصاف صوتية).
التعليق (Annotation): قام المؤلفون بتنظيم مجموعة تقييم معلّمة بشرياً بـ أحكام احتمالية عددية (0-100%) لأزواج المقدمة والفرضية (صوت-بصري).
البروتوكول: قام الخبراء بالتعليق على 10 أحداث محددة (مثل حريق كاتدرائية نوتردام، الزلازل). حددوا الوسائط التي ساهمت في حكمهم وقدموا درجة احتمالية.
الحجم: 2,526 زوجاً (فيديو-ادعاء) معلماً بشرياً مع اتفاق عالٍ بين المعلقين (معامل كريپندورف $\alpha \approx 0.71$ ).

ج. إطار عمل CLUE (تقدير عدم اليقين الكامن المعاير)

لتدريب نماذج تنتج احتمالات جيدة المعايرة، قدم المؤلفون CLUE، والذي يتكون من ثلاثة مكونات أساسية:

معايرة المعلم ذاتي الاتساق (Self-Consistent Teacher Calibration):
- نظراً لأن الملصقات (labels) دقيقة التفاصيل ومكلفة التوليد على نطاق التدريب، استخدم المؤلفون نموذج معلم (Qwen3-VL/Omni) لتوليد ملصقات اصطناعية.
- التقنية: يقوم المعلم بتوليد $N=5$ مسارات استدلال مستقلة لكل عينة. يتم تجميعها عبر المتوسط (متوسط الثقة) أو الحد الأقصى (تصويت الأغلبية) لإنشاء درجة تقطير معايرة.
- النتيجة: يقلل هذا النهج القائم على الاتساق الذاتي من متوسط مربع الخطأ (MSE) بشكل كبير ويحسن الدقة مقارنة بمخرجات المعلم ذات الطلب الواحد.
نمذجة ثقة التوزيع الكامن (Latent Distribution Confidence Modeling):
- بدلاً من توليد رمز منفصل (مثل "0.8")، يتنبأ النموذج بـ توزيع كامن فوق رموز الثقة.
- الآلية: يتم تقسيم الفترة $[0, 1]$ إلى $N=100$ وعاء (bin)، يرتبط كل منها برمز خاص <CONF_i>.
- هدف التدريب: يقلل النموذج من تباعد كولباك - ليبلر (KL divergence) بين التوزيع المتوقع $P$ وتوزيع غاوس المستهدف $Q \sim \mathcal{N}(y, \sigma^2)$ ، حيث $y$ هو الاحتمال الحقيقي.
- الاستدلال: يتم إعادة بناء الاحتمال العددي النهائي عبر تجميع مرجح للتوزيع المتوقع، مما يسمح بتقديرات سلسة ودقيقة بدلاً من الخطوات المنفصلة.
التجميع الخاص بكل وسيط (Modality-Specific Batching):
- لمعالجة عدم استقرار التدرج الناتج عن خلط الوسائط ذات أطوال التسلسلات المتباينة جداً (مثل النص القصير مقابل الفيديو الطويل)، طبق المؤلفون التجميع الخاص بكل وسيط.
- يتم تجميع العينات حسب الوسيط (كل النصوص، كل الأصوات، كل الفيديوهات) داخل الدفعة الواحدة بدلاً من خلطها. يضمن ذلك توازناً في أحجام التدرج ويقلل من عبء الحشو (padding).

3. المساهمات الرئيسية

مهمة UMUI: صياغة أول مهمة للاستدلال الاحتمالي المعاير الذي يشمل النصوص، الأصوات، الفيديوهات، ومزيجاتها.
مجموعة البيانات: إصدار مجموعة بيانات معلّمة بشرياً بأحكام احتمالية للاستدلاء الصوتي-البصري، مما يوسع التوسيمات الثنائية الحالية إلى عدم يقين دقيق التفاصيل.
نموذج CLUE: تقديم نموذج تدريبي يجمع بين تقطير المعلم ذاتي الاتساق، ونمذجة التوزيع الكامن، والتجميع المدرك للوسائط.
الكفاءة: إثبات أن نموذجاً بـ 3 مليارات معلمة (CLUE) يتفوق على النماذج الأساسية التي تصل إلى 32 مليار معلمة في المعايرة والدقة.

4. النتائج التجريبية

قيم المؤلفون CLUE مقابل النماذج الأساسية بما في ذلك Audio Flamingo وQwen2-Audio وQwen2.5-VL وQwen3-VL عبر CLOTHO (صوت)، وUNLI (نص)، وWIKIVIDEO (فيديو/صوت-بصري).

الأداء الثنائي (الدقة):
- في CLOTHO، حقق CLUE دقة شبه مثالية (97.5%)، متفوقاً بفارق شاسع على النماذج الصوتية فقط (~49%).
- في WIKIVIDEO، تفوق CLUE على جميع النماذج الأساسية (بما في ذلك نماذج 32B) في الإعدادات البصرية فقط، والصوتية فقط، والصوتية-البصرية.
الأداء العددي (MSE):
- حقق CLE أقل متوسط مربع خطأ (MSE) في UNLI (5.7 مقابل 7.5 لأفضل نموذج 32B تالٍ) وفي WIKIVIDEO.
- التوزيع مقابل الرمز: أثبت متغير التوزيع (CLUE-D) تفوقه باستمرار على متغير الرمز (CLUE-T)، مما يثبت أن نمذجة توزيع الثقة الداخلي ينتج تقديرات احتمالية أكثر سلاسة وتوافقاً مع البشر.
النقل عبر الوسائط:
- أدى التدريب على مزيج من الوسائط إلى تحسين الأداء حتى في إعدادات النص فقط. تفوق CLUE-D (3B) على TMTO (14B، المدرب على النص فقط) في UNLI، مما يشير إلى أن الوسائط المساعدة توفر فوائد متبادلة للاستدلال أحادي الوسيط.
المعايرة:
- أدى استخدام "قياس درجة الحرارة" (Temperature scaling) على النماذج الأساسية إلى تحسن طفيف، بينما وفر نهج التوزيع الكامن في CLUE معايرة قوية دون الحاجة لضبط لاحق.

5. الأهمية والخاتمة

الذكاء الاصطناعي الموثوق: يسد هذا العمل الفجوة بين التصنيف الثنائي والاستدلال الاحتمالي الشبيه بالبشر، مما يمكن أنظمة الذكاء الاصطناعي من التعبير عن مدى تأكدها، وهو أمر بالغ الأهمية للتطبيقات عالية المخاطر (مثل الاستجابة للكوارث أو التشخيص الطبي).
الكفاءة: تتحدى هذه النتائج المفهوم القائل بأن النماذج الأكبر هي دائماً الأفضل في المعايرة؛ حيث يمكن لنموذج 3B صغير ومعاير جيداً أن يتفوق على نماذج 32B ضخمة عند تدريبه بأهداف مدركة لعدم اليقين.
التحول المنهجي: تدعو الورقة إلى الانتقال من توليد الرموز المنفصلة لتقدير الاحتمالية نحو نمذجة التوزيع الكامن، والتي تلتقط تفاصيل عدم اليقين بشكل أكثر فعالية.
القيود: تعتمد بيانات التدريب على الملصقات الاصطناعية من نماذج المعلم بدلاً من التعليق البشري الضخم، رغم أن المؤلفين تحققوا من وجود توافق عالٍ بين الاتساق الذاتي للمعلم والحكم البشري. قد يستكشف العمل المستقبلي التعلم النشط لدمج التغذية الراجعة البشرية المباشرة للقيم العددية.