Exploring Audio Hallucination in Egocentric Video Understanding
تقدم هذه الورقة إطار تقييم منهجي ومجموعة بيانات منسقة للكشف عن أن نماذج اللغة السمعية البصرية المتطورة تعاني من هلاوس صوتية كبيرة في فهم الفيديو من منظور الشخص الأول، حيث تستنتج الأصوات من الإشارات المرئية بدلاً من الصوت الفعلي، مما يسلط الضär الضوء على الحاجة الماسة لتقييمات موثوقية قوية في الأنظمة متعددة الوسائط.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك ترتدي كاميرا على صدرك، تسجل يومك من وجهة نظرك الخاصة. هذا ما يسمى بالفيديو "من منظور الشخص الأول" (egocentric). أحياناً، تهتز الكاميرا، أو تحجبها يدك، أو توجه نحو جدار فارغ. في هذه اللحظات، قد تصاب عيناك بالارتباك، لكن أذنيك تظلان تعملان بجد.
هذه الورقة البحثية تتحدث عن تعليم الحواسيب "الاستماع" إلى هذه الفيديوهات، لكن الباحثين اكتشفوا مشكلة مضحلة وخطيرة في آن واحد: الحواسيب "تسمع" أشياءً ليست موجودة أصلاً.
إليك تفصيل لنتائجهم باستخدام تشبيهات بسيطة:
1. المشكلة: الكمبيوتر "يقرأ الغرفة" بدلاً من الاستماع
تخيل نموذج ذكاء اصطنا-عي متطور (عقل حاسوبي فائق الذكاء) كأنه محقق يحاول حل لغز بناءً على فيديو.
- المحقق المثالي: يستمع إلى الشريط الصوتي ويقول: "أنا أسمع نباح كلب".
- المحقق المعيب (الذكاء الاصطناعي في هذه الورقة): ينظر إلى الفيديو، يرى صورة كلب، ويقول فوراً: "أنا أسمع نباح كلب"، حتى لو كان الشريط الصوتي صامتاً تماماً أو مجرد ضجيج رياح.
يطلق الباحثون على هذا اسم "الهلوسة السمعية" (Audio Hallucination). الأمر يشبه شخصاً يرى صورة ليمونة، فيصر على أنه يشم رائحة الحمضيات، رغم أنه في غرفة لا تفوح منها أي رائحة. الذكاء الاصطناعي مهووس بما يراه لدرجة أنه يخترع أصواتاً لتناسب الصورة.
2. التجربة: "اختبار الصوت"
لإثبات ذلك، بنى الباحثون اختباراً خاصاً، يشبه الاختبار المفاجئ لهؤلاء المحققين من الذكاء الاصطناعي.
- الإعداد: أخذوا 300 فيديو من الحياة الواقعية لأشخاص يقومون بأشياء (مثل الطبخ أو المشي) وقسموها إلى مقاطع قصة مدة كل منها 10 ثوانٍ.
- الأسئلة: طرحوا على الذكاء الاصطناعي 1,000 سؤال محدد.
- النوع (أ) (الحقيقة): "ما هو الصوت الذي يحدث الآن؟" (مثلاً: "هل الخلاط يعمل؟").
- النوع (ب) (الفخ): "من أين يأتي صوت الفحيح؟" (في حين لا يوجد أي صوت فحيح على الإطلاق في الفيديو).
أرادوا معرفة ما إذا كان الذكاء الاصطناعي سيقول: "لا يوجد صوت فحيح"، أم سيكذب ويقول: "أوه، ربما يأتي من موقد الغاز"، لمجرد أنه رأى موقداً في الفيديو.
3. النتائج: فشل الذكاء الاصطناعي في الاختبار
كانت النتائج سيئة للغاية. حتى أكثر نماذج الذكاء الاصطناعي ذكاءً (مثل Qwen2.5 Omni) كانت سيئة جداً.
- عند السؤال عن أصوات حقيقية: أجاب الذكاء الاصطناعي بشكل صحيح على حوالي 56% إلى 63% من الإجابات. كان جيداً في وصف ما يحدث بالفعل.
- عند السؤال عن أصوات وهمية (الفخ): انخفضت دقة الذكاء الاصطناعي بشكل حاد لتتراوح بين 27% و39%.
التشبيه: تخيل طالباً يجري امتحاناً. إذا سألته: "ما لون السماء؟" سيجيب بشكل صحيح. ولكن إذا سألته: "ما هو لون الفيل غير المرئي؟" سيقول بثقة: "إنه أزرق"، لأنه يخمن بناءً على ما يعتقد أن الفيل يجب أن يبدو عليه، بدلاً من الاعتراف بأنه لا يرى واحداً.
الذكاء الاصطناعي يقوم أساساً بـ "ملء الفراغات" بتخمينات بناءً على المرئيات، بدلاً من الاعتراف بقوله: "أنا لا أسمع ذلك".
4. نوعان من "السمع الزائف"
صنف الباحثون هذه الأخطاء إلى فئتين:
- خطأ "الشخصية الرئيسية" (المقدمة - Foreground): يسمع الذكاء الاصطناعي صوتاً يُفترض أن يصدره الشخص الموجود في الفيديو.
- مثال: الفيديو يظهر شخصاً يستخدم خلاطاً. يقول الذكاء الاصطناست: "أنا أسمع صوت طنين ميكانيكي". حتى لو كان الصوت معطلاً أو صامتاً، يفترض الذكاء الاصطناعي أن الصوت موجود لأن الخلاط يتحرك.
- خطأ "ضوضاء الخلفية" (الخلفية - Background): يسمع الذكاء الاصطناعي أصواتاً من البيئة المحيطة وهي ليست موجودة.
- مثال: الفيديو يظهر مطبخاً هادئاً. يقول الذكاء الاصطناعي: "أنا أسمع زقزقة عصافير في الخارج"، فقط لأنه رأى نافذة.
5. لماذا يهم هذا الأمر؟
تخلص الورقة البحثية إلى أن هذه النماذج من الذكاء الاصطناعي، في الوقت الحالي، هي مستمعون غير موثوقين. فهي تعتمد بشكل مفرط على عيونها وليس على آذانها.
إذا كنت ستستخدم هذه التكنولوجيا في سيناريو من العالم الحقيقي (مثل مساعدة روبوت في فهم ورشة عمل صاخبة أو مساعدة شخص كفيف في فهم محيطه)، فقد يعتقد الروبوت أنه يسمع صافرة إنذار بينما هو في الواقع يرى فقط ضوءاً أحمر. يقول الباحثون إننا بحاجة إلى بناء أنظمة أفضل لـ "فحص الأذن" قبل أن نتمكن من الوثوق بهذه النماذج لفهم العالم من خلال الصوت.
باخت ورد: تُظهر الورقة أن نماذج الفيديو الأكثر ذكاءً اليوم تشبه الأشخاص المهرة جداً في قراءة الشفاه لدرجة أنهم ينسون الاستماع إلى الصوت، وغالباً ما يخترعون أصواتاً تناسب الصورة التي يرونها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.