💻 computer science

TRACE: Evidence Grounding-Guided Multi-Video Event Understanding and Claim Generation

إنَّ TRACE هو إطار عمل موجّه بتأصيل الأدلة يعزز فهم الأحداث في الفيديوهات المتعددة وتوليد الادعاءات عبر بناء جداول زمنية قابلة للبحث بواسطة التعرف الضوئي على الحروف (OCR) وكشف الأشياء لتمكين التحديد الدقيق لمواقع الأدلة المرتبطة بالاستعلام قبل الاستدلال البصري، مما يؤدي إلى تحسين الاكتمال الواقعي، واستدعاء الاستشهاد، والأداء المتميز مقارنة بأحدث المعايير في اختبارات مثل MAGMaR 2026 بشكل كبير.

المؤلفون الأصليون: Pengyu Yan, Akhil Gorugantu, Mahesh Bhosale, Abdul Wasi, Vishvesh Trivedi, David Doermann

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Pengyu Yan, Akhil Gorugantu, Mahesh Bhosale, Abdul Wasi, Vishvesh Trivedi, David Doermann

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق تحاول حل لغز حول عاصفة هائلة. تمتلك مكتبة تحتوي على آلاف الساعات من مقاطع الفيديو من قنوات إخبارية مختلفة، ووسائل التواصل الاجتماعي، والبث الحكومي. يطرح عليك رئيسك سؤالاً محدداً: "كم عدد الأشخاص المفقودين، وهل أرسلت الحكومة مساعدات؟"

إذا كنت ذكاءً اصطناعياً عادياً (مثل تلك الموصوفة في "الطريقة القديمة")، فسيتم تسليمك كومة ضخمة من مقاطع الفيديو هذه وتُقال لك: "اقرأها جميعاً وأعطني الإجابة". المشكلة؟ يصاب الذكاء الاصطناعي بالارتباك. يحاول مشاهدة كل ثانية، ولكن نظرًا لأنه لا يستطيع استيعاب هذا القدر الهائل من المعلومات في "دماغه" دفعة واحدة، يضطر إلى المرور عبر مقاطع الفيديو بسرعة كبيرة. وبذلك، يفقد التفاصيل الصغيرة والحاسمة — مثل نص باهت على شريط إخباري يقول "300 مفقود" أو لوحة نتائج تظهر أرقام المساعدات — لأنه مشغول جداً بمشاهدة الصور الدرامية للعاصفة نفسها.

TRACE هي طريقة جديدة وأكثر ذكاءً لحل هذه المشكلة. يطلق المؤلفون عليها استراتيجية "التأسيس قبل الاستنتاج" (Ground-Before-Reasoning). فكر في الأمر على النحو التالي:

المشكلة: "البحث الأعمى"

نماذج الذكاء الاصطناعي الحالية تشبه المحقق الذي يدخل غرفة مليئة بأشخاص يصرخون ويحاول العثور على حقيقة معينة بمجرد الاستماع إلى الأصوات الأعلى. إنهم يفتقدون الهمسات الهادئة (النص الموجود على الشاشة) التي قد تحتوي بالفعل على الإجابة. كما أنهم يتعبون (ينفد "ميزانية السياق" لديهم) إذا كانت الغرفة كبيرة جداً.

حل TRACE: نهج "الفهرس أولاً"

بدلاً من مشاهدة مقاطع الفيديو بشكل أعمى، يعمل TRACE مثل أمين مكتبة يقوم أولاً بإنشاء فهرس قابل للبحث قبل أن يبدأ المحقق في القراءة حتى.

إليك كيف تعمل العملية، خطوة بخطوة:

1. "الماسح الضوئي" (التأسيس/Grounding)
قبل أن يحاول الذكاء الاصطناعي "التفكير" أو "الاستنتاج"، فإنه يقوم أولاً بتشغيل ماسح ضوئي سريع وغير مكلف فوق مقاطع الفيديو.

ماذا يفعل: يستخدم أداتين بسيطتين: OCR (التعرف الضوئي على الحروف، والذي يقرأ النصوص على الشاشات مثل الأشرطة الإخبارية ولوحات النتائج) و Object Detection (الذي يرصد الأشياء مثل الميكروفونات، أو منصات الخطابة، أو الحشود).
التشبيه: تخيل روبوتاً يتصفح كل صفحة من صفحات كتاب بسرعة ويدون قائمة بكل رقم واسم وشيء يراه، مع ذكر الوقت الذي رآه فيه. هو لا يحاول فهم القصة بعد؛ هو فقط يبني جدولاً زمنياً قائماً على النصوص.
لماذا يساعد: هذا يحول فيديو فوضوي إلى قائمة حقائق نظيفة وقابلة للبحث.

2. "محرك البحث" (التحديد الموضعي/Localization)
الآن، يطرح الإنسان (أو المستخدم) سؤاله: "أين توجد المعلومات المتعلقة بالمفقودين؟"

ماذا يفعل: يقوم ذكاء اصطناعي نصي فقط (وهو سريع ورخيص جداً) بالنظر إلى الجدول الزمني القابل للبحث الذي تم إنشاؤه في الخطوة 1. يقوم بمطابقة السؤال مع قائمة الأرقام والأشياء.
التشبيه: بدلاً من إعادة قراءة الكتاب بأكمله، يستخدم أمين المكتبة الفهرس ليقول: "آه، الإجابة موجودة في الصفحات 45، و82، و110". إنه يتجاهل بقية الكتاب.
لماذا يساعد: إنه يجد اللحظات المحددة التي تهم دون إضاعة الوقت في مشاهد غير ذات صلة.

3. "الراوي" (توليد الادعاء/Claim Generation)
الآن، يبدأ ذكاء الفيديو القوي (الـ "راوي") في العمل.

ماذا يفعل: يتم تزويده فقط بمقاطع الفيديو المحددة التي حددتها الخطوة 2، بالإضافة إلى الملاحظات من الفهرس. يُقال له: "انظر إلى هذه اللحظات المحددة وأخبرني بالحقائق".
التشبيه: يُسلم المحقق الآن فقط الصفحات الثلاث ذات الصلة من الكتاب، مع تحديد الأرقام المهمة. يمكنه التركيز بنسبة 100% من انتباهه على تلك الصفحات لكتابة تقرير مثالي ودقيق.
النتيجة: يولد الذكاء الاصطناعي ادعاءً (على سبيل المثال: "300 شخص مفقودون") ومن المهم جداً أنه يستشهد بالضبط بمقاطع الفيديو التي أثبتت تلك الحقيقة.

4. "المحرر" (الدمج/Consolidation)
بما أن لديك 10 مقاطع فيديو مختلفة، فقد تحصل على 10 تقارير مختلفة قليلاً.

ماذا يفعل: تقوم خطوة نهائية بدمج هذه التقارير. إذا قال الفيديو (أ) "300 مفقود" وقال الفيديو (ب) "300 مفقود"، فإن النظام يدمجهما في حقيقة واحدة قوية ويحتفظ بالاستشهادات من كلا الفيديوهين.
التشبيه: يأخذ المحرر ملاحظات جميع المراسلين المختلفين، ويتحقق من اتفاقهم، ويكتب مقالاً نهائياً موثوقاً ينسب الفضل لكل مصدر من المصادر.

لماذا هذا مهم (النتائج)

اختبرت الورقة البحثية هذا النظام على أحداث إخبارية حقيقية (MAGMaR 2026) ووجدت أن:

لقد وجد المزيد من الحقائق: لم يفتْه التفاصيل الصغيرة المخفية في النصوص المتراكبة.
كانت استشهاداته أفضل: كان أفضل بكثير في الإشارة إلى دليل الفيديو الدقيق الذي أثبت ادعاءاته (مما أدى إلى تحسين "استدعاء الاستشهاد" بشكل كبير).
كان أكثر دقة: تفوق على الأنظمة الأفضل السابقة بفارق كبير.

الخلاصة

يغير TRACE قواعد اللعبة من خلال القول: "لا تحاول فهم الفيديو بأكمله دفعة واحدة. أولاً، امسحه ضوئياً للعثور على الأدلة، ثم استخدم تلك الأدلة للعثور على الإجابة." إنه يحول مهمة فوضوية ومربكة إلى تحقيق منظم وخطوة بخطوة، مما يضمن عدم تفويت الذكاء الاصطناعي للتفاصيل الصغيرة ولكن الحاسمة التي تحمل الحقيقة.

ملخص تقني: TRACE – فهم الأحداث عبر الفيديوهات المتعددة الموجه بالتأصيل القائم على الأدلة وتوليد الادعاءات

بيان المشكلة

يتطلب فهم الأحداث عبر الفيديوهات المتعددة من النماذج ليس فقط التعرف على المحتوى المرئي، بل أيضاً تحديد وتنسيب قطع محددة من الأدلة المبعثرة عبر مجموعات فيديو طويلة وغير متجانسة للإجابة على استفسارات المستخدمين. تعاني نماذج الرؤية واللغة الكبيرة (LVLMs) الحالية في هذا النطاق بسبب نمطين رئيسيين من الفشل:

تشبع السياق: تمتلك نماذج LVLMs نوافذ سياق محدودة، مما يفرض أخذ عينات زمنية فرعية عدوانية غالباً ما تغفل اللحظات القصيرة والمكثفة بالمعلومات (مثل شريط الأخبار، أو لوحات النتائج، أو التراكبات البثية) الضرورية للاستفسارات الواقعية.
الانتباه غير المتوافق: عندما يتم توجيه النماذج مباشرة باستخدام الفيديو الخام، تميل نماذج LVLMs إلى التركيز على المحتوى البارز بصرياً بدلاً من الأدلة ذات الصلة بالاستعلام، مما ينتج ملخصات سردية عامة بدلاً من ادعاءات دقيقة وقابلة للتنسيب.

تعتمد الأساليب الحالية غالباً على توسيع السياق بالقوة الغاشمة أو أخذ عينات إطارية موحدة، وهو ما يفشل في معالجة التحدي الجوهري المتمثل في تحديد أي الإطارات هي المهمة قبل معالجتها.

المنهجية: إطار عمل TRACE

يقدم TRACE نموذج "التأصيل قبل الاستدلال". بدلاً من مطالبة نموذج LVLM باكتشاف الأدلة وتوليد الادعاءات بشكل مشترك، يقوم إطار العمل بتفكيك المهمة إلى مرحلة تأصيل خفيفة تعتمد على النصوص، تليها عملية استدلال متعدد الوسائط موجهة.

1. التأصيل الهيكلي للفيديو

يقوم النظام أولاً بتحويل الفيديوهات الطويلة وغير المنظمة إلى جدول زمني قابل للبحث نصياً باستخدام معالجة غير بصرية خفيفة:

كشف الأشياء: تقوم YOLOv12 بمعالجة الإطارات المختارة لكشف الأشياء (مثل الأشخاص، الميكروفونات، منصات الخطابة). توفر أنماط التواجد المشترك إشارات سياقية (مثل تحديد مؤتمر صحفي).
التعرف على النصوص (OCR): تستخرج وحدة OCR النصوص المرئية من تراكبات البث، ولوحات النتائج، والشرائط السفلية. هذا يلتقط إشارات دلالية عالية الدقة (الكيانات، الإحصائيات، المواقع) التي قد تغفل عنها كواشف الأشياء.
بناء الجدول الزمني: يتم دمج هذه التدفقات في جدول زمني تسلسلي نصي $F = \{(t, D_t, T_t)\}$ ، حيث تمثل $D_t$ الأشياء المكتشفة وتمثل $T_t$ نص الـ OCR.

2. تحديد موقع الأدلة المشروط بالاستعلام

يعمل نموذج لغوي كبير (LLM) نصي فقط (Qwen3-30B) على الجدول الزمني الهيكلي للقيام بتحديد موقع الأدلة دون استدعاء مشفر رؤية:

المحاذاة: يتم تقسيم الجدول الزمني إلى نوافذ وتسلسله. يقوم الـ LLM بمحاذاة هذه التمثيلات النصية مع استعلام المستخدم والشخصية لتحديد اللحظات ذات الصلة.
سد الفجوة: تقوم هذه المرحلة بترجمة مخرجات الكاشف منخفضة المستوى إلى قصد دلالي، مما يسمح بتحديد الأدلة غير المباشرة (مثل تراكب "نسبة التصويت") حتى بدون وجود تطابقات صريحة للكلمات المفتاحية.
ملخص التأصيل: يقوم الـ LLM بتخليق وصف دلالي متماسك للأدلة المحددة، ليعمل كجسر بين الإدراك الخام والاستدلال اللاحق.

3. توليد الادعاءات الموجه بالتأصيل

يقوم نموذج LVLM لاحق (Qwen3-VL-30B) بتوليد ادعاءات مشروطة بتوجيه صريح:

اختيار الإطارات الهجين: يجمع المدخل البصري بين الإطارات المختارة بانتظام (للتغطية السردية) والإطارات الرئيسية المستهدفة بالتوجيه التي تم تحديدها خلال مرحلة التحديد.
المحاذاة الزمنية: يتم تمرير مؤشرات الإطارات كبيانات وصفية موضعية صريحة للحفاظ على التباعد الزمني في تضمينات الموضع الدوارة (rotary position embeddings) الخاصة بالنموذج، مما يضمن محاذاة التعليقات النصية مع الرموز البصرية.
دمج الأدلة: يتلقى الـ LVLM الإطارات الهجينة، والاستعلام، والشخصية، وملخص التأصيل، والتعليقات التوضيحية المهيكلة (الطوابع الزمنية، الأشياء، OCR). ويتم توجيهه لتوليد ادعاءات من جملة واحدة مستندة إلى الأدلة المرصودة، مع إعطاء الأولوية للحقائق المحددة على حساب التلخيصات الغامضة.

4. توحيد الادعاءات عبر الفيديوهات المتعددة

يتم تجميع الادعاءات من فيديوهات متعددة لتشكيل تقرير أحداث موحد:

التجميع الدلالي: يتم تضمين (embedding) الادعاءات وتجميعها بناءً على التشابه.
التحقق: يقوم LLM بالتحقق من المجموعات تحت معيار صارم لـ "نفس القضية" للتمييز بين إعادة الصياغة الحقيقية والادعاءات المتمايزة واقعياً.
نشر الاقتباس: يحتفظ النظام بالادعاء الأكثر اكتمالاً بالمعلومات كتمثيل معياري، ويقوم بنشر اتحاد استشهادات الفيديو الداعمة عبر جميع أعضاء المجموعة، مما يعظم استدعاء الاقتباس.

المساهمات الرئيسية

خط معالجة موجه بالتأصيل: بنية مبتكرة تبني جدولاً زمنياً للفيديو قابلاً للبحث نصياً عبر الـ OCR وكشف الأشياء، مما يتيح تحديد الأدلة المشروط بالاستعلام قبل الاستدلال البصري المكلف.
نموذج "التأصيل قبل الاستدلال": استراتيجية تفصل بين اكتشاف الأدلة وبين التوليد متعدد الوسائط، مما يعالج مشكلة تشبع السياق وعدم توافق الانتباه في نماذج LVLMs الحالية.
إطار عمل هجين: نظام يجمع بين اختيار الإطارات الرئيسية المستهدفة بالتوجيه وبين إزالة تكرار الادعاءات ونشر الاقتباس عبر الفيديوهات.
أداء رائد (SOTA): تحقيق أفضل النتائج في مسابقة MAGMaR 2026 والتعميم القوي على مجموعة بيانات WikiVideo.

النتائج التجريبية

قام المؤلفون بتقييم TRACE على MAGMaR 2026 Oracle Track (8 مواضيع لأحداث إخبارية واقعية) وعلى مجموعة بيانات WikiVideo (52 استعلاماً، 398 فيديو).

نتائج MAGMaR 2026

الأداء العام: حقق TRACE أعلى الدرجات في لوحة المتصدرين الرسمية، بمتوسط F1 قدره 0.499 (InfoF1: 0.551, CiteF1: 0.447)، متفوقاً على الفريق الثاني (HAIVLab) بمقدار 0.049 نقطة.
المقارنة مع النماذج المرجعية: مقارنة بنموذج Qwen3-VL-30B غير الموجه على مجموعة التحقق، حسن TRACE متوسط MiRAGE F1 من 0.705 إلى 0.811.
استدعاء الاقتباس: كان التحسن الأكثر أهمية في استدعاء الاقتباس، حيث ارتفع من 0.440 إلى 0.628 (بزيادة نسبية قدرها +42.7%)، مما يثبت قدرة الإطار على تحديد والاستشهاد بكامل نطاق المصادر ذات الصلة بدلاً من مجرد الفيديو الأكثر بروزاً.
التقييم البشري: احتل TRACE المركز الثاني في التقييم البشري (3.825/5.0)، متأخراً عن الفريق الأول بفارق ضئيل جداً قدره 0.008 نقطة.

التعميم على WikiVideo

حافظ TRACE على أعلى متوسط F1 (0.879) على WikiVideo، متفوقاً على كل من النماذج المرجعية Qwen3-VL-8B و Qwen3-VL-30B.
على الرغم من أن الفارق المطلق كان أصغر بسبب قصر مدة فيديوهات WikiVideo وتوزيعها المنتظم (مما يصب في مصلحة أخذ العينات الموحدة)، إلا أن الطريقة حققت أيضاً أعلى استدعاء للاقتباس (0.838).

دراسات الاستئصال (Ablation Studies)

تأثير التأصيل: تفوقت جميع متغيرات خط المعالجة على أقوى نموذج مرجعي غير موجه، مما يؤكد أن التأصيل متعدد الوسائط هو المصدر الرئيسي للتحسن.
استراتيجية التجميع: تفوقت استراتيجية التجميع القائمة على التشابه في التضمين مع التحقق بواسطة LLM (المعروفة بـ EMBED-SIM) على عملية الدمج البسيطة بواسطة LLM، خاصة في F1 الخاص بالاقتباس.
تعزيز الإطارات الرئيسية: أدى إضافة الإطارات الرئيسية المستهدفة بالتوجيه إلى تحسين استدعاء المعلومات (InfoR)، مما يظهر أن التأصيل النصي يوجه النموذج بنجاح نحو الأدلة البصرية التي قد تغفل عنها عملية أخذ العينات الموحدة.

الأهمية والادعاءات

تجادل الورقة بأن التأصيل القائم على الإدراك الهيكلي هو مبدأ فعال وقابل للنقل لتنسيب الادعاءات في الفيديو. ومن خلال نقل عبء تحديد الأدلة من مرحلة الاستدلال البصري المكلفة إلى مرحلة أخف وزناً وقابلة للتسلسل النصي، يقلل TRACE من تشبع السياق ويوجه القدرة البصرية نحو اللحظات ذات الصلة بالأدلة.

يدعي المؤلفون أن هذا النهج:

يحل مشكلة "الإبرة في كومة القش" في فهم الفيديوهات الطويلة دون الحاجة إلى نوافذ سياق ضخمة.
يحسن الاكتمال الواقعي ودقة التنسيب، وهما أمران حاسمان لفهم الأحداث عبر الفيديوهات المتعددة.
يوفر بديلاً قابلاً للتوسع لمعالجة السياق الطويل بالقوة الغاشمة، حيث أن مرحلة التأصيل سريعة، وحتمية، وقابلة للتفسير.

تخلص الورقة إلى أنه بينما يحقق الأسلوب نتائج رائدة (SOTA)، لا تزال هناك قيود، بما في ذلك الاعتماد على مفردات COCO-80 لكشف الأشياء (مما يحد من التعرف على الكيانات المتخصصة في المجالات الأخرى) والطبيعة غير القابلة للاشتقاق (non-differentiable) لخط المعالجة، مما يمنع استعادة الخطأ في نهاية المطاف (end-to-end error recovery). ويُقترح في العمل المستقبلي تضمين الكشف مفتوح المفردات وأخذ العينات الإطارية التكيفي.