🤖 machine learning

CRIT: Graph-Based Automatic Data Synthesis to Enhance Cross-Modal Multi-Hop Reasoning

تقدم الورقة البحثية CRIT، وهو عبارة عن مجموعة بيانات ومعيار مرجعي مستند إلى الرسوم البيانية ومُخلق تلقائياً، صُمم لمعالجة نقص الاستدلال متعدد الخطوات عبر الوسائط في نماذج الرؤية واللغة الحالية، حيث أظهرت أن التدريب على هذه البيانات يحسن بشكل كبير من أداء النماذج في مهام الاستدلال المعقدة ويقلل من الهلوسة.

المؤلفون الأصليون: Junyoung Sung, Seungwoo Lyu, Minjun Kim, Sumin An, Arsha Nagrani, Paul Hongsuck Seo

نُشر 2026-04-03

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Junyoung Sung, Seungwoo Lyu, Minjun Kim, Sumin An, Arsha Nagrani, Paul Hongsuck Seo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز، لكن الأدلة مبعثرة عبر غرف مختلفة. بعض الأدلة مكتوبة على ملاحظات لاصقة (نص)، بينما توجد أدلة أخرى مخبأة داخل صور. لحل اللغز، لا يمكنك مجرد قراءة الملاحظات أو مجرد النظر إلى الصور؛ بل عليك التنقل ذهاباً وإياباً، وربط اسم في ملاحظة بوجه في صورة، ثم ربط هذا الوجه بتاريخ في ملاحظة أخرى، وأخيراً العثور على الموقع في صورة ثالثة.

هذا هو نوع التفكير الذي يقوم به البشر طوال الوقت. ولكن بالنسبة للذكاء الاصطناعي (AI)، فإن هذا الأمر صعب للغاية.

إليك شرح بسيط لورقة بحثية بعنوان "CRIT: بناء بيانات تلقائي قائم على الرسوم البيانية لتعزيز الاستدلال متعدد الخطوات عبر الوسائط المتعددة".

1. المشكلة: الذكاء الاصطناعي "كسول" ويضل الطريق

في الوقت الحالي، معظم نماذج الذكاء الاصطناعي (مثل تلك التي تدردش معك أو تصف الصور) يتم تدريبها على بيانات تكون فيها الإجابة عادةً أمام أعينهم مباشرة.

الطريقة القديمة: تعرض للذكاء الاصطناعي صورة قطة وتسأله: "ما هذا؟". ينظر الذكاء الاصطناعي إلى الصورة ويقول: "قطة". هذا سهل.
العالم الحقيقي: تعرض للذكاء الاصطناعي وصفة طبخ (نص) وسلسلة من الصور لعملية الطهي. تسأله: "أي أداة في الصورة 3 هي التي ذُكرت في الفقرة 2 بأنها 'صدئة'؟"

تعاني نماذج الذكاء الاصطناعي الحالية هنا. فهي غالباً ما:

تهلوس (Hallucinate): تخترع حقائق لأنها تقوم بالتخمين.
تصبح كسولة: تحاول الإجابة باستخدام النص فقط أو الصورة فقط، متجاهلة النصف الآخر من اللغز.
تفقد الخيط: لا تستطيع ربط النقاط عبر خطوات متعددة (multi-hop).

يسمي المؤلفون هذا نقصاً في "الاستدلال متعدد الخطوات عبر الوسائط المتعددة" (Cross-Modal Multi-Hop Reasoning). وباللغة البسيطة: الذكاء الاصطناعي لا يستطيع قطع المسار من نص $\leftarrow$ صورة $\leftarrow$ نص $\leftarrow$ صورة للعثور على الإجابة.

2. الحل: بناء نظام "مسارات القطارات" (CRIT)

لإصلاح ذلك، بنى الباحثون مجموعة بيانات جديدة تسمى CRIT. لكنهم لم يستعينوا بآلاف البشر لكتابة الأسئلة (لأن ذلك سيستغرق وقتاً طويلاً وسيكلف ثروة). بدلاً من ذلك، بنوا مصنعاً آلياً لصنع هذه الأسئلة.

لقد استخدموا حيلة ذكية تسمى "الرسم البياني" (Graph).

التشبيه: خريطة محطة القطار
تخيل خريطة محطة قطار.

المحطات (Nodes): هي الأشياء الموجودة في العالم (مثل: "كمبيوتر محمول"، "طالبة تدعى إيلارا"، "اللون الفضي").
المسارات (Edges): هي الروابط بينها (مثل: "إيلارا تدرس الاستقلال الرقمي"، "الكمبيوتر المحمول يرمز للاستقلال الرقمي").

في الطريقة القديمة، كانت بيانات تدريب الذكاء الاصطناعي تشبه كومة من عربات القطار المنفصلة التي لا تربطها مسارات. لم يكن الذكاء الاصطناعي يعرف كيفية ربطها ببعضها.

في CRIT، قام الباحثون ببناء خريطة رقمية (رسم بياني) أولاً.

الخطوة 1: يأخذون صوراً ونصوصاً حقيقية.
الخطوة 2: يحولونها إلى خريطة مهيكلة. يتأكدون من وجود "مسارات" تربط كلمة في النص بكائن في الصورة.
الخطوة 3: يستخدمون هذه الخريطة لتوليد الأسئلة تلقائياً. ولأنهم بنوا الخريطة أولاً، فهم يعرفون بالضبط المسارات التي يجب على الذكاء الاصطناعي قطعها للإجابة على السؤال.

لماذا هذا مميز؟
إذا طلبت من ذكاء اصطناعي عادي أن "يؤلف سؤالاً صعباً"، فإنه عادة ما يؤلف سؤالاً سهلاً في الواقع (لأن الذكاء الاصطناعي لديه انحياز). ولكن لأن CRIT يبني السؤال من الخريطة، فإنه يضمن أن السؤال يتطلب من الذكاء الاصطناعي القفز من النص إلى الصورة ثم إلى النص. إنه يجبر الذكاء الاصطناعي على القيام بالعمل الشاق.

3. المصنع في العمل

تصف الورقة البحثية خط تجميع مكون من ثلاث خطوات:

المخطط (The Blueprint): يأخذون الصور (مثل صور لمكتب أو إطار فيديو) ويحولونها إلى رسم بياني للأشياء.
الراوي (The Storyteller): يستخدمون ذكاءً اصطناعياً لكتابة قصة (نص) تربط هذه الأشياء ببعضها. على سبيل المثال: "الكمبيوتر المحمول في الصورة 1 هو رمز للحرية".
سيد الاختبار (The Quiz Master): يستخدمون الخريطة لطرح سؤال لا يمكن فهمه إلا إذا جمعت بين القصة والصورة.
- السؤال: "ما هو لون الشيء في الصورة الذي يرمز للمفهوم الذي تدرسه الطالبة المذكورة في النص؟"
- المسار: يجب عليك قراءة النص لمعرفة الطالبة $\leftarrow$ معرفة المفهوم $\leftarrow$ إيجاد الرمز في النص $\leftarrow$ إيجاد ذلك الرمز في الصورة $\leftarrow$ قراءة اللون.

4. النتائج: تدريب الذكاء الاصطناعي على التفكير

أخذ الباحثون مجموعة البيانات الجديدة هذه (CRIT) واستخدموها لـ "تدريب" (تعليم) عدة نماذج ذكاء اصطناعي.

قبل التدريب: كانت النماذج مثل السياح الذين يملكون خريطة ولكن بدون بوصلة. كانوا يضلون الطريق بسهولة، أو يخمنون خطأ، أو يتجاهلون نصف الأدلة.
بعد التدريب: أصبحت النماذج مثل المحققين. تعلموا:
- النظر إلى النص والصورة معاً.
- اتباع سلسلة الأدلة (multi-hop).
- التوقف عن اختلاق المعلومات.

تظهر الورقة البحثية أن النماذج التي تدربت على CRIT أصبحت أفضل بكثير في حل هذه الألغاز المعقدة. بل إنهم أصبحوا أفضل في اختبارات معيارية أخرى، مما يثبت أن تعلم "ربط النقاط" يساعدهم بشكل عام، وليس فقط في هذه اللعبة المحددة.

5. لماذا هذا مهم؟

فكر في الذكاء الاصطناعي الحالي كطالب بارع في حفظ البطاقات التعليمية ولكنه سيء جداً في حل لغز من العالم الحقيقي.

البيانات القديمة: "إليك صورة لكلب. ما هو؟" (حفظ).
بيانات CRIT: "إليك مذكرات عن كلب يدعى 'بادي' فقد طوقه. إليك ثلاث صور لحديقة. أي صورة تظهر الطوق الذي فقده بادي؟" (استدلال).

من خلال إجبار الذكاء الاصطناعي على ممارسة "حل الألغاز" هذا باستخدام مصنعهم القائم على الرسوم البيانية، يعلم الباحثون الذكاء الاصطناعي ليكون أكثر واقعية، وأقل عرضة للكذب (الهلوسة)، وأفضل في فهم العالم المعقد والمختلط حيث تتداخل النصوص والصور معاً.

باختاً: لقد صنعوا آلة تنشئ ألغاز "توصيل النقاط" للذكاء الاصطناعي، مما يجبر الذكاء الاصطناعي على تعلم كيفية ربط الكلمات بالصور عبر خطوات متعددة، مما يجعله مفكراً أكثر ذكاءً وموثوقية.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "CRIT: توليد البيانات التلقائي القائم على الرسوم البيانية لتعزيز الاستدلال متعدد الخطوات عبر الوسائط".

1. بيان المشكلة

غالبًا ما يتطلب الاستدلال في العالم الحقيقي استدلالًا متعدد الخطوات عبر الوسائط (cross-modal multi-hop reasoning)، حيث يجب على النموذج تجميع المعلومات من مصادر نصية وبصرية متداخلة (صور، فيديوهات، مخططات) للوصول إلى استنتاج. على سبيل المثال، يتطلب اتباع تعليمات "افعلها بنفسك" (DIY) ربط التعليمات النصية بخطوات بصرية محددة.

ومع ذلك، تعاني نماذج الرؤية واللغة (VLMs) الحالية والمعايير المرجعية من قصورين حرجين:

قصور المعايير المرجعية: تعتمد المعايير متعددة الوسائط الحالية (مثل MMQA و SPIQA) غالبًا على صور مفردة أو مجموعات ثابتة حيث يمكن استنتاج الإجابات من وسيط واحد فقط. وهي تفشل في فرض "التجذر عبر الوسائط" (cross-modal grounding) الحقيقي، حيث تكون النصوص والرؤية مكملة لبعضها البعض وكلاهما ضروري تمامًا.
ندرة البيانات: نادرًا ما تحتوي بيانات التدريب على محتوى نصي وصوري متداخل عالي الجودة يفرض استدلالًا متعدد الخطوات. ونتيجة لذلك، غالبًا ما تقوم نماذج (VLMs) بـ "الهلوسة" أو إنتاج مسارات استدلال غير مستندة إلى أدلة بصرية. كما أن جمع مثل هذه البيانات يدويًا مكلف للغاية، واستخدام نماذج (VLMs) لتوليد البيانات تلقائيًا غالبًا ما يؤدي إلى تحيزات دائرية ونفس أخطاء التجذر التي يسعى الباحثون لحلها.

2. المنهجية: إطار عمل CRIT

يقترح المؤلفون CRIT (الاستدلال متعدد الخطوات عبر الوسائط المتداخلة بين الصور والنصوص)، وهو مجموعة بيانات ومعيار مرجعي جديد يتم توليده عبر خط إنتاج لتوليد البيانات تلقائيًا يعتمد على الرسوم البيانية (graph-based). يتجنب خط الإنتاج هذا التوليد المباشر للأسئلة بواسطة نماذج (VLM) لتفادي الهلوسة والتحيز.

أ. بنية خط الإنتاج الأساسي

تتكون عملية التوليد من ثلاث مراحل:

بناء الرسم البياني للمحتوى متعدد الوسائط:
- يبدأ النظام من بيانات المصدر (صور مع رسوم بيانية للمشهد، أو تسميات توضيحية للفيديو، أو أوراق علمية).
- يقوم ببناء رسم بياني موجه $G=(V, E)$ حيث تمثل العقد الكيانات (أجسام بصرية أو مفاهيم نصية) وتمثل الحواف العلاقات.
- التعزيز (Augmentation): يُستخدم نموذج لغوي كبير (LLM) لتوليد كيانات وعلاقات نصية جديدة مرتبطة بالعقد البصرية. تعمل هذه كـ "جسور"، تربط الكيانات عبر صور مختلفة من خلال النص، مما يضمن احتواء الرسم البياني على مسارات معقدة ومتعددة الخطوات.
توليد السياق النصي:
- يتم استخراج رسوم بيانية فرعية لتوليد أوصاف نصية مكملة (مثل القصص، أو السيناريوهات، أو الأساليب الوثائقية).
- يصف النص العقد والارتباطات المعززة، ولكنه يستبعد عمدًا السمات البصرية التي يجب استنتاجها من الصور، مما يجبر النموذج على النظر إلى المدخلات البصرية.
توليد أزواج السؤال والجواب (QA):
- يقوم النظام بأخذ عينات من رسم بياني فرعي يمثل سلسلة من الحقائق ( $1 \le h \le 5$ خطوات).
- القيود: يجب أن تكون العقدة النهائية لسلسلة الاستدلال عبارة عن سمة بصرية أو كيان بصري. يتم توليد السؤال بحيث لا تُذكر الكيانات الوسيطة صراحةً، مما يتطلب من النموذج إجراء استدلال متعدد الخطوات لربط النص بالصورة.
- توليد سلسلة التفكير (CoT): يتم توليد مسار "سلسلة التفكير" (Chain-of-Thought) جنبًا إلى جنب مع زوج السؤال والجواب، ليربط خطوات الاستدلال بهيكل الرسم البياني بشكل صريح.

ب. مراقبة الجودة والتصفية

التصفية: تخضع أزواج (السؤال-الجواب) المولدة لعملية تصفية متعددة المراحل باستخدام نماذج لغوية كبيرة متعددة. يتم استبعاد الأسئلة إذا كان يمكن الإجابة عليها باستخدام النصوص فقط أو الصور فقط (قابلة للحل بوسيط واحد) أو إذا ذكرت خطوات الاستدلال الوسيطة صراحة.
التحقق البشري: يتم التحقق من مجموعة الاختبار يدويًا من قبل مدققين متخصصين في العلوم والتكنولوجيا (STEM) لضمان أن الاستدلال صحيح، وغير غامض، وعابر للوسائط حقًا.

ج. توسيع النطاق

تم توسيع خط الإنتاج للتعامل مع:

الفيديوهات: باستخدام تسميات توضيحية كثيفة للفيديو لبناء رسوم بيانية مشهدية زمنية.
الأوراق العلمية: تحويل المستندات الغنية بالنصوص (الأشكال، الجداول، الفقرات) إلى رسوم بيانية موحدة، مع إزالة الجمل التي تكرر المعلومات البصرية لضمان أن النص يكمل المدخلات البصرية ولا يحل محلها.

3. المساهمات الرئيسية

مجموعة بيانات CRIT: مجموعة بيانات واسعة النطاق (269 ألف زوج سؤال-جواب للتدريب، و1.6 ألف زوج للاختبار) تغطي ثلاثة مجالات: الصور الطبيعية، إطارات الفيديو، والأوراق العلمية. وهي الأولى التي تفرض بشكل منهجي الاستدلال متعدد الخطوات عبر الوسائط المتداخلة.
خط إنتاج توليد يعتمد على الرسوم البيانية: إطار عمل قابل للتوسع يستخدم الرسوم البيانية لضمان التعقيد الهيكلي والاعتماديات متعددة الخطوات، متجنبًا عيوب التوليد المباشر للأسئلة عبر نماذج (VLM).
تقييم شامل: تقييم للنماذج الرائدة (SOTA) (بما في ذلك GPT-4o وGemini وQwen وLLaVA) يكشف عن فجوات كبيرة في الأداء في الاستدلال عبر الوسائط.
أدلة القابلية للنقل: إثبات أن التدريب على CRIT يحسن الأداء ليس فقط على CRIT، بل أيضًا على معايير أخرى (SPIQA وVEGA وFCMR) وعلى المهام متعددة الوسائط العامة.

4. النتائج التجريبية

أداء النماذج الأساسية: حتى النماذج المملوكة مثل GPT-4o وGemini 2.0 Flash تؤدي بشكل ضعيف على CRIT (درجات التطابق التام EM حوالي 30-35% للصور الطبيعية، وتنخفض بشكل كبير للأوراق العلمية). وهذا يبرز صعوبة المهمة.
مكاسب الضبط الدقيق (Fine-Tuning): تظهر النماذج التي تم ضبطها بدقة على CRIT (مثل Qwen2.5-VL-7B-CRIT وIdefics2-8B-CRIT) تحسينات هائلة:
- معيار CRIT: حقق Qwen2.5-VL-7B-CRIT نسبة 58.6% EM على الصور الطبيعية (مقابل 28.3% للنموذج الأساسي)، متفوقًا على النماذج المملوكة.
- النقل عبر المجالات: أدى الضبط الدقيق على CRIT إلى تحسين الأداء على SPIQA (تضاعفت درجة METEOR من 3.60 إلى 10.53) وعلى VEGA، مما يثبت أن قدرات الاستدلال المتعلمة تعمم.
- المعايير العامة: تم الحفاظ على الأداء أو تحسينه في المعايير القياسية (MME، SeedBench، ChartQA)، مما يشير إلى عدم حدوث نسيان كارثي.
تحليل الأخطاء: نمط الفشل الأساسي للنماذج الحالية هو خطأ تحديد موقع الدليل (55%)، حيث تفشل النماذج في تحديد جزء الصورة أو النص الصحيح. وتأتي أخطاء الإدراك البصري (32%) في المرتبة الثانية، بينما تعتبر أخطاء توليد الإجابة نادرة (5%)، مما يشير إلى أن النماذج يمكنها الاستدلال جيدًا بمجرد العثور على الدليل الصحيح.

5. الأهمية والأثر

سد الفجوة: يعالج CRIT الفجوة الحرجة بين قدرات نماذج (VLMs) الحالية والاستدلال المعقد متعدد الخطوات المطلوب في سيناريوهات العالم الحقيقي (مثل التشخيص الطبي من التقارير والأشعة، أو التحليل القانوني من العقود وصور الأدلة).
توليد البيانات القابل للتوسع: تثبت الورقة أن التوليد التلقائي القائم على الرسوم البيانية هو بديل قابل للتوسع وعملي لجمع البيانات يدويًا للمهام المعقدة، بشرًا بتطبيق قيود هيكلية صارمة.
الاتجاه المستقبلي: تشير النتائج إلى أنه لتحقيق ذكاء قوي متعدد الوسائط، يجب تدريب النماذج على بيانات تفرض بصرامة الترابط بين الوسائط، بدلاً من مجرد دمجها بشكل فضفاض. يوفر CRIT الأساس والمعيار لهذا الجيل القادم من نماذج الاستدلال.