🤖 AI

UniDoc-RL: Coarse-to-Fine Visual RAG with Hierarchical Actions and Dense Rewards

يُعد UniDoc-RL إطار عمل موحداً للتعلم التعزيزي يعمل على تعزيز تقنية الـ Visual RAG من خلال صياغة عملية اكتساب المعلومات المرئية كمسألة اتخاذ قرار متسلسل ذات إجراءات هرمية ومكافآت كثيفة، مما يمكّن وكيل نماذج اللغة الكبيرة متعددة الوسائط (LVLM) من تنقيح الأدلة تدريجياً بدءاً من الاسترجاع العام للمستندات وصولاً إلى الاقتصاص الدقيق للمناطق لتحقيق استدلال معقد فائق الجودة.

المؤلفون الأصليون: Jun Wang, Shuo Tan, Zelong Sun, Tiancheng Gu, Yongle Zhao, Ziyong Feng, Kaicheng Yang, Cewu Lu

نُشر 2026-04-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jun Wang, Shuo Tan, Zelong Sun, Tiancheng Gu, Yongle Zhao, Ziyong Feng, Kaicheng Yang, Cewu Lu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق يحاول حل لغز معقد، ولكن بدلاً من ملف واحد، لديك وصول إلى مكتبة ضخمة وفوضوية تحتوي على الملايين من الكتب والرسوم البيانية والمخططات. هدفك هو العث finding قطعة الأدلة المحددة التي تجيب على سؤال صعب للغاية.

تقدم هذه الورقة البحثية UniDoc-RL، وهو "محقق خارق" جديد من الذكاء الاصطناعي مصمم للتنقل في هذه المكتبة بشكل أفضل بكثير من الإصدارات السابقة. إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:

المشكلة: "البحث الأعمى"

غالباً ما تعمل أنظمة الذكاء الاصطناعي القديمة التي تحاول حل الأسئلة البصرية (مثل قراءة رسم بياني معقد أو تقرير ممسوح ضوئياً) مثل شخص معصوب العينين ويصرخ في وسط حشد.

يطلب محرك بحث عن "وثائق حول س".
يضع المحرك كومة ضخمة من الأوراق أمامه.
يحاول الذكاء الاصطناعي قراءة كل شيء في تلك الكومة دفعة واحدة.
ولأن الكومة مليئة بالضجيج والتفاصيل غير ذات الصلة، يصاب الذكاء الاصطناعي بالارتباك، ويفقد الخيط الصغير الذي يحتاجه، ويعطي الإجابة الخاطئة.

الحل: UniDoc-RL (المحقق الذكي)

UniDoc-RL ليس مجرد ذكاء اصطناعي يقرأ؛ بل هو ذكاء اصطناعي يفكر، ويتصرف، ويتعلم مثل المحقق البشري. إنه يستخدم طريقة تدريب خاصة تسمى التعلم المعزز (Reincedment Learning) (فكر فيها كأنها لعبة فيديو يحصل فيها الذكاء الاصطناعي على نقاط مقابل الحركات الجيدة ويفقد نقاطاً مقابل الحركات السيئة).

إنه يحل المشكلة باستخدام ثلاث قدرات خارقة:

1. استراتيجية "البحث-الاختيار-الإدراك" (من العام إلى الخاص)

بدلاً من محاولة قراءة المكتبة بأكملها في وقت واحد، يلعب UniDoc-RL لعبة "التقريب التدريجي":

البحث (الشبكة): أولاً، يلقي شبكة واسعة للإمساك بقائمة عريضة من الوثائق المحتملة. الأمر يشبه إلقاء شبكة صيد في المحيط للإمساك بسرب من الأسماك.
الاختيار (الفلتر): بعد ذلك، ينظر إلى ما اصطاده ويقول: "حسناً، هذه السمكة هي قرش (غير ذات صلة)، وهذه تونة (ربما تكون مفيدة)، ولكن هذه هي السمكة الذهبية التي نحتاجها!" يقوم بتصفية الضجيج والاحتفاظ فقط بالوثيقة الأكثر صلة.
الإدراك (المكبر): أخيراً، يدرك أن السمكة الذهبية صغيرة ويصعب رؤيتها. بدلاً من التحديق في السمكة بأكملها، يستخدم عدسة مكبرة (القص والتقريب) للنظر فقط إلى الجزء المحدد أو النص الذي يحمل الإجابة.

تشبيه: تخيل البحث عن كلمة محددة في عقد مكون من 100 صفحة.

الذكاء الاصطناعي القديم: يقرأ كل كلمة في كل صفحة، يتعب، ويفقد الكلمة.
UniDoc-RL: يتصفح جدول المحتويات (بحث)، ينتقل إلى الفصل الصحيح (اختيار)، ثم يقرب (Zoom) على الفقرة المحددة لقراءة الخط الدقيق (إدراك).

2. نظام "المكافأة الكثيفة" (المدرب)

في الماضي، كان تدريب الذكاء الاصطناعي يشبه لعب لعبة لا تحصل فيها إلا على "فوز" أو "خسارة" في النهاية تماماً. إذا خسرت، لم تكن تعرف أي حركة كانت خاطئة. هل بحثت عن الشيء الخطأ؟ هل اخترت الصفحة الخطأ؟ هل اقتربت (Zoom) من المكان الخطأ؟

يقدم UniDoc-RL نظام المكافأة الكثيفة (Dense Reward). تخيل مدرباً يقف بجانب الذكاء الاصطناعي أثناء اللعبة:

"عمل جيد في العثور على الفصل الصحيح!" (مكافأة على الاختيار).
"تقريب رائع على ذلك الرسم البياني!" (مكافأة على الإدراك).
"عذراً، لقد أخطأت في تحديد الجملة ذات الصلة هناك." (عقوبة على القص السيئ).

هذا التغذية الراجعة المستمرة والخطوة بخطوة تساعد الذكاء الاصطناعي على تعلم كيف يفكر، وليس فقط ما هي الإجابة.

3. مجموعة بيانات "المعلم"

لتعليم هذا الذكاء الاصطناعي، لم يكتفِ الباحثون بإعطائه أسئلة فحسب؛ بل أنشأوا مكتبة ضخمة من الأمثلة المثالية. استخدموا "ذكاءً اصطناعياً معلماً" فائق الذكاء لمحاكاة آلاف القضايا التحقيقية، موضحين بالضبط كيفية البحث، والاختيار، والتقريب بالطريقة المثالية. ثم تدرب UniDoc-RL على هذه الأمثلة، متعلمًا من أخطائه حتى أصبح محققاً ماهراً.

النتيجة

عند اختباره على معايير صعبة (مثل قراءة الرسوم البيانية العلمية المعقدة أو الوثائق القانونية)، لم يكتفِ UniDoc-RL بكونه أفضل قليلاً؛ بل هيمن تماماً. لقد تفوق على أفضل الأنظمة السابقة بفارق هائل (بنسبة تصل إلى 17.7% أفضل).

باختصار: تعلم UniDoc-RL كيف يتوقف عن "الصراخ في وجه المكتبة بأكملها" وبدأ في "الهمس في الصفحة الصحيحة، ثم التقريب على الجملة الصحيحة". من خلال الجمع بين البحث الذكي، والفلترة الدقيقة، والتقريب النشط، بتوجيه من مدرب صارم، فإنه يحل الألغاز البصرية التي كانت تستعصي على الحواسيب.

إليك ملخص تقني مفصل لورقة البحث بعنوان "UniDoc-RL: Coarse-to-Fine Visual RAG with Hierarchical Actions and Dense Rewards".

1. بيان المشكلة

يهدف نظام التوليد المعزز بالاسترجاع البصري (Visual RAG) إلى تعزيز نماذج اللغات والرؤية الكبيرة (LVLMs) من خلال ربط استدلالها بوثائق بصرية خارجية (مثل الرسوم البيانية، التقارير الممسوحة ضوئيًا، والشرائح التقديمية). ومع ذلك، تواجه الأنظمة الحالية ثلاث عيوب حرجة:

الاسترجاع غير الدقيق: يعتمد الاسترجاع القياسي على درجات تشابه عامة تفشل في التقاط الدلالات المرتبطة بمهمة محددة، مما يؤدي إلى تضمين سياق بصري غير ذي صلة وحدوث هلوسات.
الاستخدام البصري غير الفعال: غالبًا ما تقوم النهج الحالية بتشفير الصور الكاملة بشكل سلبي، متجاهلة الطبيعة الهرمية للفهم البصري. يؤدي هذا إلى الاحتفاظ بضوضاء الخلفية الزائدة وإهدار سعة السياق، والفشل في التركيز على المناطق ذات المعلومات الكثيفة.
الإشراف المتناثر: تستخدم طرق التعلم المعزز (RL) الحالية عادةً مكافآت قائمة على النتائج المتناثرة (عند الإجابة النهائية فقط). وهذا يخلق "مشكلة تخصيص الائتمان" (credit assignment problem)، مما يجعل من الصعب تحسين القرارات الوسيطة مثل الاسترجاع، والاختيار، والقص.

2. المنهجية: UniDoc-RL

يقترح المؤلفون UniDoc-RL، وهو إطار عمل موحد للتعلم المعزز حيث يقوم وكيل (Agent) من نماذج LVLM بأداء مهام الاسترجاع، وإعادة التصنيف، والإدراك البصري النشط، والاستدلال بشكل مشترك ضمن عملية اتخاذ قرار تسلسلية واحدة.

أ. فضاء العمليات الهرمي (من الخشن إلى الدقيق - Coarse-to-Fine)

يحدد إطار العمل فضاء عمليات "البحث-الاختيار-الإدراك" لتضييق نطاق البحث تدريجيًا:

إجراء البحث (Search Action): يولد الوكيل استعلامًا نصيًا لاسترجاع مجموعة واسعة من الصور المرشحة من مستودع خارجي باستخدام محرك بحث قياسي.
إجراء الاختيار الدقيق (Precise Selection Action): يعمل نموذج LVLM كأداة لإعادة التصنيف (reranker). يقوم بتحليل المرشحين المسترجعين واختيار الصورة (أو الصور) الأكثر صلة دلاليًا باستخدام وسوم <select>. هذا يسد الفجوة بين الاسترجاع الخشن والاستدلال دقيق التفاصيل.
إجراء الإدراك البصري (Visual Perception Action): بدلاً من معالجة الصورة الكاملة، يقوم الوكيل بتحديد المواقع الرئيسية للمعلومات بنشاط. يقوم بتوليد صناديق الإحاطة (<bbox>) لقص وتكبير مناطق الاهتمام (ROIs) المحددة. هذا يحاكي الانتباه البشري، مما يزيل الحشو ويحافظ على التفاصيل عالية الدقة.

ب. آلية المكافأة الكثيفة المتعددة

لحل مشكلة تخصيص الائتمان، يقدم UniDoc-RL نظام مكافأة كثيف يوفر إشرافًا خاصًا بكل مرحلة:

مكافأة الاسترجاع ( $r_{ir}$ ): تستخدم مقياس NDCG (الكسب التراكمي المخفض المعياري) لتقييم جودة مجموعة المرشحين الأولية.
مكافأة الاختيار ( $r_{sel}$ ): تستخدم إشارة ثنائية (1 إذا كانت الصورة المختارة ذات صلة، و0 خلاف ذلك). للتعامل مع الحالات التي لا يوجد فيها حقيقة أرضية (ground truth)، يتم استخدام استراتيجية الإشراف الزائف باستخدام المرشح الأعلى ترتيبًا.
مكافأة الإدراك ( $r_{crop}$ ): تستخدم مقياس IoU (تقاطع فوق الاتحاد) بين الجزء المقصوص المتوقع والمناطق الحقيقية لتشجيع التحديد الدقيق.
مكافأة النمط ( $r_{pat}$ ): مكافأة قائمة على القواعد تضمن اتباع المخرجات للتنسيق الصحيح الشبيه بـ XML (مثل <search>, <select>, <bbox>).
مكافأة النتيجة ( $r_{ans}$ ): مكافأة قائمة على النموذج تقيم صحة الإجابة النهائية المولدة.
إجمالي المكافأة: مجموع مرجح لهذه المكونات ( $r_{total} = \sum \lambda_i r_i$ ).

ج. نموذج التدريب

الخوارزمية: يتم تحسين النموذج باستخدام تحسين السياسة النسبي للمجموعات (GRPO)، والذي يربط سلوك الوكيل بأهداف متعددة دون الحاجة إلى شبكة قيمة منفصلة.
تخليق البيانات: قام المؤلفون بتنظيم مجموعة بيانات عالية الجودة مكونة من 12,621 عينة للضبط الدقيق تحت الإشراف (SFT) و5,537 عينة للتعلم المعزز (RL). استخدموا نموذجًا معلمًا قويًا (Qwen3-VL-235B) مدمجًا مع أدوات تحليل التخطيط (MinerU) لتخليق مسارات الاستدلال مع تسميات توضيحية دقيقة للعمليات.
حلقة التفاعل: يتفاعل الوكيل بشكل متكرر مع البيئة. ومن الأهمية بمكان حقن الملاحظات البصرية (الصور المسترجعة أو الأجزاء المقصوصة) في سجل المحادثة كمدخلات "مستخدم" (User)، بما يتوافق مع توزيع التدريب المسبق للنموذج.

3. المساهمات الرئيسية

إطار عمل موحد: يعد UniDoc-RL أول إطار عمل يجمع بين الاسترجاع، وإعادة التصنيف، والإدراك البصري النشط، والاستدلال في عملية تعلم معزز واحدة لـ Visual RAG.
تصميم العمليات الهرمي: يسمح إدخال إجراءات "الاختيار الدقيق" و"الإدراك البصري النشط" للنموذج بتصفية الضوضاء والتركيز على الأدلة البصرية عالية القيمة، مما يعالج قيود التشفيد السلبي للصورة الكاملة.
نظام المكافأة الكثيفة: يوفر نظام المكافآت المتعددة إشرافًا صريحًا لكل مرحلة من مراحل خط الإنتاج، مما يحل مشكلة تخصيص الائتمان بفعالية في الاستدلال البصري متعدد الخطوات والمعقد.
مجموعة بيانات عالية الجودة: يوفر إصدار مجموعة بيانات شاملة مع تسميات توضيحية دقيقة للعمليات (بحث، اختيار، قص، إجابة) معيارًا جديدًا لأبحاث الـ Visual RAG القائمة على التعلم المعزز.

4. النتائج التجريبية

تم تقييم النموذج على ثلاثة اختبارات تحدي: SlideVQA، و ViDoSeek، و MMLongBench.

الأداء: تفوق UniDoc-RL باستمرار على النماذج المرجعية (baselines) المتطورة، بما في ذلك Vanilla RAG، و ReAct، و Search-R1، والمنهج السابق القائم على التعلم المعزز VRAG-RL.
- في نموذج 3 مليار معلمة، حقق UniDoc-RL تحسنًا بنسبة 17.5% مقارنة بـ VRAG-RL.
- في نموذج 7 مليار معلمة، حقق تحسنًا بنسبة 17.7%.
دراسات الاستئصال (Ablation Studies):
- أدى حذف إجراء الاختيار (Selection) إلى إضعاف الأداء بشكل كبير في المهام التي تتطلب استدلالًا كثيفًا (SlideVQA, ViDoSeek)، مما يثبت دوره في جودة السياق.
- أدى حذف إجراء الإدراك البصري (Visual Perception) إلى أكبر تأثير سلبي على MMLongBench، مما يؤكد ضرورته للتمييز البصري دقيق التفاصيل.
- أظهر نظام المكافأة الكثيفة المتعددة تفوقًا على المكافآت المتناثرة القائمة على النتيجة فقط، مما منع انتشار الخطأ في الخطوات الوسيطة.
التحليل النوعي: حول التدريب بالتعلم المعزز (RL) النموذج من قارئ سلبي (في مرحلة SFT) كان غالبًا ما يقص صورًا كاملة أو خلفيات غير ذات صلة، إلى وكيل نشط يقص بدقة مناطق محددة من الرسوم البيانية أو خلايا الجداول لاستخراج الإجابات.

5. الأهمية

يمثل UniDoc-RL تقدمًا مهمًا في الاستدلال متعدد الوسائط من خلال معاملة الحصول على المعلومات البصرية كعملية اتخاذ قرار نشطة ومتسلسلة وليس كمهمة استرجاع ثابتة. من خلال الجمع بين العمليات الهرمية والمكافآت الكثيفة، فإنه يثبت أن نماذج LVLM يمكنها تعلم "النظر" إلى الوثائق بشكل يشبه البشر تمامًا — عبر تصفية الضوضاء، واختيار الصفحات ذات الصلة، والتركيز (Zooming) على التفاصيل الحرجة. يضع هذا النهج معيارًا جديدًا لأنظمة Visual RAG، مقدمًا حلًا قويًا لمهام فهم المستندات المعقدة حيث تكون الدقة وإدارة السياق أمرًا بالغ الأهمية.