ملخص تقني: شبكة التدفق الإدراكي (Perceptual Flow Network) للاستدلال المرتكز بصرياً

بيان المشكلة

حققت نماذج الرؤية واللغة الكبيرة (LVLMs) أداءً ملحوظمًا عبر مهام بصرية متنوعة، لكنها لا تزال تعاني من الهلوسة والافتقار إلى القابلية للتفسير، لا سيما في السيناريوهات المعقدة والدقيقة. وبينما تحاول النهج الحديثة التخفيف من ذلك عبر استخلاص الأولويات الهندسية من الخبراء البصريين (مثل كاشفات الأشياء مثل GroundingDINO) عبر التعلم التعزيزي بالمكافأة القابلة للتحقق (RLVR)، حدد المؤلفون قيداً حرجاً وهو: الإشراف دون الأمثل (suboptimal supervision).

يجادل البحث بأن الخبراء البصريين مُحسَّنون من أجل الدقة الهندسية الصارمة (التوطين/Localization)، بينما تتطلب نماذج (LVLMs) المنفعة الاستدلالية. إن محاذاة مسارات الاستدلال في (LVLMs) بشكل صارم مع هذه الأولويات الخبيرة يؤدي إلى تأثير "الرؤية النفقية" (tunnel vision)، مما يستبعد السياق الضروري ويقلل من أداء الاستدلال. وتُظهر الدراسات الأولية أن الأولويات الأكثر دقة هندسياً (تعليقات الخبراء) ليست بالضرورة هي الأكثر فائدة للاستدلال، كما أن التحويلات الاستدلالية لتقريب "الأدلة الذهبية" غير قابلة للحل بسبب التباين الخاص بكل حالة.

المنهجية: شبكة التدفق الإدراكي (PFlowNet)

تقترح PFlowNet إطار عمل يفصل بين الإدراك والاستدلال لتحقيق استدلال بصري ذاتي الشرط ومفسر دون محاذاة صارمة مع الأولويات الهندسية الثابتة. الابتكار الجوهري هو التدفق الإدراكي (Perceptual Flow)، وهو مسار كامن مهيكل يوضح الأفكار البصرية.

1. صياغة التدفق الإدراكي

يولد النموذج مساراً مهيكلاً $Z = (z_0 \to z_1 \dots z_K)$ يتكون من:

• حالة التخطيط ($z_0$): تسلسل لغوي (محاط بـ <analyze> و </analyze>) يقوم بتفكيك الاستعلام وتحديد المرشحات البصرية ذات الصلة.
• الحالات الإدراكية ($z_{\ge 1}$): سلسلة من الملاحظات الموطنة (محاطة بـ <localize> و </localize>)، حيث تتكون كل حالة $z_k$ من منطقة اهتمام (RoI) $r_k$ ووصف نصي $c_k$.

2. الإطار المفكك

تفصل PFlowNet بين تحسين السلوكيات الإدراكية وعملية الاستدلال. وهي تستخدم توزيعاً تباينياً ذاتي المعلمات $p_\theta(Z|X)$ لتقريب التوزيع اللاحق للسلوكيات الإدراكية المثالية. يتم تحليل التوزيع المشترك كالتالي:
$$p_\theta(Y, Z | X) = p_\theta(Z | X) p_\theta(Y | Z, \langle X, I_{RoI} \rangle)$$
يسمح هذا للنموذج بأخذ عينة من تدفق إدراكي $Z$ ثم إجراء توليد ذاتي الشرط تلقائي الترتيب (self-conditioned autoregressive generation) للإجابة النهائية $Y$، باستخدام التدفق والميزات البصرية المكبرة المقابلة كـ سياق.

3. التعلم التعزيزي المتغير للضبط الدقيق (Variational RFT)

لتحسين التوزيع التبايني، تقدم PFlowNet استراتيجية Variational RFT تعتمد على هدف هرمي مشتق من توازن المسار الفرعي (Sub-Trajectory Balance - SubTB). يوفر هذا إشرافاً وسيطاً كثيفاً لتسهيل السلوكيات الإدراكية المتنوعة. يتم تحسين الهدف بواسطة دالة مكافأة متعددة الأبعاد ومخطط تشكيل هندسي مجاور (vicinal geometric shaping):

• المكافأة متعددة الأبعاد ($R$): تجمع بين الجودة (Quality) والفعالية (Efficacy).
  • الجودة: حد تبايني $p^+_\phi(z_i) / p^-_\phi(z_i)$ يشجع الأوصاف النصية على أن تكون محددة دلالياً للأدلة المكبرة ($I_{r_i}$) بدلاً من السياق المحيط ($I \setminus I_{r_i}$)، مما يستخلص المعلومات المميزة بفعالية.
  • الفعالية: تقيس مقدار كسب المعلومات الذي يوفره التدفق لاستحثاث الاستجابة المستهدفة $Y$، من خلال تعظيم $\log p_\phi(Y | Z, X)$.
• التشكيل الهندسي المجاور: لمنع الاستكشاف المفرط في المناطق غير الصالحة مع تجنب انحياز المحاذاة الصارمة للخبير، يتم وزن المكافأة بمصطلح طاقة $\omega_\lambda$. هذا المصطلح يعاقب المسارات التي تنحرف بشكل كبير عن أولوية الخبير $E$ (المحددة بمسافة Chamfer-IoU قدرها $\varepsilon$) ولكنه يسمح بالاستكشاف ضمن "جوار" $B_\varepsilon(E)$. هذا يوازن بين الحاجة إلى الاستكشاف الموجه للاستدلال وبين الموثوقية البصرية.

4. خط أنابيب التدريب

• تنسيق البيانات: يقوم خط أنابيب بتخليق مسارات دقيقة باستخدام نماذج المعلم (مثل GPT-4o، Gemini) على بيانات ذات مناطق اهتمام (RoIs) موسعة عشوائياً لتقليل الانحياز الاستقرائي.
• البداية الباردة (Cold Start): يقوم الضبط الدقيق الخاضع للإشراف (SFT) بتهيئة السياسة لتوليد التدفقات الإدراكية.
• RFT: يقوم التعلم التعزيزي المتغير للضبط الدقيق بتحسين السياسة باستخدام الهدف المشتق وتشكيل المكافأة.

المساهمات الرئيسية

1. شبكة التدفق الإدراكي (PFlowNet): إطار عمل مبتكر يفصل بين الإدراك والاستدلال، مستخدماً مساراً كامناً مهيكلاً (التدفق الإدراكي) لتمكين الاستدلال البصري ذاتي الشرط والقابل للتفسير.
2. التعلم التعزيزي المتغير للضبط الدقيق (Variational RFT): استراتيجية تدريب تدمج مكافأة متعددة الأبعاد (الجودة + الفعالية) مع التشكيل الهندسي المجاور. يتجنب هذا النهج انحياز المحاذاة الصارمة مع الخبير مع ضمان الموثوقية البصرية.
3. الضمانات النظرية: يقدم البحث تحليلاً نظرياً يثبت وجود ضمان أداء؛ حيث يوضح أن حد مسافة التباين الكلي (Total Variation) لـ PFlowNet تجاه التوزيع اللاحق المستهدف هو أضيق بشكل صارم من تقدير الاحتمال الأقصى (MLE) القياسي وRLVR الموجه بالخبير تحت ظروف محددة (النظرية 3.1 و3.4).
4. التفوق التجريبي: تُظهر التجار𝓷ات الواسعة أن PFlowNet تحقق أرقاماً قياسية جديدة (SOTA) في العديد من الاختبارات المرجعية، لا سيما في المهام الدقيقة والمكثفة استدلالياً.

النتائج التجريبية

تم تقييم PFlowNet (التي تم تهيئتها من Qwen3-VL-8B) على 15 اختباراً مرجعياً، وأظهرت تحسينات كبيرة:

• الأداء العام: حققت تحسناً بنسبة 10.4% في TreeBench و 18.4% في MME-RealWorld-Lite مقارنة بالنموذج الأساسي.
• المهام الدقيقة: سجلت أرقاماً قياسية جديدة في V Bench (90.6%)*، و HR-Bench، و ScreenSpot، متفوقة على نماذج (LVLMs) العامة ونماذج الاستدلال المرتكز الموطنة المتخصصة (مثل TreeVGR و DeepEyes).
• الكفاءة: رغم عملية المرحلتين، تحقق PFlowNet توازناً فائقاً بين الأداء والكفاءة مقارنة بالأطر الوكيلة (التي تعاني من زمن انتقال عالٍ) ونماذج الإدراك والاستدلال المزدوجة.
• توسع وقت الاختبار (Test-Time Scaling): على عكس طرق RLVR الصارمة التي تظهر انهيار النمط (تقدم ضئيلاً مع زيادة ميزانية أخذ العينات)، تُظهر PFlowNet قدرات قوية للتوسع في وقت الاختبار بفضل توزيع مبرراتها المتنوع.

الأهمية والادعاءات

يدعي البحث أن PFlowNet تعالج عدم التطابق الجوهري بين مبادئ تصميم الخبراء البصريين (الدقة الهندسية) ونماذج (LVLMs) (المنفعة الاستدلالية). من خلال تجنب المحاذاة الصارمة لصالح عملية توليد ذاتية الشرط موجهة بـ مكافأة موجهة للاستدلال و تشكيل هندسي مجاور، تحقق PFlowNet ما يلي:

• القابلية للتفسير: يربط التدفق المهيكل الاستدلال بالأدلة البصرية بشكل صريح.
• الموثوقية: يضمن التشكيل المجاور استكشاف السلوكيات الفعالة دون الانجراف نحو هلوسات غير صالحة.
• القابلية للتوسع: أثبت الإطار فعاليته عبر مقاييس نماذج مختلفة (من 4B إلى 32B) ويوفر تحسيناً نظرياً مثبتاً على الخطوط المرجعية الحالية.

يخلص المؤلفون إلى أن PFlowNet تقدم حلاً قوياً للاستدلال المرتكز بصرياً، حيث توازن بين الحاجة إلى توطين بصري دقيق والمرونة المطلوبة لمهام الاستدلال المعقدة.