🤖 AI

Internalized Reasoning for Long-Context Visual Document Understanding

تقدم هذه الورقة البحثية مساراً لبيانات اصطناعية يقوم بتوليد واستيعاب آثار الاستدلال لفهم الوثائق المرئية ذات السياق الطويل عبر دمج النماذج منخفض القوة، مما يمكّن النماذج الأصغر مثل Qwen3 VL 32B من التفوق بشكل كبير على نظيراتها الأكبر حجماً مع تقليل استخدام الرموز المخرجة بشكل جذري.

المؤلفون الأصليون: Austin Veselka

نُشر 2026-04-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Austin Veselka

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: عبء "مكتبة الإسكندرية"

تخيل أنك محقق تحاول حل لغز، لكن الأدلة مخبأة داخل مكتبة تحتوي على 100,000 كتاب. وقد أُعطيت سؤالاً محدداً، مثل: "من سرق الكعكة؟"

إذا حاولت قراءة كل كتاب من غلافه إلى غلافه لتجد الإجابة، فستصاب بالإرهاق والارتباك، ومن المرجح أن تفوتك الدليل لأنه ضاع وسط كل هذا الضجيج. هذه هي مشكلة فهم المستندات المرئية ذات السياق الطويل (Long-Context Visual Document Understanding). الحواسيب (نماذج الذكاء الاصطناعي) بارعة في قراءة الملاحظات القصيرة، ولكن عندما تعطيها عقداً قانونياً من 300 صفحة أو مجلة علمية، فإنها غالباً ما "تضيع في المنتصف" أو تكتفي بالتخمين لأنها لا تستطيع معالجة الشيء بأكمله دفعة واحدة.

الطريقة القديمة مقابل الطريقة الجديدة

الطريقة القديمة (نهج "القوة الغاشمة"):
سابقاً، لجعل الذكاء الاصطناعي أكثر ذكاءً في قراءة المستندات الطويلة، كان الباحثون يقومون ببساطة بجعل الذكاء الاصطناعي أكبر (مثل إعطاء المحقق دماغاً أكبر). ولكن حتى أكبر نماذج الذكاء الاصطناعي كانت تعاني. لقد كانت مثل عملاق يمكنه القراءة بسرعة ولكنه لا يعرف كيف يفكر؛ كان يكتفي بمسح النص ضوئياً ويأمل في الأفضل.

الطريقة الجديدة (نهج "المحقق الذكي"):
تقدم هذه الورقة البحثية طريقة جديدة تسمى التفكير الداخلي (Internalized Reasoning). بدلاً من مجرد جعل الذكاء الاصطناعي أكبر، قاموا بتعليمه كيف يفكر قبل أن يجيب.

فكر في الأمر كتعليم طالب كيفية تدوين الملاحظات قبل كتابة المقال:

التدريب: أنشأ الباحثون مجموعة تدريب "وهمية" حيث كان على الذكاء الاصطناعي أن يتصرف كمحقق.
- الخطوة 1: نظر إلى كل صفحة من المستند.
- الخطوة 2: أعطى كل صفحة "درجة صلة" (مثل درجة من 0 إلى 10). "هذه الصفحة مملة (1/10)." "هذه الصفحة تحتوي على الإجابة (9/10)."
- الخطوة 3: تخلص من الصفحات المملة واحتفظ فقط بأكثر 24 صفحة أهمية.
- الخطوة 4: كتب "عملية تفكيره" (الأدلة) ثم أعطى الإجابة النهائية.

الخدعة السحرية: "استيعاب" التفكير داخلياً

هذا هو الجزء الأروع. عادةً، عندما "يفكر" الذكال الاصطناعي، يتعين عليه إخراج كل تلك الملاحظات والحسابات على الشاشة قبل إعطاء الإجابة، وهذا يستغرق وقتاً طويلاً ويستهلك الكثير من قدرة الحاسوب.

أراد الباحثون أن يجعلوا الذكاء الاصطناعي يحتفظ بالتفكير داخل رأسه.

استخدموا تقنية تسمى دمج النماذج (Model Merging). تخيل أن لديك نسختين من شخصية ما:

النسخة (أ): محقق يتحدث إلى نفسه باستمرار أثناء حل الجرائم.
النسخة (ب): محقق يحل الجرائم فوراً دون قول كلمة واحدة.

لقد مزجوا هاتين النسختين معاً (دمج رياضياً) لكنهم أبقوا على هذا "المزيج" خفيفاً جداً. والنتييجة؟ تعلم الذكاء الاصطناعي منطق المحقق (كيف يجد الصفحات الصحيحة) ولكنه توقف عن قول الأفكار بصوت عالٍ.

النتيجة:

قبل: كان الذكاء الاصطناعي يقول: "أنا أنظر إلى الصفحة 1... غير ذات صلة. الصفحة 2... غير ذات صلة. الصفحة 3... آه! ها هي الإجابة." (هذا يستغرق وقتاً طويلاً جداً).
بعد: ينظر الذكاء الاصطناعي إلى المستند، "يعرف" فوراً الصفحات المهمة، ويقول: "الإجابة هي 59." (هذا يحدث فوراً).

إنه يشبه طباخاً ماهراً كان يقول سابقاً: "أنا أقطع البصل، الآن أسخن المقلاة..." ولكنه الآن يطبخ الوجبة ببراعة في صمت. المهارة أصبحت مستوعبة داخلياً.

لماذا يهم هذا الأمر؟

السرعة والكفاءة: الذكاء الاصطناعي الجديد أسرع بـ 12 مرة في إخراج الإجابات لأنه لا يضيع الوقت في كتابة أفكاره.
أذكى من العمالقة: قاموا بتدريب ذكاء اصطناعي صغير نسبياً (32 مليار معلمة) باستخدام هذه الطريقة، وهزم الذكاء الاصطناعي "العملاق" (235 مليار معلمة) في قراءة المستندات الطويلة. إنه يشبه طالباً ذكياً في المدرسة الثانوية يهزم طالب دكتوراه لأن الطالب يعرف فعلياً كيف يذاكر، بينما طالب الدكتوراه لديه فقط ذاكرة أكبر.
مفتاح التشغيل/الإيقاف: بنوا "رمز تحكم" (مفتاح سري). إذا قمت بقلب المفتاح، يبدأ الذكاء الاصطناعي في التحدث بصوت عالٍ مرة أخرى (يظهر عمله). إذا قمت بإيقافه، يظل صامتاً لكنه لا يزال يفكر. هذا يثبت أن القدرة على التفكير موجودة بالفعل داخل النموذج، وليست مجرد خدعة في صياغة الأوامر (Prompt).

درس التصميم من "الأثر" (Trace)

وجدت الورقة البحثية أيضاً أن كيفية تعليم الذكاء الاصطرا_ي التفكير أمر بالغ الأهمية.

التصميم السيئ (v1): علموا الذكاء الاصطناعي أن يفحص كل صفحة بالترتيب، حتى المملة منها. أصيب الذكاء الاصطناعي بالارتباك واستمر في الدوران في حلقة مفرغة، يفحص صفحات غير موجودة.
التصميم الجيد (v2): علموا الذكاء الاصطناعي أن يفحص فقط أكثر 24 صفحة صلة. أوقف هذا التصميم الارتباك وجعل الذكاء الاصطناعي أكثر ذكاءً بكثير.

الملخص

تتعلق هذه الورقة البحثية بتعليم الذكاء الاصطناعي ليكون أميناً ذكياً للمكتبة بدلاً من أن يكون ماسحاً ضوئياً بلا عقل. من خلال تدريبه على تصفية الضجيج، والتركيز على الأجزاء المهمة، ثم "استيعاب" عملية التفكير هذه داخلياً، صنعوا نموذجاً أسرع، وأرخص في التشغيل، وأذكى بشكل مفاجئ من النماذج الأكبر بكثير. إنهم يثبتون أنه بالنسبة للمهام المعقدة مثل قراءة المستندات الطويلة، فإن كيفية تفكيرك هي أهم من حجم دماغك.

إليك ملخص تقني مفصل لورقة البحث بعنوان "الاستدلال الداخلي لفهم المستندات البصرية ذات السياق الطويل" (Internalized Reasoning for Long-Context Visual Document Understanding).

1. بيان المشكلة

يعد فهم المستندات البصرية ذات السياق الطويل (LC) أمراً بالغ الأهمية للتطبيقات المؤسسية والقانونية والعلمية، ولكنه لا يزال يمثل تحدياً كبيراً. وبينما أظهرت النماذج اللغوية الكبيرة (LLMs) قفزات في الأداء عبر الاستدلال (مثل سلسلة الأفكق - Chain-of-Thought) في الرياضيات والبرمجة، إلا أن هذه القدرة لم تُنقل بفعالية إلى نماذج اللغة البصرية (VLMs) ذات السياق الطويل.

الفجوة: تعاني نماذج الرؤية واللغة (VLMs) مفتوحة الأوزان الحالية (حتى الضخمة منها مثل Qwen3 VL 235B) من صعوبة في التعامل مع المستندات التي تمتد لمئات الصفحات. وغالباً ما تفشل نسخ "التفكير" (Thinking) من هذه النماذج في تحسين درجات فهم المستندات مقارنة بنظيراتها من نوع "التعليمات" (Instruct).
القصور: تفتقر النهج الحالية إلى مكافآت عالية الإشارة (مثل الإجابات الرياضية القابلة للتحقق) لتدريب الاستدلال، مما يؤدي إلى الاعتماد على الضبط الدقيق غير القائم على الاستدلال (SFT)، والذي غالباً ما يؤدي إلى "تعفن السياق" (context rot) أو تأثير "الضياع في المنتصف" (lost-in-the-middle).
الهدف: تطوير طريقة تمكن نماذج VLMs من إجراء استدلال مهيكل ومتعدد الخطوات (multi-hop) عبر مستندات طويلة، والأهم من ذلك، تذويت (internalize) هذا الاستدلال بحيث يحدث ضمنياً دون العبء الإضافي للرموز (tokens) الناتج عن تتبع "التفكير" الصريح أثناء الاستدلال.

2. المنهجية

يقترح المؤلفون خط إنتاج بيانات اصطناعية مصمم لتوليد مسارات استدلال مهيكلة، والتي تُستخدم بعد ذلك لتدريب النماذج عبر الضبط الدقيق الخاضع للإشراف (SFT) ودمج النماذج (Model Merging).

أ. خط إنتاج الاستدلال الاصطناعي

يقوم خط الإنتاج بتوليد أمثلة تدريب في مرحلتين:

استخراج الأدلة وتقييم الصلة:
- يقوم نموذج VLM مستخرج (Qwen3 VL 32B) بمعالجة كل صفحة من المستند بشكل مستقل مقابل سؤال معين.
- يستخرج النموذج مقتطفات من الأدلة باللغة الطبيعية ويخصص لها درجة صلة (من 0 إلى 10).
- الاختيار المحدود لأعلى K (Bounded Top-K Selection): بدلاً من معالجة المستند بأكمله بالتتابع، يختار خط الإنتاج فقط أعلى $K$ من الصفحات/المقتطفات الأكثر صلة (الافتراضي هو 24)، مرتبة حسب الصلة. وهذا يتجنب نمط الفشل "التكراري" (looping) الذي يُلاحظ في عمليات المسح المتسلسلة الساذجة.
توليد الإجابة (فرع مزدوج):
- الفرع البصري: يجيب نموذج معلم قوي (Qwen3 VL 235B) باستخدام صور أعلى $K$ من الصفحات فقط.
- الفرع النصي: يجيب نموذج لغوي معلم قوي (Qwen3 235B) باستخدام أدلة النصوص المستخرجة فقط.
- يتم سحب بيانات التدريب بالتساوي من كلا الفرعين لضمان تعلم النموذج ربط الإجابات بالأدلة البصرية والنصية معاً.

ب. تصميم المسار (الإصدار 1 مقابل الإصدار 2)

v1 (الساذج): تضمن جميع الصفحات بالترتيب، مع تحديد الصفحات غير ذات الصلة. تسبب هذا في تعلم النماذج لنمط مسح متسلسل مرضي، مما جعلها تدخل في حلقات تكرارية لا نهائية أثناء الاستدلال.
v2 (المحدود): يتضمن فقط أعلى $K$ من الصفحات ذات الصلة، مرتبة حسب الصلة. هذا يعلم النموذج خوارزمية نهائية قائمة على الاسترجاع: "رتب، انتبه، توقف".

ج. التذويت عبر دمج النماذج

لجعل الاستدلال "مذوّتاً" (ضمنياً) بدلاً من كونه صريحاً:

رمز التحكم (Control Token): تتضمن أمثلة التدريب رمز <cot>. في 95% من الحالات، يرى النموذج مسار الاستدلال داخل وسوم <thinking>؛ وفي 5% من الحالات، يرى الإجابة فقط. هذا يسمح للنموذج بالتبديل بين أوضاع الاستدلال أثناء الاستدلال.
حساب المهام (Task Arithmetic - دمج النماذج): يتم إنشاء النموذج النهائي عن طريق دمج أوزان النموذج المدرب بـ SFT مع أوزان النموذج الأساسي المضبط بالتعليمات:
$\theta_{merged} = \theta_{base} + \alpha \cdot (\theta_{SFT} - \theta_{base})$
الدمج منخفض القوة ( $\alpha = 0.25$ ): وجد المؤلفون أن قوة الدمج المنخفضة تسمح للنموذج بـ تذويت قدرة الاستدلال. يحقق النموذج أداءً عالياً دون توليد رموز <thinking> صريحة، مما يحافظ على أطوال المخرجات مقاربة للنماذج غير القائمة على الاستدلال.
الدمج عالي القوة ( $\alpha = 0.5$ ): يؤدي إلى استدلال صريح مع عبء هائل في عدد الرموز (12.4 ضعف عدد الرموز).

3. المساهمات الرئيسية

خط إنتاج الاستدلال الاصطناعي: طريقة مبتكرة لتوليد مسارات استدلال مهيكلة ومرتبة حسب الصلة لمهام السؤال والجواب البصرية (VQA) ذات السياق الطويل.
الاستدلال المذوّت (Internalized Reasoning): إثبات أنه يمكن ضغط الاستدلال داخل أوزان النموذج عبر الدمج منخفض القوة، مما يسمح للنموذج بـ "التفكير" ضمنياً دون التكلفة الزمنية أو تكلفة الرموز المرتبطة بالاستدلال الصريح.
التحكم في وقت الاستدلال: إظهار أن رمز التحكم <cot> يسمح للمستخدمين بالتبديل بين "وضع الاستدلال" و"وضع الإجابة المباشرة" أثناء الاستخدام، مما يثبت أن القدرة نشطة وقابلة للتحكم.
التفوق على التقطير (Distillation): إثبات أن مساراتهم الاصطناعية المهيكلة تتفوق على التقطير من نماذج "التفكير" الحالية (مثل Qwen3 VL 235B Thinking)، مما يسلط الضలు على أن تصميم المسار هو الأكثر أهمية من مجرد وجود الاستدلال.

4. النتائج التجريبية

قام المؤلفون بتقييم Qwen3 VL 32B و Mistral Small 3.1 24B عبر اختبارات مثل MMLongBenchDoc (MMLBD) و MMLBD-C.

أداء رائد (State-of-the-Art):
- حقق Qwen3 VL 32B درجة 58.3 في MMLongBenchDoc، متفوقاً على النموذج الأكبر بـ 7 أضعاف Qwen3 VL 235B A22B (الذي سجل 57.0) وعلى نسخة التفكير Qwen3 VL 235B Thinking (التي سجلت 56.2).
- أظهر Mistral 24B تحسناً نسبياً بنسبة 19% عن نموذجه الأساسي في MMLBD-C.
الكفاءة (التذويت):
- حقق النموذج المذوّت ( $\alpha=0.25$ ) أداءً مقارباً لنموذج الاستدلال الصريح ( $\alpha=0.5$ ) ولكن مع 12.4 ضعف أقل من رموز المخرات (على سبيل المثال: 250 رمزاً مقابل 1637 رمزاً لـ Qwen).
- أدى حذف رمز <cot> عند الاستدلال إلى انخفاض الأداء بمقدار 3.8 نقطة (Qwen) و2.1 نقطة (Mistral)، مما يؤكد أن قدرة الاستدلال نشطة حتى عندما لا يتم إخراجها صراحة.
تأثير تصميم المسار:
- تفوق تصميم المسار v2 (المحدود والمرتب حسب الصلة) بشكل كبير على v1 (المسح المتسلسل)، مما قضى على الحلقات اللانهائية وحسن الدقة بنحو 4 نقاط في Mistral.

5. الأهمية

سد فجوة الاستدلال: يوضح هذا العمل أن الاستدلال المهيكل ضروري لفهم المستندات الطويلة، حتى في المجالات التي تفتقر إلى مكافآت قابلة للتحقق مثل الرياضيات.
الكفاءة مقابل الأداء: يحل هذا العمل المقايضة بين جودة الاستدلال وتكلفة الاستدلال. من خلال تذويت الاستدلال، يمكن للنماذج أداء مهام معقدة متعددة الخطوات دون التأخير الهائل والتكلفة المرتبطة بتوليد مسارات "تفكير" طويلة.
القابلية للتوسع: تسمح هذه الطريقة للنماذج الأصغر (32B) بالتفوق على النماذج الأكبر بكثير (235B)، مما يشير إلى أن جودة البيانات وهيكل الاستدلال أكثر أهمية من مجرد عدد المعلمات لهذا المجال تحديداً.
قابلية التكرار: يطلق المؤلفون خط إنتاج البيانات الاصطناعية الخاص بهم، مما يتيح المزيد من الأبحاث حول الاستدلال المهيكل لنماذج VLMs.

في الختام، تثبت الورقة أن الاستدلال الاصطناعي المهيكل، عندما يتم تذويته عبر دمج النماذج، يخلق قدرة فعالة للغاية وقوية لفهم المستندات البصرية ذات السياق الطويل، متفوقاً على كل من النماذج الأكبر ونماذج "التفكير" الحالية.