🤖 AI

Prefix-Adaptive Block Diffusion for Efficient Document Recognition

تقترح هذه الورقة نموذج انتشار الكتل المتكيف مع البادئة (PA-BDM)، الذي يعزز التعرف الفعال على المستندات من خلال استبدال حدود الكتل الثابتة بالتزام بادئة ديناميكي وإزالة ضجيج سببي لحل عدم اتساق تدفق المعلومات، مما يحقق دقة فائقة وزيادة بنسبة 71.6% في إنتاجية الاستدلال مقارنة بالنماذج الحالية.

المؤلفون الأصليون: Mingxu Chai, Ziyu Shen, Chenyu Liu, Kaidi Zhang, Jiazheng Zhang, Dingwei Zhu, Zhiheng Xi, Ruoyu Chen, Jun Long, Jihua Kang, Tao Gui, Qi Zhang

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mingxu Chai, Ziyu Shen, Chenyu Liu, Kaidi Zhang, Jiazheng Zhang, Dingwei Zhu, Zhiheng Xi, Ruoyu Chen, Jun Long, Jihua Kang, Tao Gui, Qi Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول نسخ صيغة رياضية معقدة مكتوبة بخط اليد أو جدول كثيف من صورة مستند إلى تنسيق يمكن للحاسوب قراءته.

الطريقة القديمة (مشكلة "الكتلة الجامدة")
فكر في نماذج الذكاء الاصطناعي الحالية الفعالة (المسماة نماذج الانتشار الكتلي - Block Diffusion Models) كفريق من النساخ يعملون بنظام المناوبات. يقومون بتقسيم الصفحة إلى أجزاء ثابتة الحجم، لنقل 32 كلمة في كل مرة.

عنق الزجاجة: هم يعملون على جميع الكلمات الـ 32 في وقت واحد (وهذا سريع)، لكن لا يمكنهم حفظ تقدمهم أو "تثبيت" أي من هذه الكلمات حتى تنتهي الـ 32 كلمة بالكامل.
الارتباك: داخل تلك الكتلة، يمكن للنساخ النظر إلى عمل بعضهم البعض من اليسار إلى اليمين ومن اليمين إلى اليسار. وبينما يبدو هذا مفيداً، فإنه يخلق فوضى عند الانتقال إلى الكتلة التالية. فالكتلة التالية لا تعرف سوى ما سبقها (من اليسار إلى اليمين)، بينما كانت الكتلة السابقة مزيجاً مختلطاً من الاتجاهات. هذا التضارب يجعل من الصعب ضبط هيكل أشياء مثل الصيغ الرياضية أو الجداول.
الهدر: مع انتهاء العمل على الكلمات داخل الكتلة، يتباطأ العمل "المتوازي" لأن عدد الكلمات المتبقية للتخمين يقل. الأمر يشبه خط تجميع في مصنع يتوقف عن كونه فعالاً بمجرد تصنيع نصف المنتجات.

الحل الجديد: PA-BDM (النسّاخ المتكيف)
يقترح المؤلفون طريقة جديدة تسمى الانتشار الكتلي المتكيف مع البادئة (PA-BDM). إليك كيف يغير قواعد اللعبة باستخدام تشبيهات بسيطة:

1. "نطاق المرشح" مقابل "الصندوق الثابت"

بدلاً من التعامل مع كتلة من 32 كلمة كصندوق صلب يجب ملؤه بالكامل قبل الانتقال، يتعامل PA-BDM معها كـ نطاق مرشح أقصى.

التشبيه: تخيل أنك تملأ دلواً بالماء. الطريقة القديمة تقول: "يجب عليك ملء الدلو بالكامل قبل صب أي ماء في خزان التخزين". أما PA-BDM فيقول: "املأ الدلو قدر المستطاع، وبمجرد التأكد من أن كوباً من الماء نظيف وآمن، صبه في خزان التخزين فوراً".
النتيجة: لا ينتظر الذكاء الاصطناعي انتهاء الكتلة بأكملها. بل يأخذ الجزء "الموثوق" (البادئة) ويحفظه فوراً.

2. التدفق السببي (الـ "شارع ذو اتجاه واحد")

كانت الطريقة القديمة تسمح للنساخ بالنظر للخلف وللأمام داخل الكتلة، مما أربك ترتيب الأشياء. يفرض PA-BDM على الجميع النظر للأمام فقط (من اليسار إلى اليمين)، تماماً مثل قراءة كتاب.

التشبيه: في النظام القديم، كان بإمكان النساخ في منتصف الجملة استراق النظر إلى نهاية الجملة لتخمين المنتصف. نجح هذا في الدردشة العادية ولكنه فشل في الهياكل الصارمة مثل المعادلات الرياضية حيث الترتيب مهم. يفرض PA-BDM قاعدة "الشارع ذو الاتجاه الواحد" الصارمة، مما يضمن تعلم الذكاء الاصطنا الرئيسي التسلسل الصحيح في كل مرة.

3. الالتزام التدريجي بالبادئة (PPC) – (ـ "فحص الثقة")

هذا هو المحرك الخاص بالنظام الجديد. بينما يخمن الذكاء الاصطناعي المجموعة التالية من الكلمات، فإنه يتحقق من درجة ثقته بنفسه.

كيف يعمل: إذا كان الذكاء الاصطناعي متأكداً بنسبة 99% من أول 10 كلمات من كتلة مكونة من 32 كلمة، فإنه "يلتزم" (يثبت) تلك الكلمات العشر فوراً. ثم يتخلص من التخمينات الـ 22 المتبقية ويبدأ دفعة جديدة من 32 تخميناً بناءً على تلك الكلمات العشر المثبتة.
الفائدة: هذا يعيد ضبط "المساحة المتوازية". بدلاً من العمل على قائمة متناقصة من 22، ثم 10، ثم 5 كلمات، يحصل الذكاء الاصطناعي على مجموعة كاملة وجديدة من 32 كلمة مراراً وتكراراً. هذا يحافظ على السرعة العالية.

4. فقدان الهيكل المقيد بالثقة (CSL) – (الـ "معلم الصارم")

أثناء التدريب، يتعلم الذكاء الاصطناعي من خلال محاولة إصلاح الأخطاء. كانت الطريقة القديمة تجبر الذكاء الاصطناعي على التعلم من جميع الأخطاء، حتى لو كانت بداية الجملة مهتزة بالفعل.

الإصلاح: يستخدم PA-BDM "بوابة ثقة". إذا لم يكن الذكلاً الاصطناعي متأكداً من بداية الجملة، فإن "المعلم" (خوارزمية التدريب) يتوقف عن تقييم بقية الجملة. إنه يقيم فقط الجزء الذي يكون الذكاء الاصطناعي واثقاً منه.
التشبيه: تخيل معلماً يصحح اختبار رياضيات. إذا أخطأ الطالب في الخطوة الأولى، فإن المعلم لا يضيع وقته في تصحيح الإجابة النهائية لأنها مبنية على فرضية خاطئة. المعلم ينتظر حتى يتقن الطالب الخطوة الأولى قبل تصحيح البقية. هذا يمنع الذكاء الاصطناعي من تعلم أنماط "ضوضائية" أو سيئة.

النتائج

يزعم البحث أن هذا النهج الجديد، PA-BDM، هو ترقية هائلة:

السرعة: هو أسرع بنسبة 71.6% من أفضل نموذج انتشار سابق (MinerU-Diffusion) وحوالي 8 مرات أسرع من النماذج التكرارية القياسية (التي تكتب كلمة واحدة في كل مرة).
الدقة: هو أكثر دقة في التعرف على الهياكل المعقدة مثل الصيغ الرياضية والجداول والرسوم التوضيحية لأنه يحترم الترتيب الصارم للرموز (tokens).
الكفاءة: يستخدم الذاكرة بنفس كفاءة النماذج القديمة ولكنه ينجز عملاً أكبر بكثير في نفس الوقت.

باختصار، يتوقف PA-BDM عن جعل الذكاء الاصطناعي ينتظر "الكتل المثالية" وبدلاً من ذلك يسمح له بتثبيت التقدم "الجيد بما يكفي" فوراً، مما يحافظ على سير خط التجميع بأقصى سرعة ممكنة دون فقدان الدقة.

ملخص تقني: الانتشار التكيفي مع البادئة لتعرف المستندات بكفاءة (Prefix-Adaptive Block Diffusion)

1. بيان المشكلة

يتطلب تحليل المستندات تحويل صور المستندات إلى تنسيقات قابلة للقراءة آلياً (مثل LaTeX أو HTML أو Markdown). وبينما حققت النماذج ذات الترتيب الذاتي (Autoregressive Models - ARMs) تقدماً كبيراً، فإن نموذج توليد الرمز الواحد تلو الآخر (token-by-token) يحد من كفاءة الاستدلال. ولمعالجة ذلك، استكشف البحث الأخير نماذج التوليد المتوازي، وتحديداً نماذج انتشار الكتل (Block Diffusion Models - BDMs). تقوم هذه النماذج بتوليد الكتل بشكل متسلسل (autoregressively) مع إزالة الضجيج (denoising) للرموز داخل كل كتلة بالتوازي، مما يوفر مخرجات ذات أطوال مرنة وإمكانية استخدام ذاكرة التخزين المؤقت للمفاتيح والقيم (KV caching).

ومع ذلك، حدد المؤلفون قصورين حرجين في نماذج BDM القياسية عند تطبيقها على التعرف على المستندات الحساسة للهيكل:

الالتزام الثابت على مستوى الكتلة: تربط نماذج BDM القياسية عملية إزالة الضجيج والالتزام بذاكرة KV cache بحدود ثابتة للكتل. لا يمكن تخزين الرموز في الذاكرة المخبئية حتى تكتمل الكتلة بأكملها، مما يمنع إعادة استخدام التنبؤات الوسيطة الموثوقة كـ "بادئات" (prompts). علاوة على ذلك، مع تقدم عملية إزالة الضجيء داخل الكتلة، يتناقص عدد الرموز المتبقية المحجوبة، مما يؤدي إلى تقلص مساحة فك التشفيد المتوازي الفعالة.
تدفق معلومات غير متسق: تستخدم نماذج BDM القياسية إزالة ضجيج ثنائية الاتجاه (bidirectional) داخل الكتلة، لكنها تحافظ على ترتيب ذاتي من اليسار إلى اليمين بين الكتل. هذا يخلق تدفقاً غير متسق للمعلومات. بالنسبة للمهام التي تتطلب إعادة بناء دقيقة لتسلسلات الرموز المنفصلة (مثل المعادلات والجداول)، يمكن أن يتعارض هذا السياق ثنائي الاتجاه مع الحدود الهيكلية الصارمة وترتيب الرموز المطلوب، مما يؤدي إلى أخطاء في التوليد الهيكلي.

2. المنهجية: نموذج الانتشار التكيفي مع البادئة (PA-BDM)

يقترح المؤلفون إطار عمل PA-BDM، الذي يعيد تعريف دور "الكتلة" من وحدة توليد ثابتة إلى نطاق توليد مرشح أقصى. المكونات الأساسية هي:

أ. إزالة الضجيج السببي داخل الكتلة (Causal Intra-Block Denoising)

على عكس نماذج BDM القياسية التي تستخدم الانتباه ثنائي الاتجاه داخل الكتلة، يستخدم PA-BDM إزالة ضجيج سببية (من البادئة إلى التذييل) داخل كل كتلة مرشحة.

الآلية: تنتبه الرموز داخل الكتلة فقط إلى الكتل السابقة والسياق الموجود على يسارها داخل الكتلة الحالية.
الفائدة: هذا يربط تدفق المعلومات داخل الكتلة مع الترتيب الذاتي بين الكتل، مما يضمن أن البادئات الموثوقة التي تم توليدها داخل الكتلة صالحة لإعادة استخدام ذاكرة KV-cache.

ب. فقدان الهيكل القائم على الثقة (Confidence-gated Structural Loss - CSL)

لدعم إزالة الضجيج السببية أثناء التدريب، يقدم PA-BDM آلية CSL لإدارة ضجيج الإشراف.

المشكلة: في إزالة الضجيج السببية، تعتمد الرموز المتأخرة المحجوبة على الرموز السابقة. إذا كانت الرموز المبكرة غير مؤكدة (ذات إنتروبيا عالية)، فإن الإشراف على التذييل بالكامل سيؤدي إلى تدرجات ضوضائية.
الحل: تحسب CSL درجة الثقة للرموز المتوقعة. وتحدد أول موضع في التذييل المحجوب حيث تنخفض الثقة عن عتبة معينة $\tau$ . يتم تطبيق الإشراف فقط حتى "جبهة التعلم" هذه، بينما تُستبعد المواضع التي تقع على يمين هذه الجبهة من حساب الفقد.
استراتيجية التدريب: يشجع هذا النموذج على بناء بادئات هيكلية ذات إنتروبيا منخفضة وموثوقة قبل التوسع إلى استمرات أطول.

ج. الالتزام التدريجي بالبادئة (Progressive Prefix Commitment - PPC)

أثناء الاستدلال، يستخدم PA-BDM آلية PPC لإدارة التوليد والتخزين المؤقت ديناميكياً.

العملية:
1. يتنبأ النموذج بنطاق مرشح بحجم $D$ (مثلاً 32 رمزاً).
2. يقوم PPC بمسح التنبؤات من اليسار إلى اليمين ويحدد أطول بادئة متصلة حيث تتجاوز جميع رموزها عتبة الثقة $\tau$ .
3. يتم الالتزام بهذه البادئة الموثوقة بذاكرة KV cache فوراً.
4. يتم التخلص من التذييل غير المكتمل، ويتم إعادة ضبط نطاق المرشح التالي ليبدأ من البادئة الملتزم بها حديثاً.
الفائدة: هذا يستعيد مساحة فك تشفير متوازية كبيرة في كل خطوة (متجنباً تقلص المساحة في نماذج BDM القياسية) ويسمح بإعادة استخدام ذاكرة KV-cache في الوقت المناسب، مما يحسن الإنتاجية بشكل كبير.

3. المساهمات الرئيسية

تحديد القصور: حددت الورقة أن الالتزام الثابت على مستوى الكتلة وتدفق المعلومات غير المتسق بين الداخل والخارج هما العائقان الرئيسيان لنماذج BDM في التعرف على المستندات الحساسة للهيكل.
إطار عمل PA-BDM: إطار عمل مبتكر يعامل حجم الكتلة كنطاق مرشح أقصى بدلاً من وحدة التزام ثابتة، باستخدام نمذجة سببية داخل الكتلة لتمكين التوليد التكيفي.
آلية PPC: استراتيجية فك تشفير تلتزم بالبادئات الموثوقة ديناميكياً، مما يسمح بإعادة استخدام فورية لـ KV-cache وإعادة ضبط نطاق المرشح لاستعادة التوازي.
هدف CSL: دالة فقد تدعم التدريب بناءً على ثقة البادئة، مما يقلل من التدرجات الضوضائية الناتجة عن حالات البادئة غير المستقرة.

4. النتائج التجريبية

قيم المؤلفون نموذج PA-BDM (بـ 3 مليارات معلمة) مقابل نماذج أساسية مختلفة، بما في ذلك DiffusionVL و MinerU-Diffusion والنماذج ذات الترتيب الذاتي (مثل Qwen2.5-VL و Dolphinv2) على اختبارات التعرف على النصوص، المعادلات، الجداول، والرسوم البيانية.

الدقة: يحقق PA-BDM أفضل أداء بين نماذج الانتشار في معظم الاختبارات. ويظهر تفوقاً قوياً بشكل خاص في التعرف على المعادلات المعقدة (مثل مجموعات بيانات CPE و HWE)، متفوقاً على DiffusionVL و MinerU-Diffusion.
الكفاءة: يحسن PA-BDM إنتاجية الاستدلال بنسبة 71.6% مقارنة بنموذج MinerU-Diffusion (2.5 مليار معلمة) (267.2 رمز/ثانية مقابل 155.7 رمز/ثانية). كما يحقق إنتاجية أعلى بنحو 8 أضعاف مقارنة بنماذج التعرف ذات الترتيب الذاتي (ARM).
الذاكرة: رغم مكاسب الكفاءة، يحافظ PA-BDM على ذروة ذاكرة GPU مماثلة للنماذج الأخرى ذات مقياس 3 مليارات معلمة.
دراسات الاستئصال (Ablation Studies):
- النمذجة السببية مقابل ثنائية الاتجاه: تفوقت النمذجة السببية داخل الكتلة على النمذجة ثنائية الاتجاه في المهام الهيكلية (المعادلات، الجداول)، مما يشير إلى أن السياق ثنائي الاتجاه قد يؤدي إلى عدم صلاحية الهيكل.
- CSL: أظهرت النماذج المدربة باستخدام CSL دقة وإنتاجية أعلى من تلك التي استخدمت "الإنتروبيا المتقاطعة" (Cross-Entropy) القياسية أو الحجب العشوائي، مما يشير إلى أن CSL نجحت في تعلم بادئات موثوقة أطول.
- PPC: تفوق الالتزام التكيفي بشكل كبير على استراتيجيات الالتزام ثابتة الطول، مما يوازن بفعالية بين الدقة والتوازي.

5. الأهمية والادعاءات

تدعي الورقة أن PA-BDM يقدم مقايضة فائقة بين السرعة والدقة لعمليات تحليل المستندات مقارنة بنماذج الانتشار الأساسية الحالية. من خلال معاملة الكتل كنطاقات مرشحة والالتزام بالبادئات الموثوقة، يحل PA-BDM التوتر بين كفاءة التوليد المتوازي والمتطلبات الهيكلية الصارمة للتعرف على المستندات.

يؤكد المؤلفون أن نهجهم فعال بشكل خاص للمهام الحساسة للهيكل (مثل LaTeX و HTML و Mermaid) حيث يكون ترتيب الرموز والحدود الهيكلية أمراً بالغ الأهمية. ويشيرون إلى أنه بينما يحسن هذا الأسلوب الكفاءة بشكل كبير، فإن التقييم الحالي يُجرى بشكل أساسي على مجموعات بيانات تركز على اللغة الإنجليزية ومفتوحة المصدر. وتظل القدرة على التعميم في السيناريوهات الأكثر تعقيداً ومتعددة اللغات (مثل المعادلات الصينية، والتخطيطات المختلطة) مجالاً للدراسة المستقبلية، حيث تتضمن هذه السيناريوهات مجموعات رموز أغنى واعتمادات هيكلية أكثر تعقيداً قد تشكل تحدياً لنمذجة البادئة الموثوقة.

يشير العمل إلى أن نمذجة البادئة الموثوقة هي اتجاه فعال لتحسين كفاءة التعرف على المستندات القائم على الانتشار، والانتقال من قيود الكتلة الثابتة إلى التوليد التكيفي القائم على الثقة.