💻 computer science

DocPO: Advancing Document Policy Optimization via Tailored Step-Aware Rewards

تقدم هذه الورقة DocPO، وهو إطار عمل لتحسين سياسة المستندات يستخدم آلية تبريد مدركة للخطوات (Step-Aware Annealing) مبتكرة لتعزيز المكافآت القائمة على المرجع، مما يتغلب على ضعف الإشارات التمييزية لمقاييس مسافة التحرير التقليدية ويحسن بشكل كبير أداء التعلم التعزيزي من أجل تحليل مستندات عالي الدقة.

المؤلفون الأصليون: Yunhao Wang, Binghong Wu, Zhenyu Huang, Jiacheng Shi, Shuo Huang, Tinghao Yu, Feng Zhang

نُشر 2026-08-04

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yunhao Wang, Binghong Wu, Zhenyu Huang, Jiacheng Shi, Shuo Huang, Tinghao Yu, Feng Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيفية قراءة بطاقة وصفة مكتوبة بخط اليد وبشكل غير مرتب. يتعين على الروبوت ألا يكتشف الكلمات فحسب، بل عليه أيضاً أن يعرف أين تنتهي قائمة المكونات وأين تبدأ خطوات الطهي، وكيفية التعامل مع جدول القياسات أو معادلة رياضية معقدة. هذا هو عالم تحليل المستندات (Document Parsing)، وهو فرع من فروع الذكاء الاصطناعي حيث تحاول الحواسيب تحويل صور ورقية ثنائية الأبعاد (أو شاشات) إلى نصوص رقمية منظمة ونظيفة. لفترة طويلة، كانت أفضل طريقة لتعليم هذه الروبوتات هي الضبط الدقيق الخاضع للإشراف (SFT)، وهو يشبه المعلم الذي يري الروبوت آلاف الأمثلة المثالية ويقول له: "انسخ هذا تماماً". ولكن تماماً مثل الطالب الذي يحفظ الإجابات دون فهم، قد يرتبك الروبوت عندما يرى شيئاً مختلفاً قليلاً.

ولإصلاح ذلك، بدأ العلماء في استخدام التعلم التعزيزي (RL). فكر في الأمر كأنها لعبة فيديو يحاول فيها الروبوت حل اللغز، وفي كل مرة ينجح فيها، يحصل على "درجة" أو مكافأة. يتعلم الروبوت كيف يلعب بشكل أفضل من خلال محاولة الحصول على أعلى درجة ممكنة. ومع ذلك، هناك مشكلة معقدة: عندما يكون الروبوت جيداً بالفعل، تكون الدرجات التي يحصل عليها لنتائج "شبه مثالية" و"مثالية" متطابقة تقريباً. الأمر يشبه الحصول على 98% و99% في اختبار ما؛ الفرق يبدو ضئيلاً جداً، لذا لا يعرف الروبوت بالضبط ما هو التغيير الصغير الذي يجب القيام به للوصول إلى 100%. تتناول هذه الورقة البحثية تحديداً مشكلة "هضبة الدرجات العالية" هذه.

المشكلة: الروبوت عالق في مرحلة "شبه المثالية"

تعرف على DocPO، وهي طريقة جديدة صُممت لمساعدة روبوتات قراءة المستندات هذه على كسر هضبات الدرجات العالية الخاصة بها. وجد الباحثون أنه عندما يؤدي الروبوت عملاً رائعاً بالفعل، فإن الطريقة المعتادة لتقديم التغذية الراجعة له (المكافأة) تصبح غامضة للغاية.

تخيل أنك تدرب كلباً على جلب كرة. إذا أحضر الكلب الكرة إلى مسافة 90% من الطريق، فقد تقول له "عمل جيد!". وإذا أحضرها إلى مسافة 95%، ستقول له أيضاً "عمل جيد!". يسمع الكلب نفس الشيء لكلتا الحالتين، لذا فهو لا يعرف أن إحضارها بالكامل هو أمر أفضل بكثير. في عالم تحليل المستندات، يحدث هذا عندما ينجح الروبوت في قراءة 90% من النص أو هيكل الجدول بشكل صحيح. "درجة" الكمبيوتر لنتيجة صحيحة بنسبة 90% ونتيجة صحيحة بنسبة 95% متقاربة جداً، بحيث لا يستطيع الروبوت التمييز بينهما، ويتوقف عن التعلم لكيفية إتقان التفاصيل الأخيرة بدقة.

الحل: نظام مكافآت "مدرك للخطوات"

اقترح الفريق في Tencent Hunyuan حلاً ذكياً يسمى التخميد المدرك للخطوات (SAA). فكر في هذا كمدرب ذكي يغير قواعد اللعبة مع تحسن مستوى اللاعب.

في البداية، عندما لا يزال الروبوت يتعلم الأساسيات، يقدم المدرب تغذية راجعة عامة ولطيفة؛ فعبارة "عمل جيد!" تكون كافية. ولكن عندما يبدأ الروبوت في التحسن الفعلي (مرحلة الدقة العالية)، ينتقل المدرب إلى أذن أكثر حدة ونقداً. فجأة، لا يصبح الفرق بين درجة 90% و95% مجرد فجوة ضئيلة؛ بل يقوم المدرب بتضخيمها، مما يجعل درجة 95% تبدو أفضل بكثير من درجة 90%. هذا "التشديد" يجبر الروبوت على الانتباه إلى التفاصيل الصغيرة والدقيقة التي كان يتجاهلها سابقاً.

إن سحر تقنية SAA يكمن في أنها لا تكتفي بجعل الدرجات أعلى فحسب، بل تغير انحناء المكافأة بمرور الوقت. فهي تبدأ ناعمة ثم تصبح "أكثر حدة" تدريجياً، مما يضمن أن لدى الروبوت دائماً إشارة واضحة حول كيفية التحسن، حتى عندما يكون قريباً من القمة.

مكافآت مخصصة لمهام مختلفة

أدرك الفريق أيضاً أنه لا يمكنك تقييم جدول بنفس الطريقة التي تقيم بها فقرة نصية.

للنصوص: يستخدمون درجة "مسافة التعديل" البسيطة. إذا فاتك حرف، تخسر جزءاً ضئيلاً من النقاط.
للجداول: الجداول تشبه الأشجار ذات الفروع (صفوف وأعمدة). إذا أفسدت الهيكل (مثل وضع خلية في صف خاطئ)، فإن الأمر يعتبر خطأً أكبر من مجرد خطأ مطبعي. يحصل الروبوت على درجة "مسافة تعديل الشجرة" الخاصة التي تعاقب الأخطاء الهيكلية بشكل أكبر.
للمعادلات الرياضية: هذا هو الجزء الأكثر صعوبة. قد تبدو المعادلة مختلفة ولكنها تعني الشيء نفسه (مثل كتابة $a/b$ بدلاً من $a \div b$ ). أنشأ الفريق "مكافأة هجينة" تتحقق أولاً مما إذا كانت الرياضيات صحيحة (بوابة بناء جملة)، ثم تتحقق مما إذا كان المعنى صحيحاً، حتى لو كانت الرموز مختلفة قليلاً.

ما توصلوا إليه

اختبر الباحثون إطار عمل DocPO الجديد على مجموعتين كبيرتين من مستندات الاختبار: OmniDocBench (مجموعة بيانات عامة تحتوي على 1,355 صفحة) و DocElemHard (مجموعة مخصصة وأكثر صعوبة تحتوي على 9,400 صورة).

إليك ما تشير إليه البيانات:

تعلم أسرع: عندما استخدموا نظام المكافآت "المشدد"، وصل الروبوت إلى مستوى عالٍ من دقة قراءة الجداول بسرعة أكبر بنحو 1.8 مرة مما لو استخدموا المكافآت التقليدية القياسية.
درجات نهائية أفضل: لم يتعلم الروبوت بشكل أسرع فحسب، بل أصبح أفضل في النهاية. في اختبار DocElemHard الصعب، حققت الطريقة الجديدة درجة إجمالية قدرها 93.76، متفوقة على أفضل النماذج المتخصصة السابقة (التي غالباً ما تستخدم أجهزة أكثر تعقيداً وتكلفة).
لا حاجة لأجهزة إضافية: أحد أروع الأجزاء هو أنهم لم يحتاجوا إلى بناء "دماغ روبوت" جديد وضخم. لقد استخدموا نموذجاً قياسياً جاهز الاستخدام يسمى Qwen2.5-VL-3B وقاموا فقط بتغيير طريقة تقديم التغذية الراجعة له. وهذا يشير إلى أن تحسين "تغذية المدرب الراجعة" قد يكون أحياناً أكثر قوة من بناء "لاعب" أكبر.

العقبة والمستقبل

يشير المؤلفون بحذر إلى أن هذا ليس عصا سحرية لكل شيء. تدريب الروبوت بهذه الطوال أكثر تكلفة واستغراقاً للوقت من الطرق القديمة لأن الروبوت يجب أن يلعب اللعبة مرات عديدة ليتعلم. أيضاً، لا تزال "المكافآت" تعتمد على قواعد كتبها البشر، لذا إذا أغفلت القواعد تفصيلاً دقيقاً، فقد يظل الروبوت مرتبكاً. أخيراً، لقد اختبروا هذا فقط على النصوص والجداول والمعادلات الرياضية؛ ولم يجربوه بعد على الرسوم البيانية أو المخططات.

لكن الخلاصة الرئيسية واضحة: من خلال جعل التغذية الراجعة أكثر حدة وذكاءً مع تحسن الروبوت، يمكننا مساعدته على إتقان التفاصيل الدقيقة لقراءة المستندات دون الحاجة إلى إعادة اختراع الروبوت نفسه. إنه تذكير بأن السر في التحسن ليس دائماً في العمل بجهد أكبر، بل في معرفة ما يجب العمل عليه بالضبط.

ملخص تقني: DocPO: تطوير تحسين سياسة المستندات عبر مكافآت مخصصة مدركة للخطوات

1. بيان المشكلة

يواجه تحليل المستندات، وهي مهمة فك تشفير التخطيطات ثنائية الأبعاد غير المتجانسة (النصوص، الجداول، المعادلات) إلى تسلسلات أحادية الأبعاد، تحديات كبيرة عند تطبيق التعلم التعزيزي (RL). وبينما يعد الضبط الدقيق الخاضع للإشراف (SFT) هو التيار السائد حاليًا، إلا أنه يعاني من مشكلة الانحياز في التعرض (exposure bias). ورغم أن التعلم التعزيزي يوفر مسارًا للتحسين على مستوى التسلسل، إلا أن تطبيقه على تحليل المستندات ظل محدودًا مقارنة بالنماذج اللغوية الكبيرة (LLMs) القياسية.

تتمثل المشكلة الجوهرية المحددة في ضعف القدرة التمييزية للمكافآت القائمة على المراجع في نظام الدقة العالية. تعتمد الطرق الحالية غالبًا على مقاييس مسافة التعديل (مثل مسافة تعديل السلاسل النصية). ومع اقتراب النماذج من الدقة العالية، تتلقى المخرجات القريبة من الصحة درجات متطابقة تقريبًا مع الحقيقة الأرضية (ground truth). ويؤدي هذا إلى:

مشاهد مكافآت مسطحة: الفروق الطفية في الجودة بين المرشحين ذوي الدرجات العالية لا يتم تضخيمها، مما يوفر إشارات تعلم محدودة للحالات الصعبة.
عدم التوافق: تفشل مسافات التعديل العامة على مستوى السلاسل في التقاط الصحة الهيكلية في الجداول (حيث تكافئ التداخل اللفظي العالي رغم الفساد الهيكلي) أو التكافؤ الدلالي في المعادلات (حيث تعاقب الاختلافات المتوافقة في صيغ LaTeX).
الاعتماد على مكافآت معقدة: تتطلب النهج البديلة، مثل نماذج المكافأة التي تعتمد على الرندر والمقارنة المتعلمة، بيانات وحوسبة إضافية ونماذج تدريب مساعدة، مما يقلل من بساطة النشر.

2. المنهجية

يقترح المؤلفون DocPO، وهو إطار عمل لتحسين سياسة المستندات يحافظ على مكافآت بسيطة ومحددة العناصر قائمة على المراجع، ولكنه يعزز قدرتها التحسينية من خلال آلية مبتكرة تسمى التخميد المدرك للخطوات (Step-Aware Annealing - SAA).

2.1 إنشاء المكافأة الأساسية

يستخدم DocPO مكافآت متميزة ومطبعة قائمة على المراجع مصممة لعناصر مستندات محددة، ومسقطة على مقياس $[0, 1]$ :

النص: مسافة التعديل المطبعة (Normalized Edit Distance - NED).
الجداول: تشابه مسافة تعديل الشجرة الموزونة (TEDS) باستخدام خوارزمية APTED. وهذا يميز التكاليف للعمليات الهيكلية (مثل نطاقات الصفوف/الأعمدة) مقابل عدم التطابق في المحتوى فقط، مما يضمن أن الأخطاء الهيكلية تتحمل عقوبات أثقل من الأخطاء المطبعية.
المعادلات: مكافأة هجينة من نوع (النموذج المعياري + التعديل). وتجمع هذه بين:
- بوابة بناء جملة حتمية ( $v_{syn}$ ) تمنح مكافأة صفرية لـ LaTeX غير الصالح (صلاحية بناء الجملة).
- نموذج معياري ثنائي ( $r_{sem}$ ) للتكافؤ الدلالي (للتعامل مع الصيغ البديلة الصالحة مثل \over مقابل \frac).
- مكون NED كثيف ( $r_{struct}$ ) للإشراف الهيكلي.

2.2 التخميد المدرك للخطوات (SAA)

إن SAA هي آلية لزيادة حدة المكافأة (reward sharpening) قابلة للتركيب والتشغيل، مصممة لمعالجة تسطح المكافآت في نظام الدقة العالية. وهي تعمل بشكل مستقل عن تعريف المكافأة المحدد بمجرد تطبيعها.

تشكيل المكافأة غير الخطي: يطبق SAA تحويل قانون القوة على المكافأة الأساسية $M$ :
$f_\gamma(M) = M^\gamma$
حيث $\gamma$ هو عامل الانحناء. عندما تكون $\gamma > 1$ ، يتم تضخيم الفجوة النسبية بين العينات ذات الدرجات العالية. وهذا يعمل فعليًا على خفض "درجة حرارة" عملية الاختيار، مما يجعل إشارة التحسين أكثر حدة للمرشحين ذوي التصنيف الأعلى مع الحفاظ على الترتيب الأصلي.
الجدولة التكيفية: عامل الانحناء $\gamma$ $γ$ ليس ثابتًا بل يتطور أثناء التدريب:
$\gamma = \gamma_{init} + \Delta\gamma \cdot \left[1 - \exp\left(-\frac{s}{\tau_{adaptive}}\right)\right]$
- التدريب المبكر: يبدأ $\gamma$ بالقرب من 1 (خطي)، مما يضمن الاستقرار والتوافق مع المكافأة الأساسية الأصلية.
- التدريب المتأخر: يزديراد $\gamma$ (حتى حد أقصى قدره $\gamma_{init} + \Delta\gamma$ )، مما يؤدي تدريجيًا إلى زيادة حدة المكافأة للتمييز بين الاختلافات الدقيقة بين المخرجات عالية الجودة.
متحكم التشتت الديناميكي (DDC): لتكييف معدل الحدة مع صعوبة المهمة، يتم تعديل $\tau_{adaptive}$ بواسطة درجة تشتت خاصة بالمهمة ( $d_{DDC}$ ) تُحسب عبر نافذة متحركة من المكافآت الأخيرة. التشتت العالي (النتائج غير المتجانسة) يؤدي إلى تسريع عملية الحدة، بينما يحافظ التشتت المنخفض على وتيرة أكثر استقرارًا.

3. المساهمات الرئيسية

التخميد المدرك للخطوات (SAA): آلية مبتئة لزيادة حدة المكافأة تزيد من انحناء المكافأة ديناميكيًا عبر خطوات التدريب. وهي تحسن التحسين في نظام الدقة العالية دون الحاجة إلى إشراف بشري إضافي أو تدريب نموذج مكافأة مساعد.
إطار عمل DocPO: إطار عمل موحد لتعلم المستندات بالتعزيز يدمج مكافآت محددة العناصر قائمة على المراجع (NED للنصوص، TEDS للجداول، النموذج المعياري + التعديل للمعادلات) مع SAA.
معيار دقيق (DocElemHard): بناء مجموعة بيانات DocElemHard، وهي مجموعة بيانات تحدي تغطي كتل النصوص والجداول والمعادلات للتقييم على مستوى العنصر، إلى جانب التقييمات على OmniDocBench.

4. النتائج التجريبية

أُجريت التجارب باستخدام العمود الفقري Qwen2.5-VL-3B دون أي تعديلات على المشفر البصري، أو التدريب المسبق، أو وحدات ما بعد المعالجة.

مكاسب الأداء:
- OmniDocBench: حقق DocPO درجة إجمالية قدرها 95.38، متفوقًا على نماذج VLM المتخصصة مثل PaddleOCR-VL (94.87) وDeepSeekOCR (90.63).
- DocElemHard: حقق DocPO أفضل أداء إجمالي (93.76)، متفوقًا على أقوى خط أساس متخصص (PaddleOCR-VL بنسبة 91.47).
- على مستوى العناصر:
  - النص: قلل خطأ NED إلى 0.0125 (مقابل 0.0358 لخط أساس SFT).
  - المعادلات: حسن درجة CDM إلى 94.70 (مقابل 92.61 لـ SFT).
  - الجداول: حقق 93.10 TEDS (مقابل 89.30 لـ SFT).
دراسات الاستئصال (Ablation Studies):
- SAA مقابل الانحناء الثابت: تفوق SAA الديناميكي (93.10) على تحويلات القوة الثابتة مع $\gamma$ ثابت (تراوحت بين 91.9–92.3)، مما يثبت ضرورة الجدول الزمني التكيفي.
- مساهمة DDC: أدى إزالة متحكم التشتت الديناميكي إلى انخفاض الأداء من 93.10 إلى 92.73، مما يؤكد قيمة التكيف مع التشتت الخاص بالمهمة.
- كفاءة التدريب: سرّع SAA عملية التقارب، حيث وصل إلى عتبة 91.0 TEDS بسرعة 1.8 مرة أسرع من خط الأساس غير المخمد، مع تحقيق سقف أداء نهائي أعلى (+1.5 نقطة).
المقارنة مع النماذج المتخصصة: تفوق DocPO على النماذج التي تعتمد على التخصيص المعماري (مثل المشفرات عالية الدقة المخصصة، أو ضغط رموز الرؤية المخصص، أو التدريب المسبق متعدد الوسائط الإضافي) باستخدام عمود فقري قياسي بسعة 3B فقط وتحسين على مستوى المكافأة.

5. الأهمية والادعاءات

يدعي البحث أنه بالنسبة لتحليل المستندات، فإن تحسين إشارة المكافأة هو رافعة أكثر فعالية من توسيع أو إعادة تصميم بنية النموذج.

البساطة والقابلية للنشر: على عكس الاتجاهات الحديثة التي تتطلب تعديلات معقدة في الواجهة الأمامية البصرية أو نماذج مكافأة مساعدة، يحقق DocPO نتائج حالة الفن (SOTA) باستخدام عمود فقري قياسي لـ VLM دون معالجة إضافية قبل أو بعد المعالجة.
العمومية: آلية SAA مستقلة عن تعريف المكافأة المحدد، مما يوفر استراتيجية تحسين موحدة عبر عناصر المستندات المتنوعة (النصوص، الجداول، المعادلات).
التحسين في الدقة العالية: توضح الدراسة أن العقبة الرئيسية في تحليل المستندات عالي الدقة ليست قدرة النموذج، بل القدرة التمييزية لإشارة المكافأة في النظام شبه الأمثل. يعالج SAA ذلك بفعالية من خلال زيادة حدة إشارة التعلم تدريجيًا.

القيود: يشير المؤلفون إلى أن تدريب RL أكثر تكلفة حوسبية من SFT بسبب عمليات Rollouts المتعددة والتقييم بالنماذج المعيارية. بالإضافة إلى ذلك، قد تغفل المكافآت التقريبية بعض الفروق الدلالية الدقيقة، كما أن النطاق الحالي محدود بالنصوص والمعادلات والجداول، مستبعدًا الرسوم البيانية والمخططات الهندسية.