💻 computer science

DocPO: Advancing Document Policy Optimization via Tailored Step-Aware Rewards

यह शोध पत्र DocPO प्रस्तुत करता है, जो एक दस्तावेज़ नीति अनुकूलन (document policy optimization) ढांचा है, जो संदर्भ-आधारित पुरस्कारों को तीक्ष्ण करने के लिए एक नवीन स्टेप-अवेयर एनीलिंग (Step-Aware Annealing) तंत्र का उपयोग करता है, जिससे पारंपरिक एडिट-डिस्टेंस मेट्रिक्स के कमजोर विभेदक संकेतों पर विजय प्राप्त होती है और उच्च-सटीक दस्तावेज़ पार्सिंग के लिए सुदृढीकरण शिक्षण (reinforcement learning) प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Yunhao Wang, Binghong Wu, Zhenyu Huang, Jiacheng Shi, Shuo Huang, Tinghao Yu, Feng Zhang

प्रकाशित 2026-08-04

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yunhao Wang, Binghong Wu, Zhenyu Huang, Jiacheng Shi, Shuo Huang, Tinghao Yu, Feng Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को हाथ से लिखे गए एक बिखरे-बिखरे रेसिपी कार्ड को पढ़ना सिखा रहे हैं। रोबोट को न केवल शब्दों को समझना है, बल्कि यह भी पता लगाना है कि सामग्री की सूची कहाँ समाप्त होती है और खाना बनाने के चरण कहाँ से शुरू होते हैं, और माप की एक तालिका या एक जटिल गणितीय सूत्र को कैसे संभालना है। यह डॉक्यूमेंट पार्सिंग (Document Parsing) की दुनिया है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जहाँ कंप्यूटर कागज (या स्क्रीन) की 2D छवियों को साफ, व्यवस्थित डिजिटल टेक्स्ट में बदलने की कोशिश करते हैं। लंबे समय तक, इन रोबोटों को सिखाने का सबसे अच्छा तरीका सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) था, जो एक शिक्षक की तरह है जो रोबोट को हजारों आदर्श उदाहरण दिखाता है और कहता है, "इसे बिल्कुल ऐसे ही कॉपी करो।" लेकिन ठीक वैसे ही जैसे एक छात्र जो बिना समझे उत्तर रट लेता है, रोबोट तब भ्रमित हो जाता है जब वह कुछ थोड़ा अलग देखता है।

इसे ठीक करने के लिए, वैज्ञानिकों ने रीइन्फोर्समेंट लर्निंग (RL) का उपयोग करना शुरू किया। इसे एक वीडियो गेम की तरह समझें जहाँ रोबोट पहेली सुलझाने की कोशिश करता है, और हर बार जब वह सही होता है, तो उसे एक "स्कोर" या इनाम मिलता है। रोबोट उच्चतम स्कोर प्राप्त करने की कोशिश करके बेहतर खेलना सीखता है। हालाँकि, एक पेचीदा समस्या है: जब रोबोट पहले से ही काफी अच्छा कर रहा होता है, तो उसे मिलने वाले स्कोर "लगभग पूर्ण" और "पूर्ण" के लिए लगभग समान होते हैं। यह एक टेस्ट में 98% और 99% प्राप्त करने जैसा है; अंतर बहुत मामूली लगता है, इसलिए रोबोट को पता नहीं चलता कि 100% तक पहुँचने के लिए कौन सा छोटा सा बदलाव करना है। यह पेपर इसी विशिष्ट "हाई-स्कोर प्लेटो" (high-score plateau) समस्या से निपटता है।

समस्या: रोबोट "लगभग पूर्ण" पर अटक गया है

मिलिए DocPO से, एक नई विधि जिसे इन डॉक्यूमेंट-रीडिंग रोबोटों को उनके हाई-स्कोर प्लेटो को तोड़ने में मदद करने के लिए डिज़ाइन किया गया है। शोधकर्ताओं ने पाया कि जब एक रोबित पहले से ही बहुत अच्छा काम कर रहा होता है, तो फीडबैक देने का सामान्य तरीका (इनाम) बहुत धुंधला हो जाता है।

कल्पना कीजिए कि आप एक कुत्ते को गेंद लाने के लिए प्रशिक्षित कर रहे हैं। यदि कुत्ता गेंद को 90% रास्ते तक वापस लाता है, तो आप कह सकते हैं "अच्छा काम किया!" यदि वह इसे 95% तक लाता है, तो भी आप कहते हैं "अच्छा काम किया!" कुत्ता दोनों के लिए एक ही बात सुनता है, इसलिए उसे पता नहीं चलता कि गेंद को पूरा लाना कहीं अधिक बेहतर है। डॉक्यूमेंट पार्सिंग की दुनिया में, ऐसा तब होता है जब रोबोट पहले से ही 90% टेक्स्ट या टेबल स्ट्रक्चर को सही कर रहा होता है। कंप्यूटर का "स्कोर" एक 90% सही उत्तर और एक 95% सही उत्तर के लिए इतना करीब होता है कि रोबोट अंतर नहीं कर पाता, और वह अंतिम विवरणों को सटीक बनाने के लिए सीखना बंद कर देता है।

समाधान: एक "स्टेप-अवेयर" रिवॉर्ड सिस्टम

टीम ने स्टेप-अवेयर एनिलिंग (SAA) नामक एक चतुर समाधान प्रस्तावित किया है। इसे एक स्मार्ट कोच की तरह समझें जो खिलाड़ी के बेहतर होने के साथ खेल के नियम बदल देता है।

शुरुआत में, जब रोबोट अभी बुनियादी बातें सीख रहा होता है, तो कोच हल्का और व्यापक फीडबैक देता है। "अच्छा काम किया!" कहना ठीक है। लेकिन जैसे-जैसे रोबोट वास्तव में अच्छा करने लगता है (उच्च-सटीकता शासन/high-accuracy regime), कोच एक तेज, अधिक आलोचनात्मक कान में बदल जाता है। अचानक, 90% स्कोर और 95% स्कोर के बीच का अंतर केवल एक मामूली अंतर नहीं रह जाता; कोच इसे बढ़ा देता है, जिससे 95% का स्कोर 90% की तुलना में कहीं अधिक बेहतर महसूस होता है। यह "शार्पनिंग" (तीक्ष्णता) रोबोट को उन सूक्ष्म विवरणों पर ध्यान देने के लिए मजबूर करती है जिन्हें वह पहले अनदेखा कर रहा था।

SAA का जादू यह है कि यह केवल स्कोर को ऊँचा नहीं बनाता; यह समय के साथ रिवॉर्ड के कर्वेचर (वक्रता) को बदल देता है। यह नरम रूप से शुरू होता है और धीरे-धीरे "स्पाइकी" (नुकीला) होता जाता है, यह सुनिश्चित करता है कि रोबोट के पास हमेशा सुधार करने के लिए एक स्पष्ट संकेत हो, भले ही वह पहले से ही शीर्ष के करीब हो।

विभिन्न कार्यों के लिए अनुकूलित रिवॉर्ड्स

पेपर ने यह भी महसूस किया कि आप एक पैराग्राफ के टेक्स्ट की तुलना टेबल के साथ नहीं कर सकते।

टेक्स्ट के लिए: वे एक सरल "एडिट डिस्टेंस" स्कोर का उपयोग करते हैं। यदि आप एक अक्षर चूक जाते हैं, तो आप थोड़े से अंक खो देते हैं।
टेबल्स के लिए: टेबल्स शाखाओं (पंक्तियों और कॉलम) वाले पेड़ों की तरह होते हैं। यदि आप संरचना (जैसे किसी सेल को गलत पंक्ति में रखना) बिगाड़ देते हैं, तो यह एक टाइपो की तुलना में बड़ी बात है। रोबोट को एक विशेष "ट्री एडिट डिस्टेंस" स्कोर मिलता है जो संरचनात्मक गलतियों को अधिक भारी दंड देता है।
गणितीय सूत्रों के लिए: यह सबसे कठिन है। एक सूत्र अलग दिख सकता है लेकिन उसका अर्थ समान हो सकता है (जैसे $a/b$ के बजाय $a \div b$ लिखना)। टीम ने एक "हाइब्रिड" रिवॉर्ड बनाया जो पहले यह जाँचता है कि गणित वैध है या नहीं (एक "सिंटैक्स गेट"), और फिर यह जाँचता है कि क्या अर्थ सही है, भले ही प्रतीक थोड़े अलग हों।

उन्होंने क्या पाया

शोधकर्ताओं ने अपने नए DocPO फ्रेमवर्क का परीक्षण दस्तावेजों के दो बड़े सेटों पर किया: OmniDocBench (1,355 पृष्ठों वाला एक सार्वजनिक डेटासेट) और DocElemHard (एक कठिन, कस्टम-मेड सेट जिसमें 9,400 छवियां हैं)।

यहाँ डेटा क्या सुझाव देता है:

तेजी से सीखना: जब उन्होंने "शार्पन्ड" रिवॉर्ड सिस्टम का उपयोग किया, तो रोबोट ने पुराने, मानक रिवॉर्ड्स की तुलना में टेबल-रीडिंग सटीकता का उच्च स्तर लगभग 1.8 गुना तेजी से प्राप्त किया।
बेहतर अंतिम स्कोर: रोबोट ने न केवल तेजी से सीखा; वह अंत में बेहतर भी हुआ। कठिन DocElemHard टेस्ट पर, नए तरीके ने 93.76 का समग्र स्कोर प्राप्त किया, जो पिछले सर्वश्रेष्ठ विशिष्ट मॉडलों (जो अक्सर बहुत अधिक जटिल और महंगे हार्डवेयर सेटअप का उपयोग करते हैं) को पीछे छोड़ देता है।
कोई अतिरिक्त हार्डवेयर आवश्यक नहीं: सबसे शानदार हिस्सों में से एक यह है कि उन्हें एक नया, विशाल रोबोट मस्तिष्क बनाने की आवश्यकता नहीं थी। उन्होंने Qwen2.5-VL-3B नामक एक मानक, ऑफ-द-शेल्फ मॉडल का उपयोग किया और बस उनके फीडबैक देने के तरीके को बदल दिया। यह सुझाव देता है कि कभी-कभी, "कोच" के फीडबैक को सुधारना एक बड़े "प्लेयर" को बनाने से अधिक शक्तिशाली होता है।

सावधानी और भविष्य

लेखक सावधानी बरतते हुए नोट करते हैं कि यह हर चीज़ के लिए जादुई छड़ी नहीं है। इस तरह से रोबोट को प्रशिक्षित करना पुराने तरीकों की तुलना में अधिक महंगा और समय लेने वाला है क्योंकि रोबोट को सीखने के लिए खेल को कई बार खेलना पड़ता है। इसके अलावा, "रिवॉर्ड्स" अभी भी उन नियमों पर आधारित हैं जो मनुष्यों ने लिखे हैं, इसलिए यदि नियम एक सूक्ष्म बारीकी को मिस कर देते हैं, तो रोबोट अभी भी भ्रमित हो सकता है। अंत में, उन्होंने केवल टेक्स्ट, टेबल्स और गणितीय सूत्रों पर इसका परीक्षण किया है; उन्होंने अभी तक चार्ट या आरेख (diagrams) पर इसे आज़माया नहीं है।

लेकिन मुख्य निष्कर्ष स्पष्ट है: जैसे-जैसे रोबोट में सुधार होता है, फीडबैक को तेज और स्मार्ट बनाकर, हम इसे दस्तावेज़ पढ़ने के जटिल विवरणों में महारत हासिल करने में मदद कर सकते हैं, बिना खुद रोबोट को फिर से आविष्कार किए। यह एक याद दिलाता है कि कभी-कभी, बेहतर होने का रहस्य कड़ी मेहनत करना नहीं है, बल्कि यह जानना है कि किस चीज़ पर काम करना है।

तकनीकी सारांश: DocPO: अनुकूलित स्टेप-अवेयर रिवॉर्ड्स के माध्यम से डॉक्यूमेंट पॉलिसी ऑप्टिमाइज़ेशन को उन्नत करना

1. समस्या विवरण

डॉक्यूमेंट पार्सिंग, जो विषम 2D लेआउट (टेक्स्ट, टेबल्स, फॉर्मूला) को 1D अनुक्रमों में डिकोड करने का कार्य है, सुदृढीकरण शिक्षण (Reinforcement Learning - RL) लागू करते समय महत्वपूर्ण चुनौतियों का सामना करता है। हालांकि सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) वर्तमान में मुख्यधारा है, यह एक्सपोज़र बायस (exposure bias) से ग्रस्त है। यद्यपि RL मानक लार्ज लैंग्वेज मॉडल्स (LLMs) की तुलना में डॉक्यूमेंट पार्सिंग के अनुप्रयोग में सीमित रहा है, फिर भी यह अनुक्रम-स्तरीय अनुकूलन का एक मार्ग प्रदान करता है।

पहचाना गया मुख्य मुद्दा उच्च-सटीकता वाले शासन (high-accuracy regime) में संदर्भ-आधारित रिवॉर्ड्स की कमजोर विभेदन क्षमता (weak discriminability) है। मौजूदा विधियाँ अक्सर एडिट-डिस्टेंस मेट्रिक्स (जैसे स्ट्रिंग एडिट डिस्टेंस) पर निर्भर करती हैं। जैसे-जैसे मॉडल उच्च सटीकता के करीब पहुँचते हैं, लगभग-सही आउटपुट को ग्राउंड ट्रुथ के समान ही स्कोर प्राप्त होता है। इसके परिणामस्वरूप:

फ्लैट रिवॉर्ड लैंडस्केप (Flat reward landscapes): उच्च-स्कोर वाले उम्मीदवारों के बीच सूक्ष्म गुणवत्ता अंतर को बढ़ाया नहीं जाता है, जिससे कठिन मामलों के लिए सीमित लर्निंग सिग्नल मिलता है।
मिसअलाइनमेंट (Misalignment): जेनेरिक स्ट्रिंग-लेवल एडिट डिस्टेंस टेबल्स में संरचनात्मक शुद्धता को पकड़ने में विफल रहता है (संरचनात्मक भ्रष्टाचार के बावजूद उच्च लेक्सिकल ओवरलैप को पुरस्कृत करना) या फॉर्मूला में अर्थ संबंधी समानता (semantic equivalence) को दंडित करता है (वैध समानार्थी LaTeX विविधताओं को दंडित करना)।
जटिल रिवॉर्ड्स पर निर्भरता: वैकल्पिक दृष्टिकोण, जैसे कि सीखे गए रेंडर-एंड-कंपेयर रिवॉर्ड मॉडल्स, अतिरिक्त डेटा, कंप्यूट और सहायक प्रशिक्षण की आवश्यकता रखते हैं, जिससे परिनियोजन (deployment) की सरलता कम हो जाती है।

2. कार्यप्रणाली (Methodology)

लेखक DocPO का प्रस्ताव करते हैं, जो एक डॉक्यूमेंट पॉलिसी ऑप्टिमाइज़ेशन फ्रेमवर्क है जो सरल, तत्व-विशिष्ट संदर्भ-आधारित रिवॉर्ड्स को बनाए रखता है लेकिन स्टेप-अवेयर एनीलिंग (Step-Aware Annealing - SAA) नामक एक नवीन तंत्र के माध्यम से उनकी अनुकूलन शक्ति को बढ़ाता है।

2.1 बेस रिवॉर्ड इंस्टेंशिएशन (Base Reward Instantiation)

DocPO विशिष्ट दस्तावेजी तत्वों के लिए तैयार किए गए अलग-अलग, सामान्यीकृत संदर्भ-आधारित रिवॉर्ड्स का उपयोग करता है, जिन्हें $[0, 1]$ स्केल पर मैप किया गया है:

टेक्स्ट (Text): नॉर्मलाइज्ड एडिट डिस्टेंस (NED)।
टेबल्स (Tables): APTED एल्गोरिदम का उपयोग करके वेटेड ट्री एडिट डिस्टेंस सिमिलैरिटी (TEDS)। यह संरचनात्मक ऑपरेशन्स (जैसे रो/कॉलम स्पैन) बनाम केवल कंटेंट मिसमैच के लिए लागत को अलग करता है, यह सुनिश्चित करता है कि संरचनात्मक त्रुटियों को टाइपो की तुलना में अधिक दंड दिया जाए।
फॉर्मूला (Formulas): एक हाइब्रिड रूब्रिक+एडिट (Rubric+edit) रिवॉर्ड। यह संयोजन करता है:
- एक नियत सिंटैक्स गेट ( $v_{syn}$ ) जो अमान्य LaTeX को शून्य रिवॉर्ड देता है (सिंटैक्स वैधता)।
- अर्थ संबंधी समानता के लिए एक बाइनरी रूब्रिक ( $r_{sem}$ ) (जैसे \over बनाम \frac जैसी वैध वैकल्पिक नोटेशन को संभालना)।
- संरचनात्मक पर्यवेक्षण के लिए एक डेंस NED घटक ( $r_{struct}$ )।

2.2 स्टेप-अवेयर एनीलिंग (SAA)

SAA एक प्लग-एंड-प्ले रिवॉर्ड शार्पनिंग मैकेनिज्म है जिसे उच्च-सटीकता वाले शासन में रिवॉर्ड की सपाटता को दूर करने के लिए डिज़ाइन किया गया है। यह सामान्यीकृत होने के बाद विशिष्ट रिवॉर्ड परिभाषा से स्वतंत्र रूप से कार्य करता है।

नॉन-लीनियर रिवॉर्ड शेपिंग (Non-Linear Reward Shaping): SAA बेस रिवॉर्ड $M$ पर पावर-लॉ ट्रांसफॉर्मेशन लागू करता है:
$f_\gamma(M) = M^\gamma$
जहाँ $\gamma$ एक कर्वेचर फैक्टर है। जब $\gamma > 1$ होता है, तो उच्च-स्कोरिंग सैंपल्स के बीच का सापेक्ष अंतर बढ़ जाता है। यह प्रभावी रूप से चयन प्रक्रिया के "तापमान" को कम करता है, जिससे टॉप-रैंक्ड उम्मीदवारों के लिए अनुकूलन सिग्नल अधिक शार्प हो जाता है जबकि मूल रैंकिंग सुरक्षित रहती है।
एडेप्टिव शेड्यूलिंग (Adaptive Scheduling): कर्वेचर फैक्टर $\gamma$ $γ$ स्थिर नहीं है बल्कि प्रशिक्षण के दौरान विकसित होता है:
$\gamma = \gamma_{init} + \Delta\gamma \cdot \left[1 - \exp\left(-\frac{s}{\tau_{adaptive}}\right)\right]$
- प्रारंभिक प्रशिक्षण: $\gamma$ 1 के करीब (लीनियर) शुरू होता है, जो स्थिरता और मूल बेस रिवॉर्ड के साथ संरेखण सुनिश्चित करता है।
- विलंबित प्रशिक्षण: $\gamma$ बढ़ता है (अधिकतम $\gamma_{init} + \Delta\gamma$ तक), जो उच्च-गुणवत्ता वाले आउटपुट के बीच सूक्ष्म अंतर करने के लिए रिवॉर्ड को क्रमिक रूप से शार्प करता है।
डायनेमिक डिस्पर्शन कंट्रोलर (DDC): कार्य की कठिनाई के अनुसार शार्पनिंग दर को अनुकूलित करने के लिए, $\tau_{adaptive}$ को हाल के रिवॉर्ड्स के रोलिंग विंडो पर गणना किए गए टास्क-वाइज डिस्पर्शन स्कोर ( $d_{DDC}$ ) द्वारा मॉड्यूलेट किया जाता है। उच्च डिस्पर्शन (विषम परिणाम) तेज़ शार्पनिंग को ट्रिगर करता है, जबकि कम डिस्पर्शन एक स्थिर गति बनाए रखता है।

3. प्रमुख योगदान

स्टेप-अवेयर एनीलिंग (SAA): एक नवीन रिवॉर्ड शार्पनिंग मैकेनिज्म जो प्रशिक्षण चरणों के दौरान रिवॉर्ड कर्वेचर को गतिशील रूप से बढ़ाता है। यह बिना किसी अतिरिक्त मानव पर्यवेक्षण या सहायक रिवॉर्ड मॉडल प्रशिक्षण के, उच्च-सटीकता वाले शासन में अनुकूलन में सुधार करता है।
DocPO फ्रेमवर्क: एक एकीकृत डॉक्यूमेंट RL फ्रेमवर्क जो तत्व-विशिष्ट संदर्भ-आधारित रिवॉर्ड्स (टेक्स्ट के लिए NED, टेबल्स के लिए TEDS, फॉर्मूला के लिए Rubric+edit) को SAA के साथ एकीकृत करता है।
फाइन-ग्रेन्ड बेंचमार्क: तत्व-स्तरीय मूल्यांकन के लिए टेक्स्ट ब्लॉक्स, टेबल्स और फॉर्मूला को कवर करने वाला एक चुनौतीपूर्ण डेटासेट DocElemHard का निर्माण, साथ ही OmniDocBench पर मूल्यांकन।

4. प्रयोगात्मक परिणाम

प्रयोग Qwen2.5-VL-3B बैकबोन का उपयोग करके किए गए थे, जिसमें विजुअल एनकोडर, प्री-ट्रेनिंग, या पोस्ट-प्रोसेसिंग मॉड्यूल में कोई संशोधन नहीं किया गया था।

प्रदर्शन लाभ:
- OmniDocBench: DocPO ने 95.38 का समग्र स्कोर प्राप्त किया, जो विशेष VLMs जैसे PaddleOCR-VL (94.87) और DeepSeekOCR (90.63) को पछाड़ गया।
- DocElemHard: DocPO ने सर्वश्रेष्ठ समग्र प्रदर्शन (93.76) प्राप्त किया, जो सबसे मजबूत विशेष बेसलाइन (PaddleOCR-VL 91.47) से बेहतर रहा।
- एलिमेंट-विशिष्ट (Element-Specific):
  - टेक्स्ट: NED एरर को घटाकर 0.0125 कर दिया (SFT बेसलाइन के 0.0358 के मुकाबले)।
  - फॉर्मूला: CDM स्कोर को सुधारकर 94.70 किया (SFT के 92.61 के मुकाबले)।
  - टेबल्स: 93.10 TEDS प्राप्त किया (SFT के 89.30 के मुकाबले)।
एब्लेशन स्टडीज (Ablation Studies):
- SAA बनाम फिक्स्ड कर्वेचर: डायनेमिक SAA (93.10) फिक्स्ड $\gamma$ (91.9–92.3 की रेंज) वाले स्टैटिक पावर ट्रांसफॉर्म्स से बेहतर रहा, जो एडेप्टिव शेड्यूल की आवश्यकता को सिद्ध करता है।
- DDC का योगदान: डायनेमिक डिस्पर्शन कंट्रोलर को हटाने से प्रदर्शन 93.10 से गिरकर 92.73 हो गया, जो टास्क-विशिष्ट डिस्पर्शन एडैप्टेशन के मूल्य की पुष्टि करता है।
- प्रशिक्षण दक्षता: SAA ने अभिसरण (convergence) को तेज किया, 91.0 TEDS थ्रेशोल्ड को नॉन-एनील्ड बेसलाइन की तुलना में 1.8× तेजी से प्राप्त किया, साथ ही उच्च अंतिम प्रदर्शन सीलिंग (+1.5 पॉइंट्स) भी हासिल की।
विशेष मॉडल्स के साथ तुलना: DocPO ने केवल एक मानक 3B बैकबोन और रिवॉर्ड-लेवल ऑप्टिमाइज़ेशन का उपयोग करके, आर्किटेक्चरल कस्टमाइजेशन (जैसे समर्पित हाई-रिज़ॉल्यूशन एनकोडर्स, कस्टम विजन टोकन कम्प्रेशन, या अतिरिक्त मल्टीमॉडल प्री-ट्रेनिंग) पर निर्भर मॉडल्स को पछाड़ दिया।

5. महत्व और दावे

पेपर का दावा है कि डॉक्यूमेंट पार्सिंग के लिए, मॉडल आर्किटेक्चर को स्केल करने या पुनर्गठित करने की तुलना में रिवॉर्ड सिग्नल को ऑप्टिमाइज़ करना अधिक प्रभावी लीवर है।

सरलता और परिनियोजन क्षमता: हालिया रुझानों के विपरीत, जिन्हें जटिल विजुअल फ्रंट-एंड संशोधनों या सहायक रिवॉर्ड मॉडल्स की आवश्यकता होती है, DocPO बिना किसी अतिरिक्त प्री-प्रोसेसिंग या पोस्ट-प्रोसेसिंग के एक मानक VLM बैकबोन का उपयोग करके स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करता है।
सामान्यीकरण (Generalizability): SAA मैकेनिज्म विशिष्ट रिवॉर्ड परिभाषा के प्रति उदासीन (agnostic) है, जो विविध दस्तावेजी तत्वों (टेक्स्ट, टेबल्स, फॉर्मूला) के लिए एक एकीकृत अनुकूलन रणनीति प्रदान करता है।
उच्च-सटीकता अनुकूलन: यह कार्य प्रदर्शित करता है कि उच्च-सटीकता वाले डॉक्यूमेंट पार्सिंग में प्राथमिक बाधा मॉडल की क्षमता नहीं है, बल्कि निकट-इष्टतम (near-optimal) शासन में रिवॉर्ड सिग्नल की विभेदन क्षमता है। SAA प्रभावी रूप से इसे लर्निंग सिग्नल को क्रमिक रूप से शार्प करके संबोधित करता है।

सीमाएँ: लेखक नोट करते हैं कि कई रोलआउट और रूब्रिक स्कोरिंग के कारण RL प्रशिक्षण, SFT की तुलना में कम्प्यूटेशनल रूप से अधिक महंगा है। इसके अतिरिक्त, प्रॉक्सी रिवॉर्ड्स सूक्ष्म अर्थ संबंधी बारीकियों को मिस कर सकते हैं, और वर्तमान स्कोप टेक्स्ट, फॉर्मूला और टेबल्स तक सीमित है, जिसमें चार्ट और ज्यामितीय आरेख शामिल नहीं हैं।