💬 NLP

TAB-PO: Preference Optimization with a Token-Level Adaptive Barrier for Token-Critical Structured Generation

यह शोधपत्र TAB-PO प्रस्तुत करता है, जो एक नवीन प्राथमिकता अनुकूलन (preference optimization) विधि है जो टोकन-क्रिटिकल संरचित पीढ़ी कार्यों में मानक DPO की सीमाओं को दूर करने के लिए टोकन-स्तरीय अनुकूली बाधाओं (adaptive barriers) और भारित लाभों (weighted advantages) का उपयोग करती है, जिससे मार्जिन कोलैप्स और ग्रेडिएंट डाइल्यूशन जैसी समस्याओं को संबोधित करते हुए मेडिकल एनोटेशन में महत्वपूर्ण प्रदर्शन सुधार प्राप्त होता है।

मूल लेखक: Samah Fodeh, Linhai Ma, Ganesh Puthiaraju, Srivani Talakokkul, Afshan Khan, Ashley Hagaman, Sarah R. Lowe, Aimee Kendall Roundtree

प्रकाशित 2026-03-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Samah Fodeh, Linhai Ma, Ganesh Puthiaraju, Srivani Talakokkul, Afshan Khan, Ashley Hagaman, Sarah R. Lowe, Aimee Kendall Roundtree

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करके शोध पत्र "TAB-PO: Preference Optimization with a Token-Level Adaptive Barrier" का स्पष्टीकरण दिया गया है।

बड़ी तस्वीर: "परफेक्टली फ्लॉड" (पूर्णतः त्रुटिपूर्ण) AI को ठीक करना

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान लेकिन थोड़ा अनाड़ी सहायक (एक AI) है, जो डॉक्टर और मरीज के बीच हुई बातचीत के आधार पर एक जटिल मेडिकल फॉर्म भरने की कोशिश कर रहा है।

फॉर्म बहुत सख्त है। इसमें कुछ विशिष्ट बॉक्स चेक करने की आवश्यकता है (जैसे "मरीज चिंतित है") और "प्रमाण" (Evidence) वाले बॉक्स में सटीक वाक्यों को हूबहू कॉपी करने की आवश्यकता है। यदि सहायक बॉक्स तो सही भर देता है लेकिन वाक्य को एक अक्षर भी गलत कॉपी कर देता है, तो पूरा फॉर्म खारिज कर दिया जाता है। यदि वे एक छोटी सी बारीकी भी छोड़ देते हैं, तो डेटा बेकार हो जाता है।

यह शोध पत्र उस सहायक को ये छोटी लेकिन महत्वपूर्ण गलतियाँ करने से रोकने के बारे में है।

समस्या: "धुंधली फोटो" वाली समस्या

शोधकर्ताओं ने पाया कि मानक AI प्रशिक्षण विधियाँ (जिन्हें DPO कहा जाता है) निबंध लिखने या चैट करने के लिए तो बहुत अच्छी हैं। लेकिन मेडिकल फॉर्म जैसे सख्त कार्यों के लिए, वे दो विशिष्ट तरीकों से विफल होती हैं:

"लो-रेज़ोल्यूशन" (कम रिज़ॉल्यूशन) की समस्या:
कल्पना कीजिए कि आपके पास एक बिल्ली की दो तस्वीरें हैं। एक एकदम सही है। दूसरी भी लगभग सही है, सिवाय इसके कि बिल्ली का एक कान थोड़ा मुड़ा हुआ है।
मानक AI प्रशिक्षण पूरी फोटो को देखता है और कहता है, "ये दोनों फोटो 99% समान हैं, इसलिए अंतर ज्यादा मायने नहीं रखता।" यह अपनी सीखने की ऊर्जा को पूरी छवि पर समान रूप से फैला देता है।
वास्तविकता: मेडिकल फॉर्म में, वह एक मुड़ा हुआ कान (एक शब्द या नंबर) ही एकमात्र चीज़ है जो मायने रखती है। AI को अपनी पूरी ऊर्जा उस कान पर केंद्रित करने की आवश्यकता है, न कि फर या बैकग्राउंड पर।
"ओवर-करेक्शन" (अति-सुधार) की समस्या:
जब AI उस एक मुड़े हुए कान को ठीक करने की कोशिश करता है, तो कभी-कभी वह इतना उत्साहित हो जाता है कि गलती से पूंछ को मोड़ देता है या फर का रंग बदल देता है। वह गलती को ठीक करता है लेकिन बाकी फोटो को बिगाड़ देता है।
तकनीकी शब्दों में, इसे "Likelihood Squeezing" कहा जाता है। AI "बेहतर" होने की इतनी कोशिश करता है कि वह अच्छे उदाहरण को भी खराब करने लगता है, या वह फॉर्म के बुनियादी ढांचे (जैसे JSON कोड) के बारे में भ्रमित हो जाता है।

समाधान: TAB-PO (एक "स्मार्ट हाइलाइटर")

लेखकों ने एक नई विधि बनाई है जिसे TAB-PO कहा जाता है। इसे एक सुपर-स्मार्ट हाइलाइटर और एक सुरक्षा जाल (सेफ्टी नेट) के संयोजन के रूप में समझें।

1. "टोकन-लेवल एडेप्टिव बैरियर" (सुरक्षा जाल)

कल्पना कीजिए कि AI एक परीक्षा दे रहा छात्र है।

मानक प्रशिक्षण: यदि छात्र एक प्रश्न गलत करता है, तो शिक्षक चिल्लाकर कहता है, "इसे फिर से करो!" छात्र डर जाता है और सुरक्षा के लिए अपने उन उत्तरों को भी बदलना शुरू कर सकता है जो वास्तव में सही थे।
TAB-PO: शिक्षक कहता है, "तुमने गणित वाला भाग सही किया, लेकिन स्पेलिंग में गलती की। केवल स्पेलिंग को ठीक करो। गणित को अकेला छोड़ दो।"
यह कैसे काम करता है: TAB-PO उन हिस्सों के चारों ओर एक "बैरियर" (बाधा) लगा देता है जिनके बारे में AI पहले से ही आश्वस्त है (जैसे फॉर्म का स्ट्रक्चर)। यह AI को बताता है: "इसे मत छुओ; यह अच्छा है। केवल उन छोटे, भ्रमित करने वाले हिस्सों पर ध्यान केंद्रित करो जहाँ तुमने गलती की है।" यह AI को गलतियों को ठीक करते समय अच्छे हिस्सों को खराब करने से रोकता है।

2. टोकन-वेटेड लर्निंग (द "गोल्डन टिकट")

एक मेडिकल फॉर्म में, कुछ शब्द "गोल्डन टिकट" होते हैं (जैसे डायग्नोसिस कोड या विशिष्ट तिथि), और कुछ शब्द केवल "फिलर" (जैसे कॉमा, ब्रैकेट, या "और" शब्द) होते हैं।

मानक प्रशिक्षण: हर शब्द के साथ समान व्यवहार करता है। यह एक कॉमा लिखने के सीखने में उतना ही समय बिताता है जितना कि डायग्नोसिस सीखने में।
TAB-PO: यह "गोल्डन टिकटों" पर एक आवर्धक लेंस (Magnifying Glass) लगा देता है। यह AI को बताता है: "कॉमा को अनदेखा करो। डायग्नोसिस कोड को देखो। केवल वही मायने रखता है।" यह सुनिश्चित करता है कि AI सबसे महत्वपूर्ण विवरणों को पहले सीखे।

वास्तविक दुनिया का परीक्षण: "PV Miner"

यह साबित करने के लिए कि यह काम करता है, शोधकर्ताओं ने एक नया परीक्षण बनाया जिसे PV Miner कहा जाता है।

कार्य: मरीज और डॉक्टर के बीच के सुरक्षित संदेशों को पढ़ना और विशिष्ट विवरण निकालना (जैसे "क्या मरीज दर्द में है?" या "क्या उन्होंने किसी दुष्प्रभाव का उल्लेख किया?") और उस सटीक वाक्य को कॉपी करना जहाँ इसका उल्लेख किया गया था।
चुनौती: संदेश अव्यवस्थित होते हैं। लेबल भ्रमित करने वाले होते हैं (जैसे, क्या यह "Anxiety" है या "Stress"?)। एक सही उत्तर और एक गलत उत्तर के बीच का अंतर अक्सर केवल एक या दो शब्दों का होता है।

परिणाम: एक स्पष्ट विजेता

उन्होंने अपने नए तरीके का पुराने मानक तरीकों के मुकाबले परीक्षण किया।

पुराना तरीका: AI सामान्य विचार में अच्छा था लेकिन विशिष्ट विवरणों पर छोटी, महंगी गलतियाँ करता रहता था।
TAB-PO: AI बहुत अधिक सटीक हो गया। इसने इसकी सटीकता में लगभग 4% का सुधार किया (जो AI की दुनिया में बहुत बड़ा है) और सबसे महत्वपूर्ण बात यह है कि यह अधिक सुसंगत (Consistent) हो गया। इसने उन "बुरे दिनों" को बंद कर दिया जहाँ यह अचानक फॉर्म के स्ट्रक्चर को बिगाड़ देता था।

सारांश उपमा

AI को प्रशिक्षित करना एक रेस कार ड्राइवर को प्रशिक्षित करने जैसा समझें:

मानक DPO एक ड्राइवर को यह बताने जैसा है, "तेज़ चलो!" ड्राइवर पूरी कार की गति बढ़ा देता है, लेकिन वे मोड़ों पर नियंत्रण खो सकते हैं या बाहर निकल सकते हैं।
TAB-PO एक कोच की तरह है जो कहता है, "आप सीधे रास्ते पर बेहतरीन ड्राइविंग कर रहे हैं। सीधे रास्तों पर स्टीयरिंग व्हील को हाथ न लगाएं। केवल उन तीखे मोड़ों पर अपना ध्यान केंद्रित करें जहाँ आप भटक रहे हैं। और यदि आप बहुत अधिक भटकने लगें, तो ट्रैक पर बने रहने के लिए ब्रेक लगाएं।"

महत्वपूर्ण मोड़ों (महत्वपूर्ण टोकन) पर ध्यान केंद्रित करके और सीधे रास्तों (स्ट्रक्चर) की रक्षा करके, TAB-PO AI को उच्च-दांव वाले मेडिकल कार्यों के माध्यम से पूरी तरह से चलाने में मदद करता है।

यहाँ शोध पत्र "TAB-PO: Token-Critical Structured Generation के लिए एक Token-Level Adaptive Barrier के साथ Preference Optimization" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र टोकन-क्रिटिकल स्ट्रक्चर्ड जनरेशन (token-critical structured generation) कार्यों, विशेष रूप से चिकित्सा संचार एनोटेशन जैसे उच्च-जोखिम वाले डोमेन में, डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) को लागू करने की एक महत्वपूर्ण सीमा को संबोधित करता है।

संदर्भ: मानक DPO ओपन-एंडेड जनरेशन (जैसे चैट, समराइजेशन) के लिए प्रभावी है, लेकिन यह तब संघर्ष करता है जब आउटपुट को सख्त स्कीमा (जैसे पदानुक्रमित लेबल और एविडेंस स्पैन के साथ JSON) का पालन करना होता है।
विशिष्ट चुनौती (PV-Miner): लेखक PV-Miner कार्य प्रस्तुत करते हैं, जिसमें पेशेंट-प्रोवाइडर सुरक्षित संदेशों से पदानुक्रमित लेबल (Code/Sub-code) और सटीक टेक्स्ट स्पैन निकालना शामिल है। यह कार्य दो अनूठी विशेषताएं प्रदर्शित करता है जो मानक DPO को विफल कर देती हैं:
1. लो-सेपरेशन प्रेफरेंस पेयर्स (Low-Separation Preference Pairs): "चुने हुए" (सही) और "अस्वीकृत" (गलत) आउटपुट अक्सर केवल 1-3 टोकन से भिन्न होते हैं (जैसे एक गलत लेबल या थोड़ा सा बदला हुआ स्पैन बाउंड्री)।
2. टोकन-महत्व विषमता (Token-Importance Skew): आउटपुट उच्च-आवृत्ति वाले स्ट्रक्चरल टोकन (JSON स्कैफोल्डिंग) द्वारा हावी है, जबकि अर्थपूर्ण रूप से महत्वपूर्ण टोकन (लेबल और स्पैन) विरल (sparse) हैं।
मानक DPO की विफलता के स्वरूप (Failure Modes):
- ग्रेडिएंट डाइल्यूशन (Gradient Dilution): यूनिफॉर्म सीक्वेंस-लेवल वेटिंग पूरे JSON स्ट्रक्चर में लर्निंग सिग्नल को फैला देती है, जिससे उन कुछ महत्वपूर्ण टोकन के लिए सिग्नल कम हो जाता है जो शुद्धता निर्धारित करते हैं।
- मार्जिन कोलैप्स (Margin Collapse): न्यूनतम एडिट डिस्टेंस के साथ, लॉग-प्रोबेबिलिटी सेपरेशन इतना कम होता है कि मॉडल प्रभावी ढंग से सीख नहीं पाता।
- लाइक्लीहुड स्क्वीजिंग (Likelihood Squeezing): मानक DPO प्रेफर्ड कंप्लीशन की सापेक्ष मार्जिन को बढ़ा सकता है, लेकिन साथ ही उसकी एब्सोल्यूट लाइक्लीहुड को कम कर सकता है, जिससे अस्थिर या अमान्य स्कीमा आउटपुट उत्पन्न होते हैं।

2. कार्यप्रणाली: TAB-PO

लेखक Token-Adaptive Barrier Preference Optimization (TAB-PO) प्रस्तावित करते हैं, जो एक पोस्ट-SFT (सुपरवाइज्ड फाइन-ट्यूनिंग) विधि है जिसे प्रशिक्षण को स्थिर करने और महत्वपूर्ण टोकन पर ध्यान केंद्रित करने के लिए डिज़ाइन किया गया है।

A. कन्फ्यूजन-अवेयर प्रेफरेंस कंस्ट्रक्शन (Confusion-Aware Preference Construction)

रैंडम नेगेटिव्स के बजाय, TAB-PO ऐसे प्रेफरेंस पेयर्स $(x, Y^+, Y^-)$ बनाता है जो SFT मॉडल द्वारा पहचाने गए यथार्थवादी विफलता मोड को लक्षित करते हैं:

Code/Sub-code कन्फ्यूजन: स्पैन को सुरक्षित रखते हुए अर्थपूर्ण रूप से ओवरलैपिंग लेबल को बदलना।
मिसिंग एनोटेशन (Missing Annotation): एक वैध टुपल को हटाना (अंडर-एक्सट्रैक्शन का अनुकरण करना)।
एक्स्ट्रा एनोटेशन (Extra Annotation): एक स्प्यूरियस टुपल को डालना (ओवर-एक्सट्रैक्शन का अनुकरण करना)।
ये नेगेटिव्स SFT मॉडल के एम्पिरिकल कन्फ्यूजन मैट्रिक्स से प्राप्त किए जाते हैं, जिससे यह सुनिश्चित होता है कि प्रेफरेंस पेयर्स वास्तविक मॉडल कमजोरियों को दर्शाते हैं।

B. टोकन-वेटेड एडवांटेज (Token-Weighted Advantage)

TAB-PO मानक DPO ऑब्जेक्टिव को एक टोकन-वेटेड संस्करण द्वारा बदलकर संशोधित करता है:
$\Delta_w(x, Y^+, Y^-) = (\ell^w_\theta(Y^+) - \ell^w_\theta(Y^-)) - (\ell^w_{SFT}(Y^+) - \ell^w_{SFT}(Y^-))$

वेटिंग स्कीम: टोकन को उनके प्रकार के आधार पर भार दिया जाता है:
- $w_{Code}, w_{Sub-code}, w_{Span}$ को अधिक रखा जाता है (जैसे, 2, 3, 1.5) ताकि सिमेंटिक फील्ड्स को प्राथमिकता दी जा सके।
- स्ट्रक्चरल टोकन (JSON ब्रैकेट्स, कीज़) को शून्य वेट दिया जाता है।
प्रभाव: यह ग्रेडिएंट सिग्नल को विशिष्ट टोकन पर केंद्रित करता है जो शुद्धता को परिभाषित करते हैं, जिससे JSON स्कैफोल्डिंग द्वारा होने वाले डाइल्यूशन को रोका जा सके।

C. एडेप्टिव टोकन-लेवल बैरियर (Adaptive Token-Level Barrier)

"लाइक्लीहुड स्क्वीजिंग" को रोकने और स्कीमा वैधता बनाए रखने के लिए, TAB-PO एक कंडीशनल बैरियर रेगुलराइज़र पेश करता है:

मैकेनिज्म: यह उन टोकन की पहचान करता है जहाँ प्रिफर्ड आउटपुट में वर्तमान पॉलिसी $\pi_\theta$ अंडर-कॉन्फिडेंट (प्रोबेबिलिटी $< \tau$ ) है।
पेनल्टी: इन विशिष्ट टोकन के लिए, यह उनकी लाइक्लीहुड बढ़ाने के लिए एक SFT-स्टाइल पेनल्टी लागू करता है, जो उन्हें $\pi_{SFT}$ के साथ एंकर करता है।
एडेप्टिव प्रकृति: बैरियर केवल अंडर-कॉन्फिडेंट टोकन के लिए सक्रिय होता है। कॉन्फिडेंट टोकन प्रेफरेंस टर्म द्वारा ऑप्टिमाइज़ होने के लिए स्वतंत्र रहते हैं। यह प्रेफरेंस सेपरेशन की आवश्यकता और स्थिर, स्कीमा-अनुपालन जनरेशन की आवश्यकता के बीच संतुलन बनाता है।

D. अतिरिक्त स्थिरीकरण तकनीकें (Additional Stabilization Techniques)

लेंथ नॉर्मलाइजेशन (Length Normalization): लंबे आउटपुट को बैच ग्रेडिएंट पर हावी होने से रोकने के लिए प्रति उदाहरण लॉस को कुल टोकन-वेट मास द्वारा नॉर्मलाइज करता है।
क्लास इम्बैलेंस मिटिगेशन (Class Imbalance Mitigation): प्रशिक्षण के दौरान दुर्लभ लेकिन क्लिनिकली महत्वपूर्ण लेबल्स को अपवेट करने के लिए इफेक्टिव-नंबर वेटिंग का उपयोग करता है।

3. मुख्य योगदान (Key Contributions)

PV-Miner बेंचमार्क: एक नया कार्य और डेटासेट जो पदानुक्रमित लेबल, सटीक स्पैन ग्राउंडिंग और द्विदिश (पेशेंट/प्रोवाइडर) भूमिकाओं वाले स्ट्रक्चर्ड मेडिकल कम्युनिकेशन एनोटेशन को शामिल करता है। यह लेबल इम्बैलेंस और ओवरलैपिंग कैटेगरी जैसी वास्तविक चुनौतियों को कैप्चर करता है।
TAB-PO एल्गोरिदम: एक नया प्रेफरेंस ऑप्टिमाइज़ेशन फ्रेमवर्क जो:
- टोकन-वेटेड एडवांटेज के माध्यम से टोकन महत्व को सीक्वेंस लेंथ से अलग करता है।
- लाइक्लीहुड डिग्रेडेशन को रोकने के लिए कॉन्फिडेंस-गेटेड टोकन-लेवल बैरियर के माध्यम से स्ट्रक्चर्ड जनरेशन को स्थिर करता है।
कन्फ्यूजन-अवेयर डेटा क्यूरेशन: प्रेफरेंस पेयर्स के निर्माण के लिए एक हाइब्रिड प्रोटोकॉल जो केवल रैंडम नेगेटिव्स के बजाय विशेष रूप से मॉडल के एम्पिरिकल एरर मोड (कन्फ्यूजन, मिसिंग/एक्स्ट्रा एनोटेशन) को लक्षित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने 1.5B से 70B पैरामीटर्स वाले मॉडल्स (Llama-3.3, Llama-3.1, Qwen2.5) का उपयोग करके PV-Miner बेंचमार्क पर TAB-PO का मूल्यांकन किया।

प्रदर्शन लाभ: TAB-PO ने लगातार SFT और हालिया DPO वेरिएंट्स (IPO, SimPO, Cal-DPO, DPO-Positive) को पछाड़ दिया।
- SFT की तुलना में औसतन ~4% माइक्रो-F1 में सुधार हासिल किया।
- सब-कोड प्रेडिक्शन (फाइन-ग्रेन्ड लेबल्स) में विशेष रूप से मजबूत लाभ दिखाया, छोटे मॉडल्स (Qwen2.5-1.5B) के लिए सुधार +8.31% तक रहा।
स्थिरता: TAB-PO ने SFT और अन्य बेसलाइन्स की तुलना में रन-टू-रन वेरिएंस को काफी कम कर दिया, जो अधिक मजबूत ऑप्टिमाइज़ेशन का संकेत देता है।
एब्लेशन स्टडीज (Ablation Studies):
- टोकन वेटिंग (TW) ने सबसे बड़ा एकल सुधार (+1.7 मीन F1) प्रदान किया, जो सिमेंटिक टोकन पर ध्यान केंद्रित करने की आवश्यकता की पुष्टि करता है।
- लेंथ नॉर्मलाइजेशन (LN) और क्लास बैलेंसिंग (CB) ने मामूली लेकिन निरंतर लाभ प्रदान किया।
- नेगेटिव कंस्ट्रक्शन: मध्यम लो-सेपरेशन नेगेटिव्स (15.8% एडिट डिस्टेंस) अत्यंत न्यूनतम परटर्बेशन (7.7%) की तुलना में अधिक प्रभावी थे, जो एक स्पष्ट प्रेफरेंस सिग्नल की आवश्यकता का सुझाव देते हैं।

5. महत्व (Significance)

अंतराल को पाटना: यह शोध पत्र दर्शाता है कि मानक RLHF/DPO तकनीकें उच्च-जोखिम वाले, स्कीमा-प्रतिबंधित कार्यों के लिए अपर्याप्त हैं जहाँ एक सिंगल टोकन एरर आउटपुट को अमान्य कर देता है।
टोकन-लेवल कंट्रोल: TAB-PO सीक्वेंस-लेवल ऑप्टिमाइज़ेशन से टोकन-लेवल एडेप्टिव ऑप्टिमाइज़ेशन की ओर एक पैराडाइम शिफ्ट पेश करता है, जो उन कार्यों के लिए समाधान प्रदान करता जहाँ सिमेंटिक डेंसिटी कम लेकिन क्रिटिकल है।
क्लिनिकल अनुप्रयोग: मेडिकल एनोटेशन (विशेष रूप से पेशेंट-प्रोवाइडर मैसेज) में प्रिसिजन-रिकॉल गैप को हल करके, यह विधि अनुसंधान और देखभाल समन्वय के लिए अधिक विश्वसनीय, स्केलेबल क्लिनिकल सिग्नल एक्सट्रैक्शन को सक्षम बनाती है, जो हेल्थकेयर AI के लिए एक महत्वपूर्ण आवश्यकता है।
सामान्यीकरण (Generalizability): टोकन-वेटिंग और एडेप्टिव बैरियर के सिद्धांत किसी भी स्ट्रक्चर्ड जनरेशन कार्य (जैसे कोड जनरेशन, लीगल डॉक्यूमेंट ड्राफ्टिंग) पर लागू किए जा सकते हैं जहाँ विशिष्ट टोकन स्ट्रक्चरल फॉर्मेट के सापेक्ष अत्यधिक महत्व रखते हैं।