Does Slightly Mean Somewhat? Measuring Vague Intensity Words in LLM Numeric Actions

तकनीकी सारांश: LLM संख्यात्मक क्रियाओं में अस्पष्ट तीव्रता वाले शब्दों का मापन

समस्या विवरण
जैसे-जैसे भाषा मॉडल (LLMs) एजेंटों और प्राकृतिक-भाषा नियंत्रण प्रणालियों में अधिक गहराई से समाहित हो रहे हैं, उन्हें अस्पष्ट मानवीय निर्देशों (जैसे, "थोड़ा सा बढ़ाएं," "भारी रूप से कम करें") को सटीक संख्यात्मक क्रियाओं में अनुवादित करना होगा, जिनके डाउनस्ट्रीम परिणाम होते हैं। जबकि पूर्व शोध ने यह स्थापित किया है कि मनुष्य अस्पष्ट अभिव्यक्तियों में क्रमिक रैंकिंग (ordinal rankings) को बनाए रखते हैं और LLMs शब्दावली के प्रति संवेदनशील हो सकते हैं, इस बात को समझने में एक अंतराल है कि मॉडल इन तीव्रता संशोधकों (intensity modifiers) को नियंत्रित वातावरण में ठोस संख्यात्मक आउटपुट में कैसे मैप करते हैं। विशेष रूप से, यह कम मापा गया है कि क्या मॉडल मजबूर होने पर भी तीव्रता वाले शब्दों की परिकल्पना की गई क्रमिक संरचना (ordinal structure) को बनाए रखते हैं, कैसे संदर्भ (सिस्टम स्टेट) इस मैपिंग को प्रभावित करता है, और परिचालन व्यवहार्यता सीमाओं (operational feasibility boundaries) के पास मॉडल कैसा व्यवहार करते हैं।

कार्यप्रणाली
यह अध्ययन भाषा से क्रिया के अनुवाद को अलग करने के लिए एक कृत्रिम, सीमित संसाधन-आवंटन वातावरण का उपयोग करता है।

• प्रायोगिक सेटअप: मॉडल (Claude Haiku) को 10 विशिष्ट तीव्रता शब्दों में से एक का उपयोग करके कार्य आवंटन (task allocation) बढ़ाने के लिए प्राकृतिक-भाषा निर्देश प्राप्त होते हैं। एक नियतात्मक बैकएंड (deterministic backend) मॉडल के संख्यात्मक टूल कॉल को एक मापने योग्य परिणाम में परिवर्तित करता है।
• शब्द पैमाना (Word Scale): Quirk et al. (1985) के वर्गीकरण के आधार पर छह परिकल्पित स्तरों को कवर करने के लिए दस अंग्रेजी डिग्री संशोधक चुने गए, जो कमजोर घटाव (slightly, marginally) से लेकर अधिकतम करने वाले (drastically, dramatically) तक विस्तृत हैं।
• शर्तें (Conditions):
  1. कोई-संदर्भ (No-Context): निर्देशों में वर्तमान सिस्टम स्टेट का अभाव है (जैसे, "समय [WORD] अधिक खर्च करें")।
  2. संदर्भ-सशर्त (Context-Conditioned): निर्देशों में प्रारंभिक आवंटन शामिल है (जैसे, "वर्तमान आवंटन X% है। मैं [WORD] वृद्धि करना चाहूंगा")। दस आधार रेखा मानों (0% से 89% तक) का परीक्षण किया गया, जिसमें पूर्णांक और अनियमित मान शामिल थे।
  3. नियंत्रण (Controls): सटीक-संख्या वाले प्रॉम्प्ट्स ने हार्नेस (harness) को मान्य किया।
• पैरामीटर्स: प्रयोगों को तापमान $T=0.0$ और $T=0.7$ पर चलाया गया, जिसमें प्रति सेल 30 रन (कुल 6,620 रन) हुए।
• विश्लेषण: अध्ययन गैर-पैरामीट्रिक सांख्यिकी का उपयोग करता है, जिसमें क्रमिक सहसंबंध (ordinal correlation) के लिए Spearman's $\rho$ और यह निर्धारित करने के लिए Kruskal-Wallis टेस्ट (प्रभाव आकार $\varepsilon^2$ के साथ) शामिल है कि शब्द चयन या प्रारंभिक आवंटन आउटपुट में अधिक भिन्नता (variance) की व्याख्या करता है।

मुख्य परिणाम
प्रयोगों में तीन प्राथमिक पैटर्न उभर कर आए:

1. तीव्रता का संपीड़न (Compression of Intensity): 'नो-कॉन्टेक्स्ट' स्थिति में, मॉडल 10 अलग-अलग तीव्रता शब्दों को केवल 5 अलग-अलग माध्य आउटपुट (median outputs) में संकुचित कर देता है। चार सबसे निचले स्तर के शब्द (slightly, marginally, somewhat, mildly) सभी 0.50 के माध्य आवंटन पर मैप होते हैं जिनमें शून्य भिन्नता होती है। मजबूत शब्द उच्च श्रेणियों (0.60–0.70) में टूटते हैं। हालांकि एक मजबूत क्रमिक सहसंबंध ($\rho = 0.845$) मौजूद है, लेकिन सूक्ष्म भाषाई अंतर लुप्त (collapse) हो जाते हैं।
2. स्टेट प्रभुत्व (State Dominance): जब संदर्भ प्रदान किया जाता है, तो प्रारंभिक आवंटन शब्द चयन पर हावी हो जाता है। बेसलाइन द्वारा समूहीकरण, शब्द द्वारा समूहीकरण की तुलना में रैंक-आधारित भिन्नता की लगभग 10 गुना अधिक व्याख्या करता है ($\varepsilon^2_{baseline} = 0.782$ बनाम $\varepsilon^2_{word} = 0.079$)। जैसे-जैसे सिस्टम क्षमता के करीब पहुंचता है, शब्दों के बीच का अंतर शून्य हो जाता है; 75% बेसलाइन पर, सभी 10 शब्द एक ही माध्य आउटपुट उत्पन्न करते हैं।
3. असंतत सीमा व्यवहार (Discontinuous Boundary Behavior): व्यवहार्यता सीमाओं (89% प्रारंभिक आवंटन) के पास, मॉडल उपयोग किए गए शब्द के आधार पर तीन अलग-अलग व्यवहार मोड प्रदर्शित करता है:
   • हेज (Hedge): कमजोर शब्द छोटे समायोजन करते हैं।
   • परहेज (Abstain): मजबूत शब्द (जैसे, considerably, substantially) अक्सर बाधाओं का हवाला देते हुए कार्य करने से मना कर देते हैं।
   • धकेलना (Push): शब्द drastically अद्वितीय व्यवहार करता है, जो परहेज करने के बजाय आवंटन को स्थानीय सीलिंग (0.912) तक धकेलता है।
     ये पैटर्न तापमानों में बने रहते हैं; $T$ को 0.7 तक बढ़ाने से वितरण व्यापक होता है लेकिन सूक्ष्म क्रमिक अंतर बहाल नहीं होते हैं।

मुख्य योगदान

1. कार्यप्रणाली: एक नियंत्रित उपकरण जो यह मापता है कि LLMs अस्पष्ट तीव्रता वाले शब्दों को संख्यात्मक क्रियाओं में कैसे मैप करते हैं, जो भाषा-से-क्रिया अनुवाद को डाउनस्ट्रीम सिस्टम शोर से अलग करता है।
2. संपीड़न का प्रमाण: इस बात का दस्तावेजीकरण कि मॉडल मोटे तीव्रता स्तरों को सुरक्षित रखता है लेकिन सूक्ष्म भाषानुसार अंतर को समान संख्यात्मक आउटपुट में संकुचित कर देता है।
3. संदर्भ निर्भरता: मात्रात्मक प्रमाण कि संदर्भ-सशर्त सेटिंग्स में वर्तमान सिस्टम स्टेट शब्द चयन पर हावी होता है, जो अस्पष्ट निर्देशों की संदर्भ-अपरिवर्तनीय नियंत्रण संकेतों के रूप में विश्वसनीयता को कमजोर करता है।
4. सीमा खोज (Boundary Discovery): परिचालन सीमाओं के पास शब्द-निर्भर परहेज (abstention) और श्रेणीगत मोड स्विचिंग (hedge, act, abstain) की पहचान, जो क्रिया नीतियों में विच्छेदन (discontinuities) को प्रकट करती है जो केवल भाषा से दिखाई नहीं देतीं।

महत्व और दावे
यह शोध यह तर्क देता है कि LLM-मध्यस्थ इंटरफेस में अस्पष्ट निर्देशों को स्थिर, स्केलर क्रियाओं के रूप में नहीं माना जाना चाहिए। निष्कर्ष बताते हैं कि मॉडल की परिचालन शब्दावली सतह की भाषा की तुलना में अधिक मोटी (coarser) है और तीव्रता शब्द का अर्थ शब्द और सिस्टम स्टेट का एक संयुक्त कार्य है, न कि एक निश्चित मान।

यह अध्ययन इन निष्कर्षों को एक विशिष्ट संरेखण (alignment) समस्या के रूप में प्रस्तुत करता है: क्या एक मॉडल-मध्यस्थ इंटरफ़ेस ऑपरेटर के इच्छित अर्थ विज्ञान (semantics) को सुरक्षित रखता है। परिणाम एक मिश्रित परिणाम दर्शाते हैं: जबकि व्यापक तीव्रता स्तरों को कैप्चर किया जाता है, सूक्ष्म अंतर खो जाते हैं, और सीमाओं के पास व्यवहार असंतत हो जाता है। लेखक स्पष्ट रूप से उल्लेख करते हैं कि अध्ययन यह दावा नहीं करता कि मॉडल मनुष्यों से "खराब" है, क्योंकि इन शब्दों की मानवीय व्याख्या भी संदिग्ध हो सकती है; बल्कि, यह अध्ययन इस डोमेन में परीक्षण किए गए मॉडल के विशिष्ट व्यवहारिक पैटर्न का दस्तावेजीकरण करता है। शोध निष्कर्ष निकालता है कि ये पैटर्न परीक्षण किए गए मॉडल और डोमेन के लिए विशिष्ट हैं, और भविष्य के कार्यों में मानव बेसलाइन, क्रॉस-मॉडल तुलना और सघन प्रायोगिक ग्रिड शामिल करने की योजना है।