💻 computer science

When Specifications Conflict: A Symmetry-Based Framework for Measuring LLM Preferences

यह शोध पत्र एक समरूपता-आधारित (symmetry-based) प्रयोगात्मक ढांचे को प्रस्तुत करता है ताकि व्यवस्थित रूप से यह मापा जा सके कि लार्ज लैंग्वेज मॉडल्स प्रतिस्पर्धी विनिर्देशों (competing specifications) के बीच संघर्षों को कैसे सुलझाते हैं, जो विविध डोमेन में शुद्ध प्राकृतिक भाषा और इनपुट-आउटपुट उदाहरणों की तुलना में औपचारिक और प्राकृतिककृत औपचारिक भाषाओं (formal and naturalized formal languages) के पक्ष में एक सुसंगत प्राथमिकता पदानुक्रम को प्रकट करता है।

मूल लेखक: Tairan Wang, Liang Zhou, Zikang Zhan, Pingchuan Yan

प्रकाशित 2026-07-31

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tairan Wang, Liang Zhou, Zikang Zhan, Pingchuan Yan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, बहुत ही विद्वान मित्र से एक कठिन पहेली के लिए मदद मांग रहे हैं। लेकिन यहाँ एक मोड़ है: आपके मित्र को उसी पहेली के लिए दो अलग-अलग निर्देश नियमावली (instruction manuals) दी गई हैं। एक कहती है, "लाल नॉब को बाईं ओर घुमाएं," जबकि दूसरी जोर देती है, "लाल नॉब को दाईं ओर घुमाएं।" आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, ये "मित्र" लार्ज लैंग्वेज मॉडल्स (LLMs) हैं—विशाल कंप्यूटर प्रोग्राम जिन्हें इंटरनेट पर मौजूद लगभग सभी टेक्स्ट पर प्रशिक्षित किया गया है। वे कहानियाँ लिखने, गणित की समस्याओं को हल करने और यहाँ तक कि कोडिंग करने में अद्भुत हैं, लेकिन वे अक्सर भ्रमित हो जाते हैं जब उन्हें मिलने वाली जानकारी अव्यवस्थित या विरोधाभासी होती है।

यह शोध पत्र AI विज्ञान के एक विशिष्ट कोने में उतरता है: संघर्ष समाधान (Conflict Resolution)। यह एक सरल लेकिन गहरा प्रश्न पूछता है: जब एक AI को दो विरोधाभासी निर्देश मिलते हैं, तो वह वास्तव में किसे सुनता है? क्या वह एक सख्त, गणितीय सूत्र को प्राथमिकता देता है? एक साधारण अंग्रेजी वाक्य को? उदाहरणों की एक सूची को? या एक औपचारिक कोड स्निपेट को? यह समझना अत्यंत महत्वपूर्ण है क्योंकि जैसे-जैसे हम AI का उपयोग महत्वपूर्ण कार्यों के लिए करना शुरू कर रहे हैं—जैसे कंप्यूटर कोड लिखना, चिकित्सा निदान करना, या कानूनी निर्णय लेना—हमें यह जानने की आवश्यकता है कि क्या AI "कठोर नियमों" का पालन कर रहा है या केवल इस आधार पर अनुमान लगा रहा है कि शब्द कैसे सुनाई देते हैं। यदि हमें यह नहीं पता कि AI किस निर्देश को प्राथमिकता देता है, तो हम उसके उत्तरों पर भरोसा नहीं कर सकते।

महान निर्देश मुकाबला (The Great Instruction Showdown)

यूनिवर्सिटी कॉलेज लंदन के शोधकर्ताओं ने इस समस्या को एक विज्ञान मेले के प्रयोग की तरह लेने का निर्णय लिया। केवल AI से यादृच्छिक (random) प्रश्न पूछने के बजाय, उन्होंने एक नियंत्रित अरीना (arena) बनाया जहाँ वे उसे दो विशिष्ट, विरोधाभासी नियमों के बीच चयन करने के लिए मजबूर कर सकें। उन्होंने इसे "सममिति-आधारित ढांचा" (symmetry-based framework) कहा, जो एक फैंसी तरीका है यह कहने का कि उन्होंने खेल को इतनी पूर्णता से सेट किया कि केवल यह बदल रहा था कि नियम कैसे लिखे गए थे, न कि स्वयं नियम।

ऐसा करने के लिए, उन्होंने 550 अलग-अलग संघर्ष परिदृश्यों के साथ एक विशाल "मैथ बैटल एरिना" बनाया। प्रत्येक परिदृश्य में, AI को एक गणित की समस्या हल करनी थी (जैसे कि एक अनुक्रम की गणना करना या ग्राफ पर एक पथ खोजना) लेकिन उसे समाधान का वर्णन करने के दो अलग-अलग तरीके दिए गए थे। उन्होंने निर्देशों की चार अलग-अलग "भाषाओं" का परीक्षण किया:

शुद्ध प्राकृतिक भाषा (Pure Natural Language): केवल सामान्य अंग्रेजी वाक्य (जैसे, "संख्याओं को एक साथ जोड़ें।")।
औपचारिक भाषा (Formal Language): सख्त गणितीय प्रतीक और समीकरण (जैसे, $f(x) = x + 1$ )।
प्राकृतिककृत औपचारिक भाषा (Naturalized Formal Language): एक मिश्रण, जिसमें गणितीय प्रतीकों का उपयोग अंग्रेजी वाक्यों के साथ किया जाता है (जैसे, "फलन इस प्रकार परिभाषित है: $f(x) = x + 1$ ।")।
इनपुट-आउटपुट उदाहरण (Input-Output Examples): इनपुट और उनके परिणामों को दिखाने वाली उदाहरणों की एक सूची (जैसे, "यदि 2 जाता है, तो 3 आता है। यदि 5 जाता है, तो 6 आता है।")।

AI को एक विशिष्ट परीक्षण प्रश्न को हल करने के लिए इनमें से एक विवरण को चुनना था। शोधकर्ताओं ने फिर यह देखने के लिए निगरानी की कि AI किस विवरण पर इतना "भरोसा" करता है कि वह उसका पालन करे।

परिणाम: विश्वास का पदानुक्रम (The Results: The Hierarchy of Trust)

निष्कर्ष आश्चर्यजनक रूप से सुसंगत थे। AI ने केवल यादृच्छिक चुनाव नहीं किया; इसके पास एक बहुत ही स्पष्ट पसंदीदा विकल्प था। यह पता चला कि AI मॉडल्स संरचना को पसंद करते हैं और अस्पष्टता से नफरत करते हैं।

शोधकर्ताओं ने विश्वास का एक सख्त "क्रम" खोजा:

शीर्ष स्तर (Top Tier): औपचारिक (Formal) और प्राकृतिककृत औपचारिक (Naturalized Formal) भाषाएँ स्पष्ट विजेता थीं। जब उन्हें साधारण अंग्रेजी या उदाहरणों के विरुद्ध खड़ा किया गया, तो AI ने इन नियमों का लगभग 87% से 93% बार पालन किया। ऐसा लगता है कि जब AI एक स्वच्छ गणितीय सूत्र देखता है, तो वह उसे "कानून" के रूप में मानता है।
मध्यम स्तर (Middle Tier): शुद्ध प्राकृतिक भाषा (Pure Natural Language) दूसरे स्थान पर आई। यह उदाहरणों की तुलना में अधिक विश्वसनीय थी लेकिन गणित की तुलना में कम। AI ने उदाहरणों के मुकाबले इन निर्देशों का 78% बार पालन किया।
निचला स्तर (Bottom Tier): इनपुट-आउटपुट उदाहरण (Input-Output Examples) सबसे कम भरोसेमंद थे। जब AI को उदाहरणों की सूची और एक स्पष्ट नियम के बीच चयन करना था, तो उसने लगभग हमेशा उदाहरणों को अनदेखा कर दिया।

इसे इस तरह सोचें: यदि आप एक रोबोट को बताते हैं, "यहाँ मेरे दोपहर के भोजन के समय की एक सूची है: 12:00, 12:15, 12:30," तो वह अनुमान लगा सकता है कि आप 12:45 पर भोजन करते हैं। लेकिन यदि आप उसे बताते हैं, "मैं हर दिन दोपहर 12:00 बजे भोजन करता हूँ," तो वह 12:00 बजे पर ही टिका रहेगा। AI उदाहरणों से अनुमान लगाने वाले पैटर्न के बजाय स्पष्ट नियम को प्राथमिकता देता है।

यह केवल गणित नहीं है: वास्तविक दुनिया के परीक्षण

टीम केवल गणित तक ही सीमित नहीं रही। वे देखना चाहते थे कि क्या यह "विश्वास का पदानुक्रम" अधिक जटिल, वास्तविक दुनिया की स्थितियों में भी बना रहता है। उन्होंने तीन अन्य क्षेत्रों में AI का परीक्षण किया:

बूलियन बीजगणित (लॉजिक गेट्स): उन्होंने एक संक्षिप्त गणितीय सूत्र को एक विशाल "ट्रुथ टेबल" (एक बड़ी सूची जिसमें हर संभव परिणाम होता है) के विरुद्ध खड़ा किया। भले ही ट्रुथ टेबल व्यापक और त्रुटिहीन थी, फिर भी AI ने 88% बार संक्षिप्त सूत्र को प्राथमिकता दी। ऐसा लगता है कि AI "ब्रूट फोर्स" सूचियों के बजाय "स्मार्ट" शॉर्टकट पसंद करता है।
कोड जनरेशन (Code Generation): उन्होंने AI को एक कंप्यूटर प्रोग्राम क्या करना चाहिए इसके लिखित विवरण और स्वचालित परीक्षणों (कोड जो जांचता है कि प्रोग्राम काम कर रहा है या नहीं) के बीच संघर्ष दिया। यहाँ, परिणाम AI की "बौद्धिक क्षमता" पर निर्भर थे। छोटे, कम सक्षम मॉडल लिखित विवरण का पालन करने की प्रवृत्ति रखते थे, जबकि सबसे शक्तिशाली मॉडल स्वचालित परीक्षणों को दृढ़ता से प्राथमिकता देते थे, उनका 97% तक पालन करते थे। यह सुझाव देता है कि जैसे-जैसे AI अधिक स्मार्ट होता जाता है, वह मानव विवरणों के बजाय कोड परीक्षणों के "ठोस साक्ष्य" पर भरोसा करना सीख जाता है।
नैदानिक नियम (चिकित्सा सलाह): उन्होंने दवा की खुराक के वास्तविक चिकित्सा नियमों के साथ AI का परीक्षण किया। दिलचस्प बात यह है कि AI ने फॉर्मेट (अंग्रेजी बनाम उदाहरण) पर उतना ध्यान नहीं दिया जितना कि उसने सामग्री पर दिया। इस क्षेत्र में, AI ने लगातार सख्त नियम (जो कहता था कि "यह न करें") को अधिक उदार नियम के ऊपर चुना, चाहे वह नियम किसी भी रूप में लिखा गया हो। यह सुझाव देता है कि उच्च-दांव वाले क्षेत्रों में, AI के भीतर सुरक्षा के प्रति एक अंतर्निहित झुकाव है।

यह हमारे लिए क्या मायने रखता है

शोध पत्र निष्कर्ष निकालता है कि AI केवल एक यादृच्छिक अनुमान लगाने वाला नहीं है; उसके पास यह तय करने का एक व्यवस्थित तरीका है कि किन निर्देशों का पालन किया जाए। वह आम तौर पर स्पष्ट, संरचित नियमों (जैसे गणितीय सूत्र) को निहित पैटर्न (जैसे उदाहरण) के ऊपर प्राथमिकता देता है।

हालाँकि, शोधकर्ताओं ने यह भी पाया कि यह एक पूर्ण, अपरिवर्तनीय नियम नहीं है। AI की प्राथमिकता मॉडल की बुद्धिमत्ता और कार्य के प्रकार के आधार पर बदल सकती है। उदाहरण के लिए, चिकित्सा परीक्षणों में, AI ने फॉर्मेट को पूरी तरह से अनदेखा कर दिया और केवल "सुरक्षित" उत्तर की तलाश की।

यह अध्ययन हमें यह मापने के लिए एक नया उपकरण देता है कि AI कैसे सोचता है। यह समझकर कि AI का एक "पसंदीदा" प्रकार का निर्देश है, हम बेहतर सिस्टम डिजाइन कर सकते हैं। यदि हम चाहते हैं कि एक AI किसी विशिष्ट नियम का पालन करे, तो हमें उसे उदाहरणों की सूची से उम्मीद करने के बजाय एक स्पष्ट, औपचारिक कथन के रूप में लिखना चाहिए। यह एक याद दिलाता है कि भले ही AI स्मार्ट हो रहा है, उसे अभी भी स्पष्ट रूप से अपनी भाषा में बात करने की आवश्यकता है—विशेष रूप से तब जब निर्देश विरोधाभासी हों।

तकनीकी सारांश: परस्पर विरोधी विनिर्देशों के तहत LLM प्राथमिकताओं को मापने के लिए एक सममिति-आधारित ढांचा

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) तेजी से ऐसे वातावरण में कार्य कर रहे हैं जहाँ कई प्रासंगिक विनिर्देश (specifications) एक कार्य को परिभाषित करते हैं। ये विनिर्देश अक्सर विविध रूपों में होते हैं—जैसे प्राकृतिक भाषा निर्देश, औपचारिक बाधाएं (formal constraints), निष्पादन योग्य परीक्षण (executable tests), या इनपुट-आउटपुट उदाहरण—और ये असंगत या सीधे तौर पर परस्पर विरोधी हो सकते हैं। जबकि पूर्व शोध ने इस बात का परीक्षण किया है कि मॉडल सूचना स्रोतों (जैसे RAG या फैक्ट-चेकिंग में) के बीच संघर्षों का पता कैसे लगाते हैं या उन्हें कैसे सुलझाते हैं, लेकिन परस्पर विरोधी व्यवहारों के समर्थन में विभिन्न प्रकार के कार्य विनिर्देशों को प्राथमिकता देने के तरीके का व्यवस्थित रूप से विश्लेषण करने के लिए नियंत्रणीय और उत्तरदायी विधियों का अभाव है। विशेष रूप से, यह स्पष्ट नहीं है कि क्या LLMs कुछ विशिष्ट प्रतिनिधित्व प्रकारों (जैसे औपचारिक बनाम प्राकृतिक भाषा) के लिए व्यवस्थित प्राथमिकता प्रदर्शित करते हैं और ये प्राथमिकताएं विभिन्न मॉडलों और कार्य डोमेन में कैसे भिन्न होती हैं।

कार्यप्रणाली

लेखक एक सममिति-आधारित प्रयोगात्मक ढांचे (symmetry-based experimental framework) का प्रस्ताव करते हैं, जिसे प्रतिस्पर्धी निष्पादन योग्य मैपिंग (executable mappings) पर एक चयन प्रक्रिया के रूप में मानकर, परस्पर विरोधी विनिर्देशों के तहत मॉडल की प्राथमिकताओं को मापने के लिए डिज़ाइन किया गया है।

मुख्य ढांचा

निष्पादन योग्य मैपिंग (Executable Mappings): एक कार्य को एक मैपिंग $f: X \to Y$ द्वारा परिभाषित किया जाता है। संघर्ष विनिर्देशों को मैपिंग के जोड़ों ( $(f_1, f_2)$ ) के रूप में बनाया जाता है जो एक विभेदक प्रश्न $q^\star$ (जहाँ $f_1(q^\star) \neq f_2(q^\star)$ ) के लिए विशिष्ट, उत्तरदायी आउटपुट उत्पन्न करते हैं।
आरोपण (Attribution): क्योंकि प्रत्येक विनिर्देश एक ठोस आउटपुट को प्रेरित करता है, इसलिए मॉडल की प्रतिक्रिया को सीधे एक मैपिंग, दूसरी मैपिंग, या किसी से भी नहीं, इसके रूप में आरोपित किया जा सकता है। यह एक अंतर्निहित निर्णय को एक अवलोकन योग्य चर (observable variable) में बदल देता है।
सममिति-आधारित संतुलन (Symmetry-Based Counterbalancing): प्रतिनिधित्व प्रकारों के बीच विरोधाभासों (जैसे प्रस्तुति क्रम या विशिष्ट सामग्री पूर्वाग्रह) से होने वाले भ्रम को अलग करने के लिए, यह ढांचा 'सममिति-पूर्ण विन्यास' (symmetry-complete configurations) का उपयोग करता है। प्रतिनिधित्व प्रकारों $A$ $A$ और $B$ $B$ के बीच किसी भी तुलना के लिए, प्रति संघर्ष उदाहरण चार परीक्षण उत्पन्न किए जाते हैं:
- $(A(f_1), B(f_2)), (B(f_1), A(f_2)), (A(f_2), B(f_1)), (B(f_2), A(f_1))$ ।
  यह डिज़ाइन प्रतिनिधित्व प्रकारों के असाइनमेंट और प्रस्तुति के क्रम को संतुलित करता है, जिससे गैर-लक्ष्य कारकों को हटाकर प्राथमिकता अनुमान संभव हो पाता है।

प्रयोगात्मक सेटअप

इस ढांचे को तीन डोमेन में लागू किया गया:

गणितीय बेंचमार्क: 11 फंक्शन परिवारों (जैसे बीजगणितीय, ग्राफ, मैट्रिक्स संचालन) के माध्यम से 550 संघर्ष उदाहरणों का एक नियंत्रित डेटासेट। चार प्रतिनिधित्व प्रकारों की तुलना की गई: शुद्ध प्राकृतिक भाषा (NL), औपचारिक भाषा (Form), प्राकृतिकीकृत औपचारिक भाषा (NatF), और इनपुट-आउटपुट उदाहरण (Ex)।
बूलियन बीजगणित (Boolean Algebra): प्रतीकात्मक सूत्रों (symbolic formulas) और ट्रुथ टेबल्स (truth tables) के बीच संघर्ष।
कोड जनरेशन: प्राकृतिक भाषा दस्तावेज़ और निष्पादन योग्य यूनिट टेस्ट (MBPP डेटासेट से व्युत्पन्न) के बीच संघर्ष।
नैदानिक नियम (Clinical Rules): ओपनFDA लेबल से प्राप्त गुर्दे की खुराक संबंधी दहलीज (renal dosing thresholds) और बाल चिकित्सा आयु संकेत शामिल नियम, जो वास्तविक नियमों और स्कीमा-संरक्षण परिवर्तनों के बीच संघर्ष का परीक्षण करते हैं।

मुख्य परिणाम

1. व्यवस्थित प्रतिनिधित्व प्राथमिकताएं (गणितीय बेंचमार्क)

कई मॉडलों (DeepSeek, GPT, और Llama परिवारों सहित) में, गणितीय संघर्षों को सुलझाने के लिए एक सुसंगत प्राथमिकता क्रम पाया गया:
$\text{Formal} \approx \text{Naturalized Formal} > \text{Pure Natural Language} > \text{Input–Output Examples}$

Formal बनाम Natural Language: मॉडलों ने शुद्ध प्राकृतिक भाषा के बजाय औपचारिक विनिर्देशों को ~87% उत्तरदायी प्रतिक्रियाओं में चुना।
Formal बनाम Examples: उदाहरणों के मुकाबले औपचारिक विनिर्देशों के लिए प्राथमिकता और भी अधिक मजबूत थी (~93%)।
Naturalized Formal: हालांकि इसे प्राकृतिक भाषा में व्यक्त किया गया था, प्राकृतिककृत औपचारिक विनिर्देश शुद्ध औपचारिक विनिर्देशों के समान व्यवहार करते थे, जिससे पता चलता है कि स्पष्ट गणितीय संरचना ही प्रमुख कारक है, न कि सतही सिंटैक्स।
मॉडल भिन्नता: जबकि समग्र पदानक्रम बना रहा, प्राथमिकताओं की सापेक्ष शक्ति भिन्न थी। उदाहरण के लिए, औपचारिक बनाम प्राकृतिककृत औपचारिक के प्रति प्राथमिकता समान नहीं थी; कुछ मॉडलों (जैसे GPT-5-nano) ने प्राकृतिककृत औपचारिक को पसंद किया, जबकि अन्य (जैसे DeepSeek-V4-Flash) ने शुद्ध औपचारिक को पसंद किया।

2. उदाहरणों की भूमिका

इनपुट-आउटपुट उदाहरणों की प्रतिस्पर्धात्मकता मॉडल की क्षमता और कार्य संरचना पर अत्यधिक निर्भर पाई गई:

क्षमता निर्भरता: उच्च-क्षमता वाले मॉडल वेरिएंट आमतौर पर निम्न-क्षमता वाले वेरिएंट की तुलना में उदाहरण-समर्थित मैपिंग को अधिक बार चुनते हैं।
कार्य निर्भरता: उदाहरण शुद्ध प्राकृतिक भाषा के विरुद्ध सबसे अधिक प्रतिस्पर्धी थे (कुछ मॉडलों के लिए ~55% चयन दर), लेकिन औपचारिक या प्राकृतिककृत औपचारिक विनिर्देशों के विरुद्ध काफी कम प्रतिस्पर्धी थे (चयन दर अक्सर <10%)।
संरचना संवेदनशीलता: जब प्रतिस्पर्धी विनिर्देश स्पष्ट गणितीय संरचना को उजागर करता था, तो उदाहरण संघर्ष करने में विफल रहे, क्योंकि परिमित प्रदर्शन (finite demonstrations) औपचारिक नोटेशन के स्पष्ट प्रतिबंधों की तुलना में नियम को पुनः प्राप्त करने के लिए अपर्याप्त थे।

3. विषम डोमेन निष्कर्ष

बूलियन बीजगणित: मॉडलों ने व्यापक ट्रुथ टेबल्स की तुलना में संक्षिप्त, कम्पोजिशनल प्रतीकात्मक प्रतिनिधित्व (सूत्रों और गेट नेटलिस्ट) के प्रति मजबूत प्राथमिकता दिखाई। हालांकि, सूत्रों और गेट नेटलिस्ट के बीच प्राथमिकता मॉडल-निर्भर थी, जो संरचनात्मक रूप से समान प्रतिनिधित्वों के लिए कोई सार्वभौमिक पदानक्रम नहीं होने का सुझाव देती है।
कोड जनरेशन: मॉडल की क्षमता के आधार पर एक तीव्र विचलन देखा गया। निम्न-स्कोर वाले मॉडल आम तौर पर प्राकृतिक भाषा दस्तावेज़ों को पसंद करते थे, जबकि उच्च-स्कोर वाले मॉडल दृढ़ता से निष्पादन योग्य परीक्षणों को पसंद करते थे (शीर्ष मॉडलों के लिए 97% तक चयन)।
नैदानिक नियम: नैदानिक सेटिंग्स में, प्रतिनिधित्व पदानक्रम स्पष्ट रूप से स्थानांतरित नहीं हुआ। इसके बजाय, एक डोमेन-विशिष्ट पूर्वाग्रह उभरा: मॉडल लगातार अधिक प्रतिबंधात्मक (more restrictive) नियम को चुनते थे (52%–87% चयन), चाहे वह नियम "वास्तविक" लेबल हो या कोई परिवर्तन। यह इंग पर संकेत देता है कि उच्च-जोखिम वाले डोमेन में, सुरक्षा/प्रतिबंधात्मकता पूर्वाग्रह प्रतिनिधित्व प्राथमिकताओं को ओवरराइड कर सकते हैं।

4. मजबूती और त्याग (Abstention)

प्रस्तुति क्रम: एक माध्यमिक प्रभाव के रूप में, प्रस्तुति क्रम का प्रभाव प्रतिनिधित्व प्रकार की तुलना में न्यूनतम था, विशेष रूप से तब जब प्रतिस्पर्धी विनिर्देश समान शक्ति के थे (जैसे Formal बनाम Naturalized Formal)।
त्याग (Abstention): जब स्पष्ट रूप से "अनिश्चित" उत्तर देने की अनुमति दी गई, तो मॉडलों (विशेष रूप से GPT-5-nano) ने संघर्ष-हैंडलिंग रणनीति के रूप में त्याग का उपयोग किया, जिसकी दर प्रतिनिधित्व युग्मों (जैसे Formal बनाम Naturalized Formal के लिए GPT-5-nano में ~64% त्याग दर) के अनुसार काफी भिन्न थी।

महत्व और दावे

यह शोध दावा करता है कि यह LLM में संघर्ष समाधान को एक नियंत्रित, निष्पादन योग्य और सममिति-संतुलित माप समस्या के रूप में स्थापित करता है।

उत्तरदायी मापन: निष्पादन योग्य ग्राउंड ट्रुथ और सममिति-आधारित काउंटरबैलेंसिंग का उपयोग करके, यह ढांचा मॉडल के आउटपुट को विशिष्ट विनिर्देशों के प्रति सीधे आरोपित करने में सक्षम बनाता है, जो "भ्रम" (hallucination) या "समाधान" के गुणात्मक विश्लेषण से आगे जाता है।
संरचित लेकिन संदर्भ-निर्भर: परिणाम LLM संघर्ष समाधान को यादृच्छिक शोर के रूप में नहीं, बल्कि एक संरचित चयन प्रक्रिया के रूप में चित्रित करते हैं। हालांकि, यह संरचना संदर्भ-निर्भर है: जबकि गणितीय कार्यों में स्पष्ट संरचना के प्रति एक सामान्य प्राथमिकता है, डोमेन-विशिष्ट कारक (जैसे नैदानिक नियमों में प्रतिबंधात्मकता या कोड जनरेशन में परीक्षण सटीकता) इन प्राथमिकताओं को नया आकार दे सकते हैं या ओवरराइड कर सकते हैं।
एकीकृत ढांचा: यह कार्य विश्लेषण करने के लिए एक एकीकृत प्रयोगात्मक दृष्टिकोण प्रदान करता है कि मॉडल विभिन्न प्रकार के विनिर्देशों को कैसे प्राथमिकता देते हैं, यह प्रदर्शित करते हुए कि ये प्राथमिकताएं सार्वभौमिक नहीं हैं बल्कि मॉडल, कार्य परिवार और डोमेन के अनुसार व्यवस्थित रूप से भिन्न होती हैं।

लेखक निष्कर्ष निकालते हैं कि इन अंतर्निहित पदानक्रमों को समझना विश्वसनीय LLM-आधारित सिस्टम डिजाइन करने के लिए आवश्यक है, क्योंकि संघर्ष में "विजेता" का निर्धारण प्रतिनिधित्व प्रकार, मॉडल क्षमता और डोमेन-विशिष्ट बाधाओं के जटिल मेल द्वारा किया जाता है।