तकनीकी सारांश: "क्या LLMs रैंक कर सकते हैं? ट्रायड्स और ट्राइएज की एक कहानी"

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग उच्च-जोखिम वाले संसाधन आवंटन कार्यों के लिए "जज" के रूप में तेजी से किया जा रहा है, जैसे कि आपातकालीन आवास के लिए परिवारों को प्राथमिकता देना या आपातकालीन विभागों में रोगियों का ट्राइएज (triage) करना। हालांकि LLMs परिष्कृत तर्क प्रदर्शित करते हैं, उनके आउटपुट प्रस्तुति क्रम (presentation order) और प्रॉम्प्ट फ्रेमिंग के प्रति संवेदनशील होते हैं, जिससे वे एक साथ बड़े समूहों को रैंक करने के लिए नाजुक बन जाते हैं। एक सामान्य शमन रणनीति (mitigation strategy), जो सोशल चॉइस थ्योरी पर आधारित है, पेयरवाइज तुलनाओं (pairwise comparisons) को प्राप्त करना और उन्हें एक कुल क्रम (total order) में एकत्रित करना है।

हालांकि, एक महत्वपूर्ण अंतर बना हुआ है: चिकित्सकों के पास यह आकलन करने के लिए एक विश्वसनीय तरीका नहीं है कि क्या एक LLM के पेयरवाइज निर्णय तैनाती से पहले परिणामी रैंकिंग पर भरोसा करने के लिए पर्याप्त सुसंगत हैं। मौजूदा साहित्य अक्सर स्थिरता मेट्रिक्स (consistency metrics) और रैंकिंग सटीकता को अलग-अलग चिंताओं के रूप में देखता है, यह पता लगाने में विफल रहता है कि इंट्रा-रन कंसिस्टेंसी (एक एकल सेट के निर्णयों की आंतरिक तार्किक सुसंगतता) और इंटर-रन वेरिएंस (एक ही पाइपलाइन के कई रन के बीच रैंकिंग परिणाम की स्थिरता) के बीच क्या संबंध है। यह शोध जांच करता है कि क्या विश्वसनीयता के ये दो अक्ष (axes) स्वतंत्र हैं और वे सिंथेटिक और वास्तविक दुनिया के LLM अनुप्रयोगों में कैसे व्यवहार करते हैं।

कार्यप्रणाली

सैद्धांतिक ढांचा

लेखक रैंकिंग विश्वसनीयता के लिए एक $2 \times 2$ वर्गीकरण (taxonomy) प्रस्तावित करते हैं जो दो स्वतंत्र अक्षों द्वारा परिभाषित है:

1. इंट्रा-रन कंसिस्टेंसी (IC): इसे कोएफिशिएंट ऑफ कंसिस्टेंसी ($\zeta$) द्वारा मापा जाता है। मूल रूप से केंडल और स्मिथ द्वारा विकसित, $\zeta$ एक टूर्नामेंट ग्राफ में सर्कुलर ट्रायड्स (triples $\{a, b, c\}$ जहाँ $a \succ b \succ c \succ a$) को गिनकर जज की विश्वसनीयता को मापता है। $\zeta = 1$ पूर्ण ट्रांसिटिविटी (transitivity) को दर्शाता है, जबकि $\zeta = 0$ अधिकतम साइक्लिसिटी (cyclicity) को दर्शाता है। पेपर $\zeta$ के एसिम्प्टोटिक व्यवहार को $n$ (उम्मीदवारों की संख्या) के बढ़ने के साथ व्युत्पन्न करता है, जो दिखाता है कि यह विसंगति दर $r$ और एक स्केलिंग फैक्टर पर निर्भर करता है।
2. इंटर-रन वेरिएंस (IV): इसे एक ही पाइपलाइन के स्वतंत्र रन द्वारा उत्पन्न रैंकिंग के बीच केंडल के $\tau$ (Kendall's $\tau$) दूरी द्वारा मापा जाता है। यह अंतिम रैंकिंग की स्थिरता को कैप्चर करता है।

लेखक ब्रैडली-टेरी-लुस (BTL) मॉडल के तहत $\zeta$ और $\tau$ के बीच संबंध को सैद्धांतिक रूप से लक्षणित करते हैं, जो ज्ञात ग्राउंड ट्रुथ के साथ पेयरवाइज तुलनाओं का एक मानक जनरेटिव मॉडल है।

प्रयोगात्मक डिजाइन

अध्ययन दो डोमेन में इन मेट्रिक्स का मूल्यांकन करता है:

• बेघरता आवास आवंटन (Homelessness Housing Allocation): एकल वयस्कों, परिवारों और ट्रांजिशन-एज यूथ के लिए सेंट लुइस कोऑर्डिनेटेड एंट्री रिकॉर्ड्स (VI-SPDAT, VIF-SPDAT, TAY-VISPDAT) का उपयोग करके।
• इमरजेंसी डिपार्टमेंट ट्राइएज (Emergency Department Triage): इमरजेंसी सेवेरिटी इंडेक्स (ESI) लेबल के साथ MIMIC-IV डेटा का उपयोग करके।

मॉडेल्स: तीन प्रमुख LLMs का स्थानीय स्तर पर परीक्षण किया गया: Meta-Llama-3-8B-Instruct, DeepSeek-R1-Distill-Llama-8B, और Qwen2.5-7B-Instruct।

प्रक्रिया:

1. सबटूर्नामेंट मूल्यांकन: प्रत्येक डेटासेट के लिए, $m=30$ आइटम्स का एक पूर्ण सबटूर्नामेंट बनाया गया ($435$पेयरवाइज तुलना प्रति मॉडल)।$\zeta$की गणना सटीक रूप से की गई, और सेल्फ-कंसिस्टेंसी ($\tau_{cons}$) को बूटस्ट्रैप सबसैंपलिंग के माध्यम से मापा गया।
2. फुल स्पार्स पाइपलाइन: पाइपलाइन को बड़े सेट्स ($n$ अप टू 698) पर चलाया गया, जिसमें वास्तविक दुनिया की बाधाओं को सिम्युलेट करने के लिए एज सैंपलिंग प्रोबेबिलिटी $p=0.4$ का उपयोग किया गया। लेखकों ने मापा कि $\hat{\zeta}$ (स्पार्स डेटा से अनुमानित) और $\tau_{cons}$ कैसे $n$ के साथ स्केल करते हैं।

मुख्य योगदान

1. $\zeta$ का सैद्धांतिक लक्षण वर्णन: पेपर सिद्ध करता है कि फिक्स्ड डिस्क्रिमिनेबिलिटी के साथ BTL मॉडल के तहत, विसंगति दर $r$, $\Theta(1/n^2)$ के रूप में घटती है, जिससे $\zeta$, $n$ बढ़ने के साथ 1 की ओर अभिसरित (converge) होता है। यह एक सैद्धांतिक आधार स्थापित करता है जहाँ स्केल के साथ निरंतरता में सुधार होता है।
2. कंसिस्टेंसी अक्षों का पृथक्करण: सिंथेटिक प्रयोगों के माध्यम से, लेखक प्रदर्शित करते हैं कि $\zeta$ और $\tau_{cons}$ सहसंबंधित हैं लेकिन रेडंडेंट (redundant) नहीं हैं। विशेष रूप से, $\zeta$ तुलना सिग्नल की गुणवत्ता (intransitivity) को मापता है, जबकि $\tau_{cons}$ सिग्नल की गुणवत्ता और प्रति आइटम उपलब्ध तुलनाओं की मात्रा दोनों पर निर्भर करता है।
3. वास्तविक डेटा में अनुभवजन्य विचलन (Empirical Divergence): BTL मॉडल के विपरीत, वास्तविक दुनिया के LLM डेटा में $n$ बढ़ने के साथ एक स्थिर विसंगति दर ($r$) दिखाई देती है। परिणामस्वरूप, $\zeta$ बढ़ता नहीं है बल्कि एक एसिम्प्टोटिक फ्लोर के पास स्थिर हो जाता है, जबकि $\tau_{cons}$ डेटा बिंदुओं के संचय के कारण $n$ के साथ बढ़ता रहता है।
4. मॉडल-विशिष्ट प्रदर्शन प्रोफाइल: अध्ययन प्रकट करता है कि कोई भी एकल LLM दोनों अक्षों पर प्रभुत्व नहीं रखता है।
   • LLaMA: लगातार उच्चतम इंट्रा-रन कंसिस्टेंसी ($\zeta$) प्राप्त करता है लेकिन कम इंटर-रन स्थिरता प्रदर्शित करता है।
   • Qwen: उच्चतम इंटर-रन स्थिरता ($\tau_{cons}$) प्राप्त करता है लेकिन सबसे कम इंट्रा-रन कंसिस्टेंसी रखता है।
   • DeepSeek: आमतौर पर दोनों आयामों पर मध्यम स्तर पर रहता है।

परिणाम

• सिंथेटिक बनाम वास्तविक व्यवहार: सिंथेटिक BTL डेटा में, $\zeta$, $n$ के साथ बढ़ता है। वास्तविक LLM-जनित डेटा में, $\zeta$ विभिन्न $n$ के मानों केAcross लगभग स्थिर रहता है, जो इंगित करता है कि विसंगति दर $r$ आदर्श मॉडलों की तरह स्केल के साथ कम नहीं होती है।
• नैदानिक उपयोगिता (Diagnostic Utility): दिखाया गया है कि स्पार्स एस्टीमेटर $\hat{\zeta}$, विभिन्न अवलोकन संभावनाओं ($p$) के तहत निष्पक्ष (unbiased) है, जिससे चिकित्सक अधूरे डेटा के साथ भी तुलना की गुणवत्ता का अनुमान लगा सकते हैं।
• ट्रेड-ऑफ: पेपर एक महत्वपूर्ण ट्रेड-ऑफ को उजागर करता है: एक मॉडल जिसमें उच्च $\zeta$ (LLaMA) है, वह आंतरिक रूप से तार्किक लेकिन रन के बीच अस्थिर हो सकता है, जबकि एक मॉडल जिसमें उच्च $\tau_{cons}$ (Qwen) है, वह स्थिर रैंकिंग दे सकता है लेकिन आंतरिक रूप से इंट्रांजिटिव (intransitive) हो सकता है।

महत्व और दावे

पेपर का दावा है कि उच्च-जोखिम वाले रैंकिंग कार्यों में LLM विश्वसनीयता का आकलन करने के लिए केवल एक मेट्रिक (या तो $\zeta$ या $\tau_{cons}$) पर भरोसा करना अपर्याप्त और संभावित रूप से भ्रामक है।

• स्वतंत्र अक्ष: लेखक दावा करते हैं कि इंट्रा-रन कंसिस्टेंसी और इंटर-रन वेरिएंस वास्तव में विश्वसनीयता के स्वतंत्र अक्ष हैं। एक सिस्टम आंतरिक रूप से सुसंगत लेकिन अस्थिर (कम IV, उच्च IC) हो सकता है, या स्थिर लेकिन आंतरिक रूप से इंट्रांजिटिव (उच्च IV, निम्न IC) हो सकता है।
• व्यावहारिक नैदानिक प्रोटोकॉल: लेखक चिकित्सकों के लिए दो-चरणीय नैदानिक (diagnostic) प्रस्तावित करते हैं:
  1. एक छोटा, पूर्ण सबटूर्नामेंट चलाएं ताकि $\zeta$ की गणना की जा सके। यदि $\zeta$ कम है, तो तुलना प्रक्रिया मौलिक रूप से इंट्रांजिटिव है, और डेटा की कितनी भी मात्रा इसे ठीक नहीं कर सकती।
  2. यदि $\zeta$ उच्च है लेकिन $\tau_{cons}$ कम है, तो मुद्दा डेटा की मात्रा की कमी है, न कि सिग्नल की गुणवत्ता का; समाधान मॉडल बदलने के बजाय सैंपलिंग अंश (sampling fraction) को बढ़ाना है।
• मॉडल चयन: परिणाम बताते हैं कि मॉडल चयन डोमेन-विशिष्ट होना चाहिए। यदि कोई हितधारक व्यक्तिगत निर्णयों की तार्किक सुसंगतता को प्राथमिकता देता है, तो LLaMA को प्राथमिकता दी जा सकती है। यदि वे रन के बीच आउटपुट की स्थिरता को प्राथमिकता देते हैं, तो Qwen को चुना जा सकता है।

पेपर निष्कर्ष निकालता है कि प्रस्तावित वर्गीकरण (taxonomy) सरल सटीकता मेट्रिक्स से आगे बढ़कर AI विश्वसनीयता की एक सूक्ष्म समझ के लिए एक आवश्यक ढांचा प्रदान करता है।