🤖 machine learning

A Theoretical Analysis of Test-Driven LLM Code Generation

यह शोधपत्र टेस्ट-ड्रिवन एलएलएम (LLM) कोड जनरेशन के लिए एक संभाव्य ढांचा स्थापित करता है, जो सैद्धांतिक रूप से सिद्ध करता है कि कोड चयन में फजी फंक्शनल सिमिलरिटी (fuzzy functional similarity), फंक्शनल इक्विवेलेंस (functional equivalence) से बेहतर है और बैकप्रॉम्प्टिंग की सीमाएं कार्य विवरण की अस्पष्टता से उत्पन्न होती हैं, जबकि कई बेंचमार्क के माध्यम से इन अंतर्दृष्टियों को अनुभवजन्य रूप से मान्य करता है।

मूल लेखक: Nicolas Menet, Michael Hersche, Andreas Krause, Abbas Rahimi

प्रकाशित 2026-03-31

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nicolas Menet, Michael Hersche, Andreas Krause, Abbas Rahimi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही प्रतिभाशाली, लेकिन थोड़े भ्रमित, रोबोट शेफ को काम पर रख रहे हैं ताकि वह आपके द्वारा नैपकिन पर लिखे गए एक अस्पष्ट नुस्खे (रेसिपी) के आधार पर एक जटिल भोजन बना सके। आप चाहते हैं कि रोबोट एक सॉफ़्टवेयर प्रोग्राम के लिए कोड (रेसिपी के चरण) लिखे।

यह पेपर इस बारे में एक गहरी पड़ताल है कि इस रोबोट शेफ को काम सही ढंग से पूरा करने में कैसे मदद की जाए, विशेष रूप से तब जब आपके पास एक "टेस्टिंग किचन" (एक निष्पादन वातावरण/execution environment) हो जहाँ आप परोसने से पहले भोजन का परीक्षण कर सकें।

लेखक इस समस्या को दो मुख्य रणनीतियों में विभाजित करते हैं: खाना पकाने के बाद सबसे अच्छा व्यंजन चुनना और खाना पकाते समय शेफ से बात करना।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: "रोबोट शेफ" भ्रमित है

रोबोट (लार्ज लैंग्वेज मॉडल) कोड लिखने में बहुत अच्छा है, लेकिन यह अक्सर छोटी-छोटी बारीकियों में फंस जाता है। यह एक केक के 10 अलग-अलग संस्करण लिख सकता है। दसों के स्वाद बिल्कुल एक जैसे हो सकते हैं, लेकिन वे कागज पर अलग दिख सकते हैं।

समस्या: यदि आप केवल उसे चुनते हैं जो दूसरों के सबसे करीब दिखता है, तो आप उस एक को मिस कर सकते हैं जो वास्तव में काम करता है क्योंकि रोबोट उन मामूली अंतरों के बारे में "भ्रम" (hallucinating) पाल रहा है जो मायने नहीं रखते।

2. रणनीति A: "टेस्टिंग पैनल" (पोस्ट-जेनरेशन सिलेक्शन)

यह तब होता है जब रोबोट 100 अलग-अलग कोड स्निपेट्स लिखता है, और आप उन सभी को टेस्ट किचन से गुजारते हैं ताकि देख सकें कि कौन से पास होते हैं।

पुराना तरीका (हार्ड मैचिंग): कल्पना कीजिए कि एक जज कहता है, "मैं केवल तभी केक स्वीकार करूँगा यदि वह आखिरी कण तक एक आदर्श केक के समान हो।" यदि दो केक का स्वाद एक जैसा है लेकिन एक पर फ्रॉस्टिंग का पैटर्न थोड़ा अलग है, तो जज दूसरे को खारिज कर देता है। यह अक्षम है क्योंकि रोबकी एक ही अच्छे केक के 50 थोड़े अलग संस्करण लिख सकता है, और जज उन्हें अलग मानता है, जिससे समय बर्बाद होता है।
नया तरीका (सॉफ्ट सिमिलैरिटी): लेखक एक स्मार्ट जज का प्रस्ताव देते हैं। यह जज कहता है, "मुझे परवाह नहीं है कि फ्रॉस्टिंग का पैटर्न थोड़ा अलग है। यदि इसका स्वाद एक जैसा है और यह टेस्ट पास कर लेता है, तो यह विजेता है।"
- निष्कर्ष: यह पेपर गणितीय रूप से सिद्ध करता है कि यह "सॉफ्ट जज" (जो कार्यात्मक समानता को देखता है) "हार्ड जज" (जो सटीक मिलान की तलाश करता है) की तुलना में सही कोड खोजने में बहुत बेहतर है। यह यह समझने जैसा है कि बिल्ली के 10 थोड़े अलग चित्र वास्तव में "बिल्लियाँ" ही हैं, जबकि हार्ड जज उन्हें 10 अलग जानवर समझता है।

3. रणनीति B: "फीडबैक लूप" (बैकप्रॉम्प्टिंग)

यह तब होता है जब आप केवल रोबोट के खत्म होने का इंतजार नहीं करते। इसके बजाय, आप रोबोट को थोड़ा खाना पकाने देते हैं, चखते हैं, उसे बताते हैं "इसमें नमक ज्यादा है," और उसे फिर से कोशिश करने देते हैं। इसे बैकप्रॉम्प्टिंग (Backprompting) कहा जाता है।

उपमा: रोबोट "हॉट एंड कोल्ड" (पास या दूर) का खेल खेल रहा है। आप टेस्ट परिणामों के आधार पर उसे बताते हैं, "आप गर्म हो रहे हैं!"
सैद्धांतिक मोड़ (थॉम्पसन सैंपलिंग): लेखकों ने महसूस किया कि रोबलेट वास्तव में थॉम्पसन सैंपलिंग नामक एक फैंसी गणितीय ट्रिक कर रहा है। यह एक जुआरी की तरह है जो सबसे अच्छी स्लॉट मशीन खोजने की कोशिश कर रहा है। रोबोट एक कोड आजमाता है, देखता है कि क्या यह काम करता है, और सही कोड के बारे में अपने "विश्वास" को अपडेट करता है।
सावधानी (द इरिड्यूसिबल रिग्रेट - अपरिहार्य पछतावा): यहाँ एक बड़ी खोज है। यह पेपर सिद्ध करता है कि इस फीडबैक लूप की एक सीमा है।
- कल्पना कीजिए कि रोबोट एक गुप्त संख्या का अनुमान लगाने की कोशिश कर रहा है। यदि आप उसे "ऊपर" या "नीचे" बताते हैं, तो वह अंततः अनुमान लगा सकता है।
- लेकिन, यदि आपका मूल निर्देश (नैपकिन रेसिपी) अस्पष्ट था (जैसे, "एक मिठाई बनाओ"), तो रोबोट "केक", "पाई" या "आइसक्रीम" के बीच अनुमान लगा रहा होगा। कितना भी टेस्टिंग फीडबैक काम नहीं करेगा क्योंकि आपने उसे यह नहीं बताया कि क्या बनाना है।
- सबक: यदि कार्य का विवरण संदिग्ध (ambiguous) है, तो रोबोट एक दीवार से टकरा जाएगा। कोई भी टेस्टिंग उस "पछतावे" (गलतियों) को ठीक नहीं कर सकती जो शुरुआती जानकारी के धुंधले होने के कारण है। यह पछतावा अपरिहार्य (irreducible) है क्योंकि शुरुआत ही अस्पष्ट थी।

4. प्रयोग: सिद्धांत को परखना

लेखकों ने इन विचारों का परीक्षण तीन अलग-अलग "किचन" (डेटासेट) पर किया:

BigCodeBench: बहुत कठिन, जटिल रेसिपी।
Qiskit: क्वांटम कंप्यूटिंग रेसिपी (बहुत विशिष्ट)।
LeetCode: स्पष्ट उदाहरणों वाले मानक पहेलियाँ।

उन्होंने क्या पाया:

सॉफ्ट जज जीतते हैं: "सॉफ्ट सिमिलैरिटी" विधि (समान कोड को समूह में रखना) लगातार "हार्ड मैचिंग" विधि से बेहतर रही।
स्पष्टता ही सर्वोपरि है: LeetCode डेटासेट पर, जहाँ निर्देशों में स्पष्ट उदाहरण शामिल थे (जैसे "2 अंडे वाला केक बनाएं"), फीडबैक लूप ने अद्भुत काम किया। अन्य डेटासेट्स पर, जहाँ निर्देश अस्पष्ट थे, रोबोट सुधार करने में संघर्ष करता रहा, जो "इरिड्यूसिबल रिग्रेट" सिद्धांत को सिद्ध करता है।
एक नया बेंचमार्क: उन्होंने QiskitHumanEvalSimX नामक एक नया डेटासेट बनाया। उन्होंने अस्पष्ट क्वांटम रेसिपी में स्पष्ट उदाहरण जोड़े। अचानक, रोबोट का प्रदर्शन बढ़ गया! इसने साबित कर दिया कि स्पष्ट निर्देश ही रोबोट की पूरी क्षमता को अनलॉक करने की कुंजी हैं।

सारांश: तीन बड़ी बातें

परफेक्शनिस्ट न बनें: कोड की जांच करते समय, उन चीजों को एक समूह में रखें जो एक ही तरह से काम करती हैं, भले ही वे कागज पर अलग दिखती हों। यह अधिक कुशल और सटीक है।
फीडबैक की सीमाएं होती हैं: रोबोट को यह बताना कि "आप गलत हैं" तभी मदद करता है जब आपने पहले से स्पष्ट रूप से बताया हो कि "सही" क्या है। यदि प्रॉम्प्ट अस्पष्ट है, तो रोबोट कभी पूरी तरह से सफल नहीं होगा, चाहे आप कितनी भी बार परीक्षण करें।
बेहतर प्रॉम्प्ट लिखें: AI को बेहतर बनाने का सबसे प्रभावी तरीका केवल AI को स्मार्ट बनाना नहीं है; बल्कि निर्देशों को कम संदिग्ध बनाना है। अपनी रिक्वेस्ट में उदाहरण जोड़ना ऐसा ही है जैसे रोबोट को केवल एक विवरण देने के बजाय अंतिम व्यंजन की तस्वीर देना।

संक्षेप में: एक स्पष्ट शेफ बनें, एक लचीला टेस्टर (चखने वाला) उपयोग करें, और याद रखें कि आप केवल भोजन चखकर एक खराब रेसिपी को ठीक नहीं कर सकते।

यहाँ शोध पत्र "A Theoretical Analysis of Test-Driven LLM Code Generation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग टेस्ट-ड्रिवन डेवलपमेंट (TDD) में कोडिंग असिस्टेंट के रूप में तेजी से किया जा रहा है। हालाँकि, निष्पादन वातावरण (execution environments) के साथ उनके इंटरैक्शन को नियंत्रित करने वाले सैद्धांतिक तंत्र अभी भी कम खोजे गए हैं। यह शोध पत्र दो प्रमुख प्रतिमानों (paradigms) को संबोधित करता है:

पोस्ट-जेनरेशन सिलेक्शन (Post-Generation Selection): कई कोड कार्यान्वयन (implementations) उत्पन्न करना और निष्पादन परिणामों (जैसे, पास रेट) के आधार पर सर्वश्रेष्ठ का चयन करना।
इटरेटिव बैकप्रॉम्प्टिंग (Iterative Backprompting): कोड को परिष्कृत (refine) करने के लिए जनरेशन प्रक्रिया के दौरान निष्पादन फीडबैक (टेस्ट फेलियर) के आधार पर LLM को कंडिशन करना।

पहचाने गए मुख्य चुनौतियाँ हैं:

प्रोग्राम एलियासिंग (Program Aliasing): विभिन्न कोड कार्यान्वयन कार्यात्मक रूप से समान हो सकते हैं, जिससे ऑटोरिग्रेसिव मॉडल्स में प्रोबेबिलिटी मास फ्रैगमेंटेशन (probability mass fragmentation) होता है।
अस्पष्टता (Ambiguity): अनौपचारिक कार्य विवरण अक्सर लक्ष्य एल्गोरिदम को विशिष्ट रूप से परिभाषित करने के लिए पर्याप्त विवरण की कमी रखते हैं, जिससे एक "अपरिहार्य पछतावा" (irreducible regret) उत्पन्न होता है जिसे कोई भी फीडबैक हल नहीं कर सकता।
कैलिब्रेशन (Calibration): वर्तमान मॉडल अक्सर कोड के सही होने की संभावना को उसके वास्तविक टेस्ट पास रेट के साथ संरेखित करने में विफल रहते हैं।

2. कार्यप्रणाली और सैद्धांतिक ढांचा (Methodology & Theoretical Framework)

लेखक एक संभाव्य दृष्टिकोण (probabilistic perspective) अपनाते हैं, जो कोड जनरेशन प्रक्रिया को एक स्ट्रक्चरल कॉज़ल मॉडल के रूप में मॉडल करता है जिसमें एक अदृश्य एब्स्ट्रैक्ट एल्गोरिदम ( $a$ ), एक निष्पादन वातावरण ( $e$ ), और एक कार्य विवरण ( $d$ ) शामिल है।

A. पोस्ट-जेनरेशन सिलेक्शन: फंक्शनल सिमिलरिटी बनाम इक्विवेलेंस

शोध पत्र चयन ह्यूरिस्टिक्स (selection heuristics) को शुद्धता की संभावना के एस्टिमेटर्स के रूप में औपचारिक रूप देता है।

फंक्शनल इक्विवेलेंस (Functional Equivalence): उन कोड्स को सख्ती से समूहीकृत करना जो सभी टेस्ट्स पर समान आउटपुट देते हैं।
फंक्शनल सिमिलरिटी (Functional Similarity - Fuzzy): टेस्ट के मामलों के वितरण में उनके आउटपुट की समानता की डिग्री के आधार पर कोड को समूहीकृत करना।
मुख्य सैद्धांतिक परिणाम: लेखक सिद्ध करते हैं कि फंक्शनल सिमिलरिटी (सॉफ्ट एस्टिमेटर्स) पर आधारित एस्टिमेटर्स, फंक्शनल इक्विवेलेंस (हार्ड एस्टिमेटर्स) पर आधारित एस्टिमेटर्स की तुलना में सिग्नल-टू-नॉइज़ रेशियो (SNR) के मामले में स्पष्ट रूप से बेहतर हैं।
- सॉफ्ट एस्टिमेटर्स एक लाभकारी इंडक्टिव बायस (inductive bias) पेश करते हैं जो प्रोबेबिलिटी लैंडस्स्केप को स्मूथ करता है, जिससे न्यूरल एप्रोक्सिमेशन आर्टिफैक्ट्स कम हो जाते हैं।
- स्मूथ एस्टिमेटर का SNR, शार्प एस्टिमेटर की तुलना में कम से कम $m^2$ गुना बेहतर दिखाया गया है (जहाँ $m$ टेस्ट सूट्स की संख्या है), और विविध कोड जेनरेशन के लिए यह और भी अधिक है।
एकीकरण (Unification): यह ढांचा मौजूदा ह्यूरिस्टिक्स (जैसे MBR-EXEC, AlphaCode, और CodeT) को एक एकल गणितीय औपचारिकता के तहत एकीकृत करता है, जो "हार्ड" (इक्विवेलेंस-आधारित) और "सॉफ्ट" (सिमिलरिटी-आधारित) वेरिएंट के बीच अंतर करता है।

B. इटरेटिव बैकप्रॉम्प्टिंग: एप्रोक्सिमेट थॉम्पसन सैंपलिंग

शोध पत्र इटरेटिव रिफाइनमेंट को बैकप्रॉम्प्टिंग के माध्यम से थॉम्पसन सैंपलिंग के इन-कॉन्टेक्स्ट एप्रोक्सिमेशन के रूप में फ्रेम करता है।

रिग्रेट बाउंड डेरिवेशन (Regret Bound Derivation): लेखक थॉम्पसन सैंपलिंग के लिए एक नया रिग्रेट बाउंड निकालते हैं जहाँ रिवॉर्ड फंक्शन में एक अदृश्य घटक ( $r_{hid}$ $r_{hi d}$ ) होता है।
- $r(x) = r_{obs}(x) + r_{hid}(x)$ , जहाँ $r_{obs}$ दृश्यमान टेस्ट पास रेट है और $r_{hid}$ लेटेंट (latent), अदृश्य एल्गोरिदम के साथ संरेखण का प्रतिनिधित्व करता है।
अपरिहार्य पछतावा (Irreducible Regret): बाउंड कुल रिग्रेट को एक सीखने योग्य टर्म (सब-लीनियर, $\tilde{O}(\sqrt{T})$ $\tilde{O} (T)$ ) और एक अपरिहार्य पछतावा टर्म ( $T\Delta$ $T Δ$ ) में विभाजित करता है।
- $\Delta$ कार्य विवरण में अस्पष्टता का प्रतिनिधित्व करता है। भले ही पूर्ण वातावरण फीडबैक उपलब्ध हो, यदि कार्य विवरण अस्पष्ट है, तो LLM वास्तविक इष्टतम समाधान तक नहीं पहुँच सकता।
- यह सैद्धांतिक रूप से समझाता है कि बैकप्रॉम्प्टिंग कब विफल होता है जब कार्य विवरण में पर्याप्त व्यवहारिक उदाहरणों की कमी होती है।

3. मुख्य योगदान (Key Contributions)

सिलेक्शन का सैद्धांतिक औपचारिकता: सिद्ध किया कि "सॉफ्ट" फंक्शनल सिमिलरिटी एस्टिमेटर्स, "हार्ड" इक्विवेलेंस एस्टिमेटर्स की तुलना में SNR में बेहतर प्रदर्शन करते हैं और न्यूरल आर्टिफैक्ट्स के विरुद्ध एक मजबूत इंडक्टिव बायस प्रदान करते हैं।
बैकप्रॉम्प्टिंग का रिग्रेट विश्लेषण: यह स्थापित किया कि इटरेटिव रिफाइनमेंट की प्रभावशीलता मौलिक रूप से कार्य विवरण की अस्पष्टता (अपरिहार्य पछतावा) द्वारा सीमित है, जो बैकप्रॉम्प्टिंग को अदृश्य रिवॉर्ड्स के साथ एप्रोक्सिमेट थॉम्पसन सैंपलिंग के रूप में फ्रेम करता है।
प्रायोगिक सत्यापन (Empirical Validation): तीन अत्याधुनिक ओपन-वेट मॉडल्स (Qwen3-235B, GPT-OSS-120B, MiniMax-M2.1) और तीन विविध बेंचमार्क्स (BigCodeBench-Hard, LeetCodeDataset, QiskitHumanEvalSim) पर सिद्धांतों को मान्य किया।
नया बेंचमार्क (QiskitHumanEvalSimX): एक नया डेटासेट पेश किया जहाँ अस्पष्टता को कम करने के लिए कार्य विवरणों को इनपुट-आउटपुट उदाहरणों के साथ समृद्ध किया गया था, जिससे यह प्रदर्शित हुआ कि स्पष्ट विवरण इन-कॉन्टेक्स्ट थॉम्पसन सैंपलिंग के प्रदर्शन को महत्वपूर्ण रूप से सुधारते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

सिलेक्शन ह्यूरिस्टिक्स:
- Soft > Hard: सभी मॉडल्स और डेटासेट्स में, "सॉफ्ट" सिलेक्शन रणनीतियाँ (फंक्शनल सिमिलरिटी का उपयोग करके) "हार्ड" रणनीतियों (सख्त समानता का उपयोग करके) की तुलना में लगातार बेहतर रहीं। उदाहरण के लिए, CODET SOFT और MAXPASS SOFT ने अपने हार्ड समकक्षों की तुलना में उच्च Pass@1 स्कोर प्राप्त किए।
- कैलिब्रेशन गैप: "MAXPASS" रणनीति (टेस्ट पास रेट के माध्यम से शुद्धता का अनुमान लगाना) ने "MBR-EXEC" (कोड सिमिलरिटी के माध्यम से अनुमान लगाना) की तुलना में लगातार बेहतर प्रदर्शन किया, जो यह दर्शाता है कि वर्तमान फ्रंटियर LLMs मिसकैलिब्रेटेड (miscalibrated) हैं (उनकी आंतरिक शुद्धता की संभावना वास्तविक टेस्ट परिणामों से मेल नहीं खाती है)।
इटरेटिव रिफाइनमेंट (थॉम्पसन सैंपलिंग):
- ओरेकल बनाम सेल्फ-टेस्ट: जब "ओरेकल" टेस्ट सुइट (परफेक्ट ग्राउंड ट्रुथ) प्रदान किया गया, तो LLMs अत्यधिक प्रभावी थॉम्पसन सैम्पलर्स के रूप में कार्य करते रहे, जो स्टैटिक जेनरेशन से काफी बेहतर रहे।
- द बॉटलनेक (The Bottleneck): जब सेल्फ-जेनरेटेड टेस्ट्स (Self-Test Feedback) पर निर्भर किया गया, तो जटिल डेटासेट्स (BigCodeBench-Hard) के लिए प्रदर्शन में लाभ न्यूनतम या नगण्य था।
- कारण: इस विफलता का श्रेय टेस्ट क्वालिटी बॉटलनेक को दिया गया। मॉडल्स उच्च-गुणवत्ता वाले टेस्ट लिखने में संघर्ष करते हैं, जिससे शोर वाला (noisy) फीडबैक मिलता है। इसके अलावा, इनपुट-आउटपुट उदाहरणों की कमी वाले डेटासेट्स के लिए अपरिहार्य पछतावा ( $\Delta$ ) अधिक था।
- QiskitHumanEvalSimX: कार्य विवरण में इनपुट-आउटपुट उदाहरण जोड़ने ( $\Delta$ को कम करने) से बैकप्रॉम्प्टिंग की प्रभावशीलता में उल्लेखनीय सुधार हुआ, जो सैद्धांतिक भविष्यवाणी की पुष्टि करता है।
मॉडल आर्किटेक्चर: हाइब्रिड मॉडल्स (जैसे Qwen3-Next) ने प्रतिस्पर्धी प्रदर्शन दिखाया, जो सुझाव देता है कि मॉडल का आकार/आर्किटेक्चर प्राथमिक सीमित कारक नहीं है; बल्कि, टेस्ट लिखने की क्षमता और कार्य विवरण की स्पष्टता महत्वपूर्ण है।

5. महत्व और निहितार्थ (Significance and Implications)

सैद्धांतिक आधार: यह शोध पत्र पहला कठोर संभाव्य ढांचा प्रदान करता है जो समझाता है कि कुछ चयन रणनीतियाँ दूसरों की तुलना में बेहतर क्यों काम करती हैं और इटरेटिव रिफाइनमेंट की सीमाएँ क्यों हैं।
व्यावहारिक दिशा-निर्देश:
- सिलेक्शन के लिए: डेवलपर्स को कोड जेनरेशन को एग्रीगेट करते समय सख्त समानता के बजाय "सॉफ्ट" सिमिलरिटी मेट्रिक्स को प्राथमिकता देनी चाहिए।
- प्रॉम्प्टिंग के लिए: प्रभावी इटरेटिव डिबगिंग को सक्षम करने के लिए, कार्य विवरण अस्पष्ट नहीं होने चाहिए, आदर्श रूप से अपरिहार्य पछतावे को कम करने के लिए इनपुट-आउटपुट उदाहरण शामिल होने चाहिए।
- एजेंट डिज़ाइन के लिए: उच्च-गुणवत्ता वाले टेस्ट लिखने की क्षमता कोड लिखने की क्षमता जितनी ही महत्वपूर्ण है। भविष्य के कोडिंग एजेंटों को बेहतर टेस्ट-जेनरेशन क्षमताओं और इटरेटिव फीडबैक की कम्प्यूटेशनल लागत को संभालने के लिए लंबे कॉन्टेक्स्ट हिस्ट्री (जैसे, स्टेट-स्पेस मॉडल्स) को प्रबंधित करने में सक्षम आर्किटेक्चर की आवश्यकता होगी।
भविष्य की दिशाएं: यह कार्य LLMs में बेहतर कैलिब्रेशन की आवश्यकता को रेखांकित करता है और सुझाव देता है कि केवल मॉडल पैरामीटर्स को स्केल करने की तुलना में यूजर इंटेंट (उपयोगकर्ता इरादे) की अस्पष्टता को कम करना प्रदर्शन में सुधार का एक अधिक तात्कालिक मार्ग है।