💬 NLP

Don't Adapt Small Language Models for Tools; Adapt Tool Schemas to the Models

यह शोध पत्र PA-Tool प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free) विधि है जो टूल स्कीमा को मॉडल के प्रीट्रेनिंग ज्ञान के अनुरूप ढालकर छोटे भाषा मॉडलों में टूल-उपयोग की सटीकता में सुधार करती है, जिससे बिना मॉडल को पुन: प्रशिक्षित किए स्कीमा मिसअलाइनमेंट त्रुटियों को 80% तक कम किया जा सकता है।

मूल लेखक: Jonggeun Lee, Woojung Song, Jongwook Han, Haesung Pyun, Yohan Jo

प्रकाशित 2026-04-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jonggeun Lee, Woojung Song, Jongwook Han, Haesung Pyun, Yohan Jo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र "Don't Adapt Small Language Models for Tools; Adapt Tool Schemas to the Models" का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए हिंदी अनुवाद दिया गया है।

मुख्य विचार: कुत्ते को नए करतब सिखाना बंद करें; बस उसके पसंदीदा बिस्कुट बदल दें

कल्पना कीजिए कि आपके पास एक बहुत ही समझदार, पढ़ाकू कुत्ता है (Small Language Model या SLM)। इस कुत्ते ने अपना पूरा जीवन लाखों किताबें पढ़ने, इंसानों की भाषा सीखने और हज़ारों शब्दों को याद करने में बिताया है। वह "bark" और "woof" जैसे शब्दों को पूरी तरह से जानता है।

अब, आप चाहते हैं कि यह कुत्ता एक विशिष्ट काम करे: एक विशेष गेंद लाना।

समस्या:
आप जो काम का विवरण (Tool Schema) कुत्ते को देते हैं, उसमें लिखा है: "जाओ और Spherical-Red-Object-42 लेकर आओ।"

हालाँकि, कुत्ते ने कभी "Spherical-Red-Object-42" के बारे में नहीं सुना है। वह "Red Ball" या "Toy" को जानता है। क्योंकि निर्देश में दिया गया नाम उन नामों से मेल नहीं खाता जो उसने अपनी किताबों को पढ़ते समय सीखे थे, कुत्ता भ्रमित हो जाता है। वह अंदाज़ा लगा सकता है, "शायद इनका मतलब 'Spherical-Red-Object-42' से 'Fire-Hydrant' है?" और वह दौड़कर फायर-हाइड्रेंट लाने चला जाता है। इसे Hallucination (भ्रम/मतिभ्रम) कहा जाता है।

अधिकांश शोधकर्ता इसे ठीक करने के लिए कुत्ते को फिर से प्रशिक्षित (Re-training) करने की कोशिश करते हैं (Supervised Fine-Tuning), ताकि वह यह याद कर सके कि "Spherical-Red-Object-42" का नया नाम "Red Ball" है। इसमें बहुत समय, ऊर्जा और पैसा लगता है।

शोध पत्र का समाधान (PA-Tool):
कुत्ते को एक अजीब नया नाम सीखने के लिए मजबूर करने के बजाय, लेखक कहते हैं: "चलिए, बस निर्देश कार्ड पर लिखे नाम को बदल देते हैं ताकि वह उस नाम से मेल खाए जो कुत्ता पहले से जानता है।"

हम "Spherical-Red-Object-42" का नाम बदलकर "Red Ball" कर देते हैं। अब, कुत्ता तुरंत समझ जाता है, दौड़कर जाता है, और सही वस्तु लेकर आता है। इसके लिए किसी पुन: प्रशिक्षण (re-training) की आवश्यकता नहीं होती।

यह कैसे काम करता है: "परिचितता डिटेक्टर" (Familiarity Detector)

यह शोध पत्र एक विधि पेश करता है जिसे PA-Tool (Pretraining-Aligned Tool Schema Generation) कहा जाता है। यह एक रूपक (metaphor) का उपयोग करते हुए, चरण-दर-चरण इस प्रकार काम करता है:

1. "भीड़ परीक्षण" (Candidate Generation)

कल्पना कीजिए कि आप कुत्ते से पूछते हैं, "तुम उस टूल को क्या कहते हो जो मौसम की जाँच करता है?"
आप उससे 32 बार पूछते हैं, हर बार अपना लहजा थोड़ा बदलते हुए (जैसे अलग-अलग दोस्तों से पूछना)।

कुत्ता कह सकता है: "WeatherCheck," "GetWeather," "SkyScan," "WeatherInfo," "CheckWeather."

2. "गुच्छों का पता लगाना" (Peakedness)

यही सबसे चतुर हिस्सा है। शोधकर्ता जवाबों की सूची देखते हैं।

यदि कुत्ता "WeatherCheck" 5 बार कहता है, और "SkyScan" 1 बार कहता है, तो यह केवल आवृत्ति (frequency) की गिनती है।
लेकिन PA-Tool गुच्छों (clumps) को देखता है। यह पूछता है: "इनमें से कितने उत्तर एक-दूसरे के बहुत करीब हैं?"
- "WeatherCheck," "CheckWeather," और "Weather-Check" सभी एक-दूसरे के बहुत करीब हैं। वे एक गुच्छा (clump) बनाते हैं।
- "SkyScan" बाकी सब से दूर है।

शोध पत्र इसे "Peakedness" कहता है। यदि कुत्ता बार-बार ऐसे नाम उत्पन्न कर रहा है जो एक-दूसरे के बहुत समान हैं, तो इसका मतलब है कि कुत्ता उस अवधारणा (concept) से परिचित है जो उसने अपने प्रशिक्षण के दौरान सीखी थी। यह एक संकेत है जो कहता है: "अरे, मैंने अपनी किताबों में इस पैटर्न को लाखों बार देखा है!"

3. "नाम बदलना" (Schema Selection)

PA-Tool सबसे बड़े और सबसे घने गुच्छे से नाम चुनता है।

मूल टूल का नाम: get_weather_info (कुत्ता इसे नहीं जानता)।
PA-Tool का नया नाम: get_weather_forecast (कुत्ता इस पैटर्न को तुरंत पहचान लेता है)।

सिस्टम फिर निर्देश कार्ड में नाम को बदल देता है। कुत्ता परिचित नाम देखता है, आत्मविश्वास महसूस करता है, और कार्य को पूरी तरह से निष्पादित करता है।

यह क्यों महत्वपूर्ण है

1. यह मुफ्त और तेज़ है
आमतौर पर, एक छोटे AI मॉडल को टूल्स का उपयोग करने में बेहतर बनाने के लिए, आपको उसे "फाइन-ट्यून" करना पड़ता है। यह कुत्ते को एक महंगे, महीनों लंबे प्रशिक्षण शिविर में भेजने जैसा है। PA-Tool एक निर्देश पुस्तिका को फिर से लिखने जैसा है। इसमें कुछ ही सेकंड लगते हैं, इसकी कोई लागत नहीं आती, और इसके लिए किसी पुन: प्रशिक्षण की आवश्यकता नहीं होती।

2. यह "नकली नाम" की समस्या को ठीक करता है
छोटे मॉडल अक्सर इसलिए विफल होते हैं क्योंकि वे ऐसे नकली टूल नाम बना लेते हैं जो सुनने में असली लगते हैं लेकिन उनका अस्तित्व नहीं होता। टूल के नामों को मॉडल द्वारा पहले से जाने गए नामों के साथ संरेखित करके, PA-Tool मॉडल को अनुमान लगाने से रोकता है। परीक्षणों में, इसने "नकली नाम" वाली त्रुटियों को 80% तक कम कर दिया।

3. यह सभी के लिए काम करता है
इस शोध पत्र ने कई अलग-अलग छोटे मॉडलों (जैसे Llama और Qwen) पर इसका परीक्षण किया। यह लगभग सभी के लिए काम कर गया, जिससे उनकी सफलता दर में 17% तक की वृद्धि हुई। इससे भी बेहतर बात यह है कि यह अन्य विधियों के साथ मिलकर भी काम करता है। आप एक मॉडल को पुन: प्रशिक्षित भी कर सकते हैं और PA-Tool का भी उपयोग कर सकते हैं, और परिणाम और भी बेहतर होंगे।

मानवीय पहलू (The Human Twist)

आप चिंतित हो सकते हैं: "यदि हम नामों को AI के अनुरूप बदलने के लिए बदल देते हैं, तो क्या मनुष्य उन्हें समझ पाएंगे?"

शोधकर्ताओं ने मानव डेवलपर्स से नए नामों की जांच करने के लिए कहा। आश्चर्यजनक रूप से, इंसानों को भी वे पसंद आए!

पुराना नाम: Figlet (एक ब्रांड-विशिष्ट, भ्रमित करने वाला नाम)।
नया नाम: ascii_converter (स्पष्ट, वर्णनात्मक, और वही जो AI स्वाभाविक रूप से कहना चाहता था)।

यह सच है कि AI द्वारा "याद रखे गए" नाम अक्सर मनुष्यों के लिए भी सबसे तार्किक और स्पष्ट होते हैं।

सारांश

PA-Tool को एक ऐसे अनुवादक के रूप में समझें जो AI को नई भाषा नहीं सिखाता। इसके बजाय, यह टूल के निर्देशों को उस भाषा में अनुवाद करता है जिसे AI पहले से ही धाराप्रवाह बोलता है।

पुराना तरीका: AI को नए, अजीब टूल नामों के शब्दकोश को याद करने के लिए मजबूर करना।
PA-Tool का तरीका: टूल के नामों को उस शब्दकोश के अनुरूप बदलना जो AI के दिमाग में पहले से मौजूद है।

यह छोटे, कुशल AI मॉडलों को बिना किसी महंगे पुन: प्रशिक्षण के बड़े और शक्तिशाली मॉडलों की तरह काम करने की अनुमति देता है। यह एक सरल, चतुर तरीका है जो AI जो जानता है और टूल्स को क्या कहा जाता है, उसके बीच के अंतर को पाटता है।

यहाँ ली एट अल. के शोध पत्र "Don't Adapt Small Language Models for Tools; Adapt Tool Schemas to the Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

स्मॉल लैंग्वेज मॉडल्स (SLMs, आमतौर पर $\le$ 8B पैरामीटर्स) का उपयोग मल्टी-एजेंट सिस्टम और एज डिप्लॉयमेंट में उनकी कम्प्यूटेशनल दक्षता के कारण तेजी से बढ़ रहा है। हालाँकि, वे टूल-ऑगमेंटेड कार्यों में, विशेष रूप से टूल चयन (सही API की पहचान करना) और पैरामीटर पहचान में काफी संघर्ष करते हैं।

पहचाना गया प्राथमिक विफलता मोड स्कीमा मिसअलाइनमेंट (Schema Misalignment) है:

यह घटना: जब किसी टूल स्कीमा (उपलब्ध टूल्स और पैरामीटर्स की सूची और उनके विवरण) को प्रस्तुत किया जाता है, तो SLMs अक्सर ऐसे टूल नामों का भ्रम (hallucination) पैदा करते हैं जो सुनने में तो सही लगते हैं लेकिन दिए गए स्कीमा में मौजूद नहीं होते।
कारण: प्रीट्रेनिंग के दौरान, मॉडल विशिष्ट नामकरण परंपराओं (जैसे, get_weather_forecast) को आत्मसात कर लेते हैं। जब दिया गया स्कीमा एक अलग परंपरा (जैसे, get_weather_info) का उपयोग करता है, तो मॉडल दिए गए स्कीमा को अनदेखा कर देता है और अपने आंतरिक, "परिचित" नामकरण पैटर्न पर वापस चला जाता है।
वर्तमान सीमाएँ: मौजूदा समाधान मॉडल्स को मनमाने स्कीमा के अनुकूल बनाने (SFT या RL के माध्यम से) या टूल विवरणों में सुधार करने पर ध्यान केंद्रित करते हैं। ये दृष्टिकोण कम्प्यूटेशनल रूप से महंगे हैं, इनके लिए रिट्रेनिंग की आवश्यकता होती है, या वे मूल कारण को संबोधित करने में विफल रहते हैं: मॉडल के आंतरिक ज्ञान और बाहरी इंटरफेस के बीच का बेमेल होना।

2. कार्यप्रणाली: PA-Tool

लेखक PA-Tool (Pretraining-Aligned Tool Schema Generation) का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री (training-free) विधि है जो टूल स्कीमा को मॉडल को नया स्कीमा सिखाने के बजाय, मॉडल के प्रीट्रेनिंग ज्ञान के साथ संरेखित (align) करने के लिए अनुकूलित करती है।

मुख्य अंतर्दृष्टि डेटा कंटैमिनेशन डिटेक्शन (data contamination detection) से ली गई है: प्रशिक्षण के दौरान बार-बार देखे जाने वाले पैटर्न "पीक्डनेस" (peakedness) (समान आउटपुट का एक केंद्रित वितरण) प्रदर्शित करते हैं। PA-Tool इस सिग्नल का लाभ उठाकर उन नामकरण परंपराओं की पहचान करता है जिनसे मॉडल पहले से ही परिचित है।

तीन-चरणीय प्रक्रिया:

कैंडिडेट जनरेशन (Candidate Generation):
- किसी टूल या पैरामीटर विवरण के दिए जाने पर, मॉडल को एक सैंपलिंग टेम्परेचर $t \in (0, 1]$ का उपयोग करके $N$ कैंडिडेट नाम (जैसे, $N=32$ ) जेनरेट करने के लिए प्रॉम्प्ट किया जाता है।
- यह मॉडल के सीखे हुए नामकरण पैटर्न के वितरण का अन्वेषण करता है।
पीक्डनेस कंप्यूटेशन (Peakedness Computation):
- प्रत्येक कैंडिडेट नाम $s_i$ के लिए, एल्गोरिदम एक पीक्डनेस स्कोर $\phi(s_i)$ की गणना करता है।
- यह स्कोर गिनता है कि अन्य कितने जेनरेट किए गए कैंडिडेट, कैरेक्टर-लेवल एडिट डिस्टेंस (Levenshtein distance) के आधार पर $s_i$ के पर्याप्त समान हैं।
- एक थ्रेशोल्ड $\tau$ को उम्मीदवारों की अधिकतम कैरेक्टर लंबाई के आधार पर गतिशील रूप से परिभाषित किया जाता है: $\tau = \alpha \cdot \ell_{max}$ ।
- उच्च पीक्डनेस यह संकेत देती है कि मॉडल लगातार इस विशिष्ट नाम के विभिन्न रूपों को जेनरेट कर रहा है, जो यह दर्शाता है कि यह प्रीट्रेनिंग से एक गहराई से आत्मसात किया गया पैटर्न है।
स्कीमा सिलेक्शन (Schema Selection):
- जिस कैंडिडेट का पीक्डनेस स्कोर सबसे अधिक होता है, उसे नए, प्रीट्रेनिंग-अलाइन्ड नाम के रूप में चुना जाता है।
- यदि कोई टाई (tie) होती है, तो ग्रीडी-डिकोडिंग रेफरेंस नाम के सबसे करीब वाले कैंडिडेट को चुना जाता है।
- इस प्रक्रिया को स्कीमा के सभी टूल्स और पैरामीटर्स पर लागू किया जाता है, जिससे एक मैपिंग डिक्शनरी बनाई जाती है जो मूल नामों को मॉडल-अलाइन्ड नामों से बदल देती है।

3. मुख्य योगदान (Key Contributions)

पैराडाइम शिफ्ट: यह पेपर मॉडल्स को टूल्स के अनुकूल बनाने के मानक दृष्टिकोण को चुनौती देता है। इसके बजाय, यह मॉडल के आंतरिक ज्ञान के अनुकूल टूल इंटरफेस (स्कीमा) को अनुकूलित करने का प्रस्ताव करता है।
ट्रेनिंग-फ्री ऑप्टिमाइजेशन: PA-Tool के लिए किसी मॉडल रिट्रेनिंग, फाइन-ट्यूनिंग या इन्फरेंस के दौरान अतिरिक्त कम्प्यूटेशनल संसाधनों की आवश्यकता नहीं होती है। इसके लिए केवल एक बार स्कीमा मैपिंग जनरेशन की आवश्यकता होती है।
नया सिग्नल उपयोग: यह "पीक्डनेस" को, जो आमतौर पर डेटा कंटैमिनेशन/मेमोराइजेशन का पता लगाने के लिए उपयोग किया जाने वाला मेट्रिक है, स्कीमा अलाइनमेंट के लिए एक रचनात्मक सिग्नल के रूप में पुन: उपयोग करता है।
व्यापक मूल्यांकन: इसे कई बेंचमार्क (MetaTool, RoTBench, API-Bank, $\tau$ -Bench) और विविध मॉडल परिवारों (Qwen, Llama, Ministral, आदि) में मान्य किया गया है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग SLMs (3B–8B) पर किए गए और इनकी तुलना बेस मॉडल्स, ग्रीडी डिकोडिंग, मोस्ट-फ्रीक्वेंट सैंपलिंग, ह्यूमन-डिज़ाइन किए गए स्कीमा और स्टेट-ऑफ-द-आर्ट क्लोज्ड-सोर्स मॉडल्स से की गई।

प्रदर्शन में सुधार:
- MetaTool: PA-Tool ने 17% तक सुधार हासिल किया, विशेष रूप से रिलायबिलिटी (Reliability) सबटास्क (यह पहचानना कि कोई टूल मौजूद नहीं है) में, जहाँ त्रुटियाँ 80% तक कम हो गईं।
- RoTBench: सिंगल-टर्न टूल सिलेक्शन में 10% तक और मल्टी-टर्न सेटिंग्स में 6% तक सुधार।
- पैरामीटर आइडेंटिफिकेशन: सुधार टूल सिलेक्शन से आगे बढ़कर पैरामीटर एक्सट्रैक्शन तक भी फैला, जो पुष्टि करता है कि स्कीमा अलाइनमेंट टूल-यूज़ सटीकता में समग्र सुधार करता है।
त्रुटि में कमी:
- स्कीमा मिसअलाइनमेंट त्रुटियाँ: 80.0% तक कम हुईं।
- फंक्शनल कन्फ्यूजन (Functional Confusion): 24.0% कम हुआ।
- कॉन्टेक्स्ट अंडरस्टैंडिंग (Context Understanding): 18.8% कम हुई।
SFT के साथ तुलना: PA-Tool अकेले कई सबटास्क पर बिना किसी ट्रेनिंग के सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) से बेहतर प्रदर्शन करता है। PA-Tool को SFT के साथ मिलाने से सर्वोत्तम परिणाम मिले, जो दर्शाता है कि वे पूरक विफलता मोड (complementary failure modes) को संबोधित करते हैं।
सामान्यीकरण (Generalization): विधि ने विविध मॉडल आकारों (3B से 70B तक) और रीजनिंग मॉडल्स में प्रदर्शन में सुधार किया, हालांकि लाभ SLMs के लिए सबसे अधिक स्पष्ट थे जहाँ स्कीमा मिसअलाइनमेंट एक प्रमुख विफलता मोड है।
मानव मूल्यांकन: मानव एनोटेटर्स ने PA-Tool द्वारा जेनरेट किए गए नामों को मूल नामों की तुलना में 50% से अधिक मामलों में अधिक समझने योग्य और कार्यात्मक रूप से वर्णनात्मक माना, जो यह सिद्ध करता है कि यह विधि मानवीय व्याख्यात्मकता (interpretability) से समझौता नहीं करती है।

5. महत्व और निहितार्थ (Significance and Implications)

संसाधन दक्षता: PA-Tool जटिल एजेंटिक वर्कफ़्लो के लिए रिसोर्स-एफिशिएंट SLMs की क्षमता को अनलॉक करता है, बिना रिट्रेनिंग की लागत या कैटास्ट्रोफिक फॉरगेटिंग के जोखिम के।
स्केलेबिलिटी: एक बार की स्कीमा मैपिंग लागत नगण्य है (प्रति टूल सेट सेकंड से मिनटों में), जो इसे डायनेमिक टूल वातावरण के लिए अत्यधिक स्केलेबल बनाती है।
मजबूती (Robustness): विधि टूल नामों में शोर (जैसे, टाइपो, रिवर्स स्ट्रिंग्स) के प्रति मजबूत है क्योंकि यह विवरणों के आधार पर नाम पुन: उत्पन्न करती है, जिससे एक स्थिर प्रदर्शन फ्लोर मिलता है।
व्यावहारिक परिनियोजन (Practical Deployment): यह डेवलपर्स के लिए एक सरल, डिप्लॉय करने योग्य हस्तक्षेप प्रदान करता है जो मल्टी-एजेंट सिस्टम बना रहे हैं, जिससे वे प्रीट्रेनिंग ज्ञान और वास्तविक दुनिया के टूल इंटरफेस के बीच के अंतर को तुरंत पाट सकते हैं।

निष्कर्षतः, यह शोध पत्र प्रदर्शित करता है कि स्कीमा-स्तरीय हस्तक्षेप स्मॉल लैंग्वेज मॉडल्स में टूल-यूज़ क्षमताओं को बढ़ाने के लिए एक अत्यधिक प्रभावी, कम लागत वाली रणनीति है, जो अनुकूलन के बोझ को मॉडल से बदलकर इंटरफेस पर स्थानांतरित कर देती है।