🤖 AI

Personalizing Large Language Model Agents with Small Policy Models

यह शोध पत्र FABLE को प्रस्तुत करता है, जो एक हल्का, फैक्टराइज्ड (factorized) पॉलिसी लेयर है जो बेयसियन कॉन्टेक्स्टुअल थॉमसन सैंपलिंग (Bayesian contextual Thompson sampling) के माध्यम से स्केलर फीडबैक से उपयोगकर्ता-विशिष्ट निष्पादन प्राथमिकताओं को सीखकर, फ्रीज़ किए गए लार्ज लैंग्वेज मॉडल एजेंटों के ऑनलाइन पर्सनलाइजेशन को सक्षम बनाता है, जिससे लागतपूर्ण फाइन-ट्यूनिंग के बिना प्रेफरेंस-सेंसिटिव व्यवहारों में सुधार होता है।

मूल लेखक: Dian Jin, Zhi Zhang, Huichao Li, Yihe Pan, Rundong Huang, Doudou Zhou

प्रकाशित 2026-08-04

📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Dian Jin, Zhi Zhang, Huichao Li, Yihe Pan, Rundong Huang, Doudou Zhou

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट से बात कर रहे हैं जो लगभग सब कुछ जानता है। यह रोबोट एक विशाल पुस्तकालय की तरह है जो पढ़ सकता है, लिख सकता है और यहाँ तक कि वेब ब्राउज़र या कैलकुलेटर जैसे टूल्स का उपयोग भी कर सकता है। लेकिन यहाँ एक पेंच है: यह रोबोट "फ्रोज़न" (जमा हुआ) है। आप इसके दिमाग को दोबारा नहीं लिख सकते या इसके व्यक्तित्व को नहीं बदल सकते क्योंकि यह बहुत बड़ा है, बहुत महंगा है, या शायद इसे किसी ऐसी कंपनी ने बनाया है जो आपको इसके कोड को छूने की अनुमति नहीं देती। तो, आप इस विशाल, अपरिवर्तनीय रोबोट को अपना व्यक्तिगत सहायक कैसे बना सकते हैं?

यह लार्ज लैंग्वेज मॉडल (LLM) एजेंट्स की पहेली है। ये AI सिस्टम हैं जो सिर्फ चैट नहीं करते; वे कार्य भी करते हैं, जैसे फ्लाइट टिकट खोजना या कैलेंडर चेक करना। समस्या यह है कि हालांकि रोबोट स्मार्ट है, उसे आपकी विशिष्ट शैली का पता नहीं है। हो सकता है कि आपको लंबे स्पष्टीकरण पसंद न हों और आप त्वरित उत्तर चाहते हों, जबकि आपके दोस्त को विस्तृत स्टेप-बाय-स्टेप गाइड पसंद हों। आमतौर पर, इसे ठीक करने के लिए, आपको रोबोट को "फाइन-ट्यून" करना होगा, जो एक पूरे हाथी को नया डांस स्टेप सिखाने के लिए उसे फिर से प्रशिक्षित करने जैसा है। यह भारी है, महंगा है, और अक्सर असंभव है।

यह शोध पत्र इस सवाल को हल करने की कोशिश करता है: क्या हम एक फ्रोजन रोबोट को उसके दिमाग को बदले बिना हमारे अनुकूल बनाना सीख सकते हैं? लेखक एक चतुर तरीका प्रस्तावित करते हैं: रोबोट को बदलने के बजाय, हम एक छोटा, हल्का "कोच" (प्रशिक्षक) बनाते हैं जो रोबोट के बाहर खड़ा होता है। यह कोच रोबोट के कार्यों को देखता है, आपके फीडबैक (जैसे थम्स-अप या थम्स-डाउन) को सुनता है, और सीखता है कि रोबोट को उन विकल्पों की ओर कैसे धकेला जाए जिन्हें आप पसंद करते हैं। यह एक व्यक्तिगत ट्रेनर की तरह है जो एक विशाल, अचल मूर्ति को यह बताने के लिए कि वह आपकी ओर देखने के लिए अपना सिर किस दिशा में झुकाए, उसे सटीक निर्देश देता है, बिना पत्थर में नई मांसपेशियां उकेरने की कोशिश किए।

समस्या: वह रोबोट जो सुनता नहीं है

कल्पना कीजिए कि आपने एक ट्रैवल एजेंट रोबोट को यात्रा की योजना बनाने के लिए कहा।

यूजर A कहता है: "मेरी पिछली यात्राओं को देखें, वर्तमान कीमतों का पता लगाएं, और कुछ भी बुक करने से पहले मुझसे पूछें।"
यूजर B कहता: "मेरा इतिहास न देखें, बस तुरंत सबसे सस्ती फ्लाइट दें, बिना किसी सवाल के।"

यदि रोबोट फ्रोजन है, तो वह इन अंतरों को आसानी से नहीं सीख सकता। वह केवल अनुमान लगा सकता है। यदि आप उसे कहना प्रयास करते हैं कि "मुझे सवाल पसंद नहीं हैं," तो आप इसे प्रॉम्प्ट में लिख सकते हैं, लेकिन रोबोट इसे बाद में भूल सकता है या अनदेखा कर सकता है। यदि आप पूरे रोबोट को फिर से प्रशिक्षित करने की कोशिश करते हैं, तो इसमें बहुत पैसा खर्च होता है। पेपर का तर्क है कि मौजूदा तरीके या तो रोबोट को बदलने की कोशिश करते हैं (जो बहुत कठिन है) या बस उसे नियमों की एक सूची देते हैं (जो बहुत कठोर है)। वे वास्तव में आपकी प्रतिक्रियाओं से वास्तविक समय में सीखते नहीं हैं।

समाधान: FABLE, छोटा कोच

लेखक FaBLE (Factorized Adaptive Bandit Layer for Execution) पेश करते हैं। FABLE को एक स्मार्ट, छोटे सॉफ्टवेयर लेयर के रूप में सोचें जो आपके और उस विशाल फ्रोजन रोबोट के बीच बैठता है। यह रोबोट के दिमाग को नहीं छूता है; यह बस यह तय करता है कि आपके लिए रोबोट को कैसे कार्य करना चाहिए।

यहाँ बताया गया है कि FABLE कैसे काम करता है, कुछ मजेदार उपमाओं का उपयोग करते हुए:

द फैक्टरलाइज्ड मेनू (इसे टुकड़ों में तोड़ना):
जब रोबोट निर्णय लेता है कि क्या करना है, तो वह वास्तव में एक साथ तीन अलग-अलग विकल्प चुनता है:

मेमोरी (स्मृति): क्या मुझे आपकी पिछली बातचीत देखनी चाहिए?
टूल्स (उपकरण): क्या मुझे सर्च इंजन का उपयोग करना चाहिए या बस अंदाज़ा लगाना चाहिए?
स्टाइल (शैली): क्या मुझे सीधा, बातूनी होना चाहिए, या स्पष्टीकरण मांगना चाहिए?

एक "फ्लैट" दृष्टिकोण इन विकल्पों के हर एक संयोजन को सीखने की कोशिश करेगा (जैसे, "मेमोरी + सर्च + बातूनी" एक चीज़ है, "मेमोरी + नो सर्च + डायरेक्ट" दूसरी चीज़ है)। यह एक ऐसे रेस्टोरेंट के हर संभव मेनू आइटम को याद करने की कोशिश करने जैसा है जिसमें 1,000 सामग्रियां हैं। FABLE अधिक स्मार्ट है। यह मेनू को विभाजित करता है। यह सीखता है कि आप सामान्य रूप से "बातूनी" शैलियों से नफरत करते हैं, चाहे आप मेमोरी का उपयोग कर रहे हों या टूल्स का। यह आपके पसंदीदा सामग्रियों को अलग-अलग सीखता है, जिससे सीखना बहुत तेज़ हो जाता है।

द रेसिडुअल स्कोर (वह "अतिरिक्त" स्वाद):
फ्रोजन रोबोट का पहले से ही कार्य करने का एक "डिफ़ॉल्ट" तरीका होता है। शायद वह बहुत विनम्र और विस्तृत होने का डिफ़ॉल्ट रखता है। FABLE उस विनम्रता को फिर से सीखने की कोशिश नहीं करता है। इसके बजाय, यह केवल रेसिड्यूअल (अवशिष्ट) को सीखता है—वह अतिरिक्त हिस्सा जो रोबोट को आपका बनाता है। यदि रोबोट स्वाभाविक रूप से 80% विनम्र है, तो FABLE सीखता है कि आप चाहते हैं कि वह 10% कम विनम्र हो। यह पहले से बने सूप में मसाला डालने जैसा है; आप सूप को शुरू से नहीं पकाते, आप बस उसमें नमक का वह विशेष चुटकी भर हिस्सा डालते हैं जो आपको पसंद है।
द सेफ्टी फ़िल्टर (द बाउंसर):
कभी-कभी, आप कुछ चीजें नहीं कर सकते। हो सकता है कि आपके पास अपने बैंक खाते तक पहुँचने की अनुमति न हो, या टूल खराब हो। FABLE के पास एक "बाउंसर" है जो निर्णय लेने से पहले नियमों की जाँच करता है। वह कहता है, "ठीक है, हम आज बैंक टूल का उपयोग नहीं कर सकते, इसलिए आइए उन चीजों की सूची में से चुनें जिन्हें हम कर सकते हैं।" यह सुनिश्चित करता है कि रोबोट कभी भी नियम तोड़ने की कोशिश न करे, भले ही वह सीख रहा हो।
द बेयसियन कोच (थंब्स अप/डाउन से सीखना):
FABLE एक विधि का उपयोग करता है जिसे बेयसियन थॉम्पसन सैंपलिंग कहा जाता है। कल्पना कीजिए कि कोच के पास आपकी पसंद के बारे में एक धारणा है। वह एक विकल्प आज़माता है। आप एक छोटा संकेत देते हैं (एक स्केलर फीडबैक, जैसे -1 से 1 तक का स्कोर)। कोच अपनी धारणा को अपडेट करता है।

यदि आपको "संक्षिप्त" शैली पसंद आई, तो कोच अधिक आश्वस्त हो जाता है कि आपको संक्षिप्त शैलियाँ पसंद हैं।
यदि आपको "वेब सर्च" टूल पसंद नहीं आया, तो कोच उसे टालना सीख जाता है।
महत्वपूर्ण बात यह है कि क्योंकि FABLE ने विकल्पों को विभाजित किया था (Factorized), इसलिए यह सीखना कि आपको "वेब सर्च" पसंद नहीं है, इसे यह समझने में मदद करता है कि आप शायद अन्य संदर्भों में भी "वेब सर्च" को पसंद नहीं करेंगे, न कि केवल उस एक बार जब आपने इसे आज़माया था।

इस पेपर ने क्या पाया

लेखकों ने tau2-bench नामक एक बेंचमार्क पर FABLE का परीक्षण किया, जो एयरलाइंस, रिटेल, टेलीकॉम और बैंकिंग के चार अलग-अलग संसारों में ग्राहक सेवा कार्यों का अनुकरण करता है। उन्होंने गणित की समस्याओं और खरीदारी के कार्यों पर भी इसका परीक्षण किया।

यहाँ का निष्कर्ष है, सीधे परिणामों से:

यह प्राथमिकताओं के लिए काम करता है: Fable उपयोगकर्ताओं की इच्छाओं से मेल खाने में सर्वश्रेष्ठ था। परीक्षणों में, इसने "पर्सनलाइज्ड रिवॉर्ड" (कितना उपयोगकर्ता ने बातचीत को पसंद किया) में मानक फ्रोजन रोबोट की तुलना में +0.077 का सुधार किया। यह विशिष्ट "वर्बोसिटी" (शब्दों के प्रयोग की मात्रा) प्राथमिकताओं (जैसे संक्षिप्त बनाम विस्तृत) के साथ संरेखण में भी बहुत बेहतर रहा, जिसमें +0.281 का सुधार हुआ।
यह कोई जादुई टास्क-सॉल्वर नहीं है: यहाँ महत्वपूर्ण बात है: FABLE ने वास्तव में कार्यों की सफलता दर (success rate) में कोई महत्वपूर्ण सुधार नहीं किया। रोबोट केवल इसलिए बेहतर नहीं हुआ क्योंकि वह अधिक व्यक्तिगत हो गया था कि वह फ्लाइट बुक करने या गणित की समस्या को हल करने में बेहतर हो गया। वास्तव में, कार्य की सफलता में अंतर इतना कम था कि लेखक कहते हैं कि यह "अनसुलझा" (unresolved) है (संख्याएं इतनी करीब थीं कि निर्णय लेना कठिन था)।
"ऑनबोर्डिंग" का लाभ: पेपर ने पाया कि कोच को उपयोगकर्ता के बारे में थोड़ी शुरुआती जानकारी (जिसे "ऑनबोर्डिंग" कहा जाता है) देने से बहुत मदद मिली। यदि उन्होंने इस चरण को छोड़ दिया, तो कोच को सीखने में अधिक समय लगा और उसका प्रदर्शन भी खराब रहा।
"एक ही आकार सबके लिए" नहीं: पेपर स्पष्ट रूप से इस विचार को खारिज करता है कि यह विधि रोबोट को हर चीज़ में बेहतर बनाती है। यह रोबोट को आपकी शैली के अनुकूल बनाने में बेहतर बनाता है, लेकिन यह जरूरी नहीं कि इसे मूल कार्य में अधिक बुद्धिमान बनाता है।

निचोड़

FABLE एक चतुर, हल्का तरीका है जिससे एक विशाल, अपरिवर्तनीय AI रोबोट को ऐसा महसूस कराया जा सकता है जैसे वह सिर्फ आपके लिए बनाया गया हो। यह ऐसा इसलिए करता है क्योंकि यह आपके विशिष्ट स्वाद (जैसे कि आप कितनी बातें करना चाहते हैं या आपको कौन से टूल्स पसंद हैं) को सीखता है, बिना रोबोट के दिमाग को छुए।

हालाँकि, पेपर अपनी सीमाओं के बारे में बहुत ईमानदार है। यह सुझाव देता है कि जबकि आप एक रोबोट को आपके व्यक्तिगत सहायक की तरह कार्य करने के लिए तैयार कर सकते हैं, आपको यह उम्मीद नहीं करनी चाहिए कि वह अचानक उन समस्याओं को हल करने में जीनियस बन जाएगा जिन्हें हल करने में वह पहले से अच्छा नहीं था। यह एजेंट की व्यक्तित्व को कस्टमाइज़ करने का एक शानदार तरीका है, लेकिन यह इसकी बुद्धिमत्ता या कार्यों की सफलता दर को बेहतर बनाने का कोई जादुई मंत्र नहीं है।

संक्षेप में, FABLE उस कोच के रूप में एकदम सही है जो एक फ्रोजन रोबोट को आपके संगीत पर नाचने के लिए सिखाता है, लेकिन यह रोबोट को तब तक मैराथन दौड़ना नहीं सिखा सकता जब तक कि वह पहले से धावक न हो।

तकनीकी सारांश: छोटे पॉलिसी मॉडल के साथ लार्ज लैंग्वेज मॉडल एजेंटों का वैयक्तिकरण (Personalization)

समस्या का स्वरूप (Problem Formulation)

यह शोध पत्र व्यक्तिगत उपयोगकर्ताओं के लिए उनके मूल होस्ट मॉडल (host model) को बदले बिना लार्ज लैंग्वेज मॉडल (LLM) एजेंटों को वैयक्तिकृत करने की चुनौती को संबोधित करता है। जबकि LLM एजेंट मेमोरी प्राप्त कर सकते हैं, टूल्स का उपयोग कर सकते हैं और रिस्पॉन्स स्टाइल को समायोजित कर सकते हैं, इन निष्पादन निर्णयों (execution decisions) को विशिष्ट उपयोगकर्ता प्राथमिकताओं के अनुसार ढालना अभी भी कठिन है। मौजूदा दृष्टिकोणों की महत्वपूर्ण सीमाएँ हैं:

फाइन-ट्यूनिंग (Fine-tuning): प्रति-उपकर्ता मॉडल पैरामीटर्स को अनुकूलित करना कम्प्यूटेशनल रूप से महंगा है और अक्सर मालिकाना, ब्लैक-बॉक्स सिस्टम के लिए असंभव है।
प्रॉम्प्ट्स और मेमोरी (Prompts and Memory): ये विधियाँ एजेंट को उपयोगकर्ता की जानकारी तो प्रदान करती हैं, लेकिन एजेंट की एग्जीक्यूशन पॉलिसी (जैसे, कब प्रश्न पूछना है, कब टूल्स का उपयोग करना है) को फीडबैक के आधार पर अनुकूलित नहीं करती हैं।
एकल-तंत्र अनुकूलन (Single-Mechanism Adaptation): हालिया विधियाँ जो केवल एक घटक (जैसे, मेमोरी रिट्रीवल या टूल सिलेक्शन) को अनुकूलित करती हैं, वे निष्पादन निर्णयों के संयुक्त स्थान (joint space) में एकल स्केलर फीडबैक (उपयोगकर्ता की पूरी बातचीत के प्रति प्रतिक्रिया) को वितरित करने में विफल रहती हैं।

मुख्य कठिनाई स्पार्स फीडबैक (sparse feedback) है: सिस्टम केवल चुने गए निष्पादन निर्णयों के विशिष्ट संयोजन के लिए एक स्केलर परिणाम देखता है, जबकि वैकल्पिक संयोजनों का प्रदर्शन अनोब्जर्व (unobserved) रहता है। इसके अलावा, सिस्टम को कठोर बाधाओं (जैसे, अनुमतियाँ, सुरक्षा नियम) का सम्मान करना चाहिए और ऑनबोर्डिंग जानकारी को निश्चित नियमों के बजाय परिवर्तनीय पूर्व साक्ष्य (revisable prior evidence) के रूप में मानना चाहिए।

लेखक इसे एक फैक्टरलाइज्ड एक्शन स्पेस (factorized action space) पर एक प्रति-उपकर्ता निष्पादन नीति के लिए एक ऑनलाइन लर्निंग समस्या के रूप में स्वरूपित करते हैं, जो बाहरी व्यवहार्यता सेट (feasibility sets) द्वारा बाधित है, और केवल चयनित क्रिया के लिए देखे गए स्केलर फीडबैक का उपयोग करती है।

कार्यप्रणाली: FABLE

लेखक FABLE (Factorized Adaptive Bandit Layer for Execution) प्रस्तावित करते हैं, जो एक हल्का पॉलिसी लेयर है जो एक संभावित ब्लैक-बॉक्स होस्ट एजेंट के बाहर संचालित होता है। FABLE को होस्ट वेट्स, ग्रेडिएंट्स या हिडन स्टेट्स तक पहुँच की आवश्यकता नहीं होती है।

मुख्य घटक

फैक्टरलाइज्ड एक्शन स्पेस (Factorized Action Space): एक निष्पादन निर्णय $a$ को एक टुपल $(m, \tau, s)$ के रूप में परिभाषित किया गया है जो मेमोरी मोड, सूचना-प्राप्ति मोड और रिस्पॉन्स व्यवहार का प्रतिनिधित्व करता है। पूरे संयुक्त स्थान (जो कॉम्बिनेटोरियल रूप से बहुत बड़ा है) पर पॉलिसी सीखने के बजाय, FABLE एक फैक्टरलाइज्ड फीचर मैप $\phi(c, a)$ का उपयोग करता है। इस मैप में प्रत्येक घटक के मुख्य प्रभाव और पेयरवाइज इंटरैक्शन शामिल हैं, जिससे एक संयुक्त क्रिया से प्राप्त फीडबैक संबंधित घटकों की प्राथमिकताओं को अपडेट करने की अनुमति मिलती है (उदाहरण के लिए, अनावश्यक स्पष्टीकरण के प्रति नापसंदगी "स्पष्टीकरण पूछने" की प्राथमिकता को अपडेट करती है, चाहे मेमोरी सेटिंग कुछ भी हो)।
रेसिडुअल प्रेफरेंस मॉडल (Residual Preference Model): अपेक्षित फीडबैक को इस प्रकार मॉडल किया गया है:
$E[y_t | c, a] = \bar{b}(c, a) + \phi(c, a)^\top \theta^*$
जहाँ $\bar{b}(c, a)$ एक ज्ञात, पूर्व-निर्धारित डिफॉल्ट स्कोर माइनस एक ऑपरेशनल कॉस्ट है, और $\theta^*$ उपयोगकर्ता-विशिष्ट रेसिडुअल प्रेफरेंस को दर्शाता है। यह दृष्टिकोण सिस्टम को होस्ट के उपयोगी जेनेरिक व्यवहार को बनाए रखने और केवल उपयोगकर्ता के विचलन (deviation) को सीखने की अनुमति देता है।
परिवर्तनीय ऑनबोर्डिंग (Revisable Onboarding): ऑनबोर्डिंग के दौरान प्रदान की गई उपयोगकर्ता प्राथमिकताओं को परिमित-परिशुद्धता वाले स्यूडो-ऑब्जर्वेशन (pseudo-observations) के रूप में माना जाता है। वे $\theta$ पर गॉसियन पोस्टीरियर को इनिशियलाइज़ करते हैं लेकिन पॉलिसी को स्थिर नहीं करते हैं। जैसे-जैसे ऑनलाइन फीडबैक आता है, पोस्टीरियर अपडेट होता है, जिससे सिस्टम को प्रारंभिक धारणाओं को संशोधित करने की अनुमति मिलती है।
फिजिबिलिटी-कंस्ट्रेंड थॉमसन सैंपलिंग (Feasibility-Constrained Thompson Sampling):
- फिल्टरिंग (Filtering): चयन से पहले, एक बाहरी फिल्टर हार्ड कंस्ट्रेंट्स (अनुमतियाँ, टूल उपलब्धता) के आधार पर अमान्य क्रियाओं को हटा देता है।
- सैंपलिंग (Sampling): FABLE वर्तमान गॉसियन पोस्टीरियर (एक कैलिब्रेटेड फैक्टर $\nu_t$ द्वारा स्केल किया गया) से एक रेसिडुअल पैरामीटर $\tilde{\theta}_t$ को सैंपल करता है और व्यवहार्य सेट $A_t$ के भीतर अपेक्षित स्कोर को अधिकतम करने वाली क्रिया $a_t$ का चयन करता है।
- अपडेट (Update): निष्पादन के बाद, रेसिडुअल फीडबैक का उपयोग कॉन्जुगेट अपडेट के माध्यम से गॉसियन पोस्टीरियर को अपडेट करने के लिए किया जाता है।
प्रमोशन रूल (Promotion Rule): सीखी गई प्राथमिकताओं को होस्ट में स्थायी नियमों के रूप में तभी लिखा जा सकता है जब एक 'एनीटाइम-वैलिड कॉन्फिडेंस सीक्वेंस' शून्य को बाहर करता है, जिससे यह सुनिश्चित होता है कि केवल सांख्यिकीय रूप से महत्वपूर्ण प्राथमिकताओं को ही प्रमोट किया जाए।

सैद्धांतिक परिणाम

यह शोध पत्र एक लीनियर रेसिडुअल-फीडबैक मॉडल के तहत FABLE के लिए एक फिजिबल-ओरेकल रिग्रेट गारंटी (feasible-oracle regret guarantee) स्थापित करता है।

रिग्रेट बाउंड (Regret Bound): एक सैद्धांतिक रूप से कैलिब्रेटेड गॉसियन सैंपलिंग स्केल $\nu_t = \sqrt{9d \log(t/\delta)}$ के साथ, FABLE प्रत्येक राउंड में सर्वश्रेष्ठ व्यवहार्य क्रिया के विरुद्ध $\tilde{O}(d^{3/2}\sqrt{n})$ का हाई-प्रोबेबिलिटी रिग्रेट प्राप्त करता है।
आइडेंटिफिएबिलिटी (Identifiability): लेखक इस बात का वर्णन करते हैं कि कौन सी प्राथमिकता दिशाएं तब पहचान योग्य रहती हैं जब व्यवहार्यता बाधाएं लगातार कुछ क्रियाओं को बाहर रखती हैं, यह नोट करते हुए कि जिन प्राथमिकताओं के लिए बहिष्कृत घटकों की तुलना की आवश्यकता होती है, उन्हें केवल ऑनलाइन डेटा से नहीं सीखा जा सकता है।

प्रयोगात्मक मूल्यांकन

FABLE का मूल्यांकन एक चार-डोमेन tau2-bench प्रोटोकॉल (एयरलाइन, रिटेल, टेलीकॉम, बैंकिंग नॉलेज) पर किया गया जिसमें निष्पादनीय टूल-यूज़ टास्क शामिल थे।

मुख्य निष्कर्ष

वैयक्तिकृत रिवॉर्ड और अलाइनमेंट (Personalized Reward and Alignment): पूर्ण FABLE पॉलिसी ने सभी परीक्षण की गई नीतियों में उच्चतम प्रेक्षित वैयक्तिकृत रिवॉर्ड और सिंथेटिक वर्बोसिटी अलाइनमेंट प्राप्त किया। होस्ट बेसलाइन की तुलना में, इसने सकारात्मक 95% कॉन्फिडेंस इंटरवल के साथ महत्वपूर्ण लाभ (+0.077 रिवॉर्ड और +0.281 अलाइनमेंट) दिखाया।
टास्क सक्सेस (Task Success): FABLE फ्रोजन होस्ट के साथ उच्चतम माध्य टास्क सक्सेस के लिए टाई (tie) हुआ। हालांकि, होस्ट के ऊपर सुधार सांख्यिकीय रूप से महत्वपूर्ण नहीं था (95% CI शून्य को शामिल करता है)। शोध पत्र नोट करता है कि टास्क सक्सेस डोमेन के अनुसार भिन्न था (एयरलाइन पर कम, रिटेल पर टाई, टेलीकॉम और बैंकिंग पर अधिक)।
एब्लेशन स्टडीज (Ablation Studies):
- फैक्टरइजेशन (Factorization): FABLE की तुलना एक फ्लैट कम्पलीट-एक्शन LinTS से करने पर, फैक्टरइजेशन ने अलाइनमेंट में काफी सुधार किया, जो एक्शन कंपोनेंट्स के बीच सूचना के हस्तांतरण का समर्थन करता है।
- ऑनबोर्डिंग (Onboarding): ऑनबोर्डिंग को हटाने से सबसे बड़ी प्रदर्शन गिरावट हुई, जो प्रारंभिक साक्ष्य के साथ रेसिडुअल कोऑर्डिनेट्स को इनिशियलाइज़ करने के मूल्य की पुष्टि करती है।
- ऑनलाइन एडैप्टेशन (Online Adaptation): पूर्ण FABLE की तुलना "फ्रोजन" संस्करण (कोई ऑनलाइन अपडेट नहीं) से करने पर, ऑनलाइन एडैप्टेशन ने अलाइनमेंट में सुधार दिखाया, हालांकि टास्क सक्सेस तुलनीय रहा।
अतिरिक्त बेंचमार्क: PAHF (एम्बॉडीड मैनिपुलेशन और ऑनलाइन शॉपिंग) और Math500 (पर्सनलाइज्ड रीजनिंग) पर प्रयोगों ने मिश्रित परिणाम दिखाए। एम्बॉडीड मैनिपुलेशन में, FABLE (फुल) ने FABLE (नो ऑनबोर्डिंग) की तुलना में कम रिवॉर्ड (0.6214 बनाम 0.6470) लेकिन उच्च सफलता (0.078 बनाम 0.052) प्राप्त की, जो दर्शाता है कि घटकों का सापेक्ष लाभ वातावरण के अनुसार बदलता है। ऑनलाइन शॉपिंग में, FABLE (फुल) ने FABLE (नो ऑनबोर्डिंग) की तुलना में रिवॉर्ड और सक्सेस दोनों में बेहतर प्रदर्शन किया। Math500 पर, FABLE (फुल) और FABLE (नो ऑनबोर्डिंग) उच्चतम सटीकता के लिए टाई रहे, हालांकि FABLE (फुल) का अलाइनमेंट "नोन-प्रिफरेंस" बेसलाइन से कम था।

महत्व और दावे

शोध पत्र दावा करता है कि FABLE निष्पादन नियंत्रण को एक कंस्ट्रेंड कॉन्टेक्स्टुअल बैंडिट समस्या के रूप में मानकर, ब्लैक-बॉक्स एजेंटों को वैयक्तिकृत करने के लिए एक सिद्धांतपूर्ण ढांचा प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

मॉडल ट्यूनिंग से वैयक्तिकरण को अलग करना: यह होस्ट LLM को फाइन-ट्यून किए बिना प्रति-उपकर्ता अनुकूलन सक्षम करता है, जिससे यह प्रोप्रायटरी सिस्टम के लिए लागू करने योग्य बनता है।
स्पार्स जॉइंट फीडबैक को संभालना: एक्शन स्पेस को फैक्टराइज करके और रेसिडुअल प्रेफरेंस को मॉडल करके, यह पूरी बातचीत का मूल्यांकन करने वाले स्पार्स स्केलर फीडबैक से कुशलतापूर्वक सीखता है।
सुरक्षा और बाधाएं: यह लर्निंग प्रक्रिया के दौरान सुरक्षा और अनुपालन से समझौता न करते हुए बाहरी व्यवहार्यता बाधाओं को सख्ती से लागू करता है।
संयमित दावे: लेखक स्पष्ट रूप से कहते हैं कि जबकि FABLE विशिष्ट संदर्भों में प्रेफरेंस-सेंसिटिव मेट्रिक्स (रिवॉर्ड और अलाइनमेंट) में सुधार करता है, प्रयोग सामान्य टास्क सक्सेस या समान डोमेन-स्तरीय लाभों में सांख्यिकीय रूप से महत्वपूर्ण सुधार स्थापित नहीं करते हैं। परिणाम नियंत्रित सिंथेटिक वर्बोसिटी एडैप्टेशन और एक्सेक्यूटेबल इंटीग्रेशन का समर्थन करते हैं लेकिन सभी मेट्रिक्स या बेंचमार्क पर सार्वभौमिक श्रेष्ठता का दावा नहीं करते हैं; विशेष रूप से, PAHF पर प्रदर्शन रैंकिंग विभिन्न वातावरणों और एब्लेशन स्थितियों के बीच काफी भिन्न थी।

यह कार्य प्रदर्शित करता है कि एक छोटा, बाहरी पॉलिसी लेयर प्रभावी ढंग से उपयोगकर्ता प्राथमिकताओं को सीख और अनुकूलित कर सकता है, जो स्टैटिक एजेंट क्षमताओं और डायनेमिक उपयोगकर्ता आवश्यकताओं के बीच के अंतर को पाटता है।