FusionFactory: Fusing LLM Capabilities with Multi-LLM Log Data
यह शोध पत्र FusionFactory को प्रस्तुत करता है, जो एक व्यवस्थित ढांचा और उसके साथ संलग्न LLMFusionBench बेंचमार्क है, जो क्वेरी, थॉट (विचार), और मॉडल स्तरों पर पूरक क्षमताओं को संलयित (fuse) करने के लिए मल्टी-LLM लॉग डेटा का लाभ उठाता है, जो वास्तविक दुनिया की सर्विंग बाधाओं को समायोजित करते हुए विविध कार्यों में व्यक्तिगत मॉडलों से लगातार बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास लोगों और कई अलग-अलग AI सहायकों के बीच हुई बातचीत का एक विशाल पुस्तकालय है। कुछ AI गणित में बेहतरीन हैं, कुछ कोडिंग के जादूगर हैं, और कुछ सामान्य तथ्यों के विश्वकोश हैं। आमतौर पर, जब आप कोई प्रश्न पूछते हैं, तो आपको केवल एक ही AI को उत्तर देने के लिए चुनना पड़ता है। लेकिन क्या होगा अगर आप उन सभी पिछली बातचीत को देख सकें और हर AI के सबसे अच्छे हिस्सों को मिलाकर एक सुपर-स्मार्ट सिस्टम बना सकें?
यह बिल्कुल FusionFactory के बारे में है। लेखकों ने एक विशाल टूलकिट बनाया है जिससे यह पता लगाया जा सके कि इन अलग-अलग AI दिमागों को उनके "लॉग डेटा" (उनका रिकॉर्ड कि उन्होंने क्या कहा और वे कितने सफल रहे) का उपयोग करके मिलाने का सबसे अच्छा तरीका क्या है।
यहाँ उनकी खोज का सरल विवरण दिया गया है:
1. समस्या: बहुत सारे विकल्प, एक प्रश्न
AI की दुनिया को 20 अलग-अलग शेफ (रसोइयों) वाले एक रेस्टोरेंट की तरह समझें।
- शेफ A सबसे अच्छा पिज्जा बनाता है।
- शेफ B सबसे अच्छी सूप बनाता है।
- शेफ C डेसर्ट (मिठाई) का उस्ताद है।
यदि आप भोजन ऑर्डर करते हैं, तो आपको आमतौर पर अपना पूरा डिनर बनाने के लिए केवल एक ही शेफ को चुनना पड़ता है। लेकिन लेखकों ने देखा कि वास्तविक दुनिया में, कंपनियाँ अक्सर सभी शेफ को एक ही व्यंजन बनाने के लिए कहती हैं और इस बात का रिकॉर्ड रखती हैं कि किसने क्या किया। उन्होंने पूछा: "क्या हम इन रिकॉर्ड्स का उपयोग करके एक 'सुपर शेफ' बना सकते हैं जो एक साथ परफेक्ट पिज्जा, सूप और डेसर्ट बनाना जानता हो?"
2. समाधान: FusionFactory (मिलाने के तीन तरीके)
लेखकों ने FusionFactory नामक एक फ्रेमवर्क बनाया है जो यह कोशिश करता है कि इन शेफ को तीन अलग-अलग तरीकों से मिलाया जाए, इस आधार पर कि उन्हें कब मिलाया जाता है।
स्तर 1: "स्मार्ट वेटर" (क्वेरी-लेवल फ्यूजन)
- यह कैसे काम करता है: आपके ऑर्डर देने से पहले ही, एक स्मार्ट वेटर आपके अनुरोध को देखता है। यदि आप गणित का सवाल पूछते हैं, तो वेटर तुरंत उसे मैथ शेफ के पास भेज देता है। यदि आप एक चुटकुले के लिए पूछते हैं, तो वे उसे कॉमेडी शेफ के पास भेज देते हैं।
- उपमा: यह एक ट्रैफिक पुलिसकर्मी की तरह है जो कारों को सबसे तेज़ लेन में निर्देशित करता है।
- परिणाम: यह सबसे सस्ता और तेज़ तरीका है। यह शेफ को नहीं बदलता; यह बस सही काम के लिए सही व्यक्ति को चुन लेता है। यह पैसा बचाता है क्योंकि आप गलत शेफ को काम करने के लिए समय बर्बाद नहीं करते हैं।
स्तर 2: "रेसिपी बुक" (थॉट-लेवल फ्यूजन)
- यह कैसे काम करता है: केवल एक शेफ को चुनने के बजाय, यह तरीका उन सर्वश्रेष्ठ रेसिपीज़ को देखता है जिनका शेफ ने अतीत में उपयोग किया था। यदि 10 शेफों ने एक कठिन गणित की समस्या हल की, तो सिस्टम उनके चरणों को पढ़ता है, "इस विशिष्ट समस्या के बारे में सोचने के सबसे अच्छे तरीके" का सारांश तैयार करता है, और वह सारांश उस शेफ को दे देता है जिसका आप उपयोग कर रहे हैं।
- उपमा: कल्पना कीजिए कि आप खाना बना रहे हैं, और काम शुरू करने से पहले, कोई आपको एक स्टिकी नोट थमाता है जिसमें लिखा है, "यहाँ वह गुप्त ट्रिक है जिसका उपयोग सर्वश्रेष्ठ शेफ ने इस विशिष्ट समस्या को हल करने के लिए किया था।" फिर आप उस ट्रिक का उपयोग करके अपना व्यंजन बनाते हैं।
- परिणाम: यह विजेता रहा। इसने प्रदर्शन में सबसे बड़ी बढ़त दी। यह शेफ को बिना दोबारा प्रशिक्षित किए, उन्हें सोचने के बेहतरीन पैटर्न का एक 'चीट शीट' देने जैसा है।
स्तर 3: "अपरेंटिस शेफ" (मॉडल-लेवल फ्यूजन)
- यह कैसे काम करता है: यह भारी काम है। सिस्टम उन सभी 20 शेफों के सर्वश्रेष्ठ उत्तरों को लेता है और एक विशिष्ट शेफ को उन्हें तब तक पढ़ने के लिए मजबूर करता है जब तक कि वह उन पाठों को याद न कर ले। यह एक लंबे, महंगे ट्रेनिंग कैंप की तरह है।
- उपमा: आप एक जूनियर शेफ को लेते हैं और उन्हें सभी उस्तादों के सर्वश्रेष्ठ व्यंजन याद करने के लिए मजबूर करते हैं ताकि वे स्वयं भी एक उस्ताद बन सकें।
- परिणाम: यह सबसे कम प्रभावी था। "जूनियर शेफ" (मॉडल) एक साथ बहुत सारी अलग-अलग शैलियों को सीखने की कोशिश में भ्रमित हो गया और वास्तव में केवल सही शेफ को चुनने या उन्हें चीट शीट देने की तुलना में खराब प्रदर्शन किया।
3. बड़ी खोज: "एक ही आकार सबके लिए सही नहीं होता"
लेखकों ने इसे 20 अलग-अलग AI मॉडल्स का उपयोग करके 14 विभिन्न प्रकार के कार्यों (जैसे गणित, कोडिंग, पढ़ना और सामान्य ज्ञान) पर परखा।
- "चीट शीट" (थॉट-लेवल) MVP है: अधिकांश कार्यों के लिए, AI को सोचने के तरीके का सारांश देना (रेसिपी बुक) अन्य किसी भी चीज़ से बेहतर रहा। यह लचीला और शक्तिशाली था।
- "स्मार्ट वेटर" बजट किंग है: यदि आप लागत को लेकर चिंतित हैं, तो बस एक स्मार्ट राउटर को सही AI चुनने देना एक बेहतरीन सौदा है। यह लगभग सबसे अच्छे एकल AI के बराबर है लेकिन इसकी कीमत बहुत कम है।
- "ट्रेनिंग कैंप" (मॉडल-लेवल) पेचीदा है: सभी ज्ञान को एक एकल AI मॉडल में मिलाने की कोशिश अक्सर विफल रही। एक ही मस्तिष्क को हर चीज़ में अच्छा बनने के लिए सिखाना कठिन है जब "पाठ" 20 अलग-अलग व्यक्तित्वों से आते हैं।
4. यह क्यों मायने रखता है
लेखक तर्क देते हैं कि बेहतर परिणाम प्राप्त करने के लिए हमें नए, जटिल AI मॉडल बनाने की आवश्यकता नहीं है। हमारे पास पहले से ही सोने की खान मौजूद है: अलग-अलग AI ने अतीत में क्या कहा है, उसके लॉग्स।
- यदि आपके पास पैसा है लेकिन आपको गति चाहिए: स्मार्ट वेटर (क्वेरी-लेवल) का उपयोग करें।
- यदि आप सबसे अच्छे उत्तर चाहते हैं: रेसिपी बुक (थॉट-लेवल) का उपयोग करें।
- यदि आप एक एकल, स्थायी AI बनाना चाहते हैं: सावधान रहें, क्योंकि ट्रेनिंग कैंप (मॉडल-लेवल) अभी तक प्रयास करने लायक नहीं हो सकता है।
संक्षेप में, पेपर कहता है: केवल एक AI न चुनें। यह देखें कि वे सभी कैसे सोचते हैं, और उन रिकॉर्ड्स का उपयोग अपने वर्तमान AI को मार्गदर्शन देने के लिए करें। यह अपने AI को पूरी लाइब्रेरी याद करने के लिए मजबूर करने के बजाय, उसे जवाब देने से पहले ज्ञान की एक लाइब्रेरी पढ़ने के लिए देने जैसा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।