Call2Instruct: Automated Pipeline for Generating Q&A Datasets from Call Center Recordings for LLM Fine-Tuning
यह शोध पत्र Call2Instruct को प्रस्तुत करता है, जो एक स्वचालित एंड-टू-एंड पाइपलाइन है जो ऑडियो प्रोसेसिंग, टेक्स्ट क्लीनिंग और सिमेंटिक मैचिंग की बहु-चरणीय प्रक्रिया के माध्यम से शोर वाले कॉल सेंटर ऑडियो रिकॉर्डिंग को LLM फाइन-ट्यूनिंग के लिए उच्च-गुणवत्ता वाले Q&A निर्देशात्मक डेटासेट में परिवर्तित करता है, जिसे Llama 2 7B मॉडल को फाइन-ट्यून करके सफलतापूर्वक प्रदर्शित किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक व्यस्त कॉल सेंटर की पुरानी, धूल भरी ऑडियो रिकॉर्डिंग का एक विशाल पुस्तकालय है। ये रिकॉर्डिंग असली लोगों की बातचीत से भरी हैं, लेकिन ये बहुत अव्यवस्थित हैं: इनमें शोर (static) है, लोग एक-दूसरे के ऊपर बोल रहे हैं, ऑटोमेटेड मेनू चल रहे हैं, और बातचीत बिना किसी ढांचे के है। आप एक सुपर-स्मार्ट कंप्यूटर (एक लार्ज लैंग्वेज मॉडल, या LLM) को उन रिकॉर्डिंग के आधार पर ग्राहकों के सवालों के जवाब देना सिखाना चाहते हैं, लेकिन कंप्यूटर कच्चे, शोर वाले ऑडियो से सीख नहीं सकता। उसे "प्रश्नों" और "उत्तरों" की एक साफ, व्यवस्थित पाठ्यपुस्तक की आवश्यकता है।
"Call2Instruct" नामक शोध पत्र एक रोबोटिक फैक्ट्री लाइन (एक स्वचालित पाइपलाइन) का वर्णन करता है, जिसे उस शोर भरे ऑडियो को एक परफेक्ट पाठ्यपुस्तक में बदलने के लिए बनाया गया है।
यह फैक्ट्री कैसे काम करती है, यहाँ चरण-दर-चरण बताया गया है:
1. साउंड क्लीनिंग स्टेशन (ऑडियो प्रोसेसिंग)
सबसे पहले, कच्चा ऑडियो एक क्लीनिंग स्टेशन में जाता है।
- समस्या: रिकॉर्डिंग ऐसी है जैसे एक शोर वाला कमरा जहाँ दो लोग बात कर रहे हैं, लेकिन आप यह नहीं बता सकते कि कौन क्या है, और बहुत सारा बैकग्राउंड शोर भी है।
- समाधान: सिस्टम एक साउंड इंजीनियर की तरह काम करता है। यह आवाजों को अलग करता है (ताकि इसे पता चल सके कि ग्राहक कौन है और एजेंट कौन है), स्टैटिक शोर को हटा देता है, और उबाऊ ऑटोमेटेड मेनू (जैसे "सेल्स के लिए 1 दबाएं") को काट देता है।
- परिणाम: इसके बाद यह एक "सुपर-लिसनर" (स्पीच-टू-टेक्स्ट टूल) का उपयोग करके साफ ऑडियो को टेक्स्ट के एक कच्चे ड्राफ्ट में बदल देता है।
2. एडिटर का डेस्क (टेक्स्ट क्लीनिंग और प्राइवेसी)
अब सिस्टम के पास एक कच्चा ट्रांसक्रिप्ट है, लेकिन यह अभी भी अव्यवस्थित है। इसमें अजीब टाइपो, दोहराए गए शब्द ("अम्म, अम्म, अम्म"), या वास्तविक नाम और अकाउंट नंबर जैसी संवेदनशील जानकारी हो सकती है।
- समस्या: कंप्यूटर अव्यवस्थित टेक्स्ट से भ्रमित हो जाते हैं, और ग्राहकों का निजी डेटा साझा करना अवैध है।
- समाधान: एक ऑटोमेटेड एडिटर काम संभालता है। यह विराम चिह्नों (punctuation) को ठीक करता है, "अम्म्स" और "आह्स" को हटा देता है, और एक प्राइवेसी गार्ड की तरह काम करता है। यह वास्तविक नामों को
<NAME>या<ACCOUNT_ID>जैसे प्लेसहोल्डर्स से बदल देता है, जिससे यह सुनिश्चित होता है कि किसी के भी रहस्य लीक न हों। - परिणाम: बातचीत का एक साफ, सुरक्षित और आसानी से पढ़ा जाने वाला रूप।
3. जादुई मानचित्र के साथ लाइब्रेरियन (सिमेंटिक एक्सट्रैक्शन)
यह इस फैक्ट्री का सबसे स्मार्ट हिस्सा है। सिस्टम को यह समझना होगा कि: "ग्राहक वास्तव में क्या चाहता था?" और "एजेंट ने इसे कैसे ठीक किया?"
- समस्या: एक वास्तविक बातचीत में, एक ग्राहक एक साधारण सवाल पूछने से पहले पाँच मिनट तक बड़बड़ा सकता है, और एजेंट का जवाब चैट के बीच में कहीं दबा हो सकता है।
- समाधान: सिस्टम एक "जादुगर मानचित्र" (वेक्टर एम्बेडिंग्स) का उपयोग करता है। यह ग्राहक की बड़बड़ाहट को एक स्पष्ट, सीधा प्रश्न (जैसे, "मैं अपना पासवर्ड कैसे रीसेट करूँ?") में बदल देता है। यह एजेंट के उत्तर के साथ भी ऐसा ही करता है। फिर यह इन प्रश्नों और उत्तरों को एक मानचित्र पर गणितीय निर्देशांकों (mathematical coordinates) में बदल देता है।
- परिणाम: अब, सिस्टम एकदम सही मिलान ढूंढ सकता है। भले ही ग्राहक ने "रीसेटिंग" के बारे में पूछा हो और एजेंट ने "रीस्टार्टिंग" के बारे में बात की हो, जादुगर मानचित्र जानता है कि वे एक ही चीज़ हैं और उन्हें आपस में जोड़ देता है।
4. टेक्स्टबुक राइटर (डेटासेट जनरेशन)
अब जब सिस्टम ने सही प्रश्नों को सही उत्तरों के साथ मिला लिया है, तो इसे कंप्यूटर के सीखने के लिए एक विशिष्ट प्रारूप में ढालने की आवश्यकता है।
- समस्या: कंप्यूटर को एक विशिष्ट प्रारूप में सीखने की आवश्यकता होती है: "यहाँ एक निर्देश है, यहाँ एक उत्तर है।"
- समाधान: सिस्टम एक पाठ्यपुस्तक लेखक की भूमिका निभाता है। यह मैच किए गए जोड़ों को लेता है और उन्हें एक परफेक्ट फॉर्मेट में लिखता है। यह इसमें थोड़ा निर्देश भी जोड़ सकता है जैसे, "ग्राहक के अनुरोध के आधार पर, समाधान क्या है?" और उसके बाद एजेंट का उत्तर।
- परिणाम: एक बिल्कुल नया, उच्च-गुणवत्ता वाला डेटासेट जो ट्रेनिंग के लिए तैयार है।
5. फाइनल एग्जाम (वैलिडेशन)
यह सुनिश्चित करने के लिए कि फैक्ट्री वास्तव में काम करती है, लेखकों ने एक टेस्ट बनाया है।
- टेस्ट: उन्होंने इस नए डेटासेट का उपयोग करके एक कंप्यूटर मॉडल (विशेष रूप से, Llama 2 7B नामक मॉडल) को सिखाया।
- परिणाम: कंप्यूटर ने सफलतापूर्वक डेटा से सीखा। जब उनसे सिम्युलेटेड कस्टमर सवाल पूछे गए, तो उन्होंने ऐसे जवाब दिए जो उस विशिष्ट कॉल सेंटर के लिए तर्कसंगत थे। इसने साबित कर दिया कि पाइपलाइन काम करती है: इसने सफलतापूर्वक शोर भरे ऑडियो को एक उपयोगी ट्रेनिंग टूल में बदल दिया।
निचोड़ (The Bottom Line)
लेखक निष्कर्ष निकालते हैं कि यह "Call2Instruct" पाइपलाइन एक प्रभावी समाधान है। यह कॉल सेंटर रिकॉर्डिंग की अराजक, असंरचित वास्तविकता को लेती है और एक साफ, निजी और संरचित डेटासेट में बदलने की पूरी प्रक्रिया को स्वचालित करती है। यह कंपनियों को अपने स्वयं के वास्तविक दुनिया के डेटा का उपयोग करके ऐसे AI असिस्टेंट को प्रशिक्षित करने की अनुमति देता है जो वास्तव में ग्राहक सेवा संभालने में सक्षम हैं, बिना इंसानों द्वारा हजारों प्रश्न और उत्तरों को मैन्युअल रूप से टाइप किए।
लेखकों ने इस फैक्ट्री का कोड भी सार्वजनिक रूप से उपलब्ध कराया है ताकि अन्य लोग इस पर आगे काम कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।