Agentic AI and Retrieval-Augmented Models in Straight-Through Underwriting
यह शोध पत्र छोटे वाणिज्यिक पॉलिसियों की स्ट्रेट-थ्रू अंडरराइटिंग के लिए एक एजेंटिक एआई फ्रेमवर्क का प्रस्ताव और मूल्यांकन करता है, जो यह प्रदर्शित करता है कि लक्षित रिट्रीवल, थर्ड-पार्टी डेटा चेक्स और स्पष्ट नियम मूल्यांकन को संयोजित करने वाला एक मल्टी-एजेंट सिस्टम, सिंगल-एलएलएम (single-LLM) और नैव आरएजी (naive RAG) बेसलाइन की तुलना में बेहतर प्रदर्शन करता है, विशेष रूप से उन जटिल परिदृश्यों में जिनमें पारदर्शिता और ऑडिटेबिलिटी की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, सुपर-फास्ट पिज्जा शॉप चला रहे हैं। हर दिन, सैकड़ों लोग ऑर्डर लेकर आते हैं। कुछ ऑर्डर सरल होते हैं: "सिर्फ चीज़, बिना प्याज के।" कुछ पेचीदा होते हैं: "मुझे पेपरोनी चाहिए, लेकिन केवल तभी जब पेपरोनी एक विशिष्ट फार्म से हो, और मुझे यह जानना है कि क्या वह फार्म 50 मील के भीतर है, लेकिन ग्राहक ने पर्ची पर फार्म का नाम लिखना भूल गया है।"
पुराने दिनों में, आपकी दुकान एक कठोर चेकलिस्ट का उपयोग करती थी। यदि पर्ची पर "पेपरोनी" नहीं लिखा था, तो आप पिज्जा नहीं बना सकते थे। यदि लिखा था, तो आप बना देते थे। लेकिन वास्तविक जीवन अव्यवस्थित है। लोग फॉर्म भरने के बजाय ऐसे नोट्स लिख देते हैं जैसे "मुझे गली के नीचे वाले फार्म से मसालेदार मांस पसंद है।"
यह पेपर एक नए प्रकार के किचन मैनेजर के बारे में है जो बीमा कंपनियों (विशेष रूप से बीओपी जैसे छोटे व्यवसाय पॉलिसियों) के लिए काम करता है। लेखक, रॉबर्ट रिचर्डसन और उनकी टीम चाहते थे कि यह देखें कि क्या एजेंटिक एआई (Agentic AI)—एक स्मार्ट, बहु-चरणीय रोबोटिक सहायक का एक फैंसी शब्द—इन अव्यवस्थित ऑर्डरों को पुराने तरीकों की तुलना में बेहतर तरीके से संभाल सकता है।
तीन किचन मैनेजर
इसकी जांच करने के लिए, उन्होंने एक सिम्युलेटेड किचन (कंप्यूटर द्वारा उत्पन्न डेटा से बनी एक नकली दुनिया, वास्तविक ग्राहक ऑर्डर नहीं) बनाया जिसमें 635 अलग-अलग "एप्लीकेशन" (पिज्जा ऑर्डर) थे। उन्होंने इन्हें संभालने के तीन अलग-अलग तरीकों का परीक्षण किया:
- सिंगल-एलएलएम शेफ (द "वन-पास" कुक): यह एक सुपर-स्मार्ट रोबोट है जो ऑर्डर और नियम पुस्तिका को पढ़ता है, और तुरंत चिल्लाकर कहता है "हाँ!" या "नहीं!" यह तेज़ है, लेकिन यह यह सोचने के लिए नहीं रुकता कि क्या इसके पास पहेली का कोई हिस्सा गायब है। यह बस अपने सामने जो दिखता है उसके आधार पर अनुमान लगा लेता है।
- आरएजी (RAG) शेफ (द "लाइब्रेरियन" कुक): यह रोबोट अधिक स्मार्ट है। उत्तर चिल्लाने से पहले, यह एक लाइब्रेरी (नियमों का डेटाबेस) में जाता है ताकि उस विशिष्ट नियम को खोज सके जो ऑर्डर से मेल खाता हो। यह तथ्य खोजने में बेहतर है, लेकिन यह अभी भी केवल किताब पढ़ता है और उत्तर देता है। यह वास्तव में यह योजना नहीं बनाता कि आगे क्या करना है।
- एजेंटिक शेफ (द "टीम कैप्टन"): यह केवल एक रोबोट नहीं है; यह तीन विशिष्ट श्रमिकों की एक टीम है जो आपस में बात कर रही है।
- वर्कर 1 ऑर्डर को देखता है और कहता है, "यह आसान लग रहा है," या "यह अजीब लग रहा है," या "मेरी जानकारी अधूरी है।"
- वर्कर 2 तब हस्तक्षेप करता है जब जानकारी गायब होती है। वह कहता है, "हे, ग्राहक ने स्क्वायर फुटेज नहीं लिखा है, लेकिन चलिए हमारे बाहरी डेटाबेस की जांच करते हैं कि क्या हम इसे ढूंढ सकते हैं।"
- वर्कर 3 "सोचने वाला" है। यदि ऑर्डर के लिए गणित की आवश्यकता होती है (जैसे "ग्राहक के पास 12,000 वर्ग फुट की इमारत है, लेकिन केवल आधा हिस्सा किराने के सामान के लिए है; क्या किराने वाला हिस्सा 5,000 वर्ग फुट से कम है?"), तो यह वर्कर गणित करता है और नियम की जांच करता है।
- यदि वे फिर भी इसे समझ नहीं पाते हैं, तो टीम कैप्टन कहता है, "रुको! हमें इस पर किसी इंसान को देखने की जरूरत है।"
बड़ी खोज
पेपर सुझाव देता है कि एजेंटिक शेफ (टीम) सबसे अच्छा है, खासकर जब चीजें जटिल हो जाती हैं।
उनके सिमुलेशन के आंकड़े यहाँ दिए गए हैं:
- जब ऑर्डर सरल थे, तो तीनों शेफ ठीक-ठाक थे।
- लेकिन जब ऑर्डर पेचीदा थे (जैसे गणित करने या गायब जानकारी खोजने की आवश्यकता), तो एजेंटिक शेफ स्पष्ट विजेता था।
- उन ऑर्डरों के लिए जहाँ जानकारी गायब थी लेकिन कहीं और मिल सकती थी, एजेंटिक शेफ 88.2% बार सही था। सिंगल-पास रोबोट केवल 80.3% बार सही था।
- उन ऑर्डरों के लिए जहाँ जानकारी गायब थी और नहीं मिल सकती थी (अनसुलझी पहेलियाँ), एजेंटिक शेफ 84.3% बार रुकने और इंसान से पूछने के लिए जानता था। सिंगल-पास रोबोट केवल 56.7% बार रुकना जानता था।
सबसे महत्वपूर्ण खोज यह है कि एजेंटिक सिस्टम बहुत बेहतर है यह जानने में कि कब "मुझे नहीं पता" कहना है। अन्य रोबोटों ने अनुमान लगाने की कोशिश की और अक्सर गलत साबित हुए। एजेंटिक टीम ने महसूस किया, "हमारे पास पर्याप्त तथ्य नहीं हैं, इसलिए चलिए एक इंसान को बुलाते हैं," जो कि बीमा जैसे उच्च-दांव वाले काम में बिल्कुल वही है जो आप चाहते हैं।
यह सिस्टम क्या नहीं है
लेखक बहुत स्पष्ट हैं कि यह क्या नहीं है।
- यह कोई जादुई मन-पढ़ने वाला (mind-reader) नहीं है। पेपर स्पष्ट रूप से इस विचार का खंडन करता है कि एआई बस इंसान की तरह "सोच" सकता है। इन रोबोटों के पास भावनाएं या वास्तविक मस्तिष्क नहीं हैं; वे केवल सांख्यिकीय पैटर्न और नियमों का पालन कर रहे हैं।
- यह इंसानों का विकल्प नहीं है। पेपर का तर्क है कि लक्ष्य सभी अंडरराइटर्स (मानवीय निर्णय लेने वाले) को निकालना नहीं है। इसके बजाय, लक्ष्य यह है कि रोबोट आसान चीजों और "मुझे इसे चेक करने की जरूरत है" वाली चीजों को संभाल ले, ताकि इंसान वास्तव में कठिन, पेचीदा मामलों पर ध्यान केंद्रित कर सकें।
- यह अभी वास्तविक दुनिया के लिए प्रमाणित तथ्य नहीं है। परिणाम एक सिंथेटिक डेटासेट (कंप्यूटर द्वारा बनाई गई एक नकली दुनिया) से हैं। लेखक स्वीकार करते हैं कि वास्तविक दुनिया का बीमा डेटा अव्यवस्थित, शोर भरा और आश्चर्यों से भरा होता है जिसे उनका नकली डेटा कैप्चर नहीं कर सकता है। इसलिए, हालांकि परिणाम आशाजनक हैं, वे सिम्युलेटेड हैं, अभी तक वास्तविक बीमा कंपनी में सिद्ध नहीं हुए हैं।
ट्रेड-ऑफ: गति बनाम बुद्धिमत्ता
एक पेच है। स्मार्ट होने में समय लगता है।
- सिंगल-एलएलएम शेफ सबसे तेज़ था, जो प्रति ऑर्डर लगभग 1.64 सेकंड लेता था।
- एजेंटिक शेफ सबसे धीमा था, जो प्रति ऑर्डर लगभग 4.72 सेकंड लेता था।
पेपर सुझाव देता है कि पेचीदा ऑर्डरों के लिए यह अतिरिक्त समय गलतियों को रोकने के लिए सार्थक है। लेकिन बहुत आसान ऑर्डरों के लिए, आपको पूरी टीम की आवश्यकता नहीं हो सकती है।
निचोड़
यह पेपर सुझाव देता है कि यदि आप बीमा निर्णयों को स्वचालित करना चाहते हैं, तो आपको केवल एक एकल, तेज़ रोबोट का उपयोग नहीं करना चाहिए जो अनुमान लगाता है। इसके बजाय, आपको रोबोटों की एक टीम बनानी चाहिए जो रुक सके, अपने नोट्स चेक कर सके, गणित कर सके, गायब तथ्यों को खोज सके, और यह स्वीकार कर सके कि वह फंस गया है।
उनके सिम्युलेटेड किचन में, इस "एजेंटिक" दृष्टिकोण ने अन्य तरीकों की तुलना में कम गलतियाँ कीं और अपने निर्णयों के लिए बेहतर कारण दिए। हालाँकि, लेखक हमें याद दिलाते हैं कि यह एक प्रूफ ऑफ कॉन्सेप्ट है जो नकली डेटा का उपयोग करता है। इससे पहले कि हम इन रोबोटों को वास्तविक पैसे और वास्तविक व्यवसायों के साथ भरोसेमंद बना सकें, हमें उन्हें वास्तविक, अव्यवस्थित दुनिया में टेस्ट करना होगा और यह सुनिश्चित करना होगा कि अंतिम निर्णय हमेशा इंसान ही लें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।