AAFLOW: Scalable Patterns for Agentic AI Workflows
यह शोध पत्र AAFLOW को प्रस्तुत करता है, जो एक एकीकृत वितरित रनटाइम है जो ज़ीरो-कॉपी डेटा प्लेन और संसाधन-निश्चित शेड्यूलिंग बनाने के लिए Apache Arrow और Cylon का लाभ उठाता है, जिससे LLM इन्फरेंस त्वरण पर ध्यान केंद्रित करने के बजाय डेटा प्रवाह और संचार दक्षता को अनुकूलित करके एजेंटिक AI वर्कफ़्लो के स्केलेबिलिटी और थ्रूपुट में महत्वपूर्ण सुधार किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास बुद्धिमान, तेज़ सोचने वाले विशेषज्ञों (AI एजेंटों) की एक टीम है जिन्हें एक जटिल रहस्य को सुलझाना है। उन्हें किताबों के एक पुस्तकालय को पढ़ने, विशिष्ट सुराग खोजने, उन पर विचार करने, पिछली बातचीत को याद रखने और एक अंतिम रिपोर्ट लिखने की आवश्यकता है।
समस्या यह नहीं है कि विशेषज्ञ सोचने में धीमे हैं। समस्या यह है कि उनका कार्यालय अव्यवस्थित है।
वर्तमान प्रणालियों में, हर बार जब किसी विशेषज्ञ को एक किताब, कागज का टुकड़ा या सहकर्मी से नोट की आवश्यकता होती है, तो उन्हें यह करना पड़ता है:
- उस वस्तु को एक बॉक्स में पैक करना (सीरियलाइजेशन/serialization)।
- उसे अगले डेस्क तक ले जाना।
- उसे अनपैक करना।
- उसे पढ़ना।
- उसे अगले व्यक्ति को भेजने के लिए फिर से पैक करना।
"पैकिंग और अनपैकिंग" में इतना समय लगता है कि विशेषज्ञ अपना अधिकांश समय रहस्य सुलझाने के बजाय बॉक्स आने का इंतजार करने में बिता देते हैं।
AAFLOW इस कार्यालय को व्यवस्थित करने का एक नया तरीका है। वर्कफ्लो को केवल हाथों-हाथ सामान देने की प्रक्रिया मानने के बजाय, यह पूरी प्रक्रिया को एक उच्च-गति, शून्य-अपशिष्ट (zero-waste) असेंबली लाइन की तरह मानता है।
यह कैसे काम करता है, इसके सरल रूपकों (metaphors) का उपयोग करके यहाँ दिया गया है:
1. "ऑपरेटर" का विचार: अराजकता को एक रेसिपी में बदलना
वर्तमान AI सिस्टम एक समूह की तरह हैं जो एक नाटक में सुधार (improvise) कर रहे हैं; वे तय करते हैं कि आगे क्या करना है, जो कि उनकी तात्कालिक भावनाओं पर आधारित होता है। यह लचीला है लेकिन अराजक और अनुमान लगाने में कठिन है।
AAFLOW इसे "ऑपरेटर्स" से बनी एक सख्त रेसिपी बनाकर बदल देता है। इन्हें एक असेंबली लाइन के विशिष्ट, पूर्व-निर्धारित स्टेशनों के रूप में सोचें:
- एम्बेडिंग स्टेशन (The Embedding Station): टेक्स्ट को नंबरों (वेक्टर्स) में बदलना।
- रिट्रीवल स्टेशन (The Retrieval Station): सही सुराग खोजना।
- रीज़निंग स्टेशन (The Reasoning Station): सुरागों को आपस में जोड़ना।
- मेमोरी स्टेशन (The Memory Station): बाद के लिए क्या सीखा गया, उसे लिख लेना।
AI डेटा को कैसे स्थानांतरित किया जाए, यह "तय" करने के बजाय, AAFLOW पूरे प्लान को शुरू करने से पहले एक मानचित्र (ग्राफ) में संकलित कर देता है। इसे पता होता है कि कौन सा स्टेशन क्या करता है और वे कैसे जुड़े हैं, जिससे प्रक्रिया पूर्वानुमानित और दोहराने योग्य बन जाती है।
2. "जीरो-कॉपी" डेटा प्लेन: बॉक्स नहीं, बल्कि बैटन पास करना
पुराने तरीके में, स्टेशनों के बीच डेटा ले जाना एक भारी, सीलबंद बॉक्स को पास करने जैसा था। आपको उसे खोलना पड़ता था, सामग्री निकालनी पड़ती थी, उसे एक नए बॉक्स में रखना पड़ता था और फिर से सील करना पड़ता था। इसे "सीरियलाइजेशन" कहा जाता है, और यह धीमा है।
AAFLOW एक जीरो-कोपी (Zero-Copy) सिस्टम का उपयोग करता है। कल्पना करें कि सभी विशेषज्ञ एक विशाल, पारदर्शी मेज के चारों ओर खड़े हैं।
- जब "एम्बेडिंग" स्टेशन अपना काम पूरा करता है, तो वह परिणाम को बॉक्स में नहीं रखता। वह बस कागज को मेज पर सरका देता है।
- "रिट्रीवल" स्टेशन बिना किसी पैकेज को खोले या कुछ भी दोबारा लिखे, तुरंत उस कागज को पकड़ सकता है।
- यह Apache Arrow नामक तकनीक पर आधारित है, जो एक सार्वभौमिक भाषा की तरह कार्य करता है जिसे सभी स्टेशन तुरंत समझ लेते हैं।
3. "बैचिंग" रणनीति: टैक्सी बनाम बस
कल्पना कीजिए कि आपको 100 लोगों को नदी के पार ले जाना है।
- पुराना तरीका (टैक्सी): आप 100 अलग-अलग टैक्सियाँ भेजते हैं। प्रत्येक टैक्सी को इंजन शुरू करना पड़ता है, घाट तक जाना पड़ता है, एक व्यक्ति को लोड करना पड़ता है, वापस आना पड़ता है और फिर से इंजन शुरू करना पड़ता है। इसमें "ओवरहेड" (शुरुआती लागत) बहुत अधिक होती है।
- AAFLOW का तरीका (बस): आप सभी 100 लोगों को एक बड़ी बस में लोड करते हैं। आप इंजन केवल एक बार शुरू करते हैं।
AAFLOW कार्यों को बैच (batches) में समूहित करता है। AI से एक बार में एक दस्तावेज़ प्रोसेस करने के बजाय, यह एक साथ हजारों को प्रोसेस करता है। यह "स्टार्टअप लागत" को कई वस्तुओं पर फैला देता है, जिससे पूरी प्रक्रिया तेज़ हो जाती है।
4. "मस्तिष्क" और "मांसपेशियों" को अलग करना
कई AI सिस्टम में, "मस्तिष्क" (AI जो निर्णय लेता है कि क्या करना है) और "मांसपेशियां" (कंप्यूटर जो वास्तव में डेटा को मूव करता है) आपस में उलझे हुए होते हैं। यदि मस्तिष्क हिचकिचाता है, तो मांसपेशियां रुक जाती हैं।
AAFLOW इन्हें अलग करता है।
- मस्तिष्क (Agent Logic): तय करता है कि क्या किया जाना चाहिए (जैसे, "मुझे एक दस्तावेज़ खोजने की आवश्यकता है")।
- मांसपेशियां (AAFLOW Runtime): तय करती है कि इसे सबसे कुशलता से कैसे किया जाए (जैसे, "मैं अभी रिट्रीवल स्टेशन को 500 दस्तावेज़ों की एक बस भेजूँगा")।
इस अलगाव का अर्थ है कि भले ही "मस्तिष्क" सोचने में थोड़ा समय ले रहा हो, कंप्यूटर असेंबली लाइन को पूरी गति से चालू रख सकता है।
परिणाम: जादू के बिना गति
इस पेपर ने इस सिस्टम का लोकप्रिय AI टूल्स (जैसे LangChain और Dask) के मुकाबले परीक्षण किया।
- अच्छी खबर: AI की वास्तविक "सोचने" की गति (शब्दों को कितनी तेज़ी से उत्पन्न करता है) वैसी ही रही। AAFLOW ने AI को स्मार्ट या सोचने में तेज़ नहीं बनाया।
- बड़ी जीत: क्योंकि AAFLOW ने बॉक्स पैक करने, इंजन शुरू करने और हैंड-ऑफ के लिए प्रतीक्षा करने में समय बर्बाद करना बंद कर दिया, इसलिए पूरी पाइपलाइन बहुत तेज़ हो गई।
- कुछ परीक्षणों में, डेटा तैयार करने और स्टोर करने में यह सिस्टम 4.64 गुना तेज़ था।
- एक जटिल कार्य को चलाने का कुल समय लगभग आधा (1.88x स्पीडअप) कम हो गया।
सारांश
AAFLOW AI को और अधिक बुद्धिमान या तेज़ नहीं बनाता। इसके बजाय, यह लॉजिस्टिक्स (रसद) को ठीक करता है। यह AI को डेटा को पैक करने, अनपैक करने और भेजने के इंतज़ार में समय बर्बाद करने से रोकता है। काम को एक साफ, शून्य-अपशिष्ट असेंबली लाइन में व्यवस्थित करके, यह AI को अपना अधिकांश समय वही करने में लगाने की अनुमति देता है जिसमें वह सर्वश्रेष्ठ है: समस्याओं को सुलझाना।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।