Towards Verifiable Multimodal Deep Research: A Multi-Agent Harness for Interleaved Report Generation
यह शोध पत्र \textsc{Ptah} को प्रस्तुत करता है, जो एक मल्टी-एजेंट फ्रेमवर्क है जो विश्वसनीय, उद्धरण-सत्य और विजुअल इंटरलीव्ड मल्टीमॉडल डीप रिसर्च रिपोर्ट्स तैयार करने के लिए प्लानिंग, विजुअल वर्किंग मेमोरी के साथ साक्ष्य संग्रह, और वेरीफायर-प्रवर्तित रिपोर्ट जनरेशन को ऑर्केस्ट्रेट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक स्मार्ट असिस्टेंट से किसी जटिल विषय पर, जैसे कि "डीप न्यूरल नेटवर्क कैसे काम करते हैं?" या "इलेक्ट्रिक वाहन बाजार की वर्तमान स्थिति क्या है?" पर एक विस्तृत, पेशेवर रिपोर्ट लिखने के लिए कहते हैं।
अतीत में, ये असिस्टेंट केवल टेक्स्ट का एक ढेर उगल देते थे। कभी-कभी, वे तथ्यों को गलत बताते थे (भ्रमित होते थे/hallucinate), और यदि वे चित्र जोड़ने की कोशिश करते थे, तो चित्र अक्सर बेतरतीब, असंबंधित या अजीब तरह से रखे गए होते थे, जैसे कि किसी ऐसे व्यक्ति द्वारा बनाया गया कोलाज जिसने निर्देशों को पढ़ा ही न हो।
यह पेपर PTAH पेश करता है, जो इन रिपोर्टों को बनाने के लिए एक मास्टर कंस्ट्रक्शन क्रू (निर्माण दल) की तरह कार्य करने के लिए डिज़ाइन किया गया एक नया सिस्टम है। एक अकेले कार्यकर्ता के बजाय जो सब कुछ एक साथ करने की कोशिश करता है, PTAH विशेषज्ञों की एक टीम का उपयोग करता है जो एक रिपोर्ट बनाने के लिए मिलकर काम करती है जो टेक्स्ट और इमेज को पूरी तरह से मिलाती है।
यहाँ बताया गया है कि PTAH कैसे काम करता है, जिसे सरल चरणों में विभाजित किया गया है:
1. ब्लूप्रिंट (योजना बनाना)
सबसे पहले, एक प्लानर एजेंट (Planner Agent) एक वास्तुकार (आर्किटेक्ट) की तरह काम करता है। एक भी ईंट बिछाने से पहले, वह एक विस्तृत ब्लूप्रिंट बनाता है। वह तय करता है:
- रिपोर्ट के लिए किन अनुभागों (सेक्शन) की आवश्यकता है।
- किन तथ्यों को खोजने की आवश्यकता है।
- महत्वपूर्ण रूप से: चित्र कहाँ जाने चाहिए और किस प्रकार के चित्रों की आवश्यकता है (जैसे, "हमें यहाँ बिक्री वृद्धि दिखाने के लिए एक चार्ट की आवश्यकता है," या "हमें इंजन को समझाने के लिए एक आरेख की आवश्यकता है")।
2. इकट्ठा करने वाली टीम (अनुसंधान)
इसके बाद, रिसर्चर एजेंटों (Researcher Agents) की एक टीम सामग्री एकत्र करने के लिए इंटरनेट पर जाती है।
- वे तथ्य ढूंढते हैं और उन्हें लिखते हैं।
- वे एक विजुअल स्कैवेंजर हंट (दृश्य खोज अभियान) की तरह भी कार्य करते हैं। वे केवल कोई भी चित्र नहीं उठाते; वे उन विशिष्ट छवियों की तलाश करते हैं जो ब्लूप्रिंट से मेल खाती हों।
- वे इन "सोर्स-अलाइन्ड" (स्रोत-संरेखित) छवियों को (वे चित्र जो वास्तव में उन वेबसाइटों से आते हैं जिनका उन्होंने दौरा किया है) एक विशेष विजुअल वर्किंग मेमोरी में रखते हैं। इसे एक डिजिटल टूलबॉक्स के रूप में सोचें जहाँ प्रत्येक उपकरण (चित्र) को ठीक से लेबल किया गया है कि वह कहाँ से आया है और उसे क्या साबित करना चाहिए।
3. गुणवत्ता नियंत्रण निरीक्षक (सत्यापनकर्ता)
यह सबसे महत्वपूर्ण हिस्सा है। रिपोर्ट अगले चरण में जाने से पहले, एक वेरिफायर एजेंट (Verifier Agent) एक सख्त बिल्डिंग इंस्पेक्टर की तरह कार्य करता है।
- यह जाँचता है: "क्या आपने वास्तव में वे तथ्य खोजे जिनका आपने दावा किया था?"
- यह जाँचता है: "क्या यह चित्र वास्तव में उसी वेबसाइट से है जिसका आपने उल्लेख किया है?"
- यह जाँचता है: "क्या यह चित्र इस पैराग्राफ के बगल में समझ में आता है?"
- यदि उत्तर "नहीं" है, तो क्रू को वापस जाकर इसे ठीक करना होगा। यह सिस्टम को गलत तथ्य बनाने या यादृच्छिक, भ्रमित करने वाले चित्र चिपकाने से रोकता है।
4. असेंबली लाइन (लेखन)
अंत में, एक राइटर एजेंट (Writer Agent) अंतिम उत्पाद को संकलित करता है। केवल टेक्स्ट टाइप करने और बाद में चित्र फिट होने की उम्मीद करने के बजाय, यह टेक्स्ट और इमेज निर्देशों को एक साथ लिखता है, जैसे एक कंडक्टर एक ऑर्केस्ट्रा का नेतृत्व करता है।
- यह सत्यापित छवियों के "टूलबॉक्स" का उपयोग करता है।
- यदि किसी विशिष्ट चार्ट की आवश्यकता है जो अभी मौजूद नहीं है, तो यह उसे बना सकता है।
- फिर यह पूरी चीज़ को एक पॉलिश की गई, इंटरैक्टिव वेबपेज (जैसे एक मिनी-वेबसाइट) में बदल देता है जो पेशेवर दिखता है और पढ़ने में आसान होता है।
"टेस्ट-टाइम स्केलिंग" (पॉलिशिंग)
आपको रिपोर्ट सौंपने से पहले, PTAH "पॉलिशिंग" का एक अंतिम दौर करता है। यह पूरे रिपोर्ट को फिर से देखता है ताकि स्पेसिंग को ठीक किया जा सके, यह सुनिश्चित किया जा सके कि चित्र बहुत अधिक भीड़भाड़ वाले न हों, और यह सुनिश्चित किया जा सके कि लेआउट स्क्रीन पर अच्छा दिखे। यह घर बेचने से पहले अंतिम वॉकथ्रू की तरह है।
उन्होंने इसका परीक्षण कैसे किया (PTAHEval)
शोधकर्ताओं ने महसूस किया कि पुराने परीक्षण केवल यह देखते थे कि टेक्स्ट कैसा है। उन्होंने पूरे पैकेज का न्याय करने के लिए PTAHEval नामक एक नया परीक्षण बनाया:
- इमेज कंटेंट क्वालिटी: क्या चित्र स्पष्ट है? क्या यह वास्तव में टेक्स्ट को समझाने में मदद करता है?
- प्रेजेंटेशन क्वालिटी: क्या अंतिम वेबपेज अच्छा दिखता है? क्या यह पढ़ने में आसान है, या यह एक बिखरा हुआ ढेर है?
परिणाम
जब उन्होंने अन्य स्मार्ट सिस्टम के मुकाबले PTAH का परीक्षण किया:
- बेहतर तथ्य: PTAH ने कम गलतियाँ कीं और वास्तविक स्रोतों का बहुत अधिक बार उल्लेख किया।
- बेहतर चित्र: चित्र वास्तव में प्रासंगिक और सहायक थे, न कि केवल सजावट।
- बेहतर लेआउट: अंतिम रिपोर्ट पेशेवर दस्तावेजों की तरह दिखी, न कि बिखरे हुए ड्राफ्ट की तरह।
संक्षेप में: PTAH एक घर बनाने के लिए वास्तुकारों, बिल्डरों और निरीक्षकों की एक टीम को काम पर रखने जैसा है, बजाय इसके कि एक व्यक्ति से ब्लूप्रिंट का अनुमान लगाने और सब कुछ एक साथ बनाने के लिए कहना। परिणाम एक ऐसी रिपोर्ट है जो न केवल स्मार्ट है बल्कि दृश्य रूप से विश्वसनीय और मनुष्यों के समझने में आसान भी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।