DS@GT ARC at eRisk 2026: Hybrid Multi-Agent LLM System with Structured Algorithmic Guidance for Conversational Depression Screening

कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ एक मिलनसार, बातूनी रोबोट किसी के साथ बैठ सकता है और बिना कभी डरावने, सीधे सवाल पूछे जैसे कि "क्या आप अवसाद (डिप्रेशन) से ग्रस्त हैं?", धीरे से यह पता लगा सकता है कि क्या वह व्यक्ति उदास महसूस कर रहा है। यही कन्वर्सेशनल डिप्रेशन स्क्रीनिंग का सपना है। वैज्ञानिक लंबे समय से जानते हैं कि बेक डिप्रेशन इन्वेंटरी (BDI-II) जैसे उपकरण उदासी और अन्य लक्षणों को मापने में बेहतरीन हैं, लेकिन आमतौर पर उन्हें पूछने के लिए एक प्रशिक्षित मानव डॉक्टर की आवश्यकता होती है। यह महंगा है और इसे बड़े पैमाने पर लागू करना कठिन है। यहाँ प्रवेश होता है लार्ज लैंग्वेज मॉडेल्स (LLMs) का: सुपर-स्मार्ट कंप्यूटर प्रोग्राम जो इंसानों की तरह बात कर सकते हैं। मुख्य सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: क्या हम एक ऐसा रोबोट इंटरव्यूअर बना सकते हैं जो केवल बातचीत करके डिप्रेशन के संकेतों को पहचानने में इतना स्मार्ट हो, जिसमें किसी इंसान की जरूरत न हो? चुनौती यह है कि ये रोबोट केवल जवाब "जान" नहीं सकते; उन्हें बातचीत के आधार पर अनुमान लगाना होगा, और उन्हें सीखते समय सही जवाब बताया नहीं जा सकता।

इस पेपर में, जॉर्जिया टेक (DS@GT) की एक टीम ने eRisk 2026 नामक प्रतियोगिता के लिए इस पहेली को सुलझाने की कोशिश की है। उन्होंने कंप्यूटर पात्रों (जिन्हें "पर्सोना" कहा जाता है) का इंटरव्यू लेने के लिए एक सिस्टम बनाया, जो डिप्रेशन के विभिन्न स्तरों का नाटक कर रहे थे। लक्ष्य एक स्कोर प्राप्त करना और शीर्ष चार लक्षणों की सूची बनाना था, वह भी बातचीत को स्वाभाविक रखते हुए। टीम ने एक सरल विचार से शुरुआत की: बस एक बहुत ही महंगे, शक्तिशाली AI का उपयोग करके पूरा काम करना। लेकिन यह महंगा था और कभी-कभी असंगत भी। इसलिए, उन्होंने अपने सिस्टम को AI की एक "टीम" में विकसित किया: एक बात करने के लिए, एक ग्रेड देने के लिए, और एक चीज़ों को ट्रैक पर रखने के लिए। उनकी सबसे बड़ी खोज? उन्होंने महंगे "स्टार प्लेयर" इंटरव्यूअर को एक सस्ते, ओपन-सोर्स मॉडल (Gemma 27B) से बदल दिया और इसे काम पर टिके रहने में मदद करने के लिए चतुर गणितीय युक्तियों का उपयोग किया। आश्चर्यजनक रूप से, इस सस्ते दल ने महंगे वाले के लगभग समान प्रदर्शन किया, जिससे यह साबित हुआ कि काम पूरा करने के लिए आपको हमेशा सबसे शक्तिशाली (और महंगे) दिमाग की आवश्यकता नहीं होती, जब तक कि आपके पास एक अच्छी रणनीति (प्लेबुक) हो।

बात करने वाले रोबोट टीम की कहानी

जॉर्जिया टेक की टीम, जिसे DS@GT के नाम से जाना जाता है, एक प्रतियोगिता में शामिल हुई जहाँ उन्हें 20 अलग-अलग कंप्यूटर पात्रों का इंटरव्यू लेना था। प्रत्येक पात्र एक "पर्सोना" था जो डिप्रेशन के एक विशिष्ट स्तर वाले व्यक्ति का अनुकरण कर रहा था। नियम सख्त थे: सिस्टम को एक स्वाभाविक बातचीत की तरह व्यवहार करना था, कभी भी "क्या आप दुखी हैं?" जैसे सीधे सवाल नहीं पूछना था, बल्कि बातचीत को सुनकर उत्तर का पता लगाना था। अंत में, सिस्टम को एक कुल स्कोर (0 से 63 तक) का अनुमान लगाना था और चार प्रमुख लक्षणों के नाम बताने थे।

टीम ने तीन अलग-अलग दृष्टिकोणों को आजमाया, जैसे कि एक कार के इंजन को चरण-दर-चरण अपग्रेड करना।

1. सिंगल-इंजन प्रोटोटाइप
सबसे पहले, उन्होंने एक "मोनोलिथिक" सिस्टम आजमाया। कल्पना कीजिए कि एक अकेला रोबोट सब कुछ कर रहा है: सवाल पूछना, जवाब सुनना और मूड को ग्रेड देना। यह काम तो करता था, लेकिन थोड़ा अस्थिर था। कभी-कभी रोबोट भ्रमित हो जाता था, एक ही व्यक्ति को अलग-अलग दिनों में अलग-अलग स्कोर देता था, या सभी महत्वपूर्ण भावनाओं के बारे में पूछने से पहले ही समय समाप्त कर देता था। यह एक ऐसे छात्र की तरह था जो एक ही सांस में टेस्ट देने, निबंध लिखने और निबंध को ग्रेड करने की कोशिश कर रहा हो—एक साथ संभालना बहुत अधिक था।

2. मल्टी-एजेंट टीम (बेसलाइन)
इस भ्रम को ठीक करने के लिए, उन्होंने काम को विभाजित किया। उन्होंने एक मल्टी-एजेंट सिस्टम बनाया। इसे विशेषज्ञों की एक छोटी टीम के रूप में समझें:

• इंटरव्यूअर: एक रोबोट जिसका एकमात्र काम स्वाभाविक रूप से चैट करना और सही फॉलो-अप सवाल पूछना है।
• स्कोरर: एक अलग रोबोट जो पूरी चैट को देखता है और हर संभावित लक्षण के लिए स्कोर और आत्मविश्वास के स्तर को लगातार अपडेट करता है।
• ऑर्केस्ट्रेटर: एक मैनेजर रोबोट जो इंटरव्यूअर को बताता है, "हे, हमने अभी तक नींद के बारे में नहीं पूछा है, अब इसके बारे में पूछो!" और यह तय करता है कि बातचीत कब रोकनी है।

यह टीम वाला दृष्टिकोण बहुत अधिक विश्वसनीय था। हालाँकि, इसका एक नुकसान था: यह महंगा था। चूंकि वे इंटरव्यूअर के लिए एक सशुल्क, उच्च-स्तरीय AI (GPT-5-nano) का उपयोग कर रहे थे, और उन्हें एक अच्छा औसत प्राप्त करने के लिए बातचीत को कई बार चलाना पड़ता था, इसलिए लागत तेजी से बढ़ रही थी।

3. हाइब्रिड कॉन्फ़िगरेशन (बड़ा प्रयोग)
टीम ने एक साहसी सवाल पूछा: क्या हम महंगे इंटरव्यूअर को एक सस्ते, ओपन-सोर्स मॉडल (Gemma 27B) से बदल सकते हैं यदि हम इसे बेहतर निर्देश दें?

उन्होंने सशुल्क इंटरव्यूअर को ओपन-सोर्स Gemma 27B से बदल दिया। लेकिन वे जानते थे कि यह मॉडल थोड़ा "कमजोर" है—यह निर्देशों का पालन उतनी पूर्णता से नहीं कर सकता या भावनाओं में उतनी गहराई तक नहीं जा सकता। इसे ठीक करने के लिए, उन्होंने केवल उम्मीद नहीं की; उन्होंने कमजोर मॉडल को मार्गदर्शन देने के लिए तीन "एल्गोरिद्मिक सुरक्षा जाल" बनाए:

• डायलॉग ट्री: रोबट को मनमाने ढंग से सवाल बनाने देने के बजाय, उन्होंने उसे एक पूर्व-लिखित मानचित्र (ट्री) दिया। इसने दुख के बारे में विशिष्ट प्रश्नों के साथ शुरुआत की और जवाबों के आधार पर एक शाखा पथ का अनुसरण किया। इसने रोबट को विषय से भटकने से रोका।
• रिलायबिलिटी-वेटेड एग्रीगेशन: चूंकि कमजोर मॉडल गलतियाँ कर सकता था, इसलिए उन्होंने 10 के बजाय 20 बार इंटरव्यू चलाया। फिर, केवल बीच का उत्तर चुनने के बजाय, उन्होंने उत्तरों को वजन देने के लिए एक स्मार्ट गणितीय विधि (जो "वीवर" फ्रेमवर्क से प्रेरित है) का उपयोग किया। यदि अधिकांश रन एक लक्षण पर सहमत थे, तो उस उत्तर को अधिक महत्व दिया गया। यह 20 छात्रों से एक सवाल पूछने और केवल एक को चुनने के बजाय उस उत्तर पर भरोसा करने जैसा है जिस पर अधिकांश सहमत हैं।
• क्लस्टर इम्प्यूटेशन: कभी-कभी रोबट एक लक्षण को पूरी तरह से छोड़ देता था क्योंकि उसका समय समाप्त हो जाता था। सिस्टम के पास एक बैकअप योजना थी: यदि इसने एक लक्षण को मिस कर दिया लेकिन संबंधित लक्षणों के मजबूत संकेत देखे (जैसे "थकान" और "नींद की समस्या" देखना जब इसने "ऊर्जा की कमी" को मिस कर दिया), तो यह उन सुरागों के आधार पर छूटे हुए स्कोर का अनुमान लगा लेता था। इसने यह सुनिश्चित किया कि केवल इसलिए अंतिम स्कोर कम न हो जाए क्योंकि रोबोट एक सवाल पूछना भूल गया था।

परिणाम: सस्ता और उतना ही अच्छा

टीम ने अपने सिस्टम को सभी 20 पर्सोना पर चलाया और अपने परिणामों के तीन अलग-अलग संस्करण प्रस्तुत किए।

• रन 1 ने महंगे, सशुल्क टीम (बेसलाइन) का उपयोग किया।
• रन 2 और 3 ने ओपन-सोर्स इंटरव्यूअर के साथ सस्ते, हाइब्रिड टीम का उपयोग किया।

परिणाम आश्चर्यजनक थे। हाइब्रिड सिस्टम, जिसने सस्ते Gemma 27B मॉडल का उपयोग किया, वास्तव में मुख्य स्कोरिंग मीट्रिक (ADODL) में महंगे सशुल्क सिस्टम से बेहतर प्रदर्शन करता था।

• रन 3 (हाइब्रिड) ने 0.9063 स्कोर किया, जो प्रतियोगिता के सभी टीमों के रन में से तीसरा स्थान रहा।
• रन 1 (पेड बेसलाइन) ने 0.8841 स्कोर किया।

इससे भी अधिक प्रभावशाली बात यह है कि हाइब्रिड सिस्टम की लागत लगभग $2 प्रति पर्सोना** थी, जबकि पेड सिस्टम की लागत लगभग **$8 थी। यह बेहतर परिणामों के लिए 75% लागत में कमी है!

लेखक सुझाव देते हैं कि यह साबित करता है कि आपको एक अच्छा डिप्रेशन स्क्रीनिंग टूल बनाने के लिए सबसे महंगे AI की आवश्यकता नहीं है। एक स्मार्ट टीम संरचना का उपयोग करके और AI को एक स्पष्ट मानचित्र देकर, एक सस्ता, ओपन-सोर्स मॉडल शानदार काम कर सकता है। यह एक बड़ी बात है क्योंकि इसका मतलब है कि ऐसे उपकरणों का उपयोग उन जगहों पर किया जा सकता है जहाँ पैसा कम है या जहाँ गोपनीयता एक बड़ी चिंता का विषय है (चूंकि ओपन-सोर्स मॉडल को डेटा को बड़ी टेक कंपनियों को भेजे बिना स्थानीय कंप्यूटरों पर चलाया जा सकता है)।

टीम मानती है कि उन्होंने एक आदर्श "हेड-टू-हेड" परीक्षण नहीं किया जहाँ वे मॉडल को छोड़कर बाकी सब कुछ समान रखते, क्योंकि प्रतियोगिता के नियम हर सप्ताह बदलते रहते थे। लेकिन उनके पास जो प्रमाण है वह दृढ़ता से सुझाव देता है कि सही मार्गदर्शन के साथ, एक छोटा AI अपने वजन से कहीं अधिक प्रदर्शन कर सकता है।