← नवीनतम पेपर
💻 computer science

CBT-Audio: Evaluating Audio Language Models for Patient-Side Distress Intensity Estimation in CBT Session Recordings

यह शोध पत्र CBT-Audio प्रस्तुत करता है, जो CBT सत्रों के 1,802 एनोटेटेड (annotated) रोगी टर्न का एक डेटासेट है, यह प्रदर्शित करने के लिए कि ऑडियो लैंग्वेज मॉडल उन स्वर संकेतों (vocal cues) को पकड़कर रोगी के संकट के अनुमान में महत्वपूर्ण सुधार करते हैं जिन्हें केवल टेक्स्ट-आधारित मॉडल छोड़ देते हैं, विशेष रूप से तब जब मौखिक सामग्री और स्वर की अभिव्यक्ति में भिन्नता होती है।

मूल लेखक: Qixuan Hu, Shuchang Ye, Xumou Zhang, Anastasia Serafimovska, Anastasia Suraev, Amit Saha, Ping-hsiu Lin, Sydney Su, Usman Naseem, Adam G. Dunn, Jinman Kim

प्रकाशित 2026-05-19
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Qixuan Hu, Shuchang Ye, Xumou Zhang, Anastasia Serafimovska, Anastasia Suraev, Amit Saha, Ping-hsiu Lin, Sydney Su, Usman Naseem, Adam G. Dunn, Jinman Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप किसी व्यक्ति की बातचीत का ट्रांसक्रिप्ट (transcript) पढ़कर उसके मूड को समझने की कोशिश कर रहे हैं। यदि वे कहते हैं, "मैं ठीक हूँ," तो आप सोच सकते हैं कि वे ठीक हैं। लेकिन क्या होगा अगर उन्होंने वे शब्द एक कांपती हुई आवाज़, एक घबराई हुई गति और रोने जैसी आवाज़ के साथ कहे हों? एक वास्तविक थेरेपी सत्र में, एक थेरेपिस्ट इस अंतर को तुरंत पकड़ लेगा। वे जानते हैं कि कोई व्यक्ति क्या कहता है, उससे कहीं अधिक महत्वपूर्ण यह है कि वह उसे कैसे कहता है।

हालाँकि, आर्टिफिशियल इंटेलिजेंस (AI) के अधिकांश सिस्टम जो थेरेपी का अध्ययन कर रहे हैं, वे "बधिर" रहे हैं। वे केवल टेक्स्ट ट्रांसक्रिप्ट को ही पढ़ पाने में सक्षम रहे हैं, जिससे वे आवाज़ में छिपे महत्वपूर्ण संकेतों को समझने से चूक गए। यह शोध पत्र इस कमी को दूर करने के लिए CBT-Audio नामक एक नया टूल पेश करता है।

शोधकर्ताओं ने क्या किया है, इसका विवरण यहाँ सरल उपमाओं (analogies) का उपयोग करके दिया गया है:

1. समस्या: "केवल टेक्स्ट" वाला अंधापन (The "Text-Only" Blind Spot)

कॉग्निटिव बिहेवियरल थेरेपी (CBT) को एक थेरेपिस्ट और एक मरीज के बीच के नृत्य की तरह समझें। वर्षों से, इस नृत्य में मदद करने के लिए AI बनाने की कोशिश कर रहे शोधकर्ता केवल पीछे छूटे हुए पदचिह्नों (टेक्स्ट ट्रांसक्रिप्ट) को देख रहे थे। वे नर्तकों के भावों को नहीं देख पाए और न ही उनकी सांसों को सुन सके।

यह शोध पत्र तर्क देता है कि यह एक बड़ी गलती है। एक मरीज जब "मैं चिंतित हूँ" कहता है, तो एक शांत, स्थिर आवाज में इसका अर्थ बहुत अलग होता है, बजाय इसके कि वह इसे एक कांपती हुई, ऊँची पिच वाली आवाज़ में कहे। वर्तमान AI मॉडल, जो केवल टेक्स्ट पढ़ते हैं, इन महत्वपूर्ण "वोकल क्यूज़" (vocal cues) को मिस कर देते हैं।

2. समाधान: CBT-Audio (एक नया "कान")

शोधकर्ताओं ने CBT-Audio नामक एक नया डेटासेट बनाया।

  • स्रोत: उन्होंने गोपनीयता बनाए रखने के लिए वास्तविक मरीजों का उपयोग नहीं किया। इसके बजाय, उन्होंने सार्वजनिक शैक्षिक वीडियो के 96 घंटों के संग्रह का उपयोग किया जहाँ अभिनेताओं और चिकित्सकों ने थेरेपी सत्रों का रोल-प्ले किया था।
  • सामग्री: उन्होंने इन वीडियो को 1,802 व्यक्तिगत क्षणों में विभाजित किया जहाँ "मरीज" बोला था।
  • लेबलिंग: उन्होंने केवल अनुमान नहीं लगाया। उन्होंने एक स्मार्ट सिस्टम (और बाद में मानव विशेषज्ञों) का उपयोग करके प्रत्येक क्षण को 1 से 5 के पैमाने पर रेट किया, जहाँ 1 "शांत" है और 5 "अत्यधिक परेशान/अभिभूत" (overwhelmed) है। यह रेटिंग केवल शब्दों पर नहीं, बल्कि आवाज़ के वास्तविक ऑडियो पर आधारित थी।

3. प्रयोग: 10 "कानों" का परीक्षण

शोधकर्ताओं ने 10 अलग-अलग ओपन-सोर्स AI मॉडल (जो "कान" के रूप में कार्य करते हैं) को एक टेस्ट दिया। उन्होंने प्रत्येक AI से उन 1,802 क्षणों में मरीज के संकट के स्तर (1–5) का अनुमान लगाने को कहा। उन्होंने AI का तीन अलग-अलग स्थितियों में परीक्षण किया:

  1. केवल ऑडियो (Audio Only): AI आवाज़ सुन सकता था लेकिन शब्दों को नहीं पढ़ सकता था।
  2. केवल टेक्स्ट (Text Only): AI शब्दों को पढ़ सकता था लेकिन आवाज़ नहीं सुन सकता था (जैसे एक बधिर व्यक्ति ट्रांसक्रिप्ट पढ़ रहा हो)।
  3. ऑडियो + टेक्स्ट (Audio + Text): AI आवाज़ और टेक्स्ट दोनों को समझ सकता था।

4. परिणाम: "आवाज़" मूल्य जोड़ती है

निष्कर्ष ऐसे थे जैसे किसी नए सेंस (sense) की खोज करना जो आपको कमरे में बेहतर ढंग से नेविगेट करने में मदद करता है:

  • सुनना हमेशा पढ़ने से बेहतर नहीं होता: यदि आप केवल AI को ऑडियो देते (बिना टेक्स्ट के), तो यह केवल टेक्स्ट देने से हमेशा बेहतर नहीं था। कभी-कभी केवल आवाज़ भ्रमित करने वाली होती थी।
  • लेकिन संयोजन विजेता है: जब शोधकर्ताओं ने AI को ऑडियो और टेक्स्ट दोनों दिए, तो इसने 10 में से 8 मॉडलों में काफी बेहतर प्रदर्शन किया।
  • "विसंगति" का जादू (The "Mismatch" Magic): सबसे बड़ा सुधार तब हुआ जब शब्द और आवाज़ मेल नहीं खा रहे थे।
    • उदाहरण: यदि एक मरीज कहता है "मैं ठीक हूँ" (टेक्स्ट) लेकिन उसकी आवाज़ ऐसी है जैसे वह रोने वाला हो (ऑडियो), तो ऑडियो सुनने वाला AI समझ जाता है कि संकट का स्तर उच्च है। केवल टेक्स्ट पढ़ने वाला AI सोचता है कि मरीज शांत है।
    • उदाहरण: यदि कोई मरीज कहता है "मुझे पसीना आ रहा है और घबराहट हो रही है" (टेक्स्ट) लेकिन उसकी आवाज़ शांत और स्थिर है (ऑडियो), तो ऑडियो सुनने वाला AI समझ जाता है कि मरीज वास्तव में किसी पिछली घटना या काल्पनिक डर का वर्णन कर रहा है, न कि वर्तमान में घबराहट महसूस कर रहा है।

5. इसका क्या अर्थ है (शोध पत्र के अनुसार)

शोध पत्र निष्कर्ष निकालता है कि ऑडियो केवल टेक्स्ट का विकल्प नहीं है; यह टेक्स्ट का साथी है।

  • वर्तमान AI मॉडल इन वोकल क्यूज़ (स्वर, गति, हिचकिचाहट) का उपयोग करके संकट को बेहतर ढंग से समझना सीख सकते हैं।
  • सबसे बड़ा लाभ तब होता है जब AI शब्दों और आवाज़ के बीच के "मिसमैच" (विसंगति) को पहचान सकता है।
  • यह डेटासेट (CBT-Audio) शोधकर्ताओं को यह परीक्षण करने की अनुमति देता है कि क्या AI वास्तव में आवाज़ के भावनात्मक भार को "सुन" रहा है, न कि केवल शब्दों की डिक्शनरी परिभाषा को प्रोसेस कर रहा है।

संक्षेप में: इस शोध पत्र ने एक ऐसा प्रशिक्षण मैदान बनाया है जहाँ AI आवाज़ के शब्दों को ही नहीं, बल्कि आवाज़ के टोन (लहजे) को भी सुनना सीख सकता है। उन्होंने पाया कि जब AI को आवाज़ सुनने और शब्दों को पढ़ने, दोनों का अवसर मिलता है, तो वह यह समझने में बहुत बेहतर हो जाता है कि व्यक्ति वास्तव में कितना संकट में है, खासकर तब जब आवाज़ शब्दों से अलग कहानी बयां करती है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →