Resp-Agent: An Agent-Based System for Multimodal Respiratory Sound Generation and Disease Diagnosis
يُعد Resp-Agent نظاماً مستقلاً متعدد الوسائط يتميز بوكيل منهجي عدائي نشط يدير أداة تشخيص ومولداً يعتمد على مطابقة التدفق للتغلب على فقدان المعلومات وندرة البيانات في تحليل أصوات الجهاز التنفسي، مستفيداً من معيار مرجعي جديد يضم ٢٢٩ ألف سجل لتحقيق متانة تشخيصية فائقة في ظل عدم توازن الفئات.
المؤلفون الأصليون:Pengfei Zhang, Tianxin Xie, Minghao Yang, Li Liu
تخيل أنك محقق يحاول حل لغز داخل رئتي مريض. الأدلة هي الأصوات التي تصدرها الرئتان أثناء التنفس: أزيز، أو فرقعة، أو حشرجة. لفترة طويلة، حاولت الحواسيب أن تكون هؤلاء المحققين، لكنها كانت تعاني من مشكلتين كبيرتين:
تفقد التفاصيل الدقيقة: عندما تحاول الحواسيب "رؤية" الصوت (عن طريق تحويله إلى صورة تسمى المخطط الطيفي - Spectrogram)، فإنها غالباً ما تمحو الأصوات الصغيرة التي تستغرق أجزاءً من الثانية، وهي في الواقع أهم الأدلة. الأمر يشبه محاولة التعرف على طائر معين من خلال النظر إلى صورة ضبابية لغابة؛ ستفقد صوت الطائر الفريد.
لا تملك ما يكفي من القضايا: لكي يتعلم الكمبيوتر كيفية رصد الأمراض النادرة، فإنه يحتاج لسماع آلاف الأمثلة. لكن الأمراض النادرة، هي نادرة بالفعل. ينتهي الأمر بالكمبيوتر بدراسة الأشياء الشائعة فقط ويصاب بالارتباك عندما يرى شيئاً غير معتاد. الأمر يشبه طالباً يدرس للاختبار النهائي عبر قراءة نفس الفصول الثلاثة مراراً وتكراراً، ثم يصاب بالذعر عندما يسأله الاختبار عن الفصل العاشر.
هنا يأتي دور Resp-Agent، وهو نظام ذكاء اصطناعي جديد صُمم لحل هذه المشكلات. لا تفكر فيه كمجرد روبوت واحد، بل كـ وكالة تحري طبية عالية التقنية تضم ثلاثة أعضاء متخصصين يعملون معاً في حلقة مثالية.
أعضاء الفريق الثلاثة
1. "المفكر" (مدير الحالات)
تخيل مديراً بارعاً ومثقلاً بالأعباء في التحري يُدعى المفكر (Thinker).
ماذا يفعل: بدلاً من مجرد انتظار وصول القضايا، يراقب "المفكر" بنشاط أخطاء الفريق السابقة. يقول: "مهلاً، نحن نستمر في الفشل في تشخيص التهاب القصيبات. ونحن نستمر في الارتباك عندما يأتي الصوت من نوع معين من الميكروفونات".
السحر الكامن: "المفكر" لا يكتفي بالشكوى؛ بل يضع قائمة مهام. هو يخبر أعضاء الفريق الآخرين بالضبط ما هي أنواع الحالات الوهمية التي يحتاجون لتوليدها للتدريب عليها. إنه مثل مدرب يقول: "نحن سيئون في الرميات الحرة، لذا دعونا نتدرب على 500 رمية حرة قبل أن نلعب المباراة التالية".
2. "المولد" (المزور الماهر)
هذا العضو من الفريق هو فنان صوتي مبدع يمتلك مهارة محددة للغاية: يمكنه ابتكار أصوات رئوية وهمية تبدو حقيقية تماماً.
ماذا يفعل: عندما يقول "المفكر": "نحن بحاجة لمزيد من الأمثلة على التهاب القصيبات مسجلة بميكروفون قديم"، يستمع "المولد" للتعليمات. يأخذ "القصة الطبية" (المرض) و"نمط الصوت" (نوع الميكروفون) وينسجهما معاً لإنشاء مقطع صوتي جديد وعالي الجودة.
التشبيه: تخيل طباخاً يمكنه طهي شريحة لحم مثالية (المرض)، ولكن يمكنه أيضاً تغيير التوابين وأسلوب التقديم (جهاز التسجيل) ليتناسب تماماً مع ما يحتاجه المطعم. يقوم "المولد" بإنشاء هذه الأمثلة "الوهمية" ولكن المثالية حتى يتمكن فريق التحري من التدرب على الأمراض النادرة دون الحاجة لمرضى حقيقيين.
3. "المشخص" (المحقق الخبير)
هذا هو الحكم النهائي، الشخص الذي يستمع فعلياً للأصوات ويضع التشخيص.
ماذا يفعل: في الماضي، كانت الحواسيب تنظر إلى الصوت أو ملاحظات المريض بشكل منفصل. أما "المشخص" فهو مميز لأنه يمزج بينهما. فهو يقرأ التاريخ الطبي للمريض (نص) بينما يستمع في الوقت نفسه لصوت التنفس (صوت).
التشبيه: تخيل محققاً يقرأ حجة الغياب الخاصة بالمشتبه به بينما يستمع إلى تسجيل للجريمة. يستخدم "المشخص" "بقعة ضوء" خاصة (تسمى المرتكزات الصوتية - Audio Anchors) يمكنها التركيز على أصوات دقيقة تستغرق أجزاء من الثانية (مثل فرقعة تستمر لـ 20 مللي ثانية) وربطها مباشرة بالوصف النصي. هذا يضمن ألا يفقد الكمبيوتر الأدلة الصغيرة والعابرة التي يلتقطها الأطباء البشريون بآذانهم.
كيف يعملون معاً (الحلقة)
عبقرية Resp-Agent تكمن في أن هؤلاء الثلاثة لا يعملون في خط مستقيم، بل يعملون في دائرة:
يحاول المشخص حل قضية ما ولكنه يتعثر في مرض نادر.
يلاحظ المفكر هذا الضعف ويقول: "نحن بحاجة لمزيد من الممارسة على هذا!".
يقوم المولد بإنشاء 50 مثالاً مثالياً جديداً لهذا المرض النادر.
يدرس المشخص هذه الأمثلة الجديدة، ويصبح أكثر ذكاءً، ثم يحاول مرة أخرى.
يتحقق المفكر من النتائج، ويجد الضعف التالي، وتتكرر الدورة.
النتيجة: مكتبة جديدة من الأدلة
لجعل هذا العمل ممكناً، بنى الفريق مكتبة ضخمة جديدة تسمى Resp-229k. تحتوي على 229,000 صوت رئوي، ولكن مع لمسة خاصة: كل صوت مقترن بملخص مكتوب واضح لحالة المريض، كتبه ذكاء اصطناعي قرأ السجلات الطبية. وهذا يمنح النظام كمية هائلة من بيانات "النص + الصوت" للتعلم منها.
لماذا هذا مهم؟
للأطباء: يعمل كمساعد فائق القدرة يمكنه رصد الأمراض النادرة التي قد تفوت الآذان البشرية، خاصة عندما تكون البيانات غير دقيقة أو تأتي من أنواع مختلفة من الميكروفونات.
للمرضى: يعني هذا تحسيناً في الكشف المبكر. إذا استطاع الكمبيوتر تعلم التعرف على سعال نادر وخطير بعد سماع أمثلة قليلة فقط (بفضل "المولد")، فيمكنه المساعدة في تشخيص المرضى بشكل أسرع.
للعلوم: يثبت أنه بدلاً من مجرد انتظار ظهور المزيد من البيانات، يمكننا استخدام الذكاء الاصطناعي لإنشاء البيانات المفقودة التي نحتاجها للتعلم، طالما أننا نفعل ذلك بعناية وذكاء.
باختصار، Resp-Agent هو وكالة تحري ذاتية التطوير، تتعلم من أخطائها، وتنشئ اختبارات تدريبية خاصة بها، وتستخدم "أذناً خارقة" للاستماع إلى الأصوات الصغيرة والعابرة التي تنقذ الأرواح.
إليك ملخص تقني مفصل لورقة البحث بعنوان "RESP-AGENT: نظام قائم على الوكلاء لتوليد الأصوات التنفسية متعدد الوسائط وتشخيص الأمراض".
1. بيان المشكلة
تحدد الورقة ثلاث تحديات جوهرية تعيق تقدم التشخيص الصوتي التنفسي القائم على التعلم العميق:
عنق الزجاجة في التمثيل أحادي الوسائط: غالبًا ما تقوم نماذج الصوت الحالية بتحويل الإشارات إلى مخططات طيفية (spectrograms)، مما يؤدي إلى فقدان معلومات الطور (phase information) وطمس البنى الزمنية الدقيقة (مثل الأصوات الخافتة العابرة/crackles). ومن ناحية أخرى، تفتقر النماذج النصية فقط إلى الأدلة الصوتية الموضوعية. لا يزال التدريب المسبق واسع النطاق الحالي أحادي الوسائط، مما يفشل في التقاط التآزر بين السياق السريري والنبضات الصوتية العابرة.
ندرة البيانات وعدم توازنها: مجموعات بيانات الأصوات التنفسية العامة صغيرة، وتغطي حالات قليلة، وتعاني من عدم توازن حاد في الفئات (توزيع ذيل طويل/long-tailed distribution). طرق التعزيز الحالية (مثل SpecAugment، وحقن الضوضاء) غير مستهدفة وغالبًا ما تؤدي إلى تدهور القدرة على التعميم عبر المجالات المختلفة.
الانفصال بين التحليل والتوليد: يميل البحث بشدة نحو التصنيف التشخيصي، مما يترك النمذجة التوليدية غير مستغلة بشكل كافٍ. لا يوجد إطار عمل حالي يوحد التحليل التشخيصي والتوليد الاصطناعي في نظام واحد متماسك لخلق عملية تعلم مغلقة الحلقة.
2. المنهجية: إطار عمل Resp-Agent
يقترح المؤلفون Resp-Agent، وهو نظام متعدد الوكلاء مغلق الحلقة ومركز الإدارة. يقوم بدمج المفكر (المخطط)، والمولد (المصنّع)، والمشخص (المصنف) لإنشاء منهج تعليمي تنافسي نشط.
الدور: مخطط مدرك للحوسبة (يعتمد على DeepSeek-V3.2-Exp) يعمل كمتحكم مركزي.
الوظيفة: يقوم بتحليل المقاصد الدلالية، وتوجيه المهام، وتحليل نقاط الضعف التشخيصية (ملفات الخطأ والثقة المعايرة).
الآلية: بدلاً من تعزيز البيانات الثابت، يقوم "المفكر" بتحديد أوجه الفشل بنشاط (مثل الأمراض النادرة أو انزياحات المجال المحددة) ويجدول طلبات التوليد المستهدف من "المولد". هذا يخلق حلقة تدريب ذاتية التصحيح حيث يتم توجيه توليد البيانات بناءً على فشل النموذج.
ب. المولد (التوليد القابل للتحكم)
الهدف: توليد صوت تنفسي عالي الدقة يفصل بين المحتوى المرضي (ما يجب توليده) والأسلوب الصوتي (كيف يبدو الصوت).
البنية (Resp-MLLM):
القاعدة: نموذج لغوي كبير خفيف الوزن يعتمد على النصوص فقط (Qwen3-0.6B-Base) تمت إعادة تهيئته عبر حقن الوسائط (Modality Injection).
تكييف الأسلوب: يتم التقاط الأسلوب الصوتي عبر ميزات BEATs (من مرجع صوتي مدته 10 ثوانٍ)، والتي تُضغط إلى واصفات أسلوب، وتُحقن في المساحة المخفية للنموذج اللغوي كـ "رموز بادئة للأسلوب" (style prefix tokens).
تكييف المحتوى: يتم توفير الدلالات المرضية كرسائل نصية (prompts).
التدريب: يتنبأ النموذج بشكل تتابعي بوحدات صوتية منفصلة من كتاب رموز (codebook) الخاص بـ BEATs. وتمنع استراتيجية "القناع الخالي من التسريب" (leak-free masking) النموذج من استباق الرموز الأصلية أثناء التدريب.
إعادة بناء الموجة الصوتية:
يتم تغذية الوحدات المتوقعة في مُفكك مطابقة التدفق الشرطي (CFM) (Transformer انتشار/Diffusion Transformer).
يقوم الـ CFM بإعادة بناء المخططات الطيفية (mel-spectrograms)، والتي يتم تحويلها بعد ذلك إلى موجات صوتية باستخدام مشفر صوتي عصبي (Vocos).
يضمن هذا التصميم ذو المرحلتين إعادة بناء مستقرة ومدركة للطور للأحداث العابرة.
ج. المشخص (التشخيص القوي)
الهدف: دمج النص السريري (ملخصات السجلات الصحية الإلكترونية EHR) مع الصوت لتحسين قوة التشخيص.
البنية:
نسج الوسائط (Modality Weaving): على عكس أساليب الدمج المتأخر، يقوم "المشخص" بنسج رموز الصوت والنصوص في تسلسل واحد عند طبقة الإدخال. يتم دمج رموز نص EHR مع كتلة من الأماكن النائبة الصوتية.
الانتباه العالمي الاستراتيجي: مبني على بنية Longformer. يستخدم مجموعة متفرقة من رموز الانتباه العالمي للتعامل مع التبعيات طويلة المدى بكفاءة (تعقيد O(N)).
المرتكزات الصوتية (Audio Anchors): ابتكار رئيسي حيث يتم اختيار رموز صوتية محددة (مرتكزات) عند خطوة معينة (على سبيل المثال، كل 4 إطارات، بدقة ~80 مللي ثانية) لتعمل كـ "محاور عبر الوسائط". يسمذا هذا للأعراض النصية البعيدة (مثل "الصفير/wheeze") بالاستعلام مباشرة عن الأحداث الصوتية العابرة دون تكاليف حسابية تربيعية، مما يلتقط الأحداث بمستوى المللي ثانية.
3. المساهمات الرئيسية
معيار Resp-229k:
مجموعة بيانات ضخمة تضم 229,101 تسجيلاً تنفسياً (408 ساعة) تغطي 16 فئة تشخيصية.
الاقتران متعدد الوسائط: يتم إقران كل مقطع صوتي بسرد سريري معياري تم توليده من بيانات EHR باستخدام نموذج لغوي (DeepSeek-R1-Distill-Qwen-7B)، مع تدقيق صارم للدقة.
تقييم صارم: يتميز بتقسيم منفصل عن المصدر (التدريب على ICBHI، SPRSound، UK COVID-19؛ والاختبار حصرياً على مجموعات بيانات KAUH وCOUGHVID غير المرئية) لاختبار القدرة على التعميم عبر المجالات.
التوليد القابل للتحكم (Resp-MLLM):
أول نموذج لغوي كبير متعدد الوسائط تم تدريبه باستخدام إشراف نصي-صوتي متوافق لتوليد أصوات تنفسية قابلة للتحكم.
نجح في فصل الدلالات المرضية عن أسلوب التسجيل (الجهاز، الجرس الصوتي)، مما يتيح توليد عينات "صعبة التشخيص" لتعزيز البيانات.
نسج الوسائط والانتباه العالمي الاستراتيجي:
يقدم بنية مبتكرة تدمج الوسائط عند مستوى الإدخال وتستخدم الانتباه العالمي القائم على المرتكزات لالتقاط الأحداث الصوتية العابرة (بدقة ~80 مللي ثانية) بكفاءة.
نظام الوكيل مغلق الحلقة:
يثبت أن ربط وكيل تشخيصي بوكيل توليدي عبر مخطط نشط (المفكر) يتفوق على التعزيز الثابت والتدريب السلبي، مما يحول ندرة البيانات إلى مشكلة منهج تعليمي قابلة للحل.
4. النتائج التجريبية
الأداء التشخيصي (ICBHI):
حقق Resp-Agent درجة ICBHI بلغت 72.7% (النوعية: 79.3%، الحساسية: 66.1%)، متفوقاً على أفضل النتائج السابقة (67.55%) بأكثر من 5 نقاط مطلقة.
التعميم عبر المجالات (Resp-229k):
في مجموعة الاختبار الصارمة عبر المجالات (Test-CD)، حقق المشخص متعدد الوسائط الكامل دقة 84.9% و 0.212 Macro-F1 (على البيانات غير المتوازنة).
في النظام المتوازن (باستخدام البيانات الاصطناعية الموجهة من "المفكر")، قفزت قيمة Macro-F1 إلى 0.598، وهو تحسن هائل مقارنة بالأساس الصوتي فقط (0.1935) وطرق الموازنة غير التوليدية.
دراسات الاستئصال (Ablation Studies):
فعالية المفكر: تفوق المخطط Thinker-A2CA بشكل كبير على المخططات الثابتة (Class-Prior، Random) وإعادة وزن الخسارة غير التوليدية (Focal Loss)، مما يثبت أن التوليد المستهدف يتفوق على التعزيز العشوائي.
البنية: أدى إزالة "نسج الوسائط" أو "المرتكزات الصوتية" إلى انخفاض كبير في الأداء، مما يؤكد ضرورتها لالتقاط الأحداث العابرة والمحاذاة عبر الوسائط.
جودة المولد: حقق مولد Resp-Agent تشابهاً في الأسلوب (0.92) ومسافة فريه-أوديتو (Fréchet Audio Distance) أقل (1.13) مقارنة بـ StableAudio Open و AudioLDM 2.
5. الأهمية
تحول في النموذج: ينقل تحليل الصوت التنفسي من المسارات الساكنة والمنفعلة إلى نظام وكيل نشط ومغلق الحلقة حيث يصمم التوليد والتشخيص بعضهما البعض.
حل ندرة البيانات: يوفر حلاً قوياً لمشكلة "الذيل الطويل" في الذكاء الاصطناي الطبي من خلال توليد بيانات اصطناعية عالية الدقة ومحددة للمرض، مما يحسن عدالة النموذج وقوته في الأمراض النادرة.
الأهمية السريرية: القدرة على توليد أصوات مرضية محددة بأسلوب متحكم فيه تدعم التعليم الطبي، وتعزيز البيانات للحالات النادرة، وأبحاث القابلية للتفسير.
القدرة على التعميم: توفر آليات "نسج الوسائط" و"الانتباه العالمي الاستراتيجي" مخططاً لمهام طبية متعددة الوسائط أخرى تتضمن إشارات عابرة وسياقاً طويل المدى.
تم جعل الكود والبيانات (Resp-229k) مفتوحة المصدر، مما يسه้ل إعادة الإنتاج ومزيد من الأبحاث في مجال الذكاء الصوتي الطبي.