← Neueste Arbeiten
💻 computer science

Transformer Architectures for Respiratory Sound Analysis and Multimodal Diagnosis

Dieses Paper schlägt ein multimodales Diagnose-Framework vor, das Audio Spectrogram Transformer und Vision-Language-Modelle nutzt, um Atemgeräusche und Patientendaten zu analysieren, und demonstriert dabei eine überlegene Genauigkeit sowie Interpretierbarkeit im Vergleich zur traditionellen ärztlichen Auskultation und bisherigen CNN-basierten Ansätzen für die Asthma-Diagnose und Fernüberwachung.

Ursprüngliche Autoren: Theodore Aptekarev, Vladimir Sokolovsky, Gregory Furman, Evgeny Furman

Veröffentlicht 2026-09-08
📖 6 Min. Lesezeit🧠 Tiefgang

Ursprüngliche Autoren: Theodore Aptekarev, Vladimir Sokolovsky, Gregory Furman, Evgeny Furman

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Lauschen auf den Atem eines Patienten gehört zu den ältesten Werkzeugen im Kasten eines Arztes. Seit Jahrhunderten drücken Mediziner ihre Ohren oder Stethoskope gegen eine Brust, um das subtile Rasseln von Flüssigkeit, das hochfrequente Pfeifen verengter Atemwege oder die glatte Stille gesunder Lungen zu erkennen. Diese Praxis, bekannt als Auskultation, beruht vollständig auf dem menschlichen Ohr und der Erfahrung des Zuhörers. Obwohl sie unschätzbar wertvoll ist, ist sie auch subjektiv; zwei Ärzte könnten in demselben Atemzug unterschiedliche Dinge hören, und eine Diagnose kann stark davon abhängen, wie viel Übung ein Arzt gesammelt hat. Da Atemwegserkrankungen wie Asthma Millionen von Menschen weltweit betreffen, hat die medizinische Fachwelt lange nach einem Weg gesucht, diesen Prozess des Zuhörens objektiver, konsistenter und zugänglicher zu machen, insbesondere für Kleinkinder oder Menschen in abgelegenen Gebieten, in denen Spezialisten knapp sind.

In den letzten Jahren haben Wissenschaftler die Computer zu Hilfe gerufen, um beim Zuhören zu unterstützen. Durch die Umwandlung des Atems in eine visuelle Karte, die Spektrogramm genannt wird – wobei die Zeit entlang der Unterseite und die Tonhöhe entlang der Seite verläuft –, können Forscher einen Atemzug wie ein Bild behandeln. Dies ermöglicht es ihnen, leistungsstarke Computerprogramme einzusetzen, die ursprünglich entwickelt wurden, um Katzen oder Autos in Fotografien zu erkennen, um Muster von Krankheiten zu identifizieren. Diese frühen Versuche stützten sich jedoch oft auf ältere Computermodelle, die nur auf den Klang achteten und den Rest der Geschichte des Patienten, wie etwa Alter oder Geschlecht, ignorierten. Zudem war der Vergleich verschiedener Computerprogramme schwierig, da sie oft an unterschiedlichen Datensätzen getestet wurden, was es schwer machte zu wissen, welches wirklich am besten funktionierte.

Ein Team von Forschern der Ben-Gurion-Universität in Israel und der Perm State Medical University in Russland setzte sich zum Ziel, diese Probleme zu lösen, indem sie die neueste Generation von Computermodellen an einer einzigen, gemeinsamen Sammlung von Patientendaten testete. Sie wollten sehen, ob moderne künstliche Intelligenz nicht nur die Atemgeräusche hören, sondern auch den Kontext des Patienten verstehen kann, um so die Art und Weise nachzuahmen, wie ein menschlicher Arzt das, was er hört, mit dem kombiniert, was er über die Person weiß. Ihre Arbeit konzentriert sich darauf, zwischen Patienten mit Asthma und solchen ohne Asthma zu unterscheiden – eine Aufgabe, die entscheidend für das Management einer Erkrankung ist, die in verschiedenen Ländern bis zu 29 Prozent der Bevölkerung betrifft.

Die Forscher sammelten einen großen Satz von Aufnahmen von über 1.300 Teilnehmern, die von Säuglingen bis hin zu Erwachsenen reichten. Diese Aufnahmen erfassten das Geräusch der ruhigen Atmung an vier verschiedenen Stellen des Körpers: Mund, Luftröhre, Brust und Rücken. Jede Aufnahme wurde durch strukturierte Informationen über den Patienten ergänzt, einschließlich Alter, Geschlecht und dem Ort der Aufnahme. Das Team speiste diese Daten in drei verschiedene Arten von Computermodellen ein, um zu sehen, welches Asthma am genauesten diagnostizieren konnte.

Das erste Modell, das sie testeten, war ein etablierter Typ von Computerprogramm, bekannt als faltendes neuronales Netzwerk, speziell eine Version namens DenseNet201. Dieses Modell war bereits in ihrer vorangegangenen Arbeit verwendet worden und diente als zuverlässige Basislinie. Es betrachtete nur die visuelle Karte des Klangs und ignorierte die persönlichen Details des Patienten. Das zweite Modell war ein hochmodernes System namens Audio Spectrogram Transformer. Dieses Modell wurde speziell entwickelt, um Klangmuster zu verstehen, und wurde vor der Anpassung an diese medizinische Aufgabe an riesigen Audiobibliotheken trainiert. Das dritte Modell war ein multimodales Vision-Language-System namens Moirdream2. Dies war der ehrgeizigste Versuch; es war darauf ausgelegt, die Klangkarte zu betrachten und gleichzeitig eine Textbeschreibung des Alters, des Geschlechts und des Aufnahmeortes des Patienten zu lesen, in der Hoffnung, dass die Kombination dieser beiden Informationsströme zu einer besseren Diagnose führen würde.

Die Ergebnisse zeigten einen klaren Gewinner. Das spezialisierte Sound-Modell, der Audio Spectrogram Transformer, übertraf alle anderen mit bemerkenswerter Präzision. Es erreichte eine Erfolgsrate von 98,7 % in Bezug auf Genauigkeit, Sensitivität, Spezifität und F1-Score, mit einem Youden-Index von 0,974. Diese Leistung war signifikant höher als die des älteren DenseNet-Modells, das in etwa 87 Prozent der Fälle korrekt lag. Das multimodale Modell, Moondream2, schnitt ähnlich wie das ältere Modell ab und erreichte eine Genauigkeit von etwa 86,5 Prozent. Interessanterweise stellten die Forscher fest, dass das multimodale Modell stark auf die ihm gegebenen Textinformationen vertraute. Als sie das Alter und das Geschlecht des Patienten aus dem Input entfernten, brach die Fähigkeit des Modells zur Asthma-Diagnose zusammen und produzierte Fehler bei jedem einzelnen Asthma-Fall. Dies deutet darauf darauf hin, dass das Modell zwar die Textinformationen nutzen konnte, um eine Entscheidung zu treffen, aber Schwierigkeiten hatte, die Klangmuster allein so effektiv zu erlernen wie das speziell für Audio entwickelte Modell.

Die Studie untersuchte auch, wie diese Computermodelle ihre Entscheidungen treffen, ein entscheidender Schritt, um das Vertrauen von Ärzten zu gewinnen. Für das ältere Modell konnten die Forscher eine Technik verwenden, die die spezifischen Teile der Klangkarte hervorhebt, die die Diagnose ausgelöst haben, ähnlich einer Heatmap, die zeigt, worauf eine Kamera fokussiert. Für das neue Sound-Modell analysierten sie die internen Aufmerksamkeitsmechanismen (Attention Mechanisms), um zu sehen, auf welche Teile des Klangs der Computer sich konzentrierte. Sie fanden heraus, dass beide Modelle denselben Frequenzbereich ins Visier nahmen, etwa zwischen 800 und 1800 Hertz, insbesondere während des dritten Atemzyklus. Diese Konsistenz legt nahe, dass die Computer nicht wahllos raten, sondern tatsächlich dieselben physikalischen akustischen Merkmale detektieren, auf die Ärzte beim Zuhören achten.

Die Forscher kamen zu dem Schluss, dass die Kombination von Patientendetails mit der Analyse des Klangs zwar ein logischer Schritt ist, die aktuelle Generation allgemeiner Modelle, die beides versuchen, jedoch möglicherweise nicht so effektiv ist wie ein speziell für den Klang entwickeltes Modell. Das spezialisierte Audio-Modell bewies, dass es die Nuancen der Atemwegserkrankung allein aus dem Klang lernen konnte und dabei die in der medizinischen Literatur berichtete menschliche Auskultationsleistung übertraf. Die Ergebnisse legen nahe, dass die Zukunft der computergestützten Diagnose in der Verwendung hochspezialisierter Werkzeuge für spezifische Aufgaben liegen könnte, anstatt zu versuchen, ein einziges System zu bauen, das alles erledigt. Diese Modelle bieten einen vielversprechenden Weg für die kontinuierliche Fernüberwachung von Patienten, was potenziell eine frühere Erkennung von Asthmaanfällen und eine konstantere Versorgung für Menschen überall ermöglichen könnte, unabhängig von ihrem Zugang zu einem Spezialisten.

Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?

Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.

Digest testen →