Speech-to-SOAP: End-to-End Summarization of Medical Dialogues: KIT@BeTraC 2026

Im täglichen Rhythmus eines Arztbesuchs wird ein erheblicher Teil der Zeit oft nicht mit dem Patienten, sondern mit dem Computer verbracht. Während ein Arzt Symptome hört und Fragen stellt, muss er gleichzeitig Notizen in eine digitale Akte tippen – eine Aufgabe, die seine Aufmerksamkeit von der Person vor ihm abzieht. Diese Dokumentationslast ist eine bekannte Quelle der Ermüdung für Mitarbeiter im Gesundheitswesen. Um dies zu lösen, haben Forscher lange Zeit auf die Spracherkennung gesetzt, in der Hoffnung, gesprochene Worte direkt in medizinische Unterlagen umzuwandeln. Ein einfaches Transkript dessen, was gesagt wurde, reicht jedoch selten aus; das Ziel ist es, eine strukturierte Zusammenfassung zu erstellen, die als SOAP-Notiz bekannt ist. Dieses Format gliedert einen Besuch in vier verschiedene Abschnitte: die subjektiven Beschwerden des Patienten, die objektiven Befunde der Untersuchung, die Beurteilung des Arztes und den Behandlungsplan. Die Herausforderung besteht darin, einem Computer beizubringen, einem Gespräch zuzuhören, den medizinischen Kontext zu verstehen und diese spezifische Art von Zusammenfassung ohne menschliches Eingreifen zu schreiben, während gleichzeitig subtile Hinweise wie ein Husten oder eine Pause bewahrt werden, die verloren gehen könnten, wenn der Computer zuerst jedes Wort niederschreiben müsste, bevor er zusammenfasst.

Ein Team von Forschern des Karlsruher Instituts für Technologie und der Carnegie Mellon University widmete sich diesem Problem bei der BeTraC-Challenge 2026, einem Wettbewerb, der darauf abzielt, zu testen, wie gut Maschinen die medizinische Dokumentation automatisieren können. Ihr Ansatz mit dem Titel „Speech-to-SOAP“ konzentrierte sich darauf, ein System zu entwickeln, das in der Lage ist, einem Arzt-Patienten-Dialog zuzuhören und die endgültige medizinische Notiz in einem kontinuierlichen Schritt zu generieren, wobei der Zwischenschritt des ersten Schreibens eines vollständigen Transkripts übersprungen wird. Sie nutzten ein leistungsstarkes KI-Modell, bekannt als Foundation Model, das bereits auf riesigen Mengen allgemeiner Sprach- und Sprachdaten trainiert worden war. Die Hauptinnovation der Forscher bestand nicht nur darin, dieses bestehende Modell zu verwenden, sondern es zu lehren, mit der chaotischen, variablen Natur echter medizinischer Gespräche umzugehen. Sie erstellten eine Pipeline, die mehrere verschiedene Datensätze kombinierte, darunter solche, die vollständig synthetisch waren, und andere, die echte Aufnahmen enthielten, um das System zu trainieren. Für Gespräche, bei denen Audioaufnahmen fehlten, verwendeten sie computergenerierte Sprache, um die Lücken zu füllen, wodurch das Modell in der Lage war, aus einem massiven Volumen von Beispielen mit insgesamt über 1,6 Millionen Stunden Audiomaterial zu lernen.

Um die Trainingsdaten nützlich zu machen, musste das Team dem Computer beibringen, was eine SOAP-Notiz tatsächlich ausmacht. Da viele ihrer Quelldialoge nicht mit vorgeschriebenen Zusammenfassungen einhergingen, verwendeten sie ein anderes KI-Tool, um diese Zusammenfassungen automatisch zu generieren. Sie formulierten spezifische Anweisungen, um sicherzustellen, dass diese generierten Notizen der korrekten Struktur folgten und eine konsistente medizinische Terminologie verwendeten, wodurch sie effektiv eine riesige Bibliothek von Beispielen für das Hauptsystem zum Studium erstellten. Die Forscher testeten dann verschiedene Wege, das Modell zu lehren. Sie experimentierten mit verschiedenen Arten, dem Computer Anweisungen zu geben, und fanden heraus, dass detaillierte Anweisungen am besten funktionierten, wenn sie als direkter Befehl an das Modell gerichtet waren, statt als Hintergrundregel. Sie untersuchten auch, ob es half, dem Modell das Texttranskript des Gesprächs neben der Audiodatei zu zeigen. Ihre Ergebnisse deuteten darauf hin, dass das gleichzeitige Sehen von Ton und Text dem Modell half, medizinische Konzepte genauer zu identifizieren, selbst wenn die endgültige schriftliche Zusammenfassung ähnlich aussah wie eine, die nur aus Audio generiert wurde.

Das Team untersuchte auch, ob es helfen würde, die Aufgabe in kleinere Schritte zu unterteilen, wie etwa den Computer zuerst das Transkript schreiben zu lassen und dann zusammenzufassen, oder ihn zu bitten, seine Argumentation zu erklären, bevor er die Notiz schreibt. Die Ergebnisse zeigten, dass diese Zwischenschritte zwar einige Vorteile boten, der effektivste Ansatz für die allgemeine Qualität der Zusammenfassung jedoch darin bestand, das Modell darauf zu trainieren, direkt von der Sprache zur endgültigen Zusammenfassung überzugehen. Sie entdeckten jedoch, dass die Chain-of-Thought (CoT)-Supervision speziell die höchste Punktzahl bei der Extraktion klinisch relevanter Konzepte erreichte, was darauf hindeutet, dass die explizite Modellierung zwischengeschalteter Argumentationsschritte die Identifizierung medizinischer Details verbessern kann, auch wenn dies in anderen Metriken nicht die direkte Generierung übertraf. Bezüglich der Datenbereinigung stellten die Forscher fest, dass das Entfernen von Segmenten, in denen die computergenerierte Sprache nicht mit dem Text übereinstimmte, die Leistung nicht verbesserte; tatsächlich wurden die besten Ergebnisse mit dem unbereinigten Datensatz erzielt, der auf eine maximale Dauer von 21 Minuten gefiltert war. Sie fanden auch heraus, dass die Begrenzung der für das Training verwendeten Gesprächslänge auf einundzwanzig Minuten der ideale Punkt war; längere Gespräche führten zu viel Rauschen ein, um hilfreich zu sein.

In der letzten Phase ihrer Arbeit kombinierten die Forscher die besten Versionen ihrer trainierten Modelle zu einem einzigen, robusten System. Dieses kombinierte System wurde gegen eine spezifische kontrastive Einreichung derselben Autoren mit drei verschiedenen Testdatensätzen getestet: Gesprächen, die den Trainingsmaterialien sehr ähnlich waren, simulierten Rollenszenarien und realistischen Aufnahmen tatsächlicher medizinischer Besuche. Das kombinierte System schnitt bei allen offiziellen Testsets konsequent besser ab als diese kontrastive Einreichung, insbesondere in den realistischen Szenarien, in denen die Unterschiede zwischen den Trainingsdaten und den Testdaten am größten waren. Dieser Erfolg deutet darauf hin, dass das Mitteln des Wissens aus mehreren unterschiedlich trainierten Modellen das System anpassungsfähiger macht und es weniger wahrscheinlich ist, dass es durch neue Situationen verwirrt wird. Die Studie kommt zu dem Schluss, dass durch die Vereinigung diverser Datenquellen und die Verwendung eines direkten Speech-to-Summary-Ansatzes möglich ist, ein Werkzeug zu schaffen, das die Dokumentationslast für Mitarbeiter im Gesundheitswesen erheblich reduziert und es ihnen ermöglicht, sich auf das menschliche Element der Pflege zu konzentrieren.