Benchmarking machine learning for cardiovascular disease classification across 46 countries with geographic and temporal transportability assessment
Diese Studie vergleicht Machine-Learning-Modelle zur Klassifizierung kardiovaskulärer Erkrankungen über 46 Länder hinweg unter Verwendung von WHO STEPS-Daten, wobei sie aufzeigt, dass komplexe Algorithmen nur geringfügige Leistungssteigerungen gegenüber der logistischen Regression bieten, während sie gleichzeitig eine erhebliche geografische und zeitliche Heterogenität hervorhebt, die es notwendig macht, die Priorisierung von Transportierbarkeit, Kalibrierung und der Leistung bei Minderheitenklassen gegenüber dem gepoolten ROC-AUC in der Public-Health-KI zu forcieren.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Herzkrankheiten bleiben die führende Todesursache weltweit und fordern jedes Jahr Millionen von Menschenleben. In vielen Teilen der Welt ist die Belastung sogar noch schwerer, da mehr als drei Viertel dieser Todesfälle in Ländern mit niedrigem und mittlerem Einkommen auftreten. Um dem zu bekämpfen, verlassen sich Gesundheitsbehörden auf große Umfragen, in denen Menschen nach ihrer Gesundheit, ihren Gewohnheiten und ihrem Zugang zu medizinischer Versorgung gefragt werden. Diese Umfragen sammeln Daten zu Themen wie Blutdruck, Rauchen und Ernährung, von denen bekannt ist, dass sie die Herzgesundheit beeinflussen. Die Hoffnung ist, dass Computer durch die Analyse dieser Informationen lernen können, Muster zu erkennen, die vorhersagen, wer gefährdet ist, damit Ärzte früher intervenieren können.
In den letzten Jahren gab es einen Ansturm auf den Einsatz fortschrittlicher Computerprogramme, bekannt als maschinelles Lernen, um diese Muster zu finden. Diese Programme werden oft als fähig angepriesen, Probleme zu lösen, an denen einfachere Methoden scheitern, indem sie verborgene Verbindungen in riesigen Datenmengen finden. Eine wesentliche Frage bleibt jedoch: Funktionieren diese komplexen Programme tatsächlich besser, wenn sie in realen Situationen in verschiedenen Ländern und im Laufe der Zeit angewendet werden? Oft werden diese Werkzeuge auf eine Weise getestet, die sie erfolgreicher erscheinen lassen, als sie es tatsächlich sind, beispielsweise indem Daten aus einem einzigen Land in Trainings- und Testgruppen aufgeteilt werden. Dieser Ansatz kann die Tatsache verschleiern, dass ein Modell völlig versagen könnte, wenn es mit einem neuen Land, einem anderen Jahr oder einer Bevölkerung mit anderem Zugang zur Gesundheitsversorgung konfrontiert wird.
Eine neue Studie setzte sich zum Ziel, diese Computermodelle einer viel härteren Herausforderung zu unterziehen. Forscher sammelten Gesundheitsumfragedaten aus 46 verschiedenen Ländern und befragten dabei fast 188.000 Erwachsene. Sie stellten eine einfache Frage: Kann ein Computerprogramm Menschen, die bereits an einer Herzkrankheit leiden, anhand ihrer Umfrageantworten genau identifizieren, und wird dieses Programm auch dann noch funktionieren, wenn es in ein Land geschickt wird, das es zuvor noch nie gesehen hat? Um die Antwort zu finden, verglichen sie die Leistung verschiedener Arten von Computermodellen, die von einfachen, transparenten statistischen Methoden bis hin zu komplexen, modernen Systemen der künstlichen Intelligenz reichten.
Die Forscher suchten nicht nur nach der höchsten Gesamtpunktzahl. Stattdessen entwarfen sie einen strengen Test, der den Einsatz in der realen Welt nachahmte. Sie trainierten die Modelle mit Daten aus den meisten der Länder und testeten sie dann an ganzen Ländern, die beim Training vollständig außen vor gelassen wurden. Sie prüften auch, wie gut die Modelle über die Zeit Bestand hatten, indem sie sie mit älteren Umfragedaten trainierten und mit neueren Daten aus denselben Ländern testeten. Sie achteten genau darauf, wie gut die Modelle mit der Tatsache umgingen, dass Herzkrankheiten in diesen Umfragen relativ selten vorkommen, was bedeutet, dass ein Modell den Großteil der Zeit falsch liegen könnte und dennoch eine gute Bewertung erzielt. Sie untersuchten auch, ob die Modelle lediglich lernten, Menschen zu erkennen, die bereits aus anderen Gründen einen Arzt aufgesucht hatten, anstatt das zugrunde liegende Risiko für eine Herzkrankheit selbst zu identifizieren.
Die Ergebnisse boten einen ernüchternden Realitätscheck für das Feld der medizinischen künstlichen Intelligenz. Die komplexesten Computermodelle schnitten nicht signifikant besser ab als eine einfache, gut verständliche statistische Methode. Tatsächlich war der Unterschied in ihrer Fähigkeit, Fälle von Herzkrankheiten korrekt zu identifizieren, so gering, dass er kaum merkbar war. Während die komplexen Modelle in einigen spezifischen Messungen einen winzigen Vorsprung erzielten, boten sie nicht die dramatische Verbesserung, auf die viele gehofft hatten. Noch wichtiger war die Erkenntnis der Studie, dass die Leistung dieser Modelle je nach Einsatzort massiv variierte. Ein Modell, das in einer Region recht gut funktionierte, konnte in einer anderen Region fast vollständig versagen. So waren die Modelle in einigen Teilen Zentralasiens recht genau, aber in mehreren pazifischen Inselstaaten und Teilen Afrikas sank ihre Fähigkeit, zwischen Personen mit und ohne Herzkrankheit zu unterscheiden, auf das Niveau des bloßen Zufalls ab.
Die Studie zeigte auch, dass diese Modelle nicht stabil über die Zeit sind. Wenn die Forscher ein Modell mit Daten aus einigen Jahren zuvor trainierten und mit Daten aus einem späteren Jahr testeten, waren die Ergebnisse oft schlecht. Die Modelle hatten Schwierigkeiten, sich an Veränderungen in der Bevölkerung, Verschiebungen in der Diagnose von Krankheiten oder Verbesserungen beim Zugang zur Gesundheitsversorgung anzupassen, die zwischen den Umfragedurchläufen auftraten. Dies deutet darauf hin, dass ein heute gebautes Modell morgen ohne signifikante Anpassungen möglicherweise nicht zuverlässig ist. Darüber hinaus fanden die Forscher heraus, dass die Modelle stark davon abhingen, ob eine Person wegen Bluthochdruck oder Diabetes in Behandlung war. Als sie diese spezifischen Informationen aus den Daten entfernten, sank die Leistung der Modelle merklich. Dies deutet darauf hin, dass die Computer teilweise lernten, Menschen zu identifizieren, die bereits mit dem Gesundheitssystem interagiert hatten, anstatt rein das biologische Risiko einer Herzkrankheit zu identifizieren. In Ländern, in denen viele Menschen keinen regelmäßigen Zugang zu Ärzten haben, könnte diese Abhängigkeit dazu führen, dass die Modelle genau die Menschen übersehen, die Hilfe am dringendsten benötigen.
Die Forscher kamen zu dem Schluss, dass die Wahl eines komplexen Algorithmus weniger wichtig ist als der Kontext, in dem er eingesetzt wird. Die Unterschiede zwischen den Ländern und im Laufe der Zeit waren weitaus größer als die Unterschiede zwischen den Computermodellen selbst. Sie argumentierten, dass ein solches Werkzeug, bevor es zur Leitung öffentlicher Gesundheitsentscheidungen eingesetzt wird, nicht nur auf seine Gesamtpunktzahl getestet werden darf, sondern auch auf seine Fähigkeit, in spezifischen lokalen Kontexten zu funktionieren, seine Zuverlässigkeit im Laufe der Zeit und seine Fairness gegenüber verschiedenen Gruppen. Die Studie legt nahe, dass für die globale Gesundheitsüberwachung Transparenz und Robustheit wertvoller sind als Komplexität. Ein einfaches Modell, das gut verstanden und leicht an lokale Bedingungen anpassbar ist, kann ein weitaus besseres Werkzeug zur Lebensrettung sein als eine ausgeklügelte „Black Box“, die versagt, wenn sich die Umgebung ändert. Der Weg nach vorn besteht laut den Autoren nicht darin, nach dem leistungsfähigsten Computerprogramm zu jagen, sondern Systeme zu bauen, die ehrlich über ihre Grenzen sind und an die vielfältigen Realitäten der Welt angepasst werden können, denen sie dienen sollen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.