Self-supervision drives representational convergence in medical foundation models more than clinical supervision
Diese Studie zeigt, dass die konvergente Repräsentation in medizinischen Fundamentmodellen primär durch selbstüberwachte Vortrainierungsziele als durch klinische Supervision oder Modellskalierung vorangetrieben wird, was zu einer moderaten Ausrichtung führt, die zwar das Cross-Encoder-Transferlernen unterstützt, aber klinisches Urteilsvermögen oder semantische Ähnlichkeit nicht vollständig erfassen kann.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einer Gruppe sehr unterschiedlicher Roboter beizubringen, die Welt zu verstehen. Sie geben ihnen alle dieselbe Aufgabe: Bilder von medizinischen Scans anzusehen und zu beschreiben, was sie sehen. In der Welt der künstlichen Intelligenz gibt es eine populäre Idee namens „Platonische Repräsentationshypothese“. Denken Sie es sich so: Wenn man genug Roboter mit genug Daten trainiert, sollten sie am Ende alle anfangen, auf exakt dieselbe Weise zu denken. Sie sollten alle dieselbe identische interne Karte der Realität aufbauen, wobei ein „Knochenbruch“ für Roboter A genauso aussieht wie für Roboter B, egal wer sie gebaut hat oder welche spezifischen Lektionen sie gelernt haben. Diese Idee ist aufregend, denn wenn alle medizinischen KI-Modelle zu dieser einen, perfekten Karte konvergieren würden, könnten Ärzte sie wie Batterien austauschen, ohne ihre Werkzeuge zu beschädigen. Aber passiert das wirklich? Stimmen diese digitalen Gehirne tatsächlich darüber überein, wie eine Krankheit aussieht, oder sprechen sie nur verschiedene Dialekte derselben Sprache?
Ein Team von Forschern beschloss, diese Idee mit einem massiven, kontrollierten Experiment auf die Probe zu stellen. Sie sammelten 18 verschiedene „Bild-Encoder“ (die Teile der KI, die Bilder betrachten) und 7 „Text-Encoder“ (die Teile, die Berichte lesen) aus verschiedenen Laboren und Unternehmen. Diese Modelle reichten von winzigen mit 7 Millionen Parametern bis hin zu Giganten mit 27 Milliarden Parametern. Die Forscher haben die Modelle nicht nur verglichen; sie haben sie seziert. Sie trainierten neue Modelle, die in jeder Hinsicht identisch waren, außer in einer Sache: dem Ziel, das sie erreichen wollten. Einige wurden mit „selbstüberwachtem Lernen“ trainiert (das Erlernen von Mustern aus den Bildern allein), einige mit „klinischer Überwachung“ (das Lernen von den Labels der Ärzte) und einige mit „Bild-Text-Paarung“ (das Abgleichen von Bildern mit Berichten).
Hier ist die Wendung: Die Forscher fanden heraus, dass die Idee einer universellen, gemeinsamen Karte größtenteils ein Mythos ist, aber stattdessen eine ganz spezifische Art von Realität existiert. Sie entdeckten, dass selbstüberwachtes Lernen (das Lernen aus den Bildern selbst) der wahre Klebstoff ist, der diese Modelle untereinander zur Übereinstimmung bringt. Tatsächlich bewirkte das Hinzufügen eines ärztlichen Labels zum Training sogar, dass die Modelle weniger ähnlich zu ihren Kollegen wurden, nicht mehr. Die Modelle, die darauf trainiert wurden, einfach nur zu „schauen und zu lernen“, ohne spezifische medizinische Labels, zeigten am Ende eine viel bessere Übereinstimmung (etwa 40 % Ähnlichkeit bei Thorax-Röntgenbildern) als jene, die mit spezifischen medizinischen Labels trainiert wurden (nur etwa 21 %).
Diese Übereinstimmung ist jedoch bescheiden und unterliegt strengen Grenzen. Sie tritt nur innerhalb derselben Art von Bild auf (Röntgenbilder stimmen mit Röntgenbildern überein, aber nicht mit Hautfotos). Es wird nicht besser, nur weil das Modell größer oder intelligenter wird; ein riesiges Modell mit 27 Milliarden Parametern ist nicht zwangsläufig stärker aufeinander abgestimmt als ein kleineres. Am überraschendsten war, dass diese Bildmodelle und die Textmodelle, die medizinische Berichte lesen, keineswegs eine gemeinsame Karte teilen. Ihre internen Sprachen sind völlig unterschiedlich, und je mehr Daten man ihnen füttert, desto weiter driften sie auseinander.
Trotz dieser Einschränkungen gibt es einen Lichtblick. Obwohl die Modelle nicht über eine perfekte, gemeinsame Geometrie übereinstimmen, sind sie für praktische Aufgaben „gut genug“. Die Forscher zeigten, dass ein Diagnosetool, das auf einem Modell trainiert wurde, auf ein völlig anderes Modell übertragen werden konnte und immer noch mit etwa 85 % der ursprünglichen Genauigkeit funktionierte. Es ist, als hätte man zwei verschiedene Karten einer Stadt, die zwar nicht exakt gleich aussehen, aber wenn man weiß, wie man die Wahrzeichen übersetzt, kann man trotzdem von Punkt A nach Punkt B fahren, ohne sich zu verlaufen. Die Studie kommt zu dem Schluss, dass wir nicht darauf warten sollten, dass KI-Modelle durch schiere Größe magisch zu einem einzigen perfekten Gehirn konvergieren; stattdessen müssen wir sie mit den richtigen Trainingszielen entwerfen, um sicherzustellen, dass sie zumindest miteinander kommunizieren können, wenn es darauf ankommt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.