ADMIL: Attention-Distilled Multiple Instance Learning for Selective Foundation Model Inference in Pathology
Das Papier stellt ADMIL vor, ein Framework für selektive Berechnung, das die Aufmerksamkeit eines auf Attention basierenden Multiple-Instance-Learning-Lehrers in ein leichtgewichtiges PriorNet-Modell destilliert, um nur die informativsten Kacheln für die teure Inferenz durch Foundation-Modelle auszuwählen, wodurch bei der Analyse von Pathologie-Slides die volle Lehrerleistung bei einer Reduzierung der Rechenkosten um über 98 % erzielt wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der modernen Medizin hat die digitale Pathologie die Art und Weise, wie Ärzte Gewebe untersuchen, transformiert. Anstatt durch ein Mikroskop auf einen einzelnen Glasobjektträger zu blicken, arbeiten Pathologen heute mit massiven digitalen Bildern, den sogenannten Whole-Slide-Images (ganzen Objektträgerbildern). Diese Bilder sind so groß und detailliert, dass sie in tausende winzige quadratische Stücke, sogenannte Tiles (Kacheln), zerlegt werden, von denen jedes eine kleine Ansicht des Gewebes enthält. Um zu verstehen, was im Körper eines Patienten vorgeht, müssen Computersysteme diese Tiles analysieren, um Anzeichen von Krankheiten, wie etwa Krebs, zu finden. In den letzten Jahren wurden leistungsstarke Modelle der künstlichen Intelligenz, oft als Foundation Models bezeichnet, darauf trainiert, komplexe Muster in diesen Tiles mit unglaublicher Genauigkeit zu erkennen. Diese Modelle fungieren als Expertenaugen, die in der Lage sind, subtile Unterschiede zwischen gesundem und krankem Gewebe zu entdecken. Es gibt jedoch ein erhebliches Problem bei der Verwendung dieser Modelle in einem echten Krankenhaus: Sie sind extrem langsam und teuer im Betrieb. Da ein einzelner Gewebeobjektträger zehntausende Tiles enthalten kann, muss der Computer jedes einzelne von ihnen verarbeiten, um eine Diagnose zu stellen. Dieser erschöpfende Ansatz schafft einen Flaschenhals, der es schwierig macht, diese fortschrittlichen Werkzeuge schnell genug für die alltägliche Patientenversorgung einzusetzen.
Forscher des Dana-Farber Cancer Institute und der Harvard Medical School haben eine neue Methode entwickelt, um dieses Problem zu lösen, ohne die Genauigkeit zu opfern. Sie haben ein System namens ADMIL entwickelt, was für Attention-Distilled Multiple Instance Learning steht. Die Kernidee ist einfach, aber kraftvoll: Nicht jedes Tile auf einem Objektträger ist gleichermaßen wichtig. Wenn ein trainiertes Modell der künstlichen Intelligenz einen Objektträger betrachtet, konzentriert es seine Aufmerksamkeit natürlicherweise auf eine sehr kleine Anzahl von Regionen, die die kritischsten Informationen enthalten, während es den Rest weitgehend ignoriert. Das neue System lernt, dieses Verhalten nachzuahmen. Es verwendet ein leichtgewichtiges, schnelles Computerprogramm, das zuerst den gesamten Objektträger scannt und vorhersagt, welche wenigen Tiles am wichtigsten sind. Nur diese ausgewählten Tiles werden dann für eine detaillierte Analyse an das teure, langsame Expertenmodell gesendet. Durch das Überspringen der überwiegenden Mehrheit der unwichtigen Tiles beschleunigt das System den Prozess drastisch.
Die Forscher testeten diesen Ansatz bei drei verschiedenen medizinischen Herausforderungen in Bezug auf Brustkrebs, Prostatakrebs und Lymphknotenmetastasen. In jedem Fall begannen sie mit einem voll trainierten Expertenmodell, das bereits gelernt hatte, die Krankheit zu diagnostizieren, indem es jedes einzelne Tile betrachtete. Dann trainierten sie ihr neues, schnelles Vorhersagemodell darauf, zu erraten, auf welche Tiles das Expertenmodell Aufmerksamkeit gelenkt hätte. Sob-dem das Vorhersagemodell diese Fähigkeit erlernt hatte, bauten sie eine zweite Version des Diagnosesystems, das nur die obersten paar Tiles betrachtete, die vom Vorhersagemodell ausgewählt wurden. Die Ergebnisse waren beeindruckend. Bei Brustkrebs-Objektträgern erreichte das System durch die Analyse von nur vier Tiles aus Tausenden die gleiche hohe Genauigkeit wie das vollständige Expertenmodell. Bei Prostatakrebs benötigte es nur acht Tiles. Selbst für die komplexere Aufgabe der Lymphknoten erforderte es nur 128 Tiles, um die Leistung des erschöpfenden Systems zu erreichen. Das bedeutet, dass die neue Methode verhindert, dass das teure Computermodell auf mehr als 98 Prozent der Tiles ausgeführt wird, was eine enorme Menge an Rechenleistung und Zeit spart.
Um sicherzustellen, dass diese Geschwindigkeit nicht einfach durch bloßes Raten oder Glück zustande kam, verglichen die Forscher ihre Methode mit mehreren Alternativen. Sie testeten, was passieren würde, wenn sie einfach zufällige Tiles analysieren würden, und fanden heraus, dass dieser Ansatz deutlich schlechter abschnitt, insbesondere wenn die Anzahl der Tiles gering war. Sie verglichen ihr System auch mit einer theoretischen „perfekten“ Version, die genau wusste, welche Tiles das Expertenmodell wählen würde. Ihr neues System kam diesem perfekten Szenario sehr nahe, was bewies, dass es erfolgreich die spezifischen Muster erlernte, die das Expertenmodell für seine Entscheidungen nutzte. Die Studie zeigte auch, dass das schnelle Vorhersagemodell nicht einfach wahllos Tiles auswählte; es identifizierte korrekt die spezifischen Formen und Strukturen im Gewebe, die für die Diagnose entscheidend sind. Als die Forscher die Bilder betrachteten, sahen sie, dass die vom neuen System ausgewählten Tiles dieselben krebsartigen Merkmale enthielten, die das Expertenmodell hervorgehoben hatte.
Die Studie legt nahe, dass die hohen Rechenkosten der aktuellen künstlichen Intelligenz in der Pathologie oft unnötig sind. Die Expertenmodelle sind in der Lage, die richtige Antwort zu finden, aber sie verschwenden Energie bei der Verarbeitung von Hintergrundinformationen, die das Endergebnis nicht verändern. Indem man ein kleineres, schnelleres Modell lehrt, als Gatekeeper zu fungieren, kann das System das Rauschen herausfiltern und sich nur auf das Signal konzentrieren. Dieser Ansatz ersetzt nicht die leistungsstarken Expertenmodelle; stattdin ermöglicht er es, diese effizienter einzusetzen. Die Forscher fanden heraus, dass die Methode konsistent über verschiedene Arten von Krebs und verschiedene Größen von Gewebeproben hinweg funktionierte. Sie testeten auch, ob das System empfindlich auf die Menge der Daten reagierte, mit denen es trainiert wurde, und stellten fest, dass es selbst bei geringeren Informationsmengen robust blieb. Während das System während der Trainingsphase eine kleine Menge an zusätzlicher Arbeit einführt, sind die Einsparungen während des tatsächlichen Einsatzes enorm. Diese Arbeit bietet einen praktischen Weg nach vorn, um fortschrittliche, hochpräzise künstliche Intelligenz in klinische Umgebungen zu bringen, in denen Geschwindigkeit und Kosten entscheidende Faktoren sind, um sicherzustellen, dass Patienten die Vorteile dieser leistungsstarken Werkzeuge erhalten können, ohne auf eine langsame Computerverarbeitung warten zu müssen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.