In-Context Learning for Wound Classification with Small Multimodal Language Models
Diese Studie zeigt, dass kleine multimodale Sprachmodelle durch abrufbasierte In-Context-Learning eine effektive, trainingsfreie Klassifizierung von Wundbildern durchführen können, wobei sie durch die Nutzung von abfragekonditionierten Support-Beispielen und Maximal Marginal Relevance Reranking eine hohe Genauigkeit auf öffentlichen Datensätzen erreichen, ohne dass ein aufgabenspezifisches Retraining erforderlich ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, verschiedene Arten von Wunden zu erkennen, wie zum Beispiel eine Schürfwunde, eine Verbrennung oder einen tiefen Schnitt. Normalerweise muss man einen Roboter, um ihn so zu lehren, mit Tausenden von beschrifteten Bildern konfrontieren und ihn durch einen Prozess namens „Training“ dazu zwingen, diese auswendig zu lernen. Es ist wie ein Schüler, der wochenlang für einen einzigen Test lernt. Aber was wäre, wenn der Roboter sich einfach nur kurz vor der Prüfung ein paar Beispiele ansehen könnte und es dann sofort versteht? Dies ist die Idee hinter dem „In-Context Learning“ (ICL). Stellen Sie sich vor, man gibt einem Schüler direkt vor der Prüfung einen Spickzettel mit drei perfekten Beispielen für eine „Verbrennung“ und einen „Schnitt“. Er muss nicht das ganze Lehrbuch auswendig lernen; er muss nur die Beispiele betrachten und sagen: „Oh, dieses neue Bild sieht aus wie das Beispiel für die Verbrennung.“
Stellen Sie sich nun vor, dieser Roboter ist klein und passt auf einen Laptop oder ein Telefon, anstatt auf einen riesigen Supercomputer in einer Cloud. Diese werden „Small Multimodal Language Models“ (SMLMs) genannt. Sie sind großartig für den Datenschutz, weil Sie Ihre privaten medizinischen Fotos nicht an einen großen Server senden müssen; der Roboter kann das Denken direkt auf Ihrem Gerät erledigen. Die große Frage, die Wissenschaftler sich gestellt haben, lautet: Können diese kleinen, lokalen Roboter mit nur wenigen Beispielen tatsächlich eine gute Arbeit leisten, oder benötigen sie die riesigen Supercomputer und massiven Trainingsdaten, um es richtig zu machen?
Diese Arbeit stellt diese Idee auf die Probe. Die Forscher wollten sehen, ob sie diese kleinen, lokalen KI-Modelle verwenden könnten, um Wundbilder zu klassifizieren, ohne sie jedes Mal neu trainieren zu müssen. Sie richteten ein Experiment unter Verwendung zweier öffentlicher Sammlungen von Wundfotos ein: eine mit etwa 1.469 Bildern und eine andere mit 560. Anstatt die KI einfach nur raten zu lassen (was „Zero-Shot“ genannt wird und oft zu wilden Vermutungen führt), versuchten sie, ihr einen „Spickzettel“ mit Beispielen zu geben. Aber hier ist der Trick: Sie haben nicht einfach nur zufällige Beispiele gewählt. Sie verwendeten ein intelligentes Suchsystem, um die Beispiele zu finden, die dem neuen Wundbild am ähnlichsten sahen.
Die Ergebnisse waren für die kleinen Roboter sehr ermutigend. Wenn die KI einen klug gewählten Satz von Beispielen erhielt (speziell 10 Beispiele, die durch ein Suchsystem namens kNN gefunden und manchmal mit einer Methode namens MMR verfeinert wurden, um sicherzustellen, dass die Beispiele vielfältig sind), verbesserte sie sich bei ihrer Arbeit erheblich. Auf dem größeren Datensatz erreichte das beste kleine Modell, eine 27-Milliarden-Parameter-Version von Qwen 3.5, eine Genauigkeit von 0,872. Das bedeutet, dass es die Diagnose in mehr als 87 % der Fälle richtig stellte. Auf dem schwierigeren, kleineren Datensatz erreichte es immer noch etwa 68 % Genauigkeit.
Die Studie fand auch heraus, dass die Größe des Roboters eine Rolle spielt. Die größeren der „kleinen Modelle“ (wie die 27B- und 9B-Versionen) konnten die Beispiele nutzen, um ihre Vermutungen signifikant zu verbessern, und übertrafen oft sogar ein Standard-Computerprogramm, das lediglich basierend auf dem nächsten Treffer abstimmt. Die winzigsten Modelle hatten jedoch etwas mehr Mühe und kopierten manchmal einfach nur die Beispiele, ohne die Nuancen wirklich zu verstehen. Die Forscher entdeckten auch, dass man keinen riesigen Spickzettel braucht; das Hinzufügen von mehr als 8 bis 10 Beispielen half nicht viel und machte den Prozess nur langsamer.
Entscheidend ist, dass diese Arbeit zeigt, dass dieser Ansatz funktioniert, ohne dass das Modell für jede neue Aufgabe neu trainiert werden muss. Wenn die Ärzte entscheiden, die Beschriftungen oder die Arten der Wunden, nach denen sie suchen, zu ändern, tauschen Sie einfach die Beispiele im Prompt aus, und das Modell passt sich sofort an. Obwohl die Leistung nicht perfekt ist und stark davon abhängt, gute Beispiele und ein ordentliches Modell zu haben, legt die Studie nahe, dass kleine, lokale KI-Modelle eine praktische, datenschutzfreundliche Möglichkeit sein können, um die Klassifizierung von Wunden zu unterstützen, und eine flexible Alternative zu den datenhungrigen Systemen der Vergangenheit bieten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.