A Comparative Study in Surgical AI: Datasets, Foundation Models, and Barriers to Med-AGI

Diese Studie zeigt anhand eines Fallbeispiels zur chirurgischen Instrumentenerkennung, dass selbst große Vision-Language-Modelle trotz Skalierung von Daten und Rechenleistung erhebliche Grenzen aufweisen, was die Frage aufwirft, ob reine Datenverfügbarkeit das einzige Hindernis für Med-AGI in der Chirurgie ist.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, einem hochintelligenten, weltreisenden Bibliothekar beizubringen, wie man in einem winzigen, staubigen und chaotischen Operationssaal die richtigen Werkzeuge findet.

Das ist im Kern die Geschichte dieser wissenschaftlichen Arbeit. Die Forscher haben untersucht, ob die aktuellsten, riesigen Künstlichen Intelligenzen (KI) – die sogenannten „Foundation Models" – in der Lage sind, chirurgische Instrumente auf Videos zu erkennen. Das Ziel war es, einen Schritt hin zu einer „Medizinischen Allgemeinen Künstlichen Intelligenz" (Med-AGI) zu machen, die uns bei Operationen helfen könnte.

Hier ist die einfache Zusammenfassung, was sie herausfanden, mit ein paar anschaulichen Vergleichen:

1. Der riesige Bibliothekar vs. der kleine Handwerker

Die Forscher haben 19 verschiedene KI-Modelle getestet. Manche waren riesig (mit 235 Milliarden „Gedanken" oder Parametern), andere kleiner. Man könnte sie sich wie Super-Bibliothekare vorstellen, die die gesamte Weltliteratur und Millionen von Bildern kennen. Sie sind brillant, wenn man sie fragt: „Was ist das für ein Tier?" oder „Erzähl mir einen Witz."

Doch als man sie vor die Aufgabe stellte, auf einem Video aus einer Gehirnoperation zu sagen: „Da liegt eine Saugpumpe, dort ein Bohrer und hier ein Wattebausch", versagten sie fast komplett.

• Die Analogie: Es ist, als würde man einen weltberühmten Philosophen in einen Schrottplatz stellen und fragen, ob er die einzelnen Schrauben und Muttern in einem Haufen Schrott korrekt identifizieren kann. Der Philosoph weiß alles über Schrauben, aber er sieht sie im Chaos nicht. Die KI wusste theoretisch, wie ein „Sauger" aussieht, konnte ihn aber im realen, blutigen und verwackelten Operationsvideo nicht finden.

2. Das Problem: „Schulbuchwissen" vs. „Straßenwissen"

Die KI-Modelle wurden mit riesigen Datenmengen trainiert, die wie ein Schulbuch sind: perfekt, klar, gut beleuchtet. Chirurgische Videos sind aber wie Straßenkämpfe: dunkel, blutig, verwackelt, und die Werkzeuge werden oft verdeckt oder sehen anders aus als im Lehrbuch.

• Das Ergebnis: Selbst wenn die Forscher die KI mit Millionen von chirurgischen Videos „füttern" (trainieren), blieb die Leistung enttäuschend. Die KI lernte zwar die Muster auswendig, konnte sie aber nicht auf neue, unbekannte Situationen übertragen. Es war, als würde ein Schüler, der nur die Formeln auswendig gelernt hat, bei einer echten Matheaufgabe im Kopf versagen, weil die Zahlen anders geschrieben sind.

3. Der kleine Held: Der spezialisierte Handwerker

Das Überraschendste an der Studie war der Gewinner. Es war nicht der riesige Super-Bibliothekar. Es war ein winziges, spezialisiertes Modell namens YOLOv12-m.

• Die Analogie: Stellen Sie sich den riesigen KI-Bibliothekar als einen Generalisten vor, der alles über alles weiß, aber nichts besonders gut kann. Der kleine YOLO-Modell ist wie ein erfahrener Handwerker, der nur eine Aufgabe kennt: Werkzeuge in diesem speziellen Saal zu finden.
• Der Vergleich: Der Handwerker (YOLO) hatte 1.000-mal weniger „Gehirnzellen" (Parameter) als der Bibliothekar, war aber besser darin, die Werkzeuge zu finden. Er war schneller, billiger und genauer.

4. Warum funktioniert das nicht einfach durch „Mehr Rechenleistung"?

Einige Leute denken: „Wenn wir nur noch mehr Computerleistung und noch größere Modelle bauen, wird die KI irgendwann perfekt." Die Studie sagt: Nein, das reicht nicht.

• Die Analogie: Wenn Sie einem Kind beibringen wollen, wie man ein Fahrrad repariert, hilft es nicht, ihm eine Bibliothek mit 100.000 Büchern über Fahrräder zu geben. Es braucht praktische Erfahrung mit dem echten Fahrrad, dem Schmutz und den Werkzeugen.
• Die KI scheiterte nicht daran, dass sie zu „dumm" war, sondern daran, dass ihr die richtigen, spezialisierten Daten fehlten. Die Daten, die wir haben, sind oft zu wenig, zu unausgewogen oder nicht gut genug gelabelt (beschriftet).

5. Das Fazit: Wir brauchen keine riesigen Roboter, wir brauchen gute Daten

Die Forscher kommen zu einem klaren Schluss:

1. Die großen KI-Modelle sind aktuell noch zu ungenau für den direkten Einsatz im Operationssaal, wenn es um das reine Sehen und Erkennen von Instrumenten geht.
2. Spezialisierte, kleine Modelle sind aktuell viel besser und effizienter.
3. Der Schlüssel zur Zukunft liegt nicht darin, noch größere Modelle zu bauen, sondern gemeinsam riesige, hochwertige Datensätze zu sammeln und zu beschriften. Wir brauchen eine „Daten-Community", die gemeinsam die „Schulbücher" für die KI schreibt, damit sie die Realität versteht.

Zusammenfassend:
Die Hoffnung auf einen allwissenden medizinischen Roboter, der uns sofort bei jeder Operation hilft, ist noch etwas verfrüht. Die KI ist wie ein sehr gebildeter Student, der die Theorie beherrscht, aber noch nie einen echten OP gesehen hat. Um ihn zum Meister zu machen, müssen wir ihm nicht mehr Bücher geben, sondern ihn an die Werkbank setzen und ihm die richtigen, echten Werkzeuge zeigen. Und manchmal ist ein kleiner, erfahrener Handwerker (ein spezialisiertes Modell) genau das Richtige für den Job.

Technische Zusammenfassung

Titel: A Comparative Study in Surgical AI: Datasets, Foundation Models, und Barriers to Med-AGI

Datum: März 2026 (Preprint)

---

1. Problemstellung

Trotz rascher Fortschritte bei generativen KI-Modellen (Foundation Models) und Vision-Language-Modellen (VLMs), die in allgemeinen biomedizinischen Benchmarks menschliche Experten übertreffen, hinken diese Modelle bei der Analyse chirurgischer Bilder deutlich hinterher.

• Die Diskrepanz: Chirurgie erfordert die Integration disparater Aufgaben (multimodale Daten, menschliche Interaktion, physische Effekte). Während die "Scaling-Hypothese" (Vergrößerung von Modellgröße und Trainingsdaten) für allgemeine KI vielversprechend ist, ist unklar, ob dies für hochspezialisierte chirurgische Aufgaben ausreicht.
• Die Herausforderung: Die Aufbereitung chirurgischer Daten erfordert ein hohes Maß an fachspezifischer Expertise, und das Training ist rechenintensiv.
• Ziel der Studie: Die Autoren untersuchen, ob moderne KI-Modelle (Stand 2026) in der Lage sind, chirurgische Instrumente in neurochirurgischen Videos zu erkennen – eine grundlegende, aber notwendige Voraussetzung für ein "Medical Artificial General Intelligence" (Med-AGI).

2. Methodik

Die Studie basiert auf fünf experimentellen Evaluierungen unter Verwendung des SDSC-EEA-Datensatzes (67.634 annotierte Frames aus 66 endoskopisch-endonasalen neurochirurgischen Eingriffen) und zur Validierung des CholecT50-Datensatzes (laparoskopische Cholezystektomie).

• Daten: Der SDSC-EEA-Datensatz enthält 31 Klassen chirurgischer Instrumente. Die Aufteilung in Trainings- und Validierungssets erfolgte strikt auf Ebene der chirurgischen Eingriffe (Prozeduren), um Datenlecks zu vermeiden.
• Experimente:
  1. Zero-Shot-Evaluation: Test von 19 Open-Weight VLMs (Größen von 2B bis 235B Parameter, z. B. Qwen3, Gemma 3, Llama 3.2) ohne spezifisches Fine-Tuning.
  2. LoRA Fine-Tuning (JSON-Generierung): Feinabstimmung von Gemma 3 (27B) mit Low-Rank Adaptation (LoRA), um strukturierte JSON-Ausgaben zu generieren.
  3. LoRA Fine-Tuning (Klassifikationskopf): Ersetzen der JSON-Generierung durch einen linearen Klassifikationskopf für direkte Mehrfachklassifizierung (Multi-Label).
  4. Skalierungsexperimente: Systematisches Erhöhen des LoRA-Ranges (von 2 bis 1024), um die Kapazität der trainierbaren Parameter um fast drei Größenordnungen zu steigern.
  5. Spezialisierte Baseline: Training eines spezialisierten Objekterkennungsmodells (YOLOv12-m, 26M Parameter) und eines ResNet-50 (ohne Bounding-Box-Supervision) zum direkten Vergleich.

3. Wichtige Beiträge und Ergebnisse

A. Versagen von Zero-Shot-Modellen

• Trotz massiver Skalierung (bis zu 235 Mrd. Parameter) und hoher Scores in allgemeinen Multimodal-Benchmarks (z. B. MMBench) übertraf kein einziges Zero-Shot-VLM die triviale Mehrheitsklassen-Baseline (13,4 % Genauigkeit) auf dem Validierungsset.
• Selbst das leistungsstärkste Modell (Qwen3-VL-235B) erreichte nur 14,52 % Genauigkeit.
• Fazit: Allgemeine multimodale Fähigkeiten übertragen sich nicht zuverlässig auf die spezifische visuelle Wahrnehmung in der Chirurgie.

B. Grenzen des Fine-Tunings und der Skalierung

• Fine-Tuning: Das Fine-Tuning von Gemma 3 (27B) verbesserte die Ergebnisse signifikant (auf ca. 51 % bei Verwendung eines Klassifikationskopfes), aber die Generalisierung auf neue, nicht im Training gesehene Eingriffe blieb begrenzt.
• Kapazitäts-Skalierung: Eine Erhöhung des LoRA-Ranges (und damit der trainierbaren Parameter) führte zu einer Trainingsgenauigkeit von fast 99 %, während die Validierungsgenauigkeit jedoch unter 40 % stagnierte.
• Schlussfolgerung: Das Problem liegt nicht an unzureichender Modellkapazität oder Rechenleistung, sondern an einem Verteilungsshift (Distribution Shift) zwischen Trainings- und Validierungsdaten, der durch reines Skalieren nicht gelöst werden kann.

C. Überlegenheit spezialisierter Modelle

• Das kleine, spezialisierte Objekterkennungsmodell YOLOv12-m (nur 26 Millionen Parameter, also 1.000-mal weniger als die besten VLMs) erreichte die höchste Genauigkeit von 54,73 %.
• YOLO übertraf alle VLM-basierten Ansätze, obwohl es mit weniger Parametern und geringeren Trainingskosten auskam.
• Auch ein einfacheres CNN (ResNet-50) ohne Bounding-Box-Informationen (nur Set-Level-Labels) schnitt besser ab als Zero-Shot-VLMs, was die Schwierigkeit der Zero-Shot-Aufgabe unterstreicht.

D. Robustheit und Generalisierung

• Die Ergebnisse ließen sich auf den CholecT50-Datensatz (Laparoskopie) replizieren, wobei ähnliche Muster beobachtet wurden: Zero-Shot-Leistung ist schlecht, Fine-Tuning ist notwendig, und spezialisierte Modelle sind effizienter.
• Interessanterweise zeigte CholecT50 eine bessere Generalisierung bei LoRA-Skalierung als SDSC-EEA, was auf die geringere Klassenanzahl (6 vs. 31) und homogenere Datenverteilung zurückgeführt wird.

4. Signifikanz und Implikationen

• Herausforderung des "Scaling Laws": Die Studie widerlegt die Annahme, dass eine bloße Vergrößerung von Modellen und Trainingsdaten ausreicht, um chirurgische AGI zu erreichen. Die Leistungsbremse ist nicht die Architektur, sondern die Verfügbarkeit hochwertiger, spezialisierter Daten.
• Daten als Engpass: Der Mangel an großen, standardisierten und annotierten chirurgischen Datensätzen ist das primäre Hindernis. Die aktuellen Modelle scheitern an der Generalisierung über verschiedene chirurgische Prozeduren hinweg.
• Architektonische Empfehlung: Statt end-to-end großer Modelle zu verfolgen, sollte die Zukunft der chirurgischen KI in hybriden Systemen liegen:
  • Ein generisches VLM fungiert als Orchestrierer.
  • Spezialisierte, effiziente Perzeptionsmodule (wie YOLO oder CNNs) übernehmen die hochpräzisen visuellen Teilaufgaben (z. B. Instrumentenerkennung).
• Community-Ansatz: Die Autoren betonen die Notwendigkeit gemeinschaftlicher Initiativen (wie der Surgical Data Science Collective, SDSC) zur Standardisierung von Daten, Ontologien und Annotationen, um klinisch relevante KI-Tools zu entwickeln.

Zusammenfassung

Die Studie zeigt, dass aktuelle Vision-Language-Modelle, selbst in riesigen Größenordnungen, für die präzise Instrumentenerkennung in der Neurochirurgie ungeeignet sind, wenn sie nicht spezifisch trainiert werden. Selbst dann stoßen sie an Generalisierungsgrenzen. Der Weg zu zuverlässiger chirurgischer KI führt nicht über das bloße Skalieren von Foundation Models, sondern über die Entwicklung spezialisierter Modelle und die Schaffung großer, gemeinschaftlich genutzter Datensätze.