Surg$\Sigma$: A Spectrum of Large-Scale Multimodal Data and Foundation Models for Surgical Intelligence

Dit artikel introduceert SurgΣ, een omvangrijk framework dat een gestandaardiseerde multimodale dataset (SurgΣ-DB) en fundamentele modellen combineert om de generalisatie en interpretatie van chirurgische kunstmatige intelligentie over diverse procedures en instellingen te verbeteren.

De kern

SurgΣ: De "Super-Geest" die Chirurgen helpt

Stel je voor dat een chirurg een meester-pianist is. Hij of zij kan prachtige muziek maken (operaties uitvoeren), maar soms is de zaal donker, de noten zijn wazig, en er zijn duizenden verschillende soorten piano's. Om de chirurg te helpen, willen we een slimme assistent bouwen: een kunstmatige intelligentie (AI) die meekijkt, meedenkt en zelfs voorziet wat er als volgende gaat gebeuren.

Het probleem tot nu toe? De meeste AI's waren als eenzijdige muzikanten. Ze konden misschien alleen maar "noten lezen" (herkennen welk instrument er is) of "ritme tellen" (weten in welke fase van de operatie je zit), maar ze faalden als je hen vroeg om een heel concert te analyseren of om een nieuwe melodie te bedenken. Ze waren te specifiek getraind op één type operatie en faalden als ze naar een andere ziekenzaal of een ander type operatie werden gestuurd.

De Oplossing: SurgΣ (uitgesproken als "Surg-Sigma")

De auteurs van dit paper hebben een gigantisch project gestart genaamd SurgΣ. Ze hebben twee dingen gedaan: een enorme bibliotheek met kennis gebouwd en een familie van slimme AI's getraind op die kennis.

1. De Bibliotheek: SurgΣ-DB (Het "Grote Brein")

Stel je voor dat je een enorme bibliotheek bouwt, maar dan niet met boeken, maar met miljoenen video's en foto's van operaties, gecombineerd met 5,98 miljoen gesprekken tussen een mens en een computer.

• Het probleem met oude bibliotheken: Vroeger waren er losse stapels met alleen maar foto's van een hartoperatie, of alleen maar video's van een blindedarmoperatie. De namen van de onderdelen waren niet eens hetzelfde in elke stapel. Het was een rommelpot.
• De SurgΣ-oplossing: Ze hebben al die losse stapels samengevoegd tot één grote, georganiseerde bibliotheek. Ze hebben alles "vertaald" naar één standaardtaal. Of het nu gaat om een oogoperatie, een maagoperatie of een nieroperatie: de AI leert nu dat een "mes" altijd een "mes" is, ongeacht waar het wordt gebruikt.
• De diepgang: Ze hebben niet alleen gezegd "dit is een mes". Ze hebben de AI geleerd redeneren.
  • Niveau 1: "Ik zie een mes."
  • Niveau 2: "Het mes raakt het weefsel en snijdt het door."
  • Niveau 3: "Omdat het mes het weefsel doorknipt, is de volgende stap waarschijnlijk het vastmaken van een hechting, en we moeten oppassen dat we niet per ongeluk een bloedvat raken."

Dit is alsof je een student niet alleen de woorden leert, maar ook de logica achter de zinnen en de context van het verhaal.

2. De AI's: De Familie van "Chirurgische Geniën"

Op basis van deze enorme bibliotheek hebben ze vier verschillende soorten AI's gebouwd, elk met een eigen specialiteit:

• BSA (De Waarnemer): Deze AI kijkt naar korte videofragmenten en zegt: "Ah, dit is een 'snij-beweging'." Het maakt niet uit of het op een maag of een lever gebeurt; het herkent de basisbeweging. Het is als een muzikant die elk ritme herkent, ongeacht het instrument.
• SurgVLM (De Vertaler): Deze AI kan praten. Als een chirurg vraagt: "Zie je het gevaarlijke vat?", kan de AI het antwoord geven in normaal taalgebruik, gebaseerd op wat hij ziet. Hij kan ook samenvatten wat er in de video gebeurt, alsof hij een verslag schrijft.
• Surg-R1 (De Denker): Dit is de slimste. Deze AI denkt stap voor stap na (zoals een mens). Hij zegt niet alleen "dit is gevaarlijk", maar legt uit waarom: "Het instrument raakt het weefsel, het weefsel trekt aan, dus de kans op een scheur is groot." Hij gebruikt een "keten van gedachten" om fouten te voorkomen.
• Cosmos-H-Surgical (De Dromer): Dit is misschien wel het coolste. Deze AI kan dromen. Als je hem een foto van een operatie geeft en zegt: "Wat gebeurt er als ik nu dit weefsel vastpakt?", dan genereert hij een video van wat er als volgende zou gebeuren. Hij helpt robotchirurgen te oefenen in een veilige, virtuele wereld voordat ze echt aan de slag gaan.

Waarom is dit belangrijk?

Vroeger moest een AI voor elke operatie opnieuw worden getraind, alsof je voor elke nieuwe taal een nieuwe school moest beginnen. Met SurgΣ hebben we nu een universele taal voor chirurgie.

• Veiligheid: De AI kan waarschuwen voor gevaren die een mens misschien over het hoofd ziet.
• Standaardisatie: Een operatie in Nederland wordt op dezelfde manier begrepen als een operatie in China, omdat de "taal" van de data overal hetzelfde is.
• Toekomst: Het maakt het mogelijk om robots te trainen die niet alleen kijken, maar ook begrijpen en handelen, zoals een echte assistent.

Kortom:
SurgΣ is als het bouwen van een universitair curriculum voor AI's in de chirurgie. In plaats van ze te laten leren uit losse, verwarde notities, hebben ze een perfecte, gestructureerde school opgericht met miljoenen lessen, waarbij de AI's leren niet alleen te kijken, maar ook te denken, te plannen en zelfs te voorspellen. Dit maakt de chirurgie veiliger, consistenter en toegankelijker voor iedereen.

Technische samenvatting

Probleemstelling

Huidige kunstmatige intelligentie (AI) systemen voor chirurgie zijn over het algemeen taak-specifiek (bijv. alleen faseherkenning of instrumentdetectie) en worstelen met generalisatie tussen verschillende chirurgische procedures en instellingen. Hoewel multimodale foundation-modellen (zoals Multimodale Large Language Models - MLLM's) succesvol zijn in andere medische domeinen (radiologie, pathologie), blijft hun toepassing in de chirurgie beperkt door het gebrek aan grootschalige, systematisch samengestelde multimodale data.

Bestaande datasets zijn vaak:

• Visueel gecentreerd: Ze missen natuurlijke taal-instructies en interactieve dialogen.
• Beperkt in schaal en diversiteit: Ze focussen op een klein aantal procedures of instellingen.
• Gefragmenteerd: Ze gebruiken inconsistente annotatiestandaarden en heterogene labelruimtes, wat geïntegreerde training en cross-task generalisatie belemmert.
• Gebrek aan redenering: Ze missen gestructureerde, multi-stap redeneertraces (Chain-of-Thought) die nodig zijn voor complexe chirurgische contexten.

Methodologie: SurgΣ en SurgΣ-DB

De auteurs introduceren SurgΣ, een ecosysteem bestaande uit een grootschalige multimodale data-fundatie (SurgΣ-DB) en een familie van foundation-modellen die daarop zijn gebouwd.

1. SurgΣ-DB: De Data-Fundatie

Dit is een unificerend multimodaal dataset-architectuur dat heterogene bronnen (open-source datasets, in-house klinische collecties, en web-gecollekteerde data) consolideert tot één schema.

• Schaal en Diversiteit: Bevat 5,98 miljoen conversaties afkomstig van 1.590 unieke chirurgische video-bronnen. Het dekt 6 klinische specialismen (gynaecologie, ophthalmologie, hepatobiliair, gastro-intestinaal, urologie, thorax) en 16 chirurgische typen.
• Multimodale Inhoud: Bestaat uit zowel statische beelden (75,2%) als video-clips (24,8%), gekoppeld aan tekstuele instructies.
• Taakdekking: Ondersteunt een breed scala aan taken, onderverdeeld in:
  • Verstaan & Redeneren: Instrumentherkenning, localisatie, segmentatie, weefselherkenning, faseherkenning, stap-herkenning, triplet-herkenning (instrument-actie-doel), diepteschattting, veiligheidsbeoordeling (bijv. "Critical View of Safety"), en bijschriften.
  • Planning & Generatie: Voorspelling van resterende actie-tijd, planning van de volgende actie, rookverwijdering (desmoking), next-frame generatie, en conditionele chirurgische video-generatie.
• Unificatie en Annotatie:
  • Unificatie van Labels: Heterogene labels worden gestandaardiseerd naar een uniforme taxonomie (bijv. 10 basis chirurgische acties) om semantische drift te voorkomen.
  • Hiërarchische Redenering (Chain-of-Thought): Een unieke aanpak waarbij annotaties worden opgebouwd in drie niveaus:
    1. Perceptuele grounding: Identificatie van visuele elementen (tools, weefsel).
    2. Relationeel begrip: Interacties tussen elementen (tool-tissue-actie).
    3. Contextuele redenering: Hoog niveau van procedurele inferentie (fase, veiligheid).
  • Pijplijn: Een semi-geautomatiseerde pipeline combineert menselijke expert-labeling, AI-generatie (met modellen zoals Qwen3-VL en GPT-5.1) voor verrijking, en validatie om schaalbaarheid en kwaliteit te garanderen.

2. Familie van Foundation Modellen

Op basis van SurgΣ-DB zijn vier modellen ontwikkeld om verschillende aspecten van chirurgische intelligentie te valideren:

• BSA (Basic Surgical Action): Een cross-specialty model dat chirurgische workflows ziet als composities van herbruikbare primitieve acties. Het leert transfererbare representaties die genereren over verschillende anatomische locaties en instellingen zonder domein-specifieke aanpassing.
• SurgVLM: Een multimodaal foundation model (7B, 32B, 72B parameters) dat is getraind op SurgΣ-DB voor een breed scala aan visueel-taal taken. Het toont aan dat grote schaal instructie-tuning de generalisatie tussen taken verbetert en ambiguïteit in medische antwoorden vermindert.
• Surg-R1: Een model dat is verrijkt met gestructureerde redenering (Chain-of-Thought). Het gebruikt een vier-staps trainingsproces (supervised fine-tuning, cold-start met redeneringstraces, reinforcement learning, en iteratieve verfijning) om complexe chirurgische scènes te interpreteren via de drie niveaus van redenering.
• Cosmos-H-Surgical: Een "surgical world model" dat ongelabelde chirurgische video's omzet in trainingsdata voor robotbeleid (Vision-Language-Action). Het gebruikt inverse dynamica om pseudo-kinematics af te leiden uit gegenereerde video's, waardoor robotpolicies kunnen worden getraind met beperkte echte demonstraties.

Belangrijkste Resultaten

• Data Schaal: SurgΣ-DB is momenteel een van de meest uitgebreide datasets voor chirurgische intelligentie, met bijna 6 miljoen conversaties en 471 miljoen tekst-tokens.
• Generalisatie: Modellen zoals BSA tonen aan dat basis chirurgische acties consistente patronen vertonen over verschillende specialismen heen, wat cross-specialty generalisatie mogelijk maakt.
• Redeneringsvermogen: Surg-R1 behaalde state-of-the-art resultaten op compositional taken (bijv. triplet-herkenning met 51,69% nauwkeurigheid vs. 6,77% voor GPT-5.1), wat aantoont dat gestructureerde redenering-annotaties essentieel zijn voor chirurgische context.
• Robotica & Policy Learning: Cosmos-H-Surgical demonstreerde dat synthetische data, gegenereerd via wereldmodellen en aangevuld met inverse kinematics, de prestaties van robotpolicies significant verbetert ten opzichte van training alleen op beperkte echte data.
• Veiligheid: Modellen kunnen veiligheidskritieke criteria (zoals de "Critical View of Safety" bij cholecystectomie) betrouwbaar beoordelen, wat cruciaal is voor klinische toepassing.

Bijdragen en Significantie

1. Eerste Unificerende Data-Fundatie: SurgΣ-DB biedt de eerste grootschalige, gestandaardiseerde multimodale data-fundatie die diverse chirurgische specialismen en taken onder één schema brengt, wat de barrière voor cross-task training verlaagt.
2. Gestandaardiseerde Redenering: De introductie van hiërarchische Chain-of-Thought annotaties (visueel -> relationeel -> contextueel) zet een nieuwe standaard voor het trainen van modellen die niet alleen "zien" maar ook "begrijpen" en "redeneren" in complexe chirurgische omgevingen.
3. Van Waarneming naar Actie: Het paper schetst een compleet ecosysteem dat de kloof overbrugt tussen passieve waarneming (perceptie), actieve redenering en fysieke uitvoering (robotica), vormend een cyclus van Perceptie → Redenering → Actie.
4. Klinische Relevantie: Door zich te richten op veiligheidsbeoordeling, planning en interpretatie, beweegt de technologie zich van puur academische benchmarks naar systemen die daadwerkelijk bijdragen aan veiligere en consistenter chirurgische zorg.

Conclusie:
SurgΣ markeert een paradigmaverschuiving in chirurgische AI, van gefragmenteerde, taak-specifieke modellen naar een coherente, data-gedreven aanpak met foundation-modellen. Het bewijst dat schaal, semantische unificatie en gestructureerde redenering de sleutelfactoren zijn voor het ontwikkelen van robuuste, generaliseerbare en klinisch betrouwbare chirurgische AI-systemen.