Parameter-Efficient Adaptation of SAM3 for Prompt-Driven Surgical Concept Segmentation

Sintesi Tecnica: Adattamento Efficiente dei Parametri di SAM3 per la Segmentazione di Concetti Chirurgici Guidata da Prompt

Problematica
Sebbene i modelli di base come il Segment Anything Model 3 (SAM3) dimostrino forti capacità di segmentazione zero-shot su immagini naturali, essi affrontano significativi gap di dominio quando applicati a dati chirurgici, portando a una degradazione della precisione. Le attuali adattazioni mediche di SAM (ad esempio, MedSAM, Medical SAM3) si affidano tipicamente al fine-tuning di tutti i parametri. Questo approccio è computazionalmente proibitivo, richiedendo spesso fino a 80 GB di memoria GPU, il che lo rende impraticabile per l'implementazione su hardware di classe consumer comune nella pratica clinica di routine. Inoltre, questi modelli completamente fine-tuned spesso mancano di generalizzabilità attraverso diversi dataset chirurgici senza un nuovo addestramento specifico per ogni dataset, e il fine-tuning completo su dati medici generali può diluire le caratteristiche chirurgiche specializzate.

Metodologia
Gli autori propongono una strategia di Fine-Tuning Efficiente dei Parametri (PEFT) utilizzando la Low-Rank Adaptation (LoRA) per adattare SAM3 specificamente per la segmentazione di concetti chirurgici. Il nucleo del metodo prevede:

1. Rappresentazione Unificata dell'Input: Per facilitare la generalizzazione tra i dataset, gli autori standardizzano le etichette delle classi nativa da eterogenei dataset chirurgici (CholecSeg8k, EndoVis18, CaDISv2) in un vocabolario di concetti unificato ($V$). Ciò consente pesi condivisi ed elimina la necessità di ridondanti tuning dei prompt tra diversi dataset.
2. Adattamento Selettivo dei Parametri: L'architettura SAM3 è composta da un encoder di prompt per immagini, un rilevatore di tipo DETR e un tracker con memory-bank. Gli autori congelano l'intero backbone di visione, preservando le rappresentazioni visive pre-addestrate che si generalizzano bene ai dati chirurgici senza modifiche.
3. Iniezione di LoRA: Adattatori a basso rango addestrabili vengono iniettati solo in:
   • Il Prompt Encoder: Per allineare la terminologia chirurgica (ad esempio, "L-hook electrocautery") con gli embedding testuali pre-addestrati.
   • Il Rilevatore di tipo DETR: Mirando specificamente alle proiezioni di attenzione ($q, k, v, out\_proj$) per gestire strumenti chirurgici rari non visti durante il pre-addestramento.
   • Il Tracker: Adattando gli strati di attenzione del tracking per una stabile propagazione della maschera tra i frame.
4. Efficienza: Questo approccio aggiorna solo lo 0,98% dei parametri totali del modello (8,32 milioni di parametri su 849 milioni). Di conseguenza, il consumo di memoria di picco durante l'addestramento è ridotto a 9 GB, consentendo l'addestramento su una singola GPU consumer (RTX 3090).

Contributi Chiave

• Adattamento Efficiente dei Parametri: Un nuovo adattamento di SAM3 per la segmentazione chirurgica che aggiorna solo lo 0,98% dei parametri, consentendo l'implementazione su hardware edge con risorse limitate.
• Framework di Addestramento Unificato: Una rappresentazione unificata dell'input che supporta pesi condivisi attraverso diversi benchmark chirurgici (CholecSeg8k, EndoVis18, CaDISv2) senza il bisogno di un nuovo addestramento specifico per dataset, riducendo significativamente i costi computazionali.
• Applicabilità a Valle: Il metodo genera maschere di segmentazione ad alta qualità e consapevoli delle classi, direttamente implementabili per compiti di chirurgia robotica a valle, inclusi la ricostruzione della scena e la simulazione basata sulla fisica.

Risultati Sperimentali
Il metodo è stato valutato su tre dataset chirurgici pubblici che coprono colecistectomia, nefrectomia e chirurgia della cataratta.

• Prestazioni: Il metodo proposto ha superato costantemente SAM3 zero-shot, SAM3 vanilla e Medical SAM3 completamente fine-tuned (varianti sia 2D che 3D) in tutte le sequenze di test.
• Guadagni Quantitativi: Su CholecSeg8k, il metodo ha ottenuto miglioramenti sostanziali nella mean Intersection-over-Union (mIoU) per le classi chirurgiche fini (ad esempio, grasper, grasso, L-hook electrocautery) dove SAM3 zero-shot e Medical SAM3 sono falliti. Su EndoVis18, il modello adattato ha raggiunto una mIoU complessiva del 26,9% e una mDice del 37,0%, superando tutti i baseline.
• Analisi Qualitativa: I confronti visivi hanno mostrato che, mentre il Medical SAM3 completamente fine-tuned produceva contorni tissutali distorti e strutture spurie, il modello adattato tramite LoRA preservava contorni tissutali accurati e catturava precisamente i confini degli strumenti fini.
• Efficienza delle Risorse: L'addestramento ha richiesto solo 9 GB di memoria GPU, rappresentando una riduzione di oltre l'80% rispetto agli ~80 GB richiesti per il fine-tuning di tutti i parametri.

Significatività e Rivendicazioni
Il paper sostiene che questo lavoro affronta il collo di bottiglia critico del consumo di risorse computazionali nell'implementazione dell'IA medica. Dimostrando che congelare il backbone di visione e adattare solo i moduli di prompt, rilevamento e tracking è sufficiente per un'alta prestazione nella segmentazione chirurgica, gli autori sostengono che l'adattamento efficiente è superiore al fine-tuning completo per questo dominio. Le maschere di segmentazione risultanti sono mostrate come fisicamente significative, guidando con successo Gaussian Splatting per la ricostruzione della scena e simulazioni differenziabili del Material Point Method (MPM) per la deformazione dei tessuti. Ciò valida l'utilità del metodo non solo per la segmentazione, ma come componente fondamentale per pipeline di chirurgia robotica a valle che coinvolgono la ricostruzione e l'apprendimento di policy. Gli autori osservano che, sebbene il framework sia efficace, il lavoro futuro esplorerà schemi di addestramento ancora più leggeri in termini di memoria e l'espansione del framework per supportare intere sequenze video chirurgiche.