How errors from prompt-assisted longitudinal tumour segmentation change RECIST 1.1 target-lesion response categories: a retrospective out-of-fold analysis

Sintesi Tecnica: Come gli errori della segmentazione longitudinale dei tumori assistita da prompt cambiano le categorie di risposta delle lesioni target secondo i criteri RECIST 1.1

Problematica
I criteri RECIST 1.1 (Response Evaluation Criteria in Solid Tumors) rappresentano lo standard per la valutazione della risposta tumorale nei trial oncologici e nella pratica clinica routinaria. Essi si basano sulla misurazione, da parte dei clinici, di selezionate lesioni target al baseline e al follow-up per calcolare la Somma dei Diametri Lunghi (SLD) e assegnare una categoria di risposta (Risposta Completa, Risposta Parziale, Malattia Stabile o Malattia Progressiva). Sebbene la segmentazione automatizzata prometta riproducibilità e scalabilità, piccoli errori nella delineazione dei bordi, nel tracciamento delle lesioni o nel rilevamento possono superare le rigide soglie definite dai RECIST 1.1 (ad esempio, una diminuzione del 30% per la Risposta Parziale), alterando potenzialmente la categorizzazione clinica.

La ricerca precedente si è concentrata pesantemente sulle "lesioni mancate" (omissione) come principale rischio per la sicurezza. Tuttavia, gli strumenti semi-automatici che si affidano a prompt dell'utente possono fallire in altri modi: tracciando una lesione in una posizione errata, mantenendo una lesione che si è risolta (persistenza falsa) o misurando in modo impreciso una lesione localizzata correttamente. Questo studio affronta una lacuna nella letteratura quantificando quanto spesso questi specifici tipi di errore cambino la categoria di risposta delle lesioni target e se introducano un bias sistematico verso un apparente beneficio o un apparente danno.

Metodologia
Gli autori hanno condotto un'analisi retrospettiva out-of-fold utilizzando il dataset pubblico autoPET/CT longitudinal whole-body CT, composto da pazienti con melanoma metastatico.

• Modello e Task: Lo studio ha utilizzato LongiSeg, un modello di segmentazione longitudinale assistito da prompt basato su un backbone nnU-Net a encoder residuo. Il compito è stato definito come "tracciamento assistito": il modello riceveva la CT al baseline, la maschera della lesione baseline dell'esperto e un click di localizzazione per la scansione di follow-up. Fondamentalmente, la maschera di follow-up dell'esperto era nascosta; il modello doveva generare il contorno di follow-up basandosi sul prompt e sul contesto del baseline.

• Protocollo di Valutazione: Per garantire una valutazione imparziale, lo studio ha impiegato un rigoroso approccio out-of-fold (OOF) a livello di paziente. Ogni uno dei 258 pazienti valutabili in risposta è stato elaborato da un checkpoint del modello addestrato sugli altri quattro fold del coorte di sviluppo di 300 pazienti, garantendo che le scansioni del paziente non fossero mai state viste durante l'adattamento dei pesi.

• Calcolo della Risposta: Lo studio si è concentrato esclusivamente sulla componente delle lesioni target dei RECIST 1.1. Le target sono state selezionate dalle maschere baseline degli esperti (fino a cinque in totale, massimo due per tipo di organo/lesione). La SLD è stata calcolata sia per il riferimento dell'esperto (baseline esperto + follow-up esperto) sia per il modello (baseline esperto + follow-up del modello).

• Tassonomia e Attribuzione dell'Errore: I disaccordi tra le categorie di risposta del modello e del riferimento sono stati scomposti in quattro tipi di errore:

  1. Omissione indotta dal prompt: La lesione era presente nel riferimento ma mancante nel modello.
  2. Errata localizzazione del tracciamento: L'output del modello non si sovrapponeva alla lesione di riferimento.
  3. Falsa persistenza: Il modello manteneva una lesione che si era risolta nel riferimento.
  4. Errore di misurazione (dimensionamento): Il modello e il riferimento si sovrapponevano, ma i diametri misurati differivano.

  Per gestire i casi con errori multipli simultanei, gli autori hanno utilizzato l'attribuzione Shapley dalla teoria dei giochi cooperativi. Questo metodo media il contributo di ciascun tipo di errore attraverso tutte le possibili sequenze di correzione per determinare quanto ogni tipo di errore abbia guidato il disaccordo della categoria.

Risultati Chiave

• Tasso di Disaccordo: La categoria di risposta delle lesioni target del modello è stata in disaccordo con il riferimento dell'esperto in 43 pazienti su 258 (16,7%) (95% CI di Wilson: 12,6–21,7).

• Contributi dell'Errore: Utilizzando l'attribuzione Shapley, lo studio ha scoperto che nessun singolo canale di errore dominava chiaramente i disaccordi:

  • Errore di Misurazione (Dimensionamento): Ha contribuito per l'8,3% (95% CI: 5,0–11,8).
  • Rilevamento/Localizzazione (Omissione + Errata Localizzazione): Ha contribuito per il 5,2% (95% CI: 2,7–7,9).
  • Falsa Persistenza: Ha contribuito per il 3,1% (95% CI: 1,2–5,4).

  Sebbene il dimensionamento avesse la stima puntuale più alta, non era statisticamente separato dal canale combinato di rilevamento/localizzazione (differenza di +3,1 punti percentuali, 95% CI: −1,2 a 7,4).

• Direzione del Bias: In un'analisi post-hoc, 28 disaccordi si sono spostati verso un "apparente beneficio" (ad esempio, Malattia Stabile che diventa Risposta Parziale) e 15 verso un "apparente danno". Tuttavia, questo squilibrio non era stabile attraverso le diverse regole di selezione delle lesioni target e non costituiva un confermato bias verso l'inflazione dei tassi di risposta obiettiva.

• Validazione tramite Simulazione: Le simulazioni sintetiche di campionamento dei processi di errore di dimensionamento hanno prodotto un "tasso di inversione" medio del 9,3% (intervallo di simulazione centrale al 95% 6,2–12,4), che comprende l'8,3% di contributo del dimensionamento osservato. Ciò suggerisce che l'entità degli errori di confine osservati nel modello è sufficiente a spiegare plausibilmente il tasso di cambiamenti di categoria attribuiti al dimensionamento.

Significatività e Rivendicazioni
L'articolo sostiene che l'errore di misurazione è un modo di fallimento critico, ma spesso trascurato, nell'analisi automatizzata dei RECIST. I risultati sfidano l'ipotesi prevalente che il rilevamento (omissione) sia l'unica o la primaria preoccupazione per la sicurezza. Lo studio dimostra che anche quando un modello localizza correttamente una lesione, piccole imprecisioni nei bordi possono essere sufficienti a spostare la categoria di risposta di un paziente.

Gli autori sottolineano che questi risultati sono specifici per:

1. Tracciamento assistito da prompt (non rilevamento autonomo).
2. Errori di follow-up condizionati da un corretto baseline dell'esperto.
3. Componenti delle lesioni target solo (escludendo la malattia non target e le nuove lesioni).
4. Una specifica architettura di modello (LongiSeg) valutata internamente.

Lo studio conclude che le valutazioni future dei sistemi di risposta automatizzati devono sottoporre l'accuratezza dei bordi e la precisione della misurazione allo stesso rigore della copertura delle lesioni. Gli autori richiedono una conferma indipendente, in particolare riguardo alla direzione dei disaccordi, e osservano che i loro risultati non provano cambiamenti nel processo decisionale clinico o negli esiti dei pazienti.