More with LESS -- Local Scene Representations for Tactile Imaging

Sintesi Tecnica: More with LESS – Rappresentazioni di Scena Locali per l'Imaging Tattile

Problema
L'imaging tattile (TI) mira a ricostruire la struttura interna di oggetti morbidi attraverso il tatto, una capacità critica per la diagnosi medica (ad es., rilevamento di lesioni) e la manipolazione robotica. Sebbene approcci recenti di apprendimento auto-supervisionato (SSL), come il lavoro di Rimon et al. [34], abbiano dimostrato risultati promettenti, essi soffrono di limitazioni significative:

1. Rappresentazioni Globali: I metodi esistenti codificano intere scene tattili in un singolo vettore non strutturato. Ciò ignora la natura compositiva degli oggetti fisici, richiedendo l'addestramento su "tutte le possibili combinazioni di oggetti" per generalizzare, il che è computazionalmente costoso e spesso impraticabile.
2. Dipendenza dal Robot: I metodi precedenti si affidano a una precisa cinematica del robot per il tracciamento della posa e modelli di movimento verticale, limitando la loro applicabilità a dispositivi tenuti in mano, dove la palpazione umana comporta movimenti complessi e non verticali.
3. Dimensionalità: Il lavoro precedente era ampiamente limitato all'imaging 2D, perdendo le informazioni strutturali più ricche disponibili nei volumi 3D.

Metodologia: LESS (Local Encoder for Spatial Sensing)
Gli autori propongono LESS, un'architettura neurale centrata sull'oggetto progettata per sfruttare la natura intrinsecamente locale della sensazione tattile. L'intuizione fondamentale è che la risposta tattile della struttura interna di un oggetto in una specifica posizione è quasi indipendente dalle strutture in posizioni distanti.

• Architettura:

  • Griglia di Particelle: Invece di un singolo vettore globale, la scena tattile è modellata come una griglia di $N$ rappresentazioni locali (particelle). Ogni particella è una rete neurale ricorrente (specificamente una Gated Recurrent Unit, GRU) con un campo ricettivo spaziale definito.
  • Elaborazione Locale: Ogni particella elabora solo la sequenza di misurazioni tattili (forza e posa) che rientrano nel suo campo ricettivo. Gli input sono centrati rispetto alla posizione della particella e codificati tramite codifiche posizionali sinusoidali e MLP.
  • Pesi Condivisi: Tutte le particelle condividono i pesi, consentendo al modello di apprendere risposte tattili locali che sono invarianti rispetto alla posizione assoluta.
  • Ricostruzione dell'Immagine: Gli stati latenti di tutte le particelle vengono fusi per ricostruire immagini 2D o 3D. Per la generazione dell'immagine, lo stato latente di ogni particella viene mappato in un patch d'immagine locale tramite una convoluzione trasposta. Questi patch vengono uniti mediando i logit e applicando una softmax per produrre l'immagine finale.
  • Stima dell'Incertezza: La natura locale dell'architettura consente la stima dell'incertezza a livello di pixel utilizzando l'entropia di Shannon delle probabilità di classe, poiché l'incertezza in una posizione non è intrecciata con quelle distanti.

• Addestramento e Raccolta Dati:

  • Apprendimento Auto-Supervisionato (SSL): L'encoder-decoder è addestrato tramite la predizione della forza. Il modello predice la forza in una posizione futura data la rappresentazione locale corrente, minimizzando l'Errore Quadratico Medio (MSE).
  • Dataset: Gli autori hanno raccolto il più grande dataset di interazione tattile con corpi morbidi ad oggi disponibile (~800 ore), comprendente:
    • data-v1: Movimenti di "pressione" (poke) verticali (simili al lavoro precedente).
    • data-poke: Movimenti verticali con orientamenti del sensore variati.
    • data-primitive: Movimenti teleoperati che simulano la palpazione umana.
    • data-handheld: Dati manuali raccolti con un sensore portatile tracciato da un sistema di stima della posa basato su marker (fiducial).
  • Fantini: Fantini modulari con pelli in silicone morbido e riempimenti in idrogel contenenti inclusioni di diverse forme, dimensioni e numeri (singole, multiple, connesse). La verità fondamentale (ground truth) è stata ottenuta tramite RM a 3T.
  • Funzioni di Perdita: Per la ricostruzione dell'immagine, gli autori utilizzano una combinazione di Focal loss e Dice loss per affrontare lo sbilanciamento delle classi tra le piccole inclusioni e il grande gel di sfondo.

Contributi Chiave

1. Generalizzazione Composizionale Zero-Shot: LESS dimostra la capacità di generalizzare a configurazioni non viste. Modelli addestrati esclusivamente su fantini con inclusioni singole ricostruiscono accuratamente oggetti con inclusioni multiple e dimensioni maggiori al momento del test. Ciò è reso possibile dal fatto che il modello apprende pattern locali piuttosto che combinazioni globali della scena.
2. Ricostruzione 3D: Il metodo estende l'imaging tattile dalle sezioni 2D ai volumi 3D completi. Sorprendentemente, l'addestramento su etichette 3D migliora le metriche delle sezioni 2D rispetto all'addestramento solo su 2D, probabilmente perché il modello apprende regolarità spaziali tra sezioni adiacenti.
3. Imaging Tattile Hand-Held: Gli autori presentano un sistema prova di concetto portatile (hand-held). Incorporando il tracciamento della posa esterno e addestrando su diversi primitivi di movimento (inclusi i movimenti simili a quelli umani), abilitano l'imaging in tempo reale al di fuori di una configurazione robotica fissa.
4. Incertezza Spaziale: L'architettura fornisce stime di incertezza localizzate, identificando le aree in cui l'operatore dovrebbe raccogliere ulteriori dati, una caratteristica difficile da ottenere con rappresentazioni globali.

Risultati Sperimentali

• Generalizzazione: Nei test zero-shot su fantini con "inclusioni multiple" e "grandi" (fuori distribuzione), LESS ha superato significativamente il baseline globale (GLOBAL). Ad esempio, sul set di inclusioni multiple, LESS ha ottenuto un punteggio F1 del 71,1% rispetto al 44,6% di GLOBAL.
• 3D vs 2D: L'addestramento su volumi 3D ha prodotto una migliore accuratezza nella ricostruzione 2D (ad esempio, errore del Centro di Massa inferiore) rispetto all'addestramento solo su sezioni 2D.
• Robustezza della Posa: Il sistema rimane stabile con un rumore di posizione fino a ~1 mm e un rumore di orientamento fino a ~0,1 radianti.
• Prestazioni Hand-Held: Sebbene i sensori tenuti da robot abbiano prodotto un'accuratezza leggermente superiore (errore CoM 1,6 mm) rispetto all'operazione manuale (8,4 mm), l'addestramento su dati di movimento diversificati (data-primitive) ha ridotto sostanzialmente il divario di prestazioni rispetto all'addestramento solo su dati di "poke" robotico.

Significato e Rivendicazioni
Il documento sostiene che LESS rappresenti un passo significativo verso un imaging tattile pratico e indipendente dall'operatore. Passando da rappresentazioni globali a rappresentazioni locali, il metodo supera l'inefficienza dei dati degli approcci SSL precedenti, consentendo la generalizzazione a oggetti complessi e compositi senza necessità di ri-addestramento. Lo sviluppo di un sistema portatile con visualizzazione dell'incertezza in tempo reale colma il divario tra la ricerca robotica e l'utilità clinica, potenzialmente guidando l'uso di dispositivi domestici e assistendo i medici durante gli esami. Gli autori osservano che, sebbene l'attuale lavoro utilizzi fantini sintetici, il framework tecnico (in particolare il sistema portatile) è progettato per facilitare future valutazioni sul tessuto umano.