How to Train your Tactile Model: Tactile Perception with Multi-fingered Robot Hands

Titolo

Come Addestrare il Proprio Modello Tattile: Percezione Tattile con Mani Robotiche Multifinger

1. Il Problema

La rapida diffusione di sensori tattili basati sulla visione (VBTS - Vision-Based Tactile Sensors), come il TacTip, è fondamentale per la manipolazione robotica scalabile, specialmente nelle mani robotiche multifinger. Tuttavia, l'adozione su larga scala incontra un collo di bottiglia significativo:

• Dipendenza dai dati specifici del sensore: I metodi attuali si basano prevalentemente su Reti Neurali Convoluzionali (CNN). Sebbene efficaci su un singolo sensore, le CNN richiedono grandi dataset specifici per ogni nuovo sensore.
• Mancanza di generalizzazione: Le CNN si basano su gerarchie spaziali locali. Minime variazioni tra sensori identici (dovute a differenze nelle proprietà delle lenti, illuminazione, usura o processi di stampa 3D) causano uno spostamento nella distribuzione dei dati (domain shift), degradando drasticamente le prestazioni delle CNN.
• Costo di riaddestramento: Per ogni nuovo sensore aggiunto a una mano robotica, è necessario raccogliere nuovi dati e riaddestrare il modello da zero, rendendo il processo lento e poco pratico per applicazioni reali.

2. Metodologia: TacViT

Gli autori propongono TacViT, un nuovo modello di percezione tattile basato su Vision Transformers (ViT), progettato per generalizzare su dati provenienti da sensori mai visti prima.

• Architettura:
  • Il modello utilizza un ViT pre-addestrato su ImageNet (Google's vit-base-patch16-224) come estrattore di caratteristiche.
  • Le immagini tattili vengono divise in patch, linearizzate e processate attraverso un encoder Transformer che utilizza meccanismi di auto-attenzione globale.
  • Un "testa di regressione" (strati fully connected) segue l'encoder per prevedere la posa (profondità $z$, orientamento $R_x, R_y$) e la forza di contatto ($F_x, F_y, F_z$).
• Strategia di Addestramento:
  • Fine-tuning con LoRA: Per migliorare l'efficienza computazionale, viene applicata l'Adattamento a Bassa Rango (LoRA) durante il fine-tuning. Invece di aggiornare tutti i pesi del Transformer, vengono introdotte matrici a basso rango negli strati di auto-attenzione, mantenendo i parametri pre-addestrati bloccati.
  • Strategia di sblocco graduale: Inizialmente viene addestrata solo la testa di regressione; successivamente, alcuni strati del Transformer vengono sbloccati per affinare le rappresentazioni profonde senza causare "dimenticanza catastrofica".
  • Loss Function: Viene utilizzata la Loss dell'Errore Quadratico Medio (MSE).

3. Esperimenti e Valutazione

Il modello è stato valutato su una mano robotica a cinque dita equipaggiata con sensori TacTip. Sono stati confrontati TacViT e una CNN standard attraverso tre scenari sperimentali:

1. Tr1-Te1 (Baseline): Addestramento e test sullo stesso singolo sensore.
2. Tr5-Te1 (Multi-sensore noto): Addestramento su tutti e 5 i sensori e test su uno di essi (già visto).
3. Tr4-TeU (Sensore inedito): Addestramento su 4 sensori e test su un quinto sensore mai visto durante l'addestramento. Questo è lo scenario critico per valutare la generalizzazione.

4. Risultati Chiave

I risultati dimostrano una superiorità significativa di TacViT rispetto alle CNN nello scenario di generalizzazione:

• Prestazioni su Sensore Unico (Tr1-Te1): Le prestazioni sono comparabili, con TacViT che mostra un errore medio assoluto (MAE) leggermente superiore ma comunque accettabile.
• Prestazioni su Sensore Inedito (Tr4-TeU):
  • CNN: Le prestazioni crollano drasticamente. L'MAE medio aumenta di un ordine di grandezza (es. errore sulla profondità $z$ passa da ~0.08 mm a ~0.21 mm; errore sull'orientamento $R_x$ da ~1° a ~5.7°). Le previsioni diventano rumorose e spesso fuori scala.
  • TacViT: Mostra una degradazione minima. L'MAE aumenta leggermente rispetto allo scenario multi-sensore, ma rimane ben all'interno dei limiti accettabili per la robotica (es. errore su $z$ rimane a ~0.08 mm).
  • Consistenza: TacViT mantiene una deviazione standard molto più bassa rispetto alle CNN, indicando una maggiore robustezza e coerenza tra diverse combinazioni di sensori.

5. Contributi Principali

1. Proposta di TacViT: Un modello basato su ViT che generalizza efficacemente su nuovi sensori tattili senza necessità di riaddestramento specifico.
2. Scalabilità: Riduce drasticamente la necessità di raccolta dati e riaddestramento, abilitando un dispiegamento più rapido e scalabile di sensori tattili su mani robotiche complesse.
3. Validazione Empirica: Dimostrazione sperimentale su una mano a 5 dita che confronta direttamente l'accuratezza e la robustezza di ViT e CNN in scenari di sensori noti e ignoti.

6. Significato e Impatto

Questo lavoro rappresenta un passo cruciale verso il "plug-and-play" nella percezione tattile robotica.

• Superamento del limite delle CNN: Sfruttando i meccanismi di attenzione globale, TacViT riesce a integrare informazioni da regioni disparate dell'immagine, rendendolo meno sensibile alle variazioni locali (artefatti, riflessi, usura) che affliggono le CNN.
• Implicazioni Pratiche: Permette di aggiungere nuovi sensori a un sistema robotico senza dover fermare il sistema per raccogliere nuovi dataset e riaddestrare modelli, un requisito fondamentale per la manipolazione robotica in ambienti reali e dinamici.
• Direzioni Future: Gli autori suggeriscono che le prestazioni potrebbero essere ulteriormente migliorate addestrando un ViT da zero su grandi dataset di immagini tattili o adattando l'architettura a priori specifici (come la simmetria o la topologia della superficie).

In sintesi, il paper dimostra che l'uso dei Transformer per la percezione tattile risolve il problema della generalizzazione tra sensori, rendendo la manipolazione robotica basata su sensori tattili ad alta risoluzione più pratica e scalabile.