Sintesi Tecnica: Heterogeneous Tactile Transformer (HTT)

1. Definizione del Problema

La percezione tattile è essenziale per la manipolazione robotica ricca di contatti (ad es., afferrare oggetti fragili, assemblaggio di precisione), tuttavia la scalabilità dell'apprendimento tattile rimane un collo di bottiglia significativo. A differenza delle telecamere, i sensori tattili sono intrinsecamente eterogenei: differiscono fondamentalmente per meccanismi di trasduzione, strutture dati e formati di output.

• I sensori ottici (ad es., GelSight, 9DTact) catturano ricche informazioni spaziali e geometriche tramite la deformazione dell'elastomero, ma sono spesso limitati dai frame rate delle telecamere.
• I sensori basati su array (ad es., Xela, Tac-02) forniscono segnali temporali ad alta frequenza e misurazioni dirette di forza/pressione, ma offrono una risoluzione spaziale inferiore.

Gli attuali metodi di apprendimento delle rappresentazioni si concentrano ampiamente sui sensori ottici o trattano i sensori in isolamento. I modelli addestrati su una modalità non possono ingerire direttamente dati da un'altra, impedendo la creazione di politiche di manipolazione unificate e indipendenti dal sensore (sensor-agnostic). Manca l'esistenza di dataset su larga scala e sincronizzati che accoppino queste distinte modalità, e non esiste un framework che riesca efficacemente a apprendere rappresentazioni condivise tra di esse.

2. Metodologia

2.1 Il Dataset Heterogeneous Paired Tactile (HPT)

Per affrontare la scarsità di dati, gli autori hanno costruito il dataset Heterogeneous Paired Tactile (HPT) utilizzando una configurazione Universal Manipulation Interface (UMI).

• Scala: 1,6 milioni di frame accoppiati e sincronizzati.
• Sensori: Quattro sensori distinti: due ottici (GelSight Mini, 9DTact) e due basati su array (Xela, Tac-02).
• Raccolta: I sensori sono stati montati su lati opposti delle dita di una pinza per catturare simultaneamente le proprietà di contatto durante le interazioni con oggetti di uso quotidiano.
• Componenti: Il dataset include:
  • Dati di interazione non etichettati: Per il pre-addestramento auto-supervisionato (movimenti di pressione, torsione, scivolamento).
  • Classificazione degli oggetti: 20 oggetti distinti con geometrie e texture variegate.
  • Stima della forza: Etichette di forza 6-D sincronizzate raccolte tramite un rig di prova con un sensore di forza/coppia (F/T) esterno.
  • Rilevamento dello scivolamento: Etichette derivate da serie temporali del coefficiente di attrito, categorizzate in scivolamento statico, incipiente e macroscopico.

2.2 Architettura Heterogeneous Tactile Transformer (HTT)

HTT è un framework auto-supervisionato progettato per apprendere uno spazio latente condiviso tra sensori eterogenei. Adotta un design Masked Autoencoder (MAE) con i seguenti componenti:

1. Encoder specifici per sensore ($E_i$):
   • Per i sensori ottici: Encoder Vision Transformer (ViT) che elaborano patch spaziali.
   • Per i sensori array: Transformer a attenzione self-attention che elaborano patch temporali di serie temporali multidimensionali.
   • Gli input vengono patchificati e normalizzati prima della codifica.
2. Tronco Transformer Condiviso ($T$): Un backbone unificato che elabora gli embedding dei token da tutti i sensori in uno spazio latente comune.
3. Decoder specifici per sensore ($D_i$): Utilizzati durante il pre-addestramento per ricostruire i token di input mascherati.
4. Predittori Cross-Modali ($P_{ij}$): Transformer a cross-attention che predicono gli embedding del sensore target mascherato utilizzando gli embedding del sensore sorgente e gli embedding visibili del target.

2.3 Obiettivo di Pre-addestramento

Il modello è addestrato utilizzando una funzione di perdita congiunta che combina due obiettivi:

1. Ricostruzione Mascherata per Modalità ($L_{MAE}$): Incoraggia ogni sensore a estrarre caratteristiche strutturali e fisiche robuste ricostruendo il proprio input mascherato.
2. Allineamento Cross-Modale ($L_{Align}$): Addestra il modello a predire gli embedding del sensore target mascherato partendo dall'embedding completo del sensore sorgente e dagli embedding visibili del target. Ciò allinea modalità disparate nello spazio latente condiviso.
   • Viene applicato un stop-gradient al target per prevenire il collasso della rappresentazione.
   • La perdita di allineamento è pesata da un coefficiente dipendente dal tempo ($\alpha_t$), partendo da 0 (warmup) per consentire lo sviluppo di caratteristiche specifiche del sensore prima di aumentare gradualmente.

Durante i task di downstream, i decoder e i predittori vengono scartati; vengono utilizzati solo gli encoder dei sensori e il tronco condiviso.

3. Contributi Chiave

1. Dataset HPT: Un dataset su larga scala (1,6 milioni di frame), sincronizzato, che accoppia sensori tattili ottici e basati su array, permettendo lo studio dell'apprendimento di rappresentazioni tattili eterogenee.
2. Framework HTT: Un'architettura auto-supervisionata che combina la ricostruzione in stile MAE con la predizione cross-sensore bidirezionale per apprendere rappresentazioni trasferibili tra diversi tipi di sensori.
3. Valutazione Completa: Una validazione estesa attraverso compiti di percezione (classificazione, stima della forza, rilevamento dello scivolamento) e compiti di manipolazione (simulati e nel mondo reale), dimostrando la capacità del framework di generalizzare a nuovi sensori e task.

4. Risultati Sperimentali

4.1 Task di Percezione Tattile

• Classificazione degli Oggetti: HTT ha superato il baseline "Scratch" su tutti e quattro i sensori. Sui sensori ottici, HTT ha superato i più forti baseline solo-ottici (T3, SITR) con margini significativi (ad es., +13,5% su 9DTact, +17% su GSMini). L'allineamento cross-modale ha migliorato le prestazioni sui sensori ottici, ma ha mostrato risultati misti sui sensori array (lieve regressione su Xela), attribuito allo squilibrio informativo tra le modalità.
• Stima della Forza e Rilevamento dello Scivolamento: HTT ha superato sostanzialmente i baseline su tutti i sensori. I metodi di pre-addestramento solo-ottici (T3, SITR) spesso fallivano nel trasferirsi ai task sensibili alla forza, mentre HTT manteneva prestazioni robuste. L'allineamento cross-modale è stato particolarmente efficace per il rilevamento dello scivolamento, migliorando significativamente gli score macro-F1 (ad es., +12,0% su TAC-02) legando indizi di forza e spaziali complementari.

4.2 Task di Manipolazione Robotica

• Esperimenti nel Mondo Reale (Sharpa Hand su Franka Arm):
  • Task: "Toy Screw" (avvitare una vite) e "Grasp Tofu" (sollevare un tofu morbido senza schiacciarlo).
  • Setup: Adattamento zero-shot utilizzando gli embedding HTT da un sensore (encoder 9DTact) non visto durante il pre-addestramento.
  • Risultati: Le politiche che utilizzano gli embedding HTT hanno superato significativamente quelle basate su vettori di forza 6-D grezzi o posizioni articolari da sole.
    • Toy Screw: HTT ha raggiunto il 95% di successo rispetto al 50% delle politiche basate su forza (wrench). Gli autori attribuiscono questo risultato alla capacità di HTT di rappresentare le caratteristiche di contatto spaziale (posizione del contatto e spostamento) necessarie per il regrip ciclico, che i vettori di forza grezzi non possono catturare.
    • Grasp Tofu: HTT ha raggiunto il 55% di successo rispetto al 35% delle politiche basate su forza, riducendo i tassi di scivolamento di un terzo ed eliminando i fallimenti per schiacciamento.
• Task Simulati (ManiFeel): Gli embedding HTT hanno migliorato i tassi di successo nei task di inserimento perno (Peg Insertion) e installazione lampadina (Bulb Installation) rispetto ai baseline, confermando l'utilità degli embedding di contatto indipendenti dal sensore.

5. Significato e Rivendicazioni

Il paper sostiene che il pre-addestramento eterogeneo accoppiato sia una via pratica verso un apprendimento di rappresentazioni tattili generali e indipendenti dal sensore.

• Trasferibilità: HTT apprende rappresentazioni che si adattano a nuovi task e a sensori precedentemente non visti senza richiedere un pre-addestramento specifico per il sensore.
• Apprendimento di Politiche: Il framework fornisce rappresentazioni di contatto più ricche rispetto alle letture di forza grezze, potenziando direttamente le prestazioni delle politiche di manipolazione ricche di contatto.
• Scalabilità: Collegando il divario tra sensori ottici e basati su array, HTT affronta un collo di bottiglia critico nella scalabilità dell'apprendimento tattile, andando oltre i limiti dei dataset a singola modalità.

Gli autori segnalano alcune limitazioni, tra cui l'attuale focus solo sulle famiglie ottiche e array, la mancanza di studi di accoppiamento all'interno della stessa famiglia e l'assenza di un allineamento esplicito dello spazio geometrico tra le patch dei sensori. Il lavoro futuro mira a estendere l'allineamento ad altre modalità di sensing e a raffinare la supervisione cross-modale.