A robust and compliant robotic assembly control strategy for batch precision assembly task with uncertain fit types and fit amounts

Questo articolo propone una strategia di controllo robusta e conforme, basata sull'apprendimento per rinforzo multi-task e sulla distillazione delle politiche, per gestire l'assemblaggio di precisione in batch di componenti con tipi e quantità di accoppiamento incerti, dimostrando sperimentalmente un'efficienza di addestramento superiore e un tasso di successo più elevato rispetto ai metodi esistenti.

L'essenziale

Immagina di dover montare a mano migliaia di piccoli pezzi meccanici, come le lenti di uno smartphone. Il problema è che nessun pezzo è perfetto: alcuni sono leggermente più grandi, altri più piccoli, e il buco in cui devono entrare può essere un po' stretto o un po' largo. Se provi a inserirli con un robot rigido come un braccio di ferro, rischi di rompere tutto o di bloccarti.

Questo articolo racconta come i ricercatori dell'Università Tsinghua in Cina hanno insegnato a un robot a diventare un artigiano esperto e flessibile, capace di gestire queste imperfezioni senza rompere nulla.

Ecco la storia della loro soluzione, spiegata come se fosse una ricetta culinaria:

1. Il Problema: Il "Gioco" tra i Pezzi

Immagina di dover inserire un perno in un buco.

• A volte il buco è leggermente più grande (c'è spazio, il perno "balla" un po').
• A volte il buco è leggermente più stretto (il perno deve essere spinto con forza, come un tappo in una bottiglia).
• A volte è perfetto.

In una produzione di massa, non puoi misurare ogni singolo pezzo prima di montarlo. Il robot deve essere pronto a tutto. Se il robot è programmato solo per il "buco stretto", fallirà nel "buco largo", e viceversa. È come se un cuoco sapesse cucinare solo la pasta al sugo, ma non sapesse cosa fare se gli chiedessero un risotto.

2. La Soluzione: Dividere per Conquistare (Scomposizione del Compito)

Invece di chiedere al robot di imparare a fare tutto subito (cosa che lo confonderebbe), i ricercatori hanno diviso il lavoro in 4 piccoli compiti separati:

1. Inserire in un buco molto stretto.
2. Inserire in un buco un po' stretto.
3. Inserire in un buco un po' largo.
4. Inserire in un buco molto largo.

Hanno addestrato il robot su questi 4 scenari specifici. È come se avessero assunto 4 diversi "maestri" specializzati: uno per ogni tipo di difficoltà.

3. Gli Strumenti: Gli Occhi e le Mani Sensibili

Per ogni compito, il robot non usa solo la forza bruta. Ha due superpoteri:

• Gli Occhi (Visione): Due telecamere guardano il pezzo mentre entra, correggendo la posizione se è storto.
• Le Mani Sensibili (Forza): Il robot tiene il pezzo con una ventosa morbida (come un aspirapolvere) e ha dei sensori che sentono la pressione. Se sente che il pezzo si blocca, non spinge con rabbia, ma "ascolta" e si adatta.

Il robot impara a combinare questi due sensi per muoversi con delicatezza, proprio come un chirurgo che opera con precisione millimetrica.

4. L'Addestramento: La Scuola di Specializzazione (Apprendimento Multi-Compito)

Invece di far studiare i 4 maestri uno alla volta (che richiederebbe anni), li hanno fatti studiare insieme in una scuola speciale.

• Il robot ha notato che i 4 compiti sono simili: in tutti i casi deve sentire la resistenza e guardare la posizione.
• Imparando tutti insieme, il robot ha scoperto le "regole d'oro" comuni a tutti i compiti. È come se un musicista imparasse a suonare 4 brani diversi nello stesso giorno, notando che le stesse dita si muovono in modo simile in tutti e quattro.
• Questo ha reso l'addestramento 50% più veloce rispetto ai metodi tradizionali.

5. Il Trucco Finale: Il "Professore" che diventa "Studente" (Distillazione)

Alla fine dell'addestramento, il robot aveva 4 strategie diverse (una per ogni compito). Ma nella fabbrica reale, il robot non sa a priori se il pezzo che sta montando è stretto o largo. Deve indovinarlo mentre lavora.

Qui entra in gioco il trucco magico della Distillazione delle Politiche:

• Hanno preso i 4 "maestri" (le 4 strategie addestrate) e li hanno fatti insegnare a un unico "studente" (una nuova intelligenza artificiale).
• Lo studente ha guardato tutti i maestri e ha imparato a sintetizzare la loro saggezza in un'unica mente potente.
• Ora, questo "super-studente" non ha bisogno di sapere in anticipo se il buco è stretto o largo. Basta che senta la resistenza e guardi il pezzo, e il suo "istinto" gli dice esattamente come muoversi.

Il Risultato: Un Robot che non si Sbatte

Quando hanno testato questo sistema nella vita reale con pezzi che avevano difetti sconosciuti (alcuni molto stretti, altri molto larghi, alcuni con bordi rovinati):

• I metodi vecchi fallivano spesso o rompevano i pezzi.
• Il nuovo metodo ha avuto un tasso di successo del 98,5%.
• Ha usato pochissima forza, evitando di graffiare o rompere i pezzi delicati.

In sintesi: Hanno trasformato un robot rigido e stupido in un artigiano flessibile e intelligente, capace di adattarsi a qualsiasi imprevisto, proprio come un bravo meccanico che sa aggiustare qualsiasi auto senza bisogno di un manuale per ogni singolo modello.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del documento in italiano, strutturato secondo le sezioni richieste.

Titolo: Una strategia di controllo di assemblaggio robotico robusta e compliant per compiti di assemblaggio di precisione in batch con tipi e quantità di accoppiamento incerti

1. Il Problema

Il documento affronta una sfida critica nell'automazione industriale, in particolare nel settore 3C (computer, comunicazioni ed elettronica di consumo): l'assemblaggio di precisione in batch di componenti con tolleranze strette.

• Contesto: In molti scenari industriali, i componenti sono progettati con accoppiamenti di transizione. A causa degli errori di lavorazione inevitabili, una singola coppia di perno e foro può presentare un accoppiamento a gioco (clearance) o un accoppiamento forzato (interference) con quantità variabili e incerte, anche all'interno dello stesso lotto di produzione.
• Sfida: I metodi di controllo tradizionali (basati su modelli o apprendimento supervisionato) spesso falliscono perché i parametri del controllore devono essere ridisegnati manualmente ogni volta che cambiano le condizioni di accoppiamento. Le tecniche di Reinforcement Learning (RL) esistenti sono efficaci per un singolo componente specifico ma mancano di robustezza quando le condizioni (tipo e quantità di accoppiamento) variano. Inoltre, l'addestramento diretto con randomizzazione di dominio su parametri continui e sconosciuti è computazionalmente inefficiente e richiede un hardware eccessivo.
• Obiettivo: Sviluppare una strategia di controllo che sia sia robusta (capace di gestire incertezze nei tipi e nelle quantità di accoppiamento) sia compliant (capace di mantenere forze di contatto basse per evitare danni ai pezzi), senza richiedere la misurazione preventiva delle dimensioni dei componenti.

2. Metodologia Proposta

Gli autori propongono un metodo efficiente chiamato FVFC-MTRL-PD, che combina tre fasi principali: decomposizione del compito, apprendimento multi-task e distillazione delle policy.

• A. Decomposizione del Compito (Task Decomposition):
  Invece di tentare di randomizzare direttamente l'intera gamma continua di accoppiamenti, il compito di assemblaggio viene suddiviso in diversi sottocompiti deterministici ($T_1, T_2, ..., T_n$). Ogni sottocompito rappresenta un intervallo specifico di quantità di accoppiamento (es. grande interferenza, piccola interferenza, piccolo gioco, grande gioco). Questo permette di addestrare strategie locali robuste per intervalli noti.

• B. Controllore FVFC guidato da RL (Force-Vision Fusion Controller):
  Per ogni sottocompito, viene utilizzato un agente di Reinforcement Learning (RL) che non controlla direttamente la posizione del robot, ma adatta in tempo reale i parametri di un controllore ibrido forza-visione (FVFC).

  • FVFC: Fonde dati visivi (per correggere errori di allineamento iniziale e deformazioni della ventosa) e dati di forza/coppia (per gestire l'interazione fisica).
  • RL: L'agente RL osserva lo stato (propriocezione, forze, visione) e regola i guadagni del controllore FVFC per massimizzare la conformità e il successo dell'inserimento.

• C. Apprendimento Multi-Task (MTRL):
  Invece di addestrare ogni sottocompito separatamente (inefficiente), viene utilizzato un framework Multi-Task Reinforcement Learning (MTRL) basato sull'algoritmo Soft Actor-Critic (SAC).

  • Le reti neurali (attore e critico) sono condivise tra tutti i sottocompiti, permettendo di catturare rappresentazioni di caratteristiche comuni.
  • Vengono utilizzati codici di task (task encodings) e coefficienti di entropia disaccoppiati per gestire le specificità di ogni compito.
  • Viene applicata la tecnica PCGrad (Projecting Conflicting Gradients) per mitigare i conflitti di gradiente tra i diversi compiti, stabilizzando l'addestramento.

• D. Distillazione della Policy (Policy Distillation):
  Per ottenere una strategia finale robusta e indipendente dal tipo di accoppiamento specifico:

  • Le policy addestrate per i vari sottocompiti fungono da insegnanti (Teacher models).
  • Una nuova rete neurale (studente) viene addestrata tramite apprendimento supervisionato per imitare il comportamento degli insegnanti.
  • Durante la distillazione, i codici di task vengono rimossi dallo stato di input, costringendo la rete studente a inferire implicitamente la quantità di accoppiamento basandosi solo sulla traiettoria di assemblaggio (forza e visione). Questo crea una strategia unificata e robusta.

3. Contributi Chiave

1. Framework Ibrido: Introduzione di un metodo che combina decomposizione del compito, RL guidato da un controllore forza-visione e distillazione di policy per gestire l'incertezza continua negli accoppiamenti.
2. Efficienza nell'Addestramento: Il framework MTRL migliora l'efficienza dell'addestramento di oltre il 50% rispetto all'apprendimento singolo-task, sfruttando le correlazioni tra i diversi tipi di accoppiamento.
3. Robustezza e Conformità: La strategia finale non richiede la conoscenza a priori del tipo di accoppiamento (gioco o interferenza) e mantiene forze di contatto molto basse, prevenendo danni ai componenti di precisione.
4. Validazione Sperimentale: Dimostrazione su un sistema robotico reale (UR10) con componenti esagonali irregolari, coprendo un intervallo di accoppiamento da -0.04 mm (interferenza) a +0.04 mm (gioco).

4. Risultati Sperimentali

Gli esperimenti reali sono stati condotti su componenti esagonali irregolari con tolleranze di ±0.02 mm.

• Confronto: Il metodo proposto (FVFC-MTRL-PD) è stato confrontato con:
  • FBCC: Controllo di forza con parametri costanti.
  • MDRL: RL basato su modello con strategie specifiche per ogni task.
  • FVFC-CP: Controllore forza-visione con parametri costanti.
• Performance:
  • Tasso di Successo: Il metodo proposto ha raggiunto un tasso di successo medio del 98.5% su tutti i sottocompiti, superando significativamente gli altri metodi (il migliore tra i baselines era il 61% per FVFC-CP).
  • Forza di Contatto: Il metodo ha dimostrato la migliore conformità, riducendo le forze massime di contatto (es. forza assiale $F_z$ ridotta a ~1.0 N in interferenza rispetto a ~2.1 N del metodo FBCC) e i momenti.
  • Generalizzazione: Il metodo è stato testato su lotti di produzione con accoppiamenti sconosciuti e variabili (inclusi casi con bordi non smussati e deformazioni). Ha mantenuto tassi di successo superiori al 90%, mentre i metodi basati su task specifici (MDRL) sono falliti completamente (0% di successo) quando applicati a condizioni diverse da quelle di addestramento.
  • Efficienza: L'approccio MTRL ha convergito in circa 50k passi, mentre l'approccio singolo-task (STRL) ha mostrato fluttuazioni e convergenza lenta.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo verso l'automazione industriale di alta precisione.

• Risoluzione del problema dell'incertezza: Dimostra che è possibile costruire strategie di controllo robuste per l'assemblaggio di massa senza la necessità di misurare ogni singolo componente prima dell'assemblaggio, riducendo i costi e i tempi di ciclo.
• Scalabilità: Il framework è generalizzabile; non solo per le variazioni di accoppiamento, ma potenzialmente anche per componenti con forme geometriche diverse, modificando semplicemente lo schema di decomposizione del compito.
• Applicabilità Industriale: L'uso di un controllore ibrido forza-visione combinato con l'apprendimento profondo rende la soluzione adatta a scenari reali complessi, dove la rigidità dei modelli matematici tradizionali fallisce e l'addestramento puro RL è troppo lento o instabile.

In sintesi, il paper propone una soluzione elegante che trasforma un problema di controllo continuo e incerto in un problema di apprendimento multi-task gestibile, producendo un agente robotico capace di adattarsi dinamicamente alle variazioni di produzione tipiche dell'industria manifatturiera moderna.