💻 computer science

FORGE-plus: Force-Budgeted Recovery for Contact-Rich Assembly with a Frozen LLM Supervisor

FORGE-plus introduce un framework a due livelli che sfrutta un LLM congelato per assegnare i limiti di forza e selezionare le manovre di recupero basandosi su firme testuali, consentendo a un controllore di basso livello di ottenere un assemblaggio ricco di contatti, robusto e privo di rotture, con tolleranze strette e recupero dagli scivolamenti senza mai controllare direttamente la forza o superare i limiti di sicurezza.

Autori originali: Kyupaeck Jeff Rah, Midum Oh

Pubblicato 2026-07-24

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Kyupaeck Jeff Rah, Midum Oh

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui i robot sono come bambini piccoli e goffi che cercano di costruire con una scatola di LEGO, ma questi LEGO sono fatti di vetro e le istruzioni sono scritte in una lingua che il robot non parla. Questa è la sfida dell'assemblaggio ricco di contatti (contact-rich assembly): insegnare a una macchina a spingere, far scorrere e incastrare delicatamente i pezzi senza romperli. In passato, i robot imparavano questo processo attraverso tentativi ed errori, spesso frantumando i pezzi finché non capivano la forza giusta. Ma cosa succede se i pezzi sono troppo fragili per essere frantumati?

Per risolvere questo problema, gli scienziati utilizzano un mix di Reinforcement Learning (RL) — dove un robot impara ricevendo punti per il successo e penalità per gli errori — e i Large Language Models (LLM), lo stesso tipo di IA che può scrivere storie o rispondere a domande. La grande domanda è stata: come diciamo al robot quanto forte deve spingere, e cosa dovrebbe fare se si blocca? Se un robot incastra una vite, l'istinto naturale è "spingere più forte". Ma se stai tenendo in mano una fragile bottiglia di vetro, spingere più forte è il modo più rapido per trasformarla in un mucchio di cocci. Questo articolo esplora un nuovo modo per insegnare ai robot a essere delicati, intelligenti e sicuri, utilizzando una simulazione in cui i "pezzi" possono rompersi se la forza diventa troppo elevata.

Il Robot con un cartello "Non Toccare!"

Incontra FORGE-plus, un nuovo sistema progettato per aiutare i robot ad assemblare oggetti delicati, come inserire una bottiglia di vetro in un portabottiglie o far scorrere un minuscolo ingranaggio su un albero con pochissimo spazio di manovra. I ricercatori hanno costruito un "cervello a due strati" per il robot, che funziona un po' come un capo severo e un meccanico rapido di pensiero.

Il Capo (L'LLM Congelato):
Prima ancora che il robot tocchi l'oggetto, un'IA "congelata" (un lettore di testi intelligente che non impara né cambia durante il compito) esamina il nome e la descrizione dell'oggetto. È come un capo che legge un'etichetta che dice "Vetro Fragile" o "Ingranaggio in Acciaio". In base a questo testo, il capo stabilisce un tetto massimo di forza (force ceiling). Pensatelo come un segnale di limite di velocità per la forza. Se l'oggetto è una bottiglia fragile, il capo dice: "Puoi spingere con una forza massima di 8,8 Newton". Se è un robusto ingranaggio d'acciaio, il limite è più alto. Fondamentalmente, il robot non può chiedere al capo di cambiare questo limite in seguito, anche se si blocca.

Il Meccanico (Il Ciclo di Controllo Rapido):
La mano del robot si muove a una velocità fulminante, guidata da un ciclo informatico rapido. Questo ciclo ha un "clamp" (un blocco) rigido che agisce come una valvola di sicurezza. Non importa cosa pensi il cervello del robot, il clamp ferma fisicamente il robot dall'emettere una forza superiore al limite stabilito dal capo. Se il robot prova a spingere con 10 Newton, il clamp lo riduce istantaneamente al limite consentito. Ciò assicura che, anche se il robot commette un errore, non possa rompere l'oggetto spingendo troppo forte.

Cosa succede quando le cose vanno male?

Nel mondo reale, le cose si incastrano. Forse la bottiglia colpisce il bordo del supporto, o l'ingranaggio si inclina all'interno della pinza. In passato, i robot avrebbero potuto provare la strategia "premi più forte" per forzare il passaggio. I ricercatori hanno testato questa strategia "premi più forte" e il risultato è stato un disastro. Su un tipo di pinza, non faceva altro che sprecare tempo; su un'altra, ha frantumato il 96% dei pezzi fragili.

FORGE-plus adotta un approccio diverso. Quando il robot si blocca, non chiede al capo di alzare il limite. Invezione, osserva una firma di forza (force signature). Immaginate che il robot stia ascoltando il "suono" del contatto attraverso i suoi sensori. Una bottiglia incastrata suona diversamente da un ingranaggio bloccato. Il robot invia questo "suono" (che è solo una breve descrizione testuale delle forze) al capo. Il capo seleziona quindi una mossa di recupero da un menu fisso, come "oscillare", "ruotare" o "lasciare andare e riprovare".

Il segreto è che il robot non aumenta mai il limite di forza. Prova semplicemente movimenti diversi entro il limite di sicurezza. Se la bottiglia è incuneata, il robot potrebbe ruotarla leggermente per trovare un varco, invece di spingerla verso il basso.

I Risultati: Una storia di successo nella simulazione

I ricercatori hanno testato questo sistema in una simulazione computerizzata molto realistica (usando Isaac Lab) con due diverse mani robotiche: una pinza Robotiq e una mano Franka Panda. Hanno utilizzato due compiti principali:

La Bottiglia: Inserire una fragile bottiglia di vetro in un supporto.
L'Ingranaggio: Far scorrere un ingranaggio su un albero con un gap minuscolo di 0,4 mm (più sottile di un capello umano).

Le Buone Notizie:
Il sistema ha funzionato incredibilmente bene nella simulazione. Un singolo "cervello" robotico (checkpoint) è riuscito ad assemblare con successo sia gli ingranaggi fragili che quelli robusti 256 volte su 256 senza romperne nemmeno uno. Ha anche imparato perfettamente quando lasciare andare l'oggetto, con zero rilasci errati. Anche quando il robot scivolava e afferrava l'ingranaggio con un angolo errato, il sistema usava la firma di forza per capire: "Ehi, lo sto tenendo storto", e decideva di rimetterlo sul tavolo e riprenderlo. Questa strategia di "ri-presa" (re-grasp) ha salvato la situazione, recuperando dal 40% al 64% degli inceppamenti a seconda della mano del robot.

Le Cattive Notizie (e le Lezioni Importanti):
Il documento è famoso anche per ciò che non ha funzionato. I ricercatori hanno provato a usare un metodo di apprendimento standard chiamato PPO (che di solito aiuta i robot a imparare esplorando mosse casuali). Hanno scoperto che a un intervallo così piccolo di 0,4 mm, le mosse di "esplorazione" casuali del robot erano così grandi che rompevano i pezzi fragili prima ancora che il robot potesse imparare come incastrarli. È come cercare di infilare un ago attraverso un filo lanciando l'ago contro il filo; non ci riuscirai mai e romperai l'ago.

Hanno anche scoperto che se si cerca di insegnare al robot a essere "perfettamente ottimale" lasciandolo spingere proprio fino al punto di rottura, esso fallisce più spesso. Poiché i movimenti del robot hanno un piccolo "overshoot" (spinge un briciolo troppo forte prima di fermarsi), un limite impostato esattamente al punto di rottura causa comunque la rottura dei pezzi. Il limite "sicuro" impostato dal capo (basato sull'identità dell'oggetto) era in realtà migliore del limite "perfetto" calcolato tramite un codice trucco.

Perché questo è importante

Questo articolo non sostiene di aver costruito un robot capace di fare tutto questo in una vera fabbrica; si tratta interamente di una simulazione. Ma dimostra un'idea potente: La sicurezza non deriva dal fatto che il robot sia abbastanza intelligente da sapere quando fermarsi; deriva da un limite rigido che il robot non può superare.

Separando il "pensiero" (il capo che imposta il limite) dal "fare" (il clamp veloce che impone il limite), il sistema assicura che il robot possa provare a risolvere i problemi senza mai diventare distruttivo. Dimostra che per i compiti fragili, la strategia migliore non è spingere più forte, ma essere più intelligenti su come si spinge, e avere una regola ferrea che dice: "Qualunque cosa accada, non puoi spingere con questa forza".

In definitiva, FORGE-plus suggerisce che il futuro del lavoro robotico delicato non consiste nel costruire un'IA più forte e intelligente capace di indovinare la forza giusta, ma nel costruire sistemi che siano costretti a essere gentili, utilizzando un "budget di forza" che il robot rispetta a prescindere.

Riepilogo Tecnico: FORGE-plus

Definizione del Problema

Le abilità di Reinforcement Learning (RL) condizionate dalla forza hanno dimostrato successo nei compiti di assemblaggio ricchi di contatto rispettando un tetto massimo di forza comandata ( $F_{max}$ ). Tuttavia, rimangono due lacune critiche nel dispiegamento di queste abilità per oggetti fragili:

Chi imposta il tetto? Gli attuali metodi spesso ottimizzano automaticamente $F_{max}$ per massimizzare i tassi di successo. Questo approccio fallisce quando un singolo sistema deve gestire sia componenti robusti (es. acciaio) che fragili (es. nylon o vetro), poiché un tetto sufficiente per i primi distruggerebbe i secondi.
Cosa fare in caso di fallimento? Quando un inserimento fallisce, la strategia di recupero intuitiva — "premere più forte" — è precisamente l'azione che distrugge i componenti fragili. I mevcut ragionatori di fallimento basati sulla visione (es. REFLECT, DoReMi) operano a livello di task e spesso perdono le sottili distinzioni tra le modalità di fallimento (es. incastro/wedging vs. filettatura incrociata) che sono evidenti solo nelle tracce di forza, non nei pixel visivi.

Metodologia: Architettura FORGE-plus

FORGE-plus introduce un sistema a due livelli progettato per imporre la sicurezza senza fare affidamento sull'LLM per l'autorità di controllo in tempo reale. Il sistema opera interamente in simulazione (Isaac Lab) con dinamica dei corpi rigidi e rottura modellata.

1. Il Sistema a Due Livelli

Livello Lento (Supervisore LLM Congelato):
- Definitore del Budget: Prima di un episodio, un LLM testuale congelato legge l'identità dell'oggetto (nome, materiale, tag geometrici) e restituisce un tetto di forza per oggetto ( $F_{max}$ ). Non vede immagini o dati di rottura specifici dell'istanza.
- Selettore di Recupero: Al rilevamento di un fallimento, l'LLM legge una "firma di forza" testuale compatta (derivata dalla cronologia di forza/coppia, durata del contatto ed eventi di scivolamento) e seleziona una manovra di recupero da un menu fisso (es. ritirata_e_riapproccio, oscillazione_di_ricerca, rotazione_allineamento, ripresa_presa, abort).
- Vincolo: Il menu esclude esplicitamente qualsiasi opzione per "aumentare il tetto". L'output dell'LLM viene sovrascritto lato server per garantire che $F_{max}$ rimanga immutabile durante il recupero.
Livello Veloce (Abilità RL Condizionata alla Forza):
- Una policy MLP condizionata alla forza (addestrata tramite Behavior Cloning e DAgger) esegue l'inserimento.
- Clamp Rigido: Un clamp di sicurezza nel ciclo di controllo veloce (60–120 Hz) satura tutte le forze comandate al valore $F_{max}$ impostato dall'LLM. Ciò assicura che l'LLM non abbia mai l'autorità diretta sulla forza fisica applicata.
- Testa di Rilascio: Una testa lineare appresa (che bypassa il tronco principale della policy) decide quando rilasciare l'oggetto basandosi sulle osservazioni grezze.

2. Design della Valutazione (Non-Circolarità)

La valutazione è progettata per prevenire il ragionamento circolare riguardo alla fragilità:

Rottura Nascosta: La forza di rottura ( $F_{break}$ ) è campionata per episodio da una distribuzione e non è mai osservata dalla policy, dall'LLM o dall'encoder della firma. È visibile solo all'evaluator.
Invarianti di Sicurezza: $F_{max}$ è fisso durante il recupero, e l'autorità di forza risiede strettamente nel ciclo di controllo veloce.

Contributi Chiave

1. Architettura e Benchmark

Il paper presenta un'architettura unificata per l'assemblaggio con budget di forza sotto fragilità per oggetto. Introduce una metrica di rottura non circolare e un benchmark che coinvolge due compiti distinti:

Posizionamento Bottiglia Fragile: Inserire una bottiglia di vino in un supporto (classe fragile simulata con $F_{break} \approx 22$ N).
Inserimento Ingranaggio a Tolleranza Stretta: Inserire un ingranaggio con un gioco diametrale di 0,4 mm (ingranaggio ABS fragile simulato con $F_{break} \approx 38 \pm 5$ N).
Embodiment: Gli esperimenti girano su due gripper: Robotiq 2F-140 e Franka Panda hand.

2. Risultati del Ciclo Completo

Un singolo checkpoint unificato (una "weight soup" di policy addestrate sia su classi fragili che robuste) ha ottenuto:

Cancelli Puliti: 256/256 inserimenti puliti riusciti con zero rotture su entrambe le classi di ingranaggi (fragile e robusto) usando il Robotiq 2F-140.
Rilascio: 256/256 rilasci appresi riusciti con zero "cattivi rilasci" (prematuri o falliti).
Flusso Fisico: Un flusso fisico completo di prelievo dal tavolo (senza teletrasporto o pinning cinematico) ha completato 64/64 episodi con una forza di inserimento di picco media di 5,4 N.

3. Efficacia del Recupero vs Baselines

Sotto disturbi iniettati (incastri sul bordo e scivolamenti nell'impugnatura di 5 mm):

Recupero tramite Firma di Forza: Il sistema proposto ha recuperato il 40% dei blocchi (Robotiq) e il 64% dei blocchi (Franka) indirizzando specifiche firme di forza verso la corretta primitiva di recupero (es. ripresa_presa per impugnature inclinate).
Baseline "Press-Harder": Questa baseline (modellata sul comportamento pubblicato di Tactile-VLA) ha mostrato due distinti modi di fallimento:
- Robotiq 2F-140: 100% futile (timeout), poiché il foro inclinato non ingaggiava mai il carico, rendendo inutile l'escalation della forza.
- Franka Panda: 96% distruttivo, rompendo parti fragili aumentando la forza.
Proxy Vision-LLM: Un proxy di campionamento del menu per ragionatori basati solo sulla visione ha ottenuto tassi di successo inferiori (28% e 32%) perché non era in grado di distinguere la firma di forza di un'impugnatura inclinata da altri fallimenti.

4. Risultati Negativi come Scoperte

Il paper riporta rigorosamente ciò che non funziona:

Fallimento PPO: L'addestramento on-policy PPO fallisce a 0,4 mm di clearance sul Robotiq 2F-140; il rumore di esplorazione necessario per trovare il funnel è intrinsecamente distruttivo per le parti fragili.
Tiny-Std Polish: Il fine-tuning di una policy di Behavior Cloning (BC) funzionante con PPO (bassa deviazione standard) distrugge la policy entro 20 iterazioni a causa dell'amplificazione del gradiente.
Oracle Budget: Anche un "oracle" impostando $F_{max} = F_{break} - \epsilon$ fallisce (50% di rotture) perché l'overshoot del controller supera il budget. Ciò dimostra che un budget sicuro deve tenere conto della distribuzione dell'overshoot del controller, non solo della soglia di rottura.
Design della Testa di Rilascio: Tre design naturali per una testa di rilascio appresa sono falliti; solo una testa lineare con skip di input (che bypassa il tronco) ha avuto successo.

Significato e Rivendicazioni

Il paper sostiene che FORGE-plus fornisce una soluzione strutturale ai problemi del "chi imposta il tetto" e del "cosa fare in caso di fallimento" nell'assemblaggio ricco di contatto:

Budget Derivati dall'Identità: Un budget conservativo derivato dall'identità dell'oggetto supera un budget "oracle" perché tiene conto dell'overshoot del controllo, garantendo la sicurezza senza dover conoscere la specifica soglia di rottura dell'istanza.
Recupero Fondato sulla Forza: Le strategie di recupero devono essere fondate sulle firme di forza, non sulla visione. La firma di forza è l'unico segnale capace di distinguere la necessità di una "ripresa presa" (impugnatura inclinata) da altri fallimenti, superando la selezione basata sulla visione di un fattore di ~2.
Il Fallimento di "Press Harder": Il recupero naturale dell'aumento della forza è dimostrato essere o futile o distruttivo a seconda del gripper e del modo di fallimento, mai la soluzione corretta per l'assemblaggio fragile.
Separazione della Sicurezza: La sicurezza è garantita dal clamp rigido nel ciclo veloce, non dall'LLM. L'LLM agisce solo come selettore semantico per le primitive di movimento, mai come autorità di forza.

Gli autori sottolineano che questi risultati sono esclusivamente in simulazione con fisica a corpo rigido e rottura modellata. Non viene rivendicata alcuna traslazione sim-to-real, sebbene la base del controllo di forza in stile FORGE sia nota per avere precedenti successi di trasferimento. Il lavoro serve come benchmark rigoroso e come insieme di evidenze negative per guidare la ricerca futura nella manipolazione fragile.