A robust and compliant robotic assembly control strategy for batch precision assembly task with uncertain fit types and fit amounts

Dit artikel presenteert een robuuste en compliant besturingsstrategie voor batch-precisieassemblage met onzekere passingstypen en -hoeveelheden, waarbij een op krachten-visie fusion gebaseerde multi-task reinforcement learning-methode (FVFC-MTRL) en policy distillation worden ingezet om de trainingsefficiëntie en het slagingspercentage te maximaliseren.

De kern

Stel je voor dat je een enorme doos met honderden kleine, zeshoekige onderdelen hebt. Je taak is om een 'peg' (een staafje) in een 'hole' (een gat) te steken. Dit klinkt simpel, maar er zit een groot probleem in: door kleine onnauwkeurigheden bij het maken van de onderdelen, past het staafje niet altijd even goed.

Soms is het gat net iets te groot (een beetje ruimte), soms is het gat net iets te klein (het staafje zit er strak in), en soms is het precies goed. Voor een mens is dit geen probleem; je voelt met je handen of je moet duwen of draaien. Maar voor een robotarm is dit een nachtmerrie. Als de robot te hard duwt terwijl het gat te klein is, breekt het onderdeel. Duwt hij te zacht terwijl het gat te groot is, valt het ding eruit.

Deze paper beschrijft een slimme manier om robots te leren hoe ze dit probleem oplossen, zonder dat we voor elke mogelijke situatie een nieuwe handleiding hoeven te schrijven.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het probleem: De "Onzekere Passvorm"

In de echte wereld (zoals bij het maken van mobiele telefoons) willen we niet meten of elk onderdeel perfect past voordat we beginnen. Dat kost te veel tijd. Dus we hopen dat het wel lukt. Maar omdat de onderdelen variëren, weet de robot niet of hij moet "zachtjes duwen" (bij een strakke pasvorm) of "een beetje wiebelen" (bij een ruime pasvorm).

2. De oplossing: De "Meester-Student" methode

De auteurs van dit paper hebben een drie-stappenplan bedacht, vergelijkbaar met het trainen van een sportteam:

Stap 1: Deel het probleem op (De Trainers)
In plaats van de robot te laten worstelen met alle mogelijke situaties tegelijk, maken ze het probleem kleiner. Ze verdelen de taak in vier specifieke scenario's:

• Scenario A: Het zit heel strak (interferentie).
• Scenario B: Het zit een beetje strak.
• Scenario C: Het zit een beetje los.
• Scenario D: Het zit heel los.

Voor elk van deze vier scenario's laten ze de robot (via een slim algoritme genaamd Versterkend Leren) oefenen tot hij de perfecte techniek heeft. Het is alsof je vier verschillende trainers hebt die elk één specifieke vaardigheid perfectioneren.

Stap 2: De "Kracht en Zicht" Combinatie (De Sensoren)
Tijdens het oefenen gebruiken de robots twee zintuigen:

1. Kracht: Een sensor die voelt hoe hard ze duwen.
2. Zicht: Camera's die kijken hoe het staafje in het gat zit.

De robot leert niet alleen om te duwen, maar combineert dit met wat hij ziet. Als hij ziet dat het scheef zit, draait hij een beetje. Als hij voelt dat het vastloopt, duwt hij iets anders. Dit is de "Force-Vision Fusion" (Kracht-Zicht Fusie).

Stap 3: De "Meester-Student" (De Samenvoeging)
Nu hebben ze vier gespecialiseerde robots (de "Meesters"). Maar in de fabriek willen we één robot die alles kan, zonder dat we hem hoeven te vertellen welk type onderdeel hij nu vasthoudt.

Dus laten ze een nieuwe robot (de "Student") kijken naar de vier Meesters. De Student leert niet door zelf te oefenen, maar door te kijken naar de beslissingen van de Meesters. Hij probeert hun kennis in één brein te stoppen.

• Als de Meester voor "strak" zegt: "Duw zachtjes en draai", en de Meester voor "los" zegt: "Duw stevig en zoek de rand", dan leert de Student het middenpad.

Het resultaat is een Super-Robot die niet weet of het gat strak of los is, maar die instinctief de juiste reactie heeft, omdat hij de ervaring van alle vier de situaties in zich heeft.

3. Waarom is dit zo goed?

• Snelheid: Door de taak op te delen en dan samen te voegen, leert de robot veel sneller dan als hij alles tegelijk probeerde. Het is als het leren van vier aparte vaardigheden en die dan combineren, in plaats van proberen om alles in één keer te raden.
• Robuustheid: De robot faalt niet als hij een onbekend onderdeel tegenkomt. Omdat hij de "essentie" van alle situaties heeft geleerd, kan hij zich aanpassen aan nieuwe, onbekende maten.
• Zachtjes: De robot leert om niet te hard te duwen. Dit is cruciaal om dure onderdelen niet te breken.

Conclusie

Kortom, deze paper presenteert een slimme manier om robots te trainen voor precisiemontage. In plaats van een robot te programmeren met duizenden regels voor elke mogelijke situatie, laten we hem eerst vier specifieke situaties perfect beheersen en laten we hem die kennis vervolgens samenvoegen tot één universeel, slimme strategie.

Het is alsof je een chef-kok niet leert één recept, maar hem laat oefenen met vier verschillende sauzen, en hem vervolgens laat leren hoe hij die sauzen combineert tot een perfecte maaltijd, ongeacht welke ingrediënten er precies in de koelkast liggen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel in het Nederlands:

Titel: Een robuuste en compliant robotische assemblagecontrolestrategie voor batch-precisieassemblage taken met onzekere pasvormtypes en pasvormhoeveelheden

1. Het Probleem

In de hoge-precisie industriële productie (bijv. 3C-producten zoals smartphones) worden robots ingezet voor het monteren van onderdelen met zeer kleine toleranties (tot 0,01 mm). Vaak worden onderdelen ontworpen met een overgangspasvorm (transition fit). Door onvermijdelijke productiefouten kunnen individuele paren van 'pen' (peg) en 'gat' (hole) binnen dezelfde batch variëren van een speling (clearance fit) tot een drukkingspasvorm (interference fit), met onbekende exacte afmetingen.

De uitdagingen zijn:

• Onzekerheid: De robot moet assemblage uitvoeren zonder vooraf te meten of het specifieke paar een speling of druk heeft.
• Robuustheid: Bestaande modelgebaseerde methoden vereisen handmatige herkalibratie bij wijzigingen in de pasvorm. Reinforcement Learning (RL) methoden zijn vaak alleen effectief voor specifieke trainingsdata en falen bij variaties.
• Compliance: Bij drukkingpasvormen moet de robot voldoende 'gevoelig' zijn om schade aan de onderdelen te voorkomen door te hoge krachten, terwijl bij speling de uitlijning snel moet gebeuren.

2. Methodologie

De auteurs stellen een efficiënt raamwerk voor om een robuuste controlestrategie te bouwen, bestaande uit drie fasen: taakdecompositie, multi-task reinforcement learning (MTRL), en policy distillation.

A. Taakdecompositie
In plaats van te proberen direct te leren van een continu variërend bereik van pasvormen (wat hardware-inefficiënt is), wordt de totale assemblage-taak opgesplitst in meerdere deterministische subtaken.

• Het bereik van mogelijke pasvormen (van grote drukking tot grote speling) wordt onderverdeeld in sub-intervallen.
• Voor elk interval wordt een specifieke set onderdelen geselecteerd die een vaste, maar verschillende pasvorm heeft (bijv. T1: grote drukking, T2: kleine drukking, T3: kleine speling, T4: grote speling).

B. Force-Vision Fusion Controller-driven RL (FVFC-MTRL)
Voor elke subtaak wordt een RL-agent getraind, maar niet om directe bewegingen te genereren. In plaats daarvan reguleert de RL-agent de parameters van een vooraf ontworpen Force-Vision Fusion Controller (FVFC).

• FVFC: Combineert krachtsensoren (6-DOF krachten/momenten) en visuele feedback (van twee camera's) om de positie en oriëntatie van de pen ten opzichte van het gat te corrigeren. Dit compenseert voor vervorming van de zuignap en initiële uitlijningsfouten.
• MTRL (Multi-Task Reinforcement Learning): Alle subtaken worden gelijktijdig getraind in plaats van één voor één. Een gedeeld actor-critic netwerk (gebaseerd op Soft Actor-Critic met LSTM voor tijdsafhankelijkheid) leert gedeelde representaties tussen de taken. Dit verhoogt de trainingsefficiëntie met meer dan 50% en verbetert de stabiliteit.
• Gradient Conflict Mitigation: De PCGrad (Projecting Conflicting Gradients) methode wordt gebruikt om conflicterende gradiënten tussen de verschillende taken op te lossen.

C. Policy Distillation (PD)
Om een enkele, universele strategie te krijgen die onafhankelijk is van de specifieke subtaak-encoding:

• De getrainde modellen van de subtaken fungeren als leraren (teachers).
• Een nieuw studenten-netwerk wordt getraind via supervised learning (Kullback-Leibler divergentie) om de acties van de leraren na te bootsen.
• Het studenten-netwerk krijgt geen taak-encoding als input, maar moet de pasvorm en de benodigde actie afleiden puur op basis van de sensordata (kracht en visie) en de assemblagegeschiedenis. Dit resulteert in een robuuste "student" die kan generaliseren naar onbekende pasvormen binnen het bereik.

3. Belangrijkste Resultaten

De methode (genaamd FVFC-MTRL-PD) is getest in reële experimenten met een UR10 robot en zeshoekige onderdelen met onzekere pasvormen (-0,04 mm tot +0,04 mm).

• Succesratio: De voorgestelde methode bereikte een succesratio van 98,5% over alle subtaken en batch-testen, vergeleken met 42-61% voor bestaande methoden (zoals FBCC en MDRL).
• Krachtcompliance: De maximale contactkrachten en -momenten waren aanzienlijk lager dan bij andere methoden. Bijvoorbeeld, bij een drukkingpasvorm was de axiale kracht (Fz) bij de voorgestelde methode ongeveer 1,0 N, terwijl andere methoden waarden rond 2,0 N tot 2,1 N lieten zien.
• Trainingsefficiëntie: Het MTRL-framework verhoogde de sample-efficiëntie met meer dan 50% ten opzichte van single-task RL.
• Generalisatie: De methode slaagde zelfs in uitdagende scenario's met niet-gechamferde gaten en vervormde onderdelen (waar andere methoden faalden met 0% succes), en werkte goed bij pasvormen die buiten het trainingsbereik lagen (bijv. 5,18 N interferentiekracht).

4. Bijdragen

1. Nieuw Raamwerk: Een innovatieve aanpak voor batch-precisieassemblage die onzekerheid in pasvormtypes en -hoeveelheden aanpakt via taakdecompositie en integratie.
2. FVFC-driven RL: Een hybride controlestructuur die RL gebruikt om de parameters van een kracht-vision fusion controller dynamisch aan te passen, wat leidt tot superieure compliantie.
3. Efficiënte MTRL: Het gebruik van multi-task learning om gedeelde kennis tussen verschillende pasvormscenario's te benutten, wat de trainingstijd verkort.
4. Robuuste Generalisatie via Distillation: Het succesvol integreren van meerdere gespecialiseerde strategieën in één robuust model dat werkt zonder kennis van de specifieke pasvorm van het onderdeel.

5. Betekenis en Toekomst

Dit onderzoek is van groot belang voor de automatisering van de 3C-industrie, waar hoge precisie en variatie in onderdelen de norm zijn. De methode maakt het mogelijk om robots in te zetten voor complexe assemblage zonder kostbare handmatige kalibratie voor elke nieuwe batch.

De auteurs merken op dat de methode ook uitbreidbaar is naar onderdelen met verschillende vormen (geometrie), niet alleen variaties in afmetingen. Toekomstig werk richt zich op het verbeteren van simulaties voor nauwkeurige overdracht van leerresultaten van simulatie naar de echte wereld (Sim-to-Real), met name voor drukkingpasvormen.