🤖 machine learning

Learning to Throw Objects Safely in Multi-Obstacle Environments

Dit artikel introduceert een potentiaalveld-toestandsrepresentatie gecombineerd met reinforcement learning om robots in staat te stellen betrouwbaar objecten in doelmandjes te werpen terwijl ze willekeurige obstakels in rommelige omgevingen vermijden, waarbij tot 90% succes wordt bereikt in real-world experimenten.

Oorspronkelijke auteurs: Mohammadreza Kasaei, Klemen Voncina, Hamidreza Kasaei

Gepubliceerd 2026-07-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohammadreza Kasaei, Klemen Voncina, Hamidreza Kasaei

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een robotarm voor die probeert een bal in een mandje te gooien. Stel je nu voor dat de kamer vol staat met willekeurige meubels, dozen en andere voorwerpen die overal verspreid liggen. Als de robot gewoon gokt waar hij moet gooien, kan hij een stoel raken, van een muur afstuiteren of de basket volledig missen. Dit is het probleem dat het artikel oplost: een robot leren om dingen veilig en nauwkeurig door een rommelige kamer te gooien.

Hier is een uitsplitsing van hoe ze het aanpakten, met behulp van eenvoudige analogieën:

1. Het Probleem: Werpen in een mijnenveld

De meeste robots zijn erg goed in het voorzichtig oppakken en neerzetten van voorwerpen. Maar gooien is sneller en kan plekken bereiken waar een robotarm fysiek niet naartoe kan reiken. De crux? In een rommelige kamer kan een rechte lijn naar de basket geblokkeerd worden door een muur of een doos. De robot moet uitzoeken: "Kan ik dit gooien? Zo ja, welke boog moet ik volgen om de troep te vermijden?"

2. De Oplossing: Een "Magnetische Kaart" (Potentiële Velden)

De onderzoekers realiseerden zich dat het de robot vertellen waar elk afzonderlijk obstakel zich precies bevindt (zoals coördinaten opgeven voor 5 verschillende dozen) te ingewikkeld is. Als er een zesde doos wordt toegevoegd, moet het brein van de robot vanaf nul worden getraind.

In plaats daarvan gaven ze de robot een magnetische kaart, wat zij een "Potentieel Veld" noemen.

De Basket is een Magneet: Stel je voor dat de basket een enorme magneet is die het object naar zich toe trekt (een positieve kracht).
De Obstakels zijn Afstoters: Stel je voor dat elk obstakel een magneet is die het object wegduwt (een negatieve kracht).
Het Raster: De robot bekijkt de kamer als een platte, rasterachtige kaart (zoals een schaakbord). Op deze kaart versmelt de "trekkracht" van de basket met de "afstotingskracht" van de obstakels.

Dit is vergelijkbaar met het geven van een weerkaart aan de robot, waarbij de basket een lagedrukgebied is (dat lucht naar binnen zuigt) en de obstakels hogedrukgebieden zijn (die lucht naar buiten duwen). De robot hoeft alleen maar de vloeiende "wind" van deze kaart te volgen om een veilig pad te vinden, ongeacht hoeveel obstakels er in de kamer staan. Dit stelt één enkel "brein" in staat om een kamer met 1 obstakel of 100 obstakels te hanteren zonder opnieuw getraind te hoeven worden.

3. De Training: "Hand vasthouden" vóór "Vrije worpen"

Je zou een peuter niet bij de eerste poging een bal door een mijnenveld laten gooien; ze zouden gewond raken of iets kapot maken. De onderzoekers gebruikten een techniek genaamd Kinesthetisch Onderricht.

De Analogie: Een mens grijpt fysiek de arm van de robot vast en begeleidt deze door een veilige werpbeweging.
Het Resultaat: Dit geeft de robot een "veilig kern" (safe kernel)—een basis, vooraf goedgekeurde werpbeweging die niet tegen iets aan zal botsen. De robot kopieert de mens niet alleen; het leert die veilige beweging aan te passen (door de hoek of de loslaat-tijd te veranderen) op basis van de magnetische kaart om het doel te raken. Dit voorkomt dat de robot gevaarlijke, willekeurige gokken doet terwijl hij aan het leren is.

4. Het Leertraject: Trial and Error met een Coach

De robot oefent in een computersimulatie (een virtuele kamer) met een methode genaamd Reinforcement Learning.

De Coach: De computer fungeert als een coach. Als de robot de bal in de basket gooit, krijgt hij een "high five" (een beloning). Als hij een obstakel raakt of mist, krijgt hij een "lach naar beneden" (een straf).
De Algoritmen: Ze testten drie verschillende "coachingstijlen" (algoritmen genaamd SAC, DDPG en TD3). Ze ontdekten dat SAC de beste coach was, omdat het de robot hielp om het snelst en meest consistent te leren.

5. De Resultaten: Van Virtueel naar Echt

In de Simulatie: De robot leerde objecten te gooien (zoals melkpakken, bananen en zelfs sneakers) in mandjes, terwijl hij tot 5 willekeurige obstakels ontweek. De "Magnetische Kaart"-aanpak werkte beter dan de oude methode van het opsommen van obstakelcoördinaten, vooral wanneer het aantal obstakels veranderde.
**In de Wereld: ** Ze namen de getrainde robot mee naar de echte wereld. Hoewel de echte wereld rommeliger is (camera's zijn niet perfect en de hand van de robot kan een kleine vertraging hebben), slaagde de robot ongeveer 90% van de tijd bij het gooien van onbekende objecten (zoals een sneaker) in een mandje, zelfs met obstakels in de weg.

Samenvatting

Het artikel laat zien dat door een robot een "magnetische kaart" van de kamer te geven (waar het doel trekt en obstakels duwen) en hem door middel van handmatige instructie een veilige startworp te leren, de robot objecten door rommelige omgevingen kan gooien. Het is een manier om robots sneller en efficiënter te maken in magazijnen of sorteercentra, zonder dat ze constant tegen dingen aanbotsen.

Technische Samenvatting: Leren werpen van objecten op een veilige manier in omgevingen met meerdere obstakels

Probleemstelling
Robotisch werpen biedt een mechanisme om de doorvoer te verhogen en de effectieve werkruimte van geautomatiseerde systemen uit te breiden door snelle plaatsing van objecten mogelijk te maken voorbij de directe reikwijdte. Bestaande benaderingen, zoals TossingBot, gaan echter grotendeels uit van obstakelvrije omgevingen. In praktische, ongestructureerde settings (bijv. magazijnen of sorteercentra) worden directe werpp trajecten vaak geblokkeerd door obstakels zoals muren, bakken of andere voorwerpen. De kernuitdaging die in dit artikel wordt behandeld, is het formuleren van robotisch werpen als een Safe Reinforcement Learning (RL) probleem: de robot moet leren om de succesratio van het werpen van een object in een doelmandje te maximaliseren, terwijl hij strikt botsingen met willekeurig geplaatste obstakels vermijdt.

Methodologie
De auteurs formuleren de taak als een Markov-beslissingsproces (MDP) met continue toestands- en actieruimtes, waarbij off-policy RL-algoritmen (SAC, DDPG en TD3) worden toegepast. De methodologie is gebouwd op drie primaire pijlers:

Veilige Initialisatie via Kinesthetisch Onderricht:
Om onveilige willekeurige exploratie in rommelige scènes tijdens de vroege trainingsfase te voorkomen, wordt de werpbeweging geïnitialiseerd met behulp van kinesthetisch onderricht. Een menselijke demonstrator begeleidt de robotarm fysiek om een veilige, fysiek haalbare "werpkern" te definiëren. Het RL-beleid imiteert deze demonstratie niet direct, maar leert de parameters van de kern te moduleren (begin- en eindwaarden van de schoudergewrichten, loslaat-tijd en werpduratie) om zich aan te passen aan variërende objecten en obstakelconfiguraties.
Toestandsrepresentaties:
Het artikel vergelijkt twee verschillende methoden voor het coderen van omgevingsinformatie:
- Explicit Pose Representation (EPR): Obstakels worden gecodeerd door hun middelpuntposities en relatieve afstanden toe te voegen aan de toestandsvector. Hoewel dit zorgt voor snelle convergentie, groeit de dimensionaliteit van de toestand lineair met het aantal obstakels, wat een apart beleid vereist voor elke specifieke configuratie.
- Potential Field Representation (PFR): Deze innovatieve aanpak codeert de mand (attractie) en de obstakels (repulsie) op een rooster van vaste grootte ( $15 \times 15$ ) dat de werkruimte beslaat. Elke cel slaat een continue potentiaalwaarde op. Deze representatie wordt verwerkt door een Convolutional Neural Network (CNN) encoder om ruimtelijke kenmerken te extraheren, die vervolgens worden samengevoegd met proprioceptieve gegevens. Cruciaal is dat PFR een input met een vaste dimensionaliteit biedt, ongeacht het aantal obstakels, waardoor één enkel beleid kan generaliseren over willekeurige aantallen en configuraties van obstakels.
Beloningsfunctie:
De beloningsstructuur straft botsingen af (stelt de beloning op 0 als een obstakel wordt verplaatst) en beloont succesvolle landingen (beloning van 1). Voor worpen die niet botsen maar de mand missen, wordt een samengestelde beloningsfunctie gebruikt: een term gebaseerd op de afstand tot het doel (om nabijheid te stimuleren) en een strafterm die alleen wordt geactiveerd als het object verder van het doel eindigt dan waar het begon, om willekeurige directionele worpen te ontmoedigen.

Belangrijkste Bijdragen

Probleemformulering: De auteurs formuleren robotisch werpen in aanwezigheid van obstakels als een veilige RL-uitdaging, waarbij gebruik wordt gemaakt van kinesthetisch onderricht om het leerproces te versnellen en veiligheid te garanderen tijdens de vroege exploratie.
Schaalbare Toestandsrepresentatie: De introductie van de Potential Field Representation (PFR) maakt het mogelijk voor een enkel beleid om te generaliseren over willekeurige aantallen en configuraties van obstakels, waarmee de schaalbaarheidsbeperkingen van expliciete pose-encodings worden overwonnen.
Empirische Validatie: Uitgebreide experimenten in simulatie en op een echte UR5e-robot laten zien dat PFR-gebaseerde beleidsregels een hoge succesratio en robuuste sim-to-real transfer bereiken, zelfs met onbekende werpbare objecten.

Resultaten

Algoritmeprestaties: Onder de geteste algoritmen (SAC, TD3, DDPG) vertoonde Soft Actor-Critic (SAC) de meest consistente prestaties.
PFR versus EPR: In simulatie presteerde PFR consequent beter dan EPR in rommelige scenario's. Bijvoorbeeld, met drie obstakels behaalde SAC met PFR een nauwkeurigheid van 90% op een "Coke Can" vergeleken met 76% met EPR. PFR behield succespercentages boven de 90% met tot wel drie obstakels, terwijl de prestaties van EPR aanzienlijk afnamen naarmate de rommel toenam.
Rasterresolutie: Een ablatie-studie naar de rasterresolutie toonde aan dat een $15 \times 15$ rooster de optimale balans bood tussen trainingsefficiëntie en ruimtelijke getrouwheid, waarbij het grove ( $10 \times 10$ ) en fijnere ( $30 \times 30$ ) rasters overtrof in termen van generalisatie en computationele kosten.
Real-Robot Transfer: Beleidsregels die in simulatie zijn getraind, werden zero-shot ingezet op een echte robot. Met gebruik van de PFR-aanpak met SAC bereikte het systeem een succespercentage van 90% in rommelige scènes met een grotere doelmand en een succespercentage van 70% met een standaardformaat mand, gebruikmakend van een onbekend object (een sneaker). Dit bevestigde de robuustheid van de sim-to-real transfer.

Betekenis en Claims
Het artikel beweert dat de Potential Field Representation een praktische en robuuste oplossing biedt voor veilig robotisch werpen in ongestructureerde omgevingen. Door een balans te vinden tussen nauwkeurigheid, schaalbaarheid en overdraagbaarheid, stelt het voorgestelde framework robots in staat om werpstrategieën te leren die generaliseren naar willekeurige obstakelconfiguraties zonder dat hiervoor telkens opnieuw getraind hoeft te worden. De auteurs stellen dat deze aanpak robotisch werpen dichter bij echte implementatie brengt in logistiek, productie en dienstverlening.

Het artikel erkent beperkingen en merkt op dat fouten in real-world experimenten voornamelijk werden toegeschreven aan onnauwkeurige schatting van de objectpose, vertragingen in de uitvoering van grijpercommando's en een instabiele selectie van de grijppositie. De algehele resultaten tonen echter aan dat het combineren van potentiaalvelden met reinforcement learning effectief de uitdaging van veilige, efficiënte objectplaatsing in rommelige omgevingen aanpakt.