🤖 machine learning

Learning to build covering structures with continuous adjustments

Dit artikel presenteert HSAC, een reinforcement learning-framework dat robots in staat stelt om adaptief complexe structuren te construeren door sequenties in realtime te genereren zonder vooraf gedefinieerde plannen, gebruikmakend van graph neural networks en een uitgebreid Soft Actor-Critic-algoritme om hybride discrete-continue actieruimtes te verwerken en succesvol te transfereren van simulatie naar fysieke hardware.

Oorspronkelijke auteurs: Gabriel Vallat, Maryam Kamgarpour, Stefana Parascho

Gepubliceerd 2026-09-09

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gabriel Vallat, Maryam Kamgarpour, Stefana Parascho

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin robots complexe structuren kunnen bouwen, niet door een rigide, vooraf getekende blauwdruk te volgen, maar door zich door het proces heen te voelen en zich aan te passen aan elke kleine wiebel en imperfectie terwijl ze bezig zijn. Dit is de belofte van robotische constructie, een vakgebied dat ernaar streeft om materialen efficiënter te gebruiken en vormen te creëren die te moeilijk zijn voor menselijke handen of traditionele machines. Echter, een grote hindernis heeft altijd in de weg gestaan: de echte wereld is rommelig. Hoe nauwkeurig een plan ook is, fysieke materialen hebben lichte variaties en machines maken kleine fouten. Bij traditionele constructie kan het zijn dat als een blok zelfs maar een fractie van een millimeter verkeerd is geplaatst, het hele plan moet worden weggegooid en opnieuw moet worden gestart, of erger nog, de structuur kan instorten. Huidige methoden hebben moeite om zich aan te passen aan deze onvermijdelijke fouten omdat ze vertrouwen op vaste instructies die niet kunnen omgaan met de onvoorspelbare aard van de fysieke realiteit.

Een team van onderzoekers heeft een nieuwe manier ontwikkeld waarop robots kunnen leren bouwen, een manier die het idee van een meesterplan volledig loslaat. In plaats van een script te volgen, leren hun robots bouwen door middel van trial-and-error (vallen en opstaan), gebruikmakend van een type kunstmatige intelligentie die bekend staat als reinforcement learning (versterkend leren). In deze aanpak werkt de robot als een student die leert door te doen: de robot probeert een blok te plaatsen, ziet wat er gebeurt, en als de structuur stabiel blijft, krijgt hij een beloning; als de structie wiebelt of valt, leert hij van de fout. De onderzoekers richtten zich op een specifieke uitdaging: het bouwen van een boog met twee robots die samenwerken. De ene robot plaatst de blokken, terwijl de andere het vrije uiteinde vasthoudt om de structuur rechtop te houden. Deze opstelling is delicaat; de structuur bevindt zich altijd op de rand van instabiliteit, wat constante, subtiele aanpassingen vereist om rechtop te blijven staan.

De kern van hun ontdekking is een nieuw algoritme dat de robot in staat stelt om twee soorten beslissingen tegelijk te nemen: kiezen welk type blok te gebruiken en beslissen precies waar het geplaatst moet worden. Dit is een moeilijk probleem omdat de keuze van het blok en de plaatsingspositie diep met elkaar verbonden zijn; de beste plek voor het ene type blok kan verschrikkelijk zijn voor een ander type. Eerdere methoden probeerden dit op te lossen door het probleem te vereenvoudigen of vast te houden aan rigide plannen, maar de onderzoekers ontdekten dat deze benaderingen vaak vastliepen in lokale oplossingen, niet in staat om de beste manier van bouwen te vinden. Hun nieuwe methode, die ze een hybrid soft actor-critic algoritme noemen, behandelt het bouwproces als een voortdurende conversatie tussen de robot en de structuur. Het stelt de robot in staat om verschillende mogelijkheden te verkennen, waarbij hij niet alleen leert wat werkt, maar ook hoe hij kan herstellen wanneer dingen iets misgaan.

Om dit werkend te krijgen, representeerden de onderzoekers de structuur niet als een lijst met coördinaten, maar als een netwerk van verbindingen, vergelijkbaar met hoe een kaart laat zien hoe steden met elkaar verbonden zijn via wegen. Dit graaf-gebaseerde perspectief helpt de robot om de vorm van het gebouw te begrijpen, ongeacht hoe het in de ruimte wordt gedraaid of verschoven. Een belangrijke innovatie in hun systeem was een specifieke manier om deze informatie te organiseren, zodat de beslissingen van de robot over welk blok hij zou kiezen, niet in de war zouden raken door zijn beslissingen over waar hij het zou plaatsen. Door de informatie zorgvuldig te structureren, kon de robot een enorm aantal mogelijkheden verkennen zonder overweldigd te raken, waardoor hij uiteindelijk een pad vond naar een stabiele boog die andere methoden misten.

Het team testte hun systeem eerst in een gesimuleerde omgeving, waar ze duizenden proeven snel konden uitvoeren. Ze vergeleken hun nieuwe algoritme met een bestaande methode en ontdekten dat hun aanpak aanzienlijk beter was in het leren. Terwijl de oudere methode vaak bleef hangen in een lus van suboptimale oplossingen en nooit de perfecte boog bereikte, vond hun nieuwe systeem consequent betere manieren om te bouwen. Het was ook robuust, wat betekent dat het goed werkte, zelfs wanneer de onderzoekers de instellingen veranderden of de taak moeilijker maakten door meer soorten blokken toe te voegen. Het systeem kon tot wel tien verschillende bloktypen aan zonder zijn vermogen om te leren te verliezen, wat aantoont dat het kan opschalen naar complexere taken.

Om te bewijzen dat dit leren vertaalbaar is naar de echte wereld, bouwden de onderzoekers een fysieke opstelling met twee industriële robots en een set 3D-geprinte plastic blokken. Ze plaatsten een camera boven de werkruimte om de positie van elk blok te volgen terwijl het werd geplaatst. De robot gebruikte de gegevens van de camera om zijn begrip van de structuur bij te werken en besliste waar het volgende blok geplaatst moest worden op basis van wat hij had geleerd in de simulatie. Het resultaat was een succesvol gebouwde boog in real-time, waarbij de robots hun acties aanpasten naarmate de structuur groeide. Wanneer ze dit adaptieve bouwproces uit de echte wereld vergeleken met een traditionele methode waarbij het volledige plan vooraf werd berekend, presteerde de adaptieve aanpak veel beter. De door de lerende robot gebouwde structuur bleef trouw aan de beoogde vorm, terwijl de vooraf geplande versie uit koers raakte door kleine, onvermijdelijke fouten.

Dit werk demonstreert dat robots complexe structuren kunnen bouwen door zich in real-time aan te passen aan de fysieke wereld, in plaats van te proberen de wereld in een perfect plan te dwingen. Door de robot te laten leren van zijn eigen fouten en successen, hebben de onderzoekers een pad aangewezen naar constructie die veerkrachtiger, efficiënter en in staat is om om te gaan met de rommelige realiteit van de fysieke wereld. Het succes van hun fysieke experiment suggereert dat deze aanpak uiteindelijk gebruikt kan worden om met een grote verscheidenheid aan materialen te bouwen, van plastic tot steen, waardoor structuren ontstaan die zowel mooi als sterk zijn, gebouwd door machines die de subtiele kunst van balans begrijpen.

Technische Samenvatting: Leren voor het Bouwen van Overdekkende Structuren met Continue Aanpassingen

Probleemstelling
Robotische constructie biedt potentieel voor materiaalefficiëntie en de creatie van complexe geometrieën, maar wordt momenteel beperkt door rigide, hoogprecisie voorafgaande planning. Fysieke fabricage brengt inherent toleranties, onnauwkeurigheden en onverwachte veranderingen met zich mee die leiden tot mismatches met geïdealiseerde plannen, wat potentieel kan leiden tot catastrofale mislukkingen of kostbare revisies. Bestaande plan-vrije methoden vertrouwen vaak op sterke vereenvoudigingen, zoals het discretiseren van de ruimte of het beperken van de reikwijdte tot 2D-structuren, of ze worstelen met de computationele kosten van natuurkundige stabiliteitscontroles in complexe omgevingen. Bovendien hebben huidige reinforcement learning (RL) benaderingen moeite met de specifieke uitdaging van gemengde actieruimtes die vereist zijn in robotische constructie, waarbij een agent simultaan een discreet bloktype moet selecteren en continue plaatsingsparameters moet bepalen. Deze beslissingen zijn gekoppeld, en suboptimale keuzes kunnen leiden tot onherstelbare structurele instorting.

Methodologie
De auteurs stellen een model-vrij reinforcement learning framework voor dat constructie behandelt als een gecontroleerd dynamisch systeem, waarbij constructiesequenties adaptief bij elke tijdstap worden gegenereerd in plaats van een vooraf gedefinieerd plan te volgen.

Toestandsrepresentatie: De structuur wordt gemodelleerd als een gelabelde heterogene graaf ( $G_s$ ). Knopen vertegenwoordigen de huidige blokken ( $N_b$ ), mogelijke bloktypen om toe te voegen ( $N_a$ ), en het doelgebied ( $N_o$ ). Randen verbinden deze knopen. Cruciaal is dat de methode een referentiekader aan elk blok koppelt en de randen labelt met relatieve posities in plaats van een globaal coördinatensysteem te gebruiken. Dit ontwerp zorgt ervoor dat de toestandsrepresentatie invariant is voor rotatie, translatie en permutatie, waardoor de agent efficiënter kan leren.
Actieruimte: De actieruimte is hybride. De agent selecteert eerst een discreet bloktype ( $a \in \{1, \dots, N\}$ ) en bepaalt vervolgens een continue plaatsingsparameter ( $u \in \mathbb{R}^4$ ). De continue parameters definiëren een 2D-translatie en een hoek (vertegenwoordigd door sinus en cosinus) om het nieuwe blok ten opzichte van het vorige te oriënteren.
Algoritme (HSAC): De auteurs introduceren Hybrid Soft Actor-Critic (HSAC), een uitbreiding van het Soft Actor-Critic (SAC) algoritme naar gemengde actieruimtes.
- Beleid-decompositie: Het beleid wordt gefactoriseerd in een discrete component ( $\pi^d_\phi(a|s)$ ) en een continue component ( $\pi^c_\phi(u|a,s)$ ). Het algoritme optimaliseert deze afzonderlijk met afzonderlijke entropiecoëfficiënten ( $\alpha_d$ en $\alpha_c$ ) om te voorkomen dat het discrete beleid vervalt in deterministisch gedrag, een veelvoorkomende foutmodus in gemengde actie-instellingen.
- Graph Neural Networks (GNNs): De toestand wordt verwerkt met behulp van GNN's (specifiek Transformer convolutionele netwerken) om kenmerken te extraheren.
- Unidirectionele randen voor de Q-functie: Een belangrijke technische innovatie is het gebruik van unidirectionele randen in de inputgraaf die de staat-knopen verbinden met de actie-knopen. Deze structurele inductieve bias dwingt onafhankelijkheid af tussen de Q-waarden van verschillende discrete acties voor dezelfde continue parameters, wat de over-parametrisatieproblemen oplost die worden gevonden bij standaard uitbreidingen van Deep Q-Networks (DQN) naar gemengde ruimtes.
Simulatieomgeving: De omgeving gebruikt Rigid Block Analysis (RBA) voor stabiliteitscontroles. De transitiefunctie simuleert het plaatsen van een blok, het vrijgeven van ondersteuning en het controleren op instorting. Beloningen zijn evenredig aan het bedekte oppervlak, met een terminale beloning voor het succesvol overspannen van het doelgebied.

Belangrijkste Bijdragen

HSAC Algoritme: Het eerste sample-efficiënte leeralgoritme voor gemengde continue-discrete actieruimtes in de context van kostbare natuurkundige simulaties. Het breidt SAC uit door de beleidskosten te splitsen en afzonderlijke entropiecoëfficiënten te gebruiken.
Graaf-gebaseerde Inductieve Bias: De introductie van een graafgestructureerde toestandsrepresentatie met relatieve referentiekaders en unidirectionele randen naar de actieruimte. Dit zorgt voor invariantie voor geometrische transformaties en dwingt structureel de Q-waarde onafhankelijkheid af, wat cruciaend is voor stabiel leren.
Validatie in de Werkelijkheid: Succesvolle implementatie op een fysieke twee-robot opstelling (ABB GoFa armen) met 3D-geprinte blokken, wat aantoont dat beleidsregels getraind in simulatie overdragen naar echte hardware in een closed-loop executie.

Resultaten

Prestaties vs. Baselines: HSAC vertoont een significant hogere asymptotische prestatie vergeleken met de voorheen state-of-the-art hybrid-PPO (HPPO). Hoewel de stappen van HSAC langer duren om te berekenen, convergeert het algoritme naar betere beleidsregels en vermijdt het vastlopen in lokale minima waar HPPO faalt.
Robuustheid en Schaalbaarheid: Het algoritme toont robuustheid tegen hyperparameterkeuzes en schaalt effectief naar grotere actieruimtes, waarbij het tot 10 discrete bloktypen afhandelt zonder prestatieverlies. Het past zich ook aan uiteenlopende omgevingsdynamica aan, zoals veranderingen in wrijvingscoëfficiënten.
Adaptiviteit: In perturbatie-experimenten compenseerde het beleid succesvol voor gedwongen afwijkingen in de plaatsing van blokken tijdens de constructie, wat resulteerde in structuren die bijna identiek zijn aan de onverstoorde baseline.
Fysieke Executie: In de fysieke prototype bouwde het closed-loop HSAC systeem succesvol een boog. Vergeleken met een open-loop (vooraf geplande) baseline, behield het closed-loop systeem een betere uitlijning met het doelvlak, wat de bekwaamheid bevestigt om met werkelijke onnauwkeurigheden om te gaan.

Betekenis
Het artikel beweert dat dit werk een belangrijke stap is naar plan-vrije robotische constructie. Door af te stappen van rigide voorafgaande planning en gebruik te maken van adaptieve, model-vrije RL, kan de methode de inherente onzekerheden van fysieke fabricage opvangen. De combinatie van graafgestructureerde toestanden, architecturen met unidirectionele randen voor gemengde actie Q-functies, en het HSAC-algoritme biedt een generaliseerbaar framework voor robotica-problemen die discrete en continue beslissingen koppelen. De succesvolle transfer van simulatie naar een fysiek twee-robot systeem valideert de praktische levensvatbaarheid van deze aanpak voor het bouwen van complexe, stabiele structuren zoals bogen met droog verbonden blokken.

Technische Samenvatting: Leren voor het Bouwen van Overdekkende Structuren met Continue Aanpassingen

Meer zoals dit