ShuttleArena: Interpretable Self-Play in Physics-Based Badminton
Dit artikel introduceert ShuttleArena, een op fysica gebaseerde self-play omgeving voor badminton die Proximal Policy Optimization gebruikt om interpreteerbare agenten te trainen die in staat zijn tot het coördineren van slagselectie en herstel, waarmee wordt aangetoond dat dergelijke natuurkundierijke domeinen effectieve testomgevingen zijn voor de ontwikkeling van interactieve AI die uitvoering, positionering en tactische anticipatie in evenwicht brengt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van kunstmatige intelligentie zoeken onderzoekers al lang naar manieren om computers te leren hoe ze spelletjes kunnen spelen. Decennialang kwamen de meest beroemde successen voort uit bordspellen zoals schaken en Go, waarbij de regels vaststaan, de stukken op voorspelbare manieren bewegen en de volledige speltoestand voor iedereen zichtbaar is. Recenter hebben wetenschappers hun aandacht gericht op videogames en sportsimulaties, die een laag van fysieke realiteit toevoegen. In deze omgevingen moet een agent niet alleen beslissen welke zet hij maakt, maar ook rekening houden met zwaartekracht, wrijving en de onvoorspelbare reacties van een tegenstander. De uitdaging is dat in sporten een enkele beslissing zelden op zichzelf goed of slecht is; de waarde ervan hangt volledig af van wat er daarna gebeurt. Als een speler een bal slaat, wordt de kwaliteit van die slag bepaald door of de tegenstander de bal kan teruggeven en waar de slager daarna naartoe moet bewegen om klaar te zijn voor de volgende uitwisseling. Dit creëert een complex web van oorzaak en gevolg dat moeilijk voor een computer te ontrafelen is.
Een onderzoeker aan Columbia University heeft dit probleem aangepakt door een digitale badmintonbaan genaamd ShuttleArena te bouwen. Badminton is een bijzonder veelzeggende sport voor dit soort onderzoek omdat het object dat wordt geslagen, de shuttlecock, heel anders beweegt dan een bal. Het is licht en heeft een hoge luchtweerstand, wat betekent dat het snel vertraagt en geen eenvoudige, vloeiende boog volgt. Om te slagen, moet een computer speler een vliegbaan kiezen die fysiek mogelijk is, raden waar de tegenstander het zal proberen te stoppen, en vervolgens direct beslissen waar hij naartoe moet rennen om zich voor te bereiden op de return. De centrale moeilijkheid is dat deze keuzes aan elkaar gekoppeld zijn: de beste plek om naartoe te rennen hangt af van de zojuist gemaakte slag, maar de waarde van die slag hangt af van of de speler de return van de tegenstander kan dekken. De onderzoeker wilde zien of ze een AI konden leren om deze koppeling tussen slaan en bewegen te beheersen, en nog belangrijker, om precies te begrijpen hoe de AI dit leerde.
Om dit op te lossen, creëerde het team een simulatie waarin twee computer spelers een reeks rally's met elkaar spelen. In tegenstelling tot een volledige wedstrijd die misschien twintig minuten duurt met een score van eenentwintig punten, is elke trainingssessie in dit systeem een enkele rally die eindigt wanneer de shuttlecock buiten de lijnen landt of wanneer een speler er niet in slaagt de shuttlecock te retourneren. De computer leert door een proces van trial-and-error, door tegen zichzelf en zijn eigen eerdere versies te spelen. De onderzoeker ontwierp het besluitvormingsproces van de computer als transparant. In plaats van de AI te vragen om één grote, complexe actie te kiezen uit duizenden mogelijkheden, braken ze de beslissing af in kleinere, begrijpelijke stappen. Wanneer het tijd is om de shuttlecock te slaan, kiest de AI eerst de richting, dan de hoogte, dan de snelheid en tot slot waar hij als volgende naartoe moet rennen. Deze structuur stelt de wetenschapper in staat om in de geest van de AI te kijken en precies te zien hoe de AI elke factor weegt.
De resultaten van deze training lieten zien dat de computer leerde badminton te spelen op een manier die nauw overeenkomt met menselijke tactieken. Naarmate de AI meer rally's speelde, ontwikkelde het een duidelijk gevoel voor strategie. Wanneer de tegenstander ver weg was of traag bewoog, leerde de AI om de shuttlecock hard en diep te slaan. Wanneer de tegenstander nabij de achterlijn wachtte, schakelde de AI over naar zachtere, kortere slagen die de tegenstander dwongen om naar voren te rennen. Cruciaal was dat de AI niet alleen leerde om de shuttlecock te slaan; het leerde dat bewegen naar de juiste plek na het slaan even belangrijk is als de slag zelf. De onderzoeker testte dit door het slaalvermogen van de AI te bevriezen en hem te dwingen om elke keer naar het midden van het veld te rennen, ongeacht de situatie. Deze eenvoudige verandering zorgde ervoor dat de prestaties van de AI aanzienlijk daalden, wat bewees dat het vermogen om een slimme herstelpositie te kiezen een essentieel onderdeel is van winnen.
De studie vergeleken het gedrag van de computer ook met dat van echte menselijke spelers met behulp van gegevens uit professionele toernooien. Hoewel de computer de menselijke bewegingen niet perfect kopieerde, vertoonde het herkenbare patronen. Zo had de computer de neiging om de shuttlecock dichter bij de zijlijnen te slaan dan mensen doen, waarschijnlijk omdat het met perfecte precisie kan mikken zonder de fysieke beperkingen van een menselijke arm. Het vermeed ook om de shuttlecock hoog in de lucht te slaan wanneer het dicht bij het net stond, een slimme tactische keuze omdat een dergelijke slag de tegenstander een gemakkelijke kans zou geven om aan te vallen. De rally's gespeeld door de computer waren over het algemeen korter dan die van mensen, een verschil dat de onderzoeker toeschreef aan het gebrek aan menselijke vermoeidheid en de perfecte uitvoering van bewegingen in de simulatie.
Wat dit werk belangrijk maakt, is niet alleen dat de computer leerde spelen, maar dat de onderzoeker precies kon zien hoe het leerde. Door het spel af te breken in specifieke keuzes, konden ze observeren hoe de AI zijn strategie aanpaste op basis van de positie van de tegenstander. Ze ontdekten dat de AI leerde om de beslissing over waarheen te rennen als een tactische zet te behandelen, en niet slechts als een mechanische stap na het slaan van de shuttlecock. Het systeem suggereert dat voor AI om complexe fysieke sporten te beheersen, het in staat moet zijn om de uitvoering van een beweging te coördineren met de positionering die vereist is voor de volgende actie. De onderzoeker concludeert dat dit type natuurkundige omgeving dient als een nuttige testomgeving voor interactieve entertainment-AI, waarbij wordt aangetoond dat computers kunnen leren om actie, positionering en tactische waarde te coördineren op een manier die zowel competitief als begrijpelijk is voor menselijke waarnemers.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.