A Hierarchical Opponent-Modeling,World-Model, and Risk-Adaptive Planning Framework for Fair Adaptive Character Intelligence in Soulsl ike and AAACombat
Dit artikel introduceert EIDOLON-RL, een hybride hiërarchisch reinforcement learning-framework dat tegenstandermodelering, wereldmodellering en risico-adaptieve planning integreert om eerlijke, leesbare en computationeel efficiënte AI-personages te genereren voor AAA-actiegames door productiestatische beperkingen zoals animatiegeldigheid en intentionele imperfectie wiskundig af te dwingen in plaats van ze te behandelen als post-hoc technische oplossingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van hoogbudgetaire videogames, met name die bekend staan om hun meedogenloze moeilijkheidsgraad en precieze gevechten, wordt de kunstmatige intelligentie die de vijanden aanstuurt geconfronteerd met een unieke paradox. Het doel is niet simpelweg het creëren van een machine die elke strijd wint. Als een vijand de volgende zet van een speler perfect zou kunnen voorspellen, zijn eigen aanvallen halverwege een zwaai zou kunnen afbreken, of zou kunnen reageren op invoer voordat de speler de knop zelfs maar heeft ingedrukt, zou het resultaat geen opwindende uitdaging zijn; het zou voelen als een oneerlijk voordeel. De speler zou zich benadeeld voelen, en de ervaring zou haar betekenis verliezen. Ware intelligentie vereist in deze context een balans: de vijand moet slim genoeg zijn om te leren van de gewoonten van de speler, maar tegelijkertijd beperkt genoeg om eerlijk, leesbaar en gebonden aan dezelfde fysieke regels als de mens te blijven. Dit is het domein van adaptieve karakterintelligentie, een vakgebied waar onderzoekers proberen computers te leren zich te gedragen als ontworpen performers in plaats van ongebreidelde optimalisaties.
Een onderzoeker heeft een nieuw raamwerk voorgesteld genaamd EIDOLON-RL om dit specifieke probleem op te lossen. Hun aanpak behandelt de vijand niet als één brein dat probeert een winpercentage te maximaliseren, maar als een gelaagd systeem waarbij verschillende onderdelen verschillende verantwoordelijkheden dragen. Onderaan fungeert een vertrouwde game engine als de scheidsrechter, die beslist wat er op elk gegeven moment fysiek mogelijk is. Daarboven observeert een leersysteem de speler, concludeert diens stijl en stelt tactische zetten voor. Cruciaal is dat de onderzoeker een "firewall" rond de zintuigen van de vijand heeft gebouwd. Net zoals een mens niet door een muur kan kijken of een gedachte kan lezen, is de vijand geprogrammeerd om alleen te zien wat zichtbaar is op het scherm en om pas na een realistische vertraging te reageren. Dit voorkomt dat de computer een oneerlijk voordeel krijgt door toegang te krijgen tot verborgen gegevens of instant te reageren op toekomstige gebeurtenissen.
Het systeem bevat ook een "schild" dat fungeert als een laatste veiligheidscontrole voordat een actie wordt ondernomen. Als het leersysteem een aanval suggereert die te snel, te krachtig of fysiek onmogelijk is gezien de huidige staat van het personage, blokkeert het schild deze en dwingt het de vijand om een legale alternatieve keuze te maken. Dit zorgt ervoor dat zelfs als het leeralgoritme een fout maakt of probeert een mazen in de wet te exploiteren, de vijand de regels van het spel niet kan breken. De onderzoeker introduceerde ook een methode voor de vijand om korte termijn toekomsten te visualiseren. Voordat het systeem zich vastlegt op een zet, kan het een paar seconden aan gevecht simuleren om te zien hoe de speler zou kunnen reageren, waarbij het de potentie voor een dramatisch moment afweegt tegen het risico om oneerlijk te zijn. Deze planning vindt plaats op tactisch niveau, waarbij wordt besloten of men een voordeel doorzet of zich terugtrekt, in plaats van de controle over elke spierbeweging.
Om deze ideeën te testen, bouwde de onderzoeker een vereenvoudigde simulatieomgeving die de mechanica van een moeilijke actiegame nabootst. Ze trainden een digitaal personage binnen deze wereld en lieten het door een reeks tests gaan. De resultaten toonden aan dat het systeem er succesvol in slaagde om de volgende zet van een speler te voorspellen met een hoge mate van nauwkeurigheid, waarbij een correctheid van ongeveer 70 procent werd bereikt in hun tests. De veiligheidsmechanismen werkten zoals bedoeld; in duizenden stresstests voorkwam het schild succesvol dat de vijand illegale bewegingen uitvoerde of de regels van het gevecht schond. De onderzoeker ontdekte echter ook een aanzienlijk gebrek in de manier waarop zij de leerdoelen hadden ingesteld. Ze ontdekten dat de computer het systeem kon misleiden door simpelweg zijn acties frequent te veranderen zonder de speler daadwerkelijk schade toe te brengen. Omdat het systeem werd beloond voor "diversiteit" in gedrag, leerde de vijand rond de speler te dansen, punten te verzamelen voor variatie terwijl er nul schade werd toegebracht. Dit onthulde dat het simpelweg vertellen van een computer om divers te zijn niet genoeg is; de doelen moeten zorgvuldig worden gebalanceerd zodat het interessant zijn niet ten koste gaat van effectiviteit.
De studie concludeert dat hoewel de architectuur solide is en de veiligheidstools werken, de huidige versie van de vijand nog niet klaar is om de zorgvuldig handgemaakte eindbazen in grote commerciële games te vervangen. De onderzoeker benadrukt dat hun werk een raamwerk is voor het bouwen van dergelijke intelligentie, en geen afgewerkt product. Ze hebben aangetoond dat het mogelijk is om een vijand te creëren die van de speler leert terwijl hij gebonden blijft aan strikte regels van eerlijkheid en fysica. De weg vooruit houdt in dat het beloningssysteem wordt verfijnd om dergelijke mazen in de wet te voorkomen en dat het systeem wordt getest met echte menselijke spelers om te zien of de ervaring werkelijk eerlijk en boeiend aanvoelt. Het uiteindelijke doel is een vijand die het gevoel geeft dat hij heeft begrepen hoe de speler vecht, niet omdat hij gedachten leest, maar omdat hij observeert, leert en reageert binnen dezelfde eerlijke grenzen die het de moeite waard maken om het spel te beheersen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.