DraftFM: A FoundationModel for Day-Zero Drafting in Magic: The Gathering
DraftFM is een foundation model dat day-zero drafting in Magic: The Gathering mogelijk maakt door ongeziene kaarten te scoren met enkel hun publieke attributen en draft-context, waarbij het een expertniveau bereikt zonder afhankelijk te zijn van historische pick-data of kaartidentiteiten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van competitieve kaartspellen ontstaat er een unieke uitdaging op het moment dat een nieuwe set kaarten wordt onthuld, maar voordat iemand er daadwerkelijk mee heeft gespeeld. Stel je een groep spelers voor die samenkomen om decks te bouwen uit een verse doos met honderden nieuwe kaarten. Ze moeten één voor één beslissen welke kaarten ze houden en welke ze doorgeven aan de volgende speler, terwijl ze niets weten over hoe die kaarten in werkelijke spellen zullen presteren. Dit is het "dag nul"-probleem. Decennialang hebben computerprogramma's die spelers moeten helpen bij deze keuzes, gewacht. Ze vertrouwen op het leren van eerdere spellen, maar wanneer er een nieuwe set arriveert, is er nog geen data van eerdere spellen om van te leren. De data bestaat simpelweg nog niet. Dit laat spelers volledig vertrouwen op menselijke intuïtie en deskundige meningen, wat weliswaar waardevol is, maar subjectief en van persoon tot persoon verschillend. De vraag voor onderzoekers is lang geweest of een computer de algemene regels van goede kaartselectie goed genoeg zou kunnen leren om slimme gissingen te doen over een compleet nieuwe set, zonder ooit een enkele kaart uit die set gezien te hebben.
Een onderzoeker genaamd Brian Ward heeft dit probleem aangepakt met een nieuw systeem genaamd DraftFM. In plaats van te proberen specifieke kaarten te onthouden of te wachten tot er data is geaccumuleerd, werd dit systeem getraind op bijna 150 miljoen keuzes gemaakt door menselijke spelers uit 29 verschillende kaartsets over meerdere jaren. De cruciale innovatie is hoe de computer de kaarten ziet. In plaats van elke kaart als een unieke naam te behandelen die onthouden moet worden, breekt het systeem elke kaart af in een lijst van zijn fysieke en geschreven kenmerken: de kleur, de kosten, het type en de tekst van de regels. Het gebruikt ook een vast, vooraf getraind begrip van taal om de beschrijving van de kaart te lezen. Door te leren van duizenden verschillende sets, leerde het systeem patronen te herkennen in wat een kaart waardevol maakt op basis van deze kenmerken alleen. Het kent de naam van een kaart niet en weet niet bij welke set de kaart hoort; het kent alleen de kenmerken die het kan zien. Dit stelt het systeem in staat om naar een gloednieuwe kaart te kijken die het nog nooit eerder is tegengekomen, en deze een score te geven op basis van dezelfde logica die het gebruikte voor kaarten die het jaren geleden bestudeerde.
Om te testen of deze aanpak daadwerkelijk werkt, hield de onderzoeker drie volledige kaartsets achter voor de trainingsdata. Deze sets waren volledig onbekend voor het model. Toen het systeem werd gevraagd om te voorspellen wat menselijke spelers zouden kiezen uit deze nieuwe sets, presteerde het met verrassende nauwkeurigheid. Bij de eerste pick van een draft, waarbij een speler tientallen opties heeft en de kans om correct te raden door louter geluk slechts ongeveer 7 procent is, kwam het model in ongeveer 51 tot 60 procent van de gevallen overeen met de menselijke keuzes. Dit is een significante vooruitgang, aangezien eerdere computermodellen deze taak niet eens konden proberen totdat de sets wekenlang gespeeld waren. Het systeem identificeerde ook correct dat menselijke spelers de meest consistente zijn aan het begin van een draft, wanneer ze de meeste vrijheid hebben om te kiezen, en dat hun keuzes voorspelbaarder worden naarmate de pool van beschikbare kaarten krimpt.
De echte test voor dit systeem kwam met de release van een nieuwe set gebaseerd op The Hobbit. Nog voordat de set beschikbaar was voor spelen op het digitale platform waar de meeste mensen drafts doen, gebruikte de onderzoeker DraftFM om een volledige rangschikking van elke kaart in de set te genereren. Deze rangschikking werd verzegeld en gepubliceerd met een digitale tijdstempel ongeveer 36 uur voordat de set live ging, wat garandeerde dat de voorspellingen werden gedaan zonder enige kennis van hoe de kaarten daadwerkelijk zouden presteren. De onderzoeker vergeleken vervolgens de door de computer gegenereerde rangschikkingen met de pre-release recensies van zes onafhankelijke menselijke experts die bekend staan in de kaartengemeenschap. De resultaten lieten zien dat de rangschikkingen van de computer ongeveer evenzeer overeenkwamen met de menselijke experts als de experts met elkaar overeenkwamen. Hoewel de computer de mensen niet overtrof, slaagde het erin om hun niveau van consensus te bereiken zonder ook maar één spel te hebben gespeeld of één draftlogboek te hebben gezien.
Dit werk demonstreert dat een computer de onderliggende logica van een complex spel goed genoeg kan leren om geïnformeerde voorspellingen te doen over geheel nieuwe inhoud. Het bewijst dat het vermogen om te generaliseren van eerdere ervaringen naar toekomstige onbekenden mogelijk is, zelfs in een domein zo ingewikkeld als kaartdrafting. Het systeem is niet perfect; het is uniform overmoedig in zijn voorspellingen, en het heeft nog steeds moeite om de nuance van menselijke experts te evenaren wanneer de keuzes moeilijk zijn. Desalniettemin vestigt het een nieuwe baseline voor wat mogelijk is op dag nul. Door kaarten te behandelen als collecties van kenmerken in plaats van onthouden namen, overbrugt het model de kloof tussen leren van de geschiedenis en navigeren door het onbekende. De onderzoeker heeft toegezegd een vervolgstudie te publiceren zodra de werkelijke draftdata voor de nieuwe set beschikbaar is, wat zal onthullen of de voorspellingen van het model standhouden tegen de realiteit van hoe de kaarten daadwerkelijk spelen. Tot die tijd staat het werk als een demonstratie dat machines het spel van voorspelling kunnen leren leren, zelfs wanneer de regels voor de eerste keer worden geschreven.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.