Finding winning team compositions by jointly modeling player proficiency and team congruency in multiplayer online games

In de chaotische, vluchtige wereld van tijdelijke teams hangt succes vaak af van één enkele, moeilijke keuze. Wanneer een groep vreemden samenkomt voor een kortetermijnproject, een weekendtoernooi of een partijtje sport, worden zij geconfronteerd met een fundamentele spanning. Moet elke persoon de specifieke taak op zich nemen waar hij of zij persoonlijk het beste in is, of moet men de rollen vervullen die de groep het meest nodig heeft om als geheel te functioneren? Deze twee doelen komen niet altijd overeen. Een team kan gevuld zijn met individuen die experts zijn in hun eigen werk, maar toch falen omdat hun vaardigheden te veel overlappen of kritieke gaten laten vallen. Omgekeerd kan een team een perfecte balans van rollen hebben, maar het specifieke expertise missen om deze uit te voeren. Dit dilemma, in onderzoek bekend als de balans tussen individuele bekwaamheid en teamcongruentie, is al lang een onderwerp van studie in de organisatiekunde, maar het is moeilijk te meten of te voorspellen voordat een team aan het werk begint.

Een nieuwe studie gepubliceerd in een wetenschappelijk tijdschrift pakt dit probleem aan door te kijken naar een van de grootste, meest gestructureerde omgevingen waar dagelijks tijdelijke teams worden gevormd: de wereld van competitief online gamen. Onderzoekers richtten zich op League of Legends, een populair spel waarbij twee teams van vijf vreemden bij elkaar worden geplaatst om tegen elkaar te strijden. In deze digitale arena is elke wedstrijd een fris begin. De spelers krijgen specifieke rollen toegewezen, zoals een verdediger, een vechter of een ondersteunend personage, en ze moeten kiezen uit een enorme selectie speelbare personages om die rollen in te vullen. De spelprovider gebruikt een geavanceerd systeem om ervoor te zorgen dat de algemene vaardigheidsniveaus van de twee tegenover elkaar staande teams ongeveer gelijk zijn, wat betekent dat de uitkomst van een wedstrijd zelden wordt bepaald door het feit dat het ene team simpelweg "beter" is dan het andere. In plaats daarvan wordt de winnaar vaak bepaald door hoe goed de vijf individuen aan elke zijde passen bij hun specifieke toewijzingen en hoe goed hun keuzes elkaar aanvullen.

Om te begrijpen wat een winnend team maakt, analyseerden de onderzoekers een enorme dataset met gegevens uit ongeveer 320 miljoen wedstrijden met 26 miljoen unieke deelnemers. Deze schaal stelde hen in staat om de geschiedenis van elke speler te bekijken, waarbij ze bijhielden welke personages de speler had gespeeld, welke rollen hij of zij had vervuld, en of hij of zij in het verleden heeft gewonnen of verloren. Het doel was om een computersysteem te bouwen dat een team kan analyseren vlak voordat een wedstrijd begint — nadat de spelers aan hun rollen zijn toegewezen en hun personages hebben gekozen, maar voordat de wedstrijd daadwerkelijk start — en kan voorspellen welk team zal winnen. De onderzoekers wilden weten of ze een winnende compositie konden identificeren door twee dingen tegelijkertijd te begrijpen: hoe goed een speler bij zijn huidige toewijzing past op basis van zijn of haar eerdere ervaring, en hoe goed de vijf spelers op een team als een eenheid samenwerken.

Het team ontwikkelde een nieuw type kunstmatige intelligentie-framework om dit op te lossen. In plaats van elke speler alleen een enkele, statische score te geven op basis van hun algemene vaardigheid, keek het systeem naar de geschiedenis van elke speler in de context van hun huidige situatie. Het stelde specifieke vragen: Hoe heeft deze speler eerder gepresteerd met dit specifieke personage in deze specifieke rol? Hoe verandert hun eerdere succes met dit personage afhankelijk van de huidige versie van het spel? Het systeem nam vervolgens deze individuele inzichten en combineerde ze om te zien hoe de vijf spelers op een team met elkaar interageren, en hoe zij zich verhouden tot de vijf spelers van het tegenstandersteam. Er werd speciale aandacht besteed aan de directe confrontaties, zoals hoe de verdediger van het ene team zich verhoudt tot de verdediger van het andere team, terwijl er ook rekening werd gehouden met het team als een volledige, onderling verbonden groep.

De resultaten toonden aan dat deze nieuwe aanpak aanzienlijk beter was in het voorspellen van winnaars dan welke eerdere methode dan ook. De onderzoekers vergeleken hun systeem met oudere technieken die simpelweg de vaardigheidsratings van spelers bij elkaar optellen, of methoden die naar de teamcompositie keken zonder de individuele geschiedenis te overwegen. Het nieuwe systeem, dat leerde van de enorme geschiedenis van spelerskeuzes en uitkomsten, bereikte een veel hogere nauwkeurigheid. Het bewees dat het kennen van het algemene vaardigheidsniveau van een speler niet genoeg was; het systeem moest de specifieke match tussen een speler en de huidige rol begrijpen, en hoe die match interactie heeft met de rest van het team.

De studie onthulde ook dat de twee factoren — individuele fit en teambalans — niet zomaar twee aparte ingrediënten waren die in een willekeurige volgorde gemengd konden worden. Ze waren diep met elkaar verbonden. Wanneer de onderzoekers naar de data keken, ontdekten ze dat een team met zeer bekwame spelers die slecht bij hun rollen pasten, vaak verloor van een team met gemiddeld bekwame spelers die perfect in balans waren. Omgekeerd kon een perfect gebalanceerd team falen als de individuele spelers niet over de specifieke ervaring beschikten die nodig was voor hun toegewezen taken. De meest succesvolle voorspellingen kwamen van een systeem dat deze twee factoren als één enkel, verenigd probleem behandelde, door te leren hoe de waarde van de eerdere ervaring van een speler veranderde afhankelijk van het team waarin zij zich bevonden en de tegenstander die zij ontmoetten.

Door de interne werking van hun systeem te analyseren, ontdekden de onderzoekers dat het in staat was patronen te herkennen die mensen mogelijk zouden missen. Zo groepeerde het systeem bijvoorbeeld de duizenden verschillende speelbare personages in groepen op basis van hoe zij functioneren in het spel, ook al werd het nooit verteld wat die functies waren. Het leerde ook hoe het spel in de loop van de tijd veranderde, waarbij het herkende dat een strategie die werkte in een oudere versie van het spel, misschien niet meer werkt in een nieuwere versie. Dit vermogen om zich aan te passen aan veranderende contexten en om individuele geschiedenis af te wegen tegen teamdynamiek, stelde het systeem in staat om de "vorm" van een winnend team te zien nog voordat de eerste zet werd gedaan.

De bevindingen suggereren dat het succes van een tijdelijk team niet simpelweg de som van de delen is. Het is een complexe relatie tussen wie de mensen zijn, wat er van hen gevraagd wordt, en hoe die rollen op dat moment bij elkaar passen. Hoewel de studie werd uitgevoerd in de specifieke context van een videogame, bieden de ontdekte principes een nieuwe manier om naar teamwork in de echte wereld te kijken. Of het nu gaat om een startup, een sportteam of een projectgroep, het onderzoek geeft aan dat effectieve teams niet alleen collecties talentvolle individuen zijn, maar zorgvuldig geconstrueerde configuraties waarbij de specifieke ervaring van elk lid aansluit bij de collectieve behoefte. De studie concludeert dat men, om het potentieel van een team echt te begrijpen, de geschiedenis van de leden niet in isolatie moet bekijken, maar in de specifieke context van het team dat zij hebben gevormd.