💻 computer science

A distilled value head breaks search, but search remains an effective teacher, not a move selector: a case study in 19x19 Go

Deze studie toont aan dat hoewel het distilleren van een value head uit een sterke Go AI kan resulteren in een gekalibreerde maar niet-discriminerende evaluator die de MCTS-zoekprestaties doorbreekt, het zoekproces zelf een zeer effectieve leraar blijft, aangezien het trainen van de policy om MCTS-bezoekaantallen na te bootsen significante krachtwinst oplevert, ondanks het feit dat de zoekopdracht faalt in het selecteren van betere zetten tijdens de inferentie.

Oorspronkelijke auteurs: Taiki Kojima

Gepubliceerd 2026-08-11

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Taiki Kojima

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar koppige student leert om een complex strategisch spel te spelen, zoals Schaken of Go. Je hebt een superintelligente leraar (laten we hem "De Oracle" noemen) die naar het bord kan kijken en je precies kan vertellen wie er wint. Normaal gesproken, wanneer je een student onderwijst, laat je hem oefenen door tegen de leraar te spelen, of je laat hem een paar zetten vooruit denken om te zien wat er gebeurt. In de wereld van kunstmatige intelligentie wordt dit "vooruitdenken" Monte Carlo Tree Search (MCTS) genoemd. Het is als een simulator die duizenden kleine, denkbeeldige spelletjes in een fractie van een seconde draait om de beste zet uit te vogelen.

Het grote idee in moderne AI is dat als je een slim "brein" (een neuraal netwerk) combineert met deze "simulator" (MCTS), het resultaat onverslaanbaar zou moeten zijn. Het brein raadt de zet, en de simulator controleert het dubbel. Maar wat als de simulator het brein juist slechter maakt? Wat als het hulpmiddel dat bedoeld is om je te helpen, je eigenlijk in verwarring brengt? Dit is de vreemde puzzel waar onderzoeker Taiki Kojima mee worstelde. Hij probeerde niet een robot te bous die het Wereldkampioenschap wint; hij probeerde een glitch te begrijpen waarbij het "denkgedeelte" van de AI het "spelende deel" kapot maakte, zelfs terwijl het "denkgedeelte" nog steeds ongelooflijk nuttig was voor het onderwijzen. Het is een verhaal over hoe een slechte kompas nog steeds een geweldige kaart kan zijn voor een leraar.

De defecte kompas

In de wereld van computer Go (een spel gespeeld op een 19x19 raster) trainen onderzoekers AI meestal door het te laten leren van een supersterke leraar. In deze studie was de leraar een beroemde AI genaamd KataGo. De onderzoeker nam een kleinere, simpelere AI en probeerde het brein van de leraar te kopiëren met een techniek genaamd knowledge distillation (kennisdestillatie). Denk hierbij aan een student die probeert de huiswerkantwoorden van de leraar uit het hoofd te leren.

Normaal gesproken, zodra de student de antwoorden heeft geleerd, laat je hem zijn eigen "denk-engine" (MML) gebruiken om zijn werk te controleren voordat hij een zet doet. De verwachting was dat dit de student nog sterker zou maken. Maar hier vindt de plotwending plaats: Toen de onderzoeker de student liet gebruiken zijn "denk-engine" (MCTS) om zijn zetten te kiezen, werd de student eigenlijk slechter.

De student, die speelde zonder denk-engine, won ongeveer 32% van de spellen tegen zichzelf. Maar op het moment dat hij de "denk-engine" aanzette om bij de zetten te helpen, kelderde zijn winpercentage. Het was alsof een student die perfecte wiskundeproblemen kon oplossen, plotseling overal zakte op het moment dat hij een rekenmachine mocht gebruiken.

De kapotte Value Head

De onderzoeker moest uitzoeken waarom de rekenmachine kapot was. Was de rekenmachine zelf (het zoekalgoritme) defect? Of gaf het brein van de student (het neurale netwerk) de rekenmachine slechte informatie?

Om dit te testen, verving de onderzoeker het brein van de student door dat van de leraar voor de laatste stap van de berekening. Plotseling schoot het winpercentage omhoog naar 98,3%. Dit bewees dat de "rekenmachine" (MCTS) perfect werkte. Het probleem lag volledig in het brein van de student.

Specifiek zat het probleem in de value head. In AI-termen is de "value head" het deel van het brein dat zegt: "Is deze positie goed of slecht?" De value head van de student was eigenlijk best goed in het beoordelen van de absolute score (hij wist of een positie algeheel winnend of verliezend was). Maar hij was verschrikkelijk in het vergelijken van twee vergelijkbare zetten naast elkaar. Hij kon niet zien welke van twee bijna identieke zetten iets beter was.

Stel je een rechter voor die kan vertellen of een schilderij "goed" of "slecht" is, maar wanneer je hem twee schilderijen laat zien die beide "goed" zijn, kan hij niet zeggen welk schilderij beter is. Wanneer de AI probeerde deze verwarde rechter te gebruiken om de beste zet te kiezen, maakte hij steeds meer fouten. De zoekmachine groef dieper, vond meer verwarrende vergelijkingen, en maakte de beslissingen van de AI steeds slechter.

De oplossing: Gebruik de kompas niet, gebruik de kaart

De onderzoeker probeerde de kapotte rechter te repareren door alleen dat deel van het brein opnieuw te trainen. De rechter werd iets beter in het vergelijken van zetten, maar de AI kon de zoekmachine nog steeds niet gebruiken om beter te spelen. De zoekmachine was nog steeds kapot als zet-selector.

Dus probeerde de onderzoeker een compleet andere aanpak. In plaats van te proberen de capaciteit van de AI te verbeteren om de zoekmachine te gebruiken om zetten te kiezen, besloot hij de zoekengine alleen als leraar te gebruiken.

Hier is de magische truc:

De AI speelde een spel met behulp van de zoekengine om een "visit distribution" (bezoekverdeling) te generen. Dit is een verslag van hoeveel tijd de zoekengine aan verschillende zetten heeft besteed. Zelfs als de zoekengine de verkeerde uiteindelijke zet koos, heeft hij misschien veel tijd besteed aan het bedenken van de juiste zet.
De onderzoeker trainde vervolgens het brein van de AI om dit "denkpatroon" (de visit distribution) te kopiëren in plaats van alleen de uiteindelijke zet te kopiëren.
Ze verwijderden de "veiligheidsanker" die de AI normaal gesproken ervan weerhoudt te veel te veranderen.

Het resultaat was verbijsterend. Door de uiteindelijke beslissing van de zoekengine te negeren en alleen het "denkproces" als les te gebruiken, verbeterde de AI enorm.

Generatie 2 (met de oude methode): De AI speelde niet beter dan de vorige versie.
Generatie 3 (met de zoekengine als leraar): De AI won 94,1% van de spellen tegen de oorspronkelijke baseline en 82,4% tegen de vorige versie.

Dit gebeurde met minder dan de helft van de hoeveelheid trainingsdata (zelfspel-games) die de vorige generatie gebruikte. De zoekengine was een verschrikkelijke speler (hij koos 73% van de tijd de verkeerde zetten), maar het was een geweldige leraar.

Waarom dit ertoe doet

Het paper concludeert dat er een groot verschil is tussen het vermogen van een AI om een beslissing te nemen en het vermogen om een les te geven.

Denk aan een coach die zelf verschrikkelijk is in het beoefenen van de sport. Als je deze coach vraagt om een wedstrijd te spelen, zal hij verliezen. Maar als je de coach vraagt om een wedstrijd te kijken en te vertellen waar de spelers hun aandacht op moeten richten, kan hij briljant zijn. De zoekengine in deze studie was als die coach: hij kon de winnaar niet kiezen, maar zijn "aandachtskaart" liet de student precies zien waar hij naar moest kijken om te leren.

De studie benadrukt ook een waarschuwing voor iedereen die AI bouwt: Vertrouw je "scorekaarten" niet te veel. De onderzoekers ontdekten dat standaardmetrieken (zoals hoe goed de AI zetten rangschikte in een test) vaak niet voorspelden of de AI daadwerkelijk beter zou worden in het spelen van het spel. Soms werd de AI beter, zelfs wanneer de testscores slechter leken.

Uiteindelijk gaat dit niet alleen over Go. Hetzelfde probleem gebeurt in andere AI-velden, zoals het trainen van taalmodellen. Soms is het hulpmiddel dat je gebruikt om antwoorden te genereren te gebrekkig om direct te gebruiken, maar het proces van het genereren van die antwoorden bevat het geheim om de AI slimmer te maken. De les? Gooi de leraar niet weg, alleen omdat hij het spel niet kan spelen.

Technische Samenvatting: Een gedestilleerde Value Head breekt de zoekopdracht, maar Zoeken blijft een effectieve leraar

Probleemstelling
In AlphaZero-achtige systemen dient Monte Carlo Tree Search (MCTS) doorgaans een dubbelrol: het selecteren van zetten tijdens de inferentiefase en het genereren van trainingsdoelen voor het beleidsnetwerk (policy network). Er wordt over het algemeen aangenomen dat een systeem waarbij zoeken de prestaties tijdens inferentie verbetert, ook baat zal hebben bij door zoekopdrachten afgeleide trainingsdoelen. Dit artikel onderzoekt een contra-intuïtief geval in 19x19 Go, waarbij een gedestilleerd neuraal netwerk, in combinatie met MCTS, significant slechter presteerde dan het beleid (policy) alleen. De centrale onderzoeksvraag is of zoeken een nuttige "leraar" kan blijven voor beleidsleren, zelfs nadat het niet langer functioneert als een effectieve "zetselectie" tijdens de inferentie.

Methodologie
De studie maakte gebruik van een 19x19 Go-netwerk (11,98M parameters, 192 kanalen, 18 residual blocks) dat gedestilleerd is van KataGo. Het experimentele ontwerp was strikt vooraf geregistreerd om post-hoc herinterpretatie van proxy-metrieken te voorkomen.

Baseline: Een gedestilleerd netwerk getraind op de zoekoutputs van KataGo (policy, value, score, ownership), maar ingezet met enkel het policy-hoofd (argmax) zonder zoekopdracht.
Integratie van Zoekopdrachten: MCTS (400 simulaties, PUCT-selectie) werd toegepast op het gedestilleerde netwerk.
Lokalisatie van het Defect: De auteur isoleerde het falen door de leaf-evaluaties van het gedestilleerde netwerk te vervangen door de single-visit evaluaties van KataGo tijdens de zoekopdracht.
Iteratieve Generaties:
- Generatie 1 & 2: Het beleid werd bijgewerkt met een KL-divergentie-anker naar het beleid van de vorige generatie, in een poging de 'trunk' te verbeteren terwijl beleidsdrift werd beperkt.
- Generatie 3: Het trainingsdoel voor het policy-hoofd werd gewijzigd. In plaats van een KL-anker, werd het beleid getraind via cross-entropy naar de MCTS visit-count distributie gegenereerd door het netwerk zelf.
Evaluatie: Alle prestatieclaims werden gevalideerd via 272 head-to-head wedstrijden vanaf een leeg bord, beoordeeld door KataGo bij 100 bezoeken, met 95% Wilson betrouwbaarheidsintervallen.

Belangrijkste Resultaten

Zoeken Verslechtert de Inferentieprestaties: Tegen de verwachting in, verminderde het toevoegen van MCTS de winrate van het gedestilleerde netwerk tegenover de policy-only baseline tot 0,317. Het verder verhogen van het aantal simulaties verslechterde de prestaties verder.
De Value Head is de Bottleneck: Het vervangen van de gedestilleerde value head door de evaluatie van KataGo tijdens de zoekopdracht herstelde de winrates onmiddellijk naar 0,983. Analyse toonde aan dat de gedestilleerde value head goed gekalibreerd was in absolute termen (gemiddelde residu -0,0091), maar faalde in het accuraat rangschikken van sibling-posities (Spearman correlatie $\rho = +0,005$ vs. +0,146 voor het policy-hoofd).
Het Heropbouwen van de Value Head was Onvoldoende: Het hertrainen van enkel de value head verbeterde de nauwkeurigheid van de sibling-rangschikking (van 0,54 naar 0,64), maar herstelde de bruikbaarheid van zoeken voor zetselectie niet (winrate versus policy argmax bleef 0,500).
KL-geankerde Training Faalde: Generaties 1 en 2, die KL-ankers gebruikten om beleidsupdates te beperken, vertoonden geen onderscheidbare verbetering ten opzichte van hun voorgangers (Gen 2 vs. Gen 1: 0,526 winrate).
Zoeken als Leraar was Succesvol: Generatie 3, die het beleid trainde via cross-entropy naar de MCTS visit-distributie, bereikte een winrate van 0,824 tegenover Generatie 2 en 0,941 tegenover de oorspronkelijke distillatie-baseline. Deze verbetering werd bereikt met minder dan de helft van de self-play data van Generatie 2.
Proxy-metrieken vs. Realiteit: Standaard proxy-metrieken (bijv. sibling ranking accuracy, policy evaluation loss) faalden in het voorspellen van de speelsterkte. In sommige gevallen viel een verslechtering van de proxy-metrieken samen met significante Elo-winsten.

Belangrijkste Bijdragen

Ontkoppeling van Inferentie en Onderwijstaken: Het artikel demonstreert dat de prestaties van een verbeteringsoperator (MCTS) tijdens de inferentie en de leerwaarde van de output ervan, twee verschillende eigenschappen zijn. MCTS faalde in het selecteren van betere zetten, maar bood een superieur trainingssignaal voor het beleid.
Zoekopdracht-afgeleide Supervisie: De studie toont aan dat een zoekopdracht-afgeleid beleidsdoel (visit distributie) een student-netwerk substantieel kan verbeteren, zelfs wanneer de zoekprocedure zelf te zwak is om de inferentie-prestaties te verbeteren. Dit suggereert dat de visit-distributie structurele informatie bevat die niet beschikbaar is in de policy prior alleen.
Methodologische Rigor: Het werk benadrukt de onbetrouwbaarheid van proxy-metrieken in complexe RL-systemen en pleit voor vooraf geregistreerde besluitcriteria en directe head-to-head evaluatie met betrouwbaarheidsintervallen.

Betekenis en Claims
De auteur claimt dat dit een mechanische casestudy is in plaats van een benchmark. De primaire betekenis ligt in het identificeren van een structurele foutmodus waarbij een geleerd evaluator (value head) wel gekalibreerd is, maar de rangschikkingsgetrouwheid verliest, waardoor een verbeteringsoperator tijdens de inferentie "achteruit" werkt.

Het artikel trekt een conceptuele parallel met Reinforcement Learning from Human Feedback (RLHF) in Large Language Models (LLMs). Het suggereert dat in beide domeinen een imperfecte selector (MCTS of een reward model) nog steeds waardevolle trainingsdata (visit distributies of gerangschikte kandidaten) kan genereren, zelfs als deze niet betrouwbaar de optimale output kan selecteren tijdens de inferentie. De auteur concludeert dat toekomstig onderzoek naar zoekgebaseerde leersystemen expliciet onderscheid moet maken tussen of een operator directe beslissingen verbetert en of de output daarvan de daaropvolgende leerprocessen verbetert, waarbij opmerkt dat de antwoorden op deze vragen niet hetzelfde hoeven te zijn.

Beperkingen
De auteur erkent dat deze bevindingen zijn afgeleid van een enkele architectuur, een enkele random seed en een specifiek spel (19x19 Go). De self-play loop was niet volledig zelfvoorzienend, aangezien de waarde-supervisie afhankelijk was van KataGo-labels omdat games vaak de zetlimiet bereikten. De studie stelt een empirisch fenomeen vast zonder volledig de onderliggende mechanische reden te verklaren waarom de visit-distributie nuttige signalen bevat ondanks het falen van de zoekopdracht.

De defecte kompas

De kapotte Value Head

De oplossing: Gebruik de kompas niet, gebruik de kaart

Waarom dit ertoe doet

Meer zoals dit