A distilled value head breaks search, but search remains an effective teacher, not a move selector: a case study in 19x19 Go

Stellen Sie sich vor, Sie unterrichten einen brillanten, aber eigensinnigen Schüler im Erlernen eines komplexen Strategiespiels wie Schach oder Go. Sie haben einen superintelligenten Lehrer (nennen wir ihn „Das Orakel“), der auf das Brett schauen und Ihnen genau sagen kann, wer gerade führt. Normalerweise lassen Sie einen Schüler üben, indem er gegen den Lehrer spielt, oder Sie lassen ihn ein paar Züge vorausdenken, um zu sehen, was passiert. In der Welt der Künstlichen Intelligenz wird dieses „Vorausdenken“ als Monte Carlo Tree Search (MCTS) bezeichnet. Es ist wie ein Simulator, der in einem Bruchteil einer Sekunde tausende winziger, imaginärer Spiele durchführt, um den besten Zug zu finden.

Die große Idee moderner KI ist, dass die Kombination aus einem smarten „Gehirn“ (einem neuronalen Netz) und diesem „Simulator“ (MCTS) das Ergebnis unschlagbar machen sollte. Das Gehirn rät den Zug, und der Simulator überprüft ihn. Aber was, wenn der Simulator das Gehirn sogar schlechter macht? Was, wenn das Werkzeug, das eigentlich beim Denken helfen sollte, einen stattdraßen verwirrt? Dies ist das seltsame Rätsel, mit dem sich der Forscher Taiki Kojima beschäftigte. Er versuchte nicht, einen Roboter zu bauen, der die Weltmeisterschaft gewinnt; er wollte ein Problem verstehen, bei dem das „Denken“ den Teil des „Spielens“ kaputt machte, obwohl der Teil des „Denkens“ für das Lehren immer noch unglaublich nützlich war. Es ist die Geschichte eines schlechten Kompasses, der dennoch eine großartige Landkarte für einen Lehrer sein kann.

---

Der fehlerhafte Kompass

In der Welt von Computer-Go (ein Spiel auf einem 19x19-Gitter) trainieren Forscher eine KI normalerweise, indem sie sie von einem superstarken Lehrer lernen lassen. In dieser Studie war der Lehrer eine berühmte KI namens KataGo. Der Forscher nahm eine kleinere, einfachere KI und versuchte, das Gehirn des Lehrers mit einer Technik namens Knowledge Distillation (Wissensdestillation) zu kopieren. Stellen Sie sich das wie einen Schüler vor, der versucht, die Hausaufgaben des Lehrers auswendig zu lernen.

Normalerweise, sobald der Schüler die Antworten gelernt hat, lässt man ihn seine eigene „Denkmaschine“ (MCTS) benutzen, um seine Arbeit vor dem Ziehen zu überprüfen. Die Erwartung war, dass dies den Schüler noch stärker machen würde. Doch hier dreht sich die Handlung: Als der Forscher den Schüler mit MCTS spielen ließ, um seine Züge zu wählen, wurde der Schüler tatsächlich schlechter.

Der Schüler, der ohne Denkmaschine spielte, gewann etwa 32 % der Spiele gegen sich selbst. Doch in dem Moment, als er die „Denkmaschine“ einschaltete, um seine Züge zu wählen, stürzte seine Gewinnrate ab. Es war, als ob ein Schüler, der mathematische Probleme perfekt lösen konnte, plötzlich bei jeder Prüfung versagte, sobald er einen Taschenrechner benutzen durfte.

Der defekte Value Head

Der Forscher musste herausfinden, warum der Taschenrechner defekt war. War der Taschenrechner selbst (der Suchalgorithmus) fehlerhaft? Oder gab der Schüler sein Gehirn (das neuronale Netz) dem Taschenrechner schlechte Informationen?

Um dies zu testen, ersetzte der Forsche das Gehirn des Schülers durch das Gehirn des Lehrers, jedoch nur für den letzten Schritt der Berechnung. Plötzlich schoss die Gewinnrate auf 98,3 % empor. Dies bewies, dass der „Taschenrechner“ (MCTS) perfekt funktionierte. Das Problem lag vollständig im Gehirn des Schülers.

Konkret lag das Problem im Value Head. In der Fachsprache der KI ist der „Value Head“ der Teil des Gehirns, der sagt: „Ist diese Position gut oder schlecht?“ Der Value Head des Schülers war zwar recht gut darin, den absoluten Punktestand zu beurteilen (er wusste, ob eine Position insgesamt gewinnbringend oder verlustreich war), aber er war schrecklich darin, zwei ähnliche Züge nebeneinander zu vergleichen. Er konnte nicht unterscheiden, welcher von zwei benachbarten Zügen etwas besser war.

Stellen Sie sich einen Richter vor, der Ihnen sagen kann, ob ein Gemälde „gut“ oder „schlecht“ ist, aber wenn Sie ihm zwei Gemälde zeigen, die beide „gut“ sind, kann er nicht sagen, welches davon besser ist. Als die KI versuchte, diesen verwirrten Richter zu nutzen, um den besten Zug zu wählen, machte sie immer wieder Fehler. Die Suchmaschine grub tiefer, fand immer verwirrendere Vergleiche und verschlechterte die Entscheidungen der KI immer weiter.

Die Lösung: Nicht den Kompass nutzen, sondern die Landkarte

Der Forscher versuchte, den defekten Richter zu reparieren, indem er nur diesen Teil des Gehirns neu trainierte. Der Richter wurde etwas besser darin, Züge zu vergleichen, aber die KI konnte die Suchmaschine immer noch nicht nutzen, um besser zu spielen. Die Suchmaschine war nach wie vor ein schlechter Zugwähler.

Also versuchte der Forscher einen völlig anderen Ansatz. Anstatt zu versuchen, die Fähigkeit der KI zu reparieren, die Suchmaschine zur Auswahl von Zügen zu nutzen, entschied er sich, die Suchmaschine nur als Lehrer einzusetzen.

Hier liegt der magische Trick:

1. Die KI spielte ein Spiel unter Verwendung der Suchmaschine, um eine „Visit Distribution“ (Besuchshäufigkeitsverteilung) zu generieren. Dies ist ein Protokoll darüber, wie viel Zeit die Suchmaschine mit dem Nachdenken über verschiedene Züge verbracht hat. Selbst wenn die Suchmaschine am Ende den falschen Zug wählte, hatte sie vielleicht viel Zeit damit verbracht, über den richtigen Zug nachzudenken.
2. Der Forscher trainierte dann das Gehirn der KI darauf, dieses „Denkmuster“ (die Visit Distribution) zu kopieren, anstatt nur den finalen Zug zu kopieren.
3. Er entfernte den „Sicherheitsanker“, der die KI normalerweise daran hindert, sich zu stark zu verändern.

Das Ergebnis war schockierend. Indem er die Suchmaschine ignorierte und nur deren „Denkprozess“ als Lektion nutzte, verbesserte sich die KI massiv.

• Generation 2 (unter Verwendung der alten Methode): Die KI spielte nicht besser als ihre vorherige Version.
• Generation 3 (unter Verwendung der Suchmaschine als Lehrer): Die KI gewann 94,1 % der Spiele gegen die ursprüngliche Baseline und 82,4 % gegen die vorherige Version.

Dies geschah mit weniger als der Hälfte der Trainingsdaten (Self-Play-Spiele), die die vorherige Generation benötigt hatte. Die Suchmaschine war ein schrecklicher Spieler (sie wählte in 73 % der Fälle den falschen Zug), aber sie war ein großartiger Lehrer.

Warum das wichtig ist

Die Arbeit kommt zu dem Schluss, dass es einen riesigen Unterschied zwischen der Fähigkeit einer KI, eine Entscheidung zu treffen, und der Fäh Fähigkeit, eine Lektion zu erteilen, gibt.

Man kann es sich wie einen Trainer vorstellen, der selbst schlecht in dem Sport ist, den er trainiert. Wenn man diesen Trainer bittet, ein Match zu spielen, wird er verlieren. Aber wenn man ihn bittet, ein Spiel zu beobachten und einem zu sagen, worauf die Spieler ihre Aufmerksamkeit richten sollten, kann er brillant sein. Die Suchmaschine in dieser Studie war wie dieser Trainer: Sie konnte nicht den Sieger bestimmen, aber ihre „Aufmerksamkeitskarte“ zeigte dem Schüler genau, wohin er schauen musste, um zu lernen.

Die Studie hebt auch eine Warnung für jeden hervor, der KI entwickelt: Vertrauen Sie Ihren „Bewertungsmaßstäben“ nicht zu sehr. Die Forscher fanden heraus, dass Standardmetriken (wie gut die KI Züge in einem Test bewertete) oft nicht vorhersagen konnten, ob die KI tatsächlich besser im Spielen werden würde. Manchmal wurde die KI besser, obwohl die Testergebnisse schlechter ausshen.

Letztendlich geht es hier nicht nur um Go. Das gleiche Problem tritt in anderen KI-Feldern auf, etwa beim Training von Sprachmodellen. Manchmal ist das Werkzeug, das man verwendet, um Antworten zu generieren, zu fehlerhaft, um direkt genutzt zu werden, aber der Prozess des Generierens dieser Antworten enthält das Geheimnis, die KI intelligenter zu machen. Die Lektion? Werfen Sie den Lehrer nicht weg, nur weil er das Spiel nicht spielen kann.