💻 computer science

A distilled value head breaks search, but search remains an effective teacher, not a move selector: a case study in 19x19 Go

Este estudio demuestra que, si bien la destilación de una cabeza de valor de una IA de Go fuerte puede resultar en un evaluador calibrado pero no discriminativo que rompe el rendimiento de la búsqueda MCTS, el proceso de búsqueda en sí mismo sigue siendo un maestro altamente efectivo, ya que entrenar la política para imitar los recuentos de visitas de MCTS produce ganancias de fuerza significativas a pesar de que la búsqueda falle al seleccionar mejores movimientos durante la inferencia.

Autores originales: Taiki Kojima

Publicado 2026-08-11

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Taiki Kojima

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un estudiante brillante pero obstinado a jugar un juego de estrategia complejo como el Ajedrez o el Go. Tienes a un maestro superinteligente (llamémoslo "El Oráculo") que puede mirar el tablero y decirte exactamente quién va ganando. Usualmente, cuando enseñas a un estudiante, le permites practicar jugando contra el maestro, o le dejas pensar en unos cuantos movimientos por delante para ver qué sucede. En el mundo de la inteligencia artificial, este "pensar por adelantado" se llama Búsqueda de Árbol de Monte Carlo (MCTS). Es como un simulador que ejecuta miles de minijuegos imaginarios en una fracción de segundo para determinar el mejor movimiento.

La gran idea en la IA moderna es que si combinas un "cerebro" inteligente (una red neuronal) con este "simulador" (MMLCT), el resultado debería ser imbatible. El cerebro adivina el movimiento y el simulador lo vuelve a comprobar. Pero, ¿qué pasa si el simulador empieza a hacer que el cerebro sea peor? ¿Qué pasa si la herramienta destinada a ayudarte a pensar en realidad te confunde? Es el extraño rompecabezas que un investigador llamado Taiki Kojima abordó. Él no estaba intentando construir un robot que ganara el Campeonato Mundial; estaba tratando de entender un fallo donde la parte de "pensar" de la IA rompía la parte de "jugar", incluso cuando la parte de "pensar" seguía siendo increíblemente útil para enseñar. Es la historia de cómo una brújula defectuosa todavía puede ser un gran mapa para un maestro.

La Brújula Defectuosa

En el mundo del Go computacional (un juego que se juega en una cuadrícula de 19x19), los investigadores suelen entrenar a la IA haciendo que aprenda de un maestro superpoderoso. En este estudio, el maestro fue una IA famosa llamada KataGo. El investigador tomó una IA más pequeña y simple e intentó copiar el cerebro del maestro usando una técnica llamada destilación de conocimiento. Piensa en esto como un estudiante intentando memorizar las respuestas de la tarea del profesor.

Usualmente, una vez que el estudiante aprende las respuestas, le permites usar su propio "motor de pensamiento" (MCS) para revisar su trabajo antes de realizar un movimiento. La expectativa era que esto haría al estudiante aún más fuerte. Pero aquí es donde la trama da un giro: Cuando el investigador permitió que el estudiante usara MCTS para elegir sus movimientos, el estudiante en realidad empeoró.

El estudiante, jugando sin ningún motor de pensamiento, ganó aproximadamente el 32% de los juegos contra sí mismo. Pero en el momento en que encendió el "motor de pensamiento" para ayudar a elegir los movimientos, su tasa de victorias cayó en picada. Era como si un estudiante que podía resolver problemas matemáticos perfectamente, de repente empezara a reprobar todos los exámenes en el momento en que se le permite usar una calculadora.

El Cabezal de Valor Roto

El investigador tuvo que averiguar por qué la calculadora estaba rota. ¿Era el propio "calculador" (el algoritmo de búsqueda) defectuoso? ¿O era el cerebro del estudiante (la red neuronal) el que le daba mala información al calculador?

Para probar esto, el investigador reemplazó el cerebro del estudiante con el cerebro del maestro solo para el paso final del cálculo. De repente, la tasa de victorias se disparó al 98.3%. Esto demostró que el "calculador" (MCTS) estaba funcionando perfectamente. El problema residía enteramente en el cerebro del estudiante.

Específicamente, el problema estaba en el cabezal de valor (value head). En términos de IA, el "cabezal de valor" es la parte del cerebro que dice: "¿Es esta posición buena o mala?". El cabezal de valor del estudiante era bastante bueno juzgando la puntuación absoluta (sabía si una posición era ganadora o perdedora en general). Pero era terrible comparando dos movimientos similares uno al lado del otro. No podía distinguir cuál de dos movimientos hermanos era ligeramente mejor.

Imagina a un juez que puede decirte si una pintura es "buena" o "mala", pero cuando le muestras dos pinturas que son ambas "buenas", no puede decirte cuál es mejor. Cuando la IA intentaba usar a este juez confundido para elegir el mejor movimiento, seguía cometiendo errores. El motor de búsqueda profundizaba más, encontraba comparaciones más confusas y hacía que las decisiones de la IA fueran cada vez peores.

La Solución: No uses la Brújula, usa el Mapa

El investigador intentó arreglar al juez roto reentrenando solo esa parte del cerebro. El juez mejoró ligeramente en la comparación de movimientos, pero la IA seguía sin poder usar el motor de búsqueda para jugar mejor. El motor de búsqueda seguía estando roto como selector de movimientos.

Entonces, el investigador probó un enfoque completamente diferente. En lugar de intentar arreglar la capacidad de la IA para usar el motor de búsqueda para elegir movimientos, decidió usar el motor de búsqueda únicamente como un maestro.

Aquí está el truatorio:

La IA jugó una partida usando el motor de búsqueda para generar una "distribución de visitas". Esto es un registro de cuánto tiempo pasó el motor de búsqueda analizando diferentes movimientos. Incluso si el motor de búsqueda eligió el movimiento equivocado, podría haber pasado mucho tiempo pensando en el movimiento correcto.
El investigador luego entrenó el cerebro de la IA para copiar este "patrón de pensamiento" (la distribución de visitas) en lugar de solo copiar el movimiento final.
Eliminaron el "ancla de seguridad" que usualmente evita que la IA cambie demasiado.

El resultado fue impactante. Al ignorar la decisión final del motor de búsqueda y usar solo su "proceso de pensamiento" como lección, la IA mejoró masivamente.

Generación 2 (usando el método antiguo): La IA no jugaba mejor que su versión anterior.
Generación 3 (usando el motor de búsqueda como maestro): La IA ganó el 94.1% de las partidas contra la línea base original y el 82.4% contra su versión anterior.

Esto sucedió utilizando menos de la mitad de la cantidad de datos de práctica (partidas de auto-juego) que utilizó la generación anterior. El motor de búsqueda era un jugador terrible (elegía los movimientos incorrectos el 73% de las veces), pero era un maestro increíble.

Por qué esto importa

El artículo concluye que hay una gran diferencia entre la capacidad de una IA para tomar una decisión y su capacidad para enseñar una lección.

Piensa en esto como un entrenador que es pésimo jugando el deporte en sí mismo. Si le pides a este entrenador que juegue un partido, perderá. Pero si le pides que observe un juego y te diga dónde deben enfocarse los jugadores, podría ser brillante. El motor de búsqueda en este estudio era como ese entrenador: no podía elegir al ganador, pero su "mapa de atención" le mostraba al estudiante exactamente dónde mirar para aprender.

El estudio también destaca una advertencia para cualquiera que construya IA: No confíes demasiado en tus "tarjetas de puntuación". Los investigadores encontraron que las métricas estándar (como qué tan bien la IA clasificaba los movimientos en una prueba) a menudo fallaban al predecir si la IA realmente mejoraría al jugar el juego. A veces, la IA mejoraba incluso cuando las puntuaciones de las pruebas parecían peores.

Al final, esto no es solo sobre el Go. El mismo problema ocurre en otros campos de la IA, como el entrenamiento de modelos de lenguaje. A veces, la herramienta que utilizas para generar respuestas es demasiado defectuosa para ser usada directamente, pero el proceso de generar esas respuestas contiene el secreto para hacer a la IA más inteligente. ¿La lección? No deseches al maestro solo porque no sabe jugar el juego.

Resumen Técnico: Un cabezal de valor destilado rompe la búsqueda, pero la búsqueda sigue siendo un maestro eficaz

Planteamiento del problema
En los sistemas de tipo AlphaZero, la búsqueda en el árbol de Monte Carlo (MCTS) suele desempeñar un doble papel: seleccionar movimientos en el tiempo de inferencia y generar objetivos de entrenamiento para la red de política. Generalmente se asume que un sistema donde la búsqueda mejora el juego en el tiempo de inferencia también se beneficiará de los objetivos de entrenamiento derivados de la búsqueda. Este artículo investiga un caso contraintuitivo en el Go de 1x1x19 donde una red neuronal destilada, al combinarse con MCTS, tuvo un rendimiento significativamente inferior al de la política por sí sola. La pregunta central de investigación es si la búsqueda puede seguir siendo un "maestro" útil para el aprendizaje de la política incluso después de que deje de funcionar como un "selector de movimientos" eficaz en el tiempo de inferencia.

Metodología
El estudio utilizó una red de Go de 19x19 (11.98M de parámetros, 192 canales, 18 bloques residuales) destilada de KataGo. El diseño experimental fue estrictamente pre-registrado para evitar la reinterpretación post-hoc de métricas proxy.

Línea base (Baseline): Una red destilada entrenada con las salidas de búsqueda de KataGo (política, valor, puntuación, propiedad) pero desplegada utilizando solo el cabezal de política (argmax) sin búsqueda.
Integración de búsqueda: Se aplicó MCTS (400 simulaciones, selección PUCT) a la red destilada.
Localización del defecto: El autor aisló el fallo reemplazando las evaluaciones de las hojas de la red destilada por las evaluaciones de visita única de KataGo durante la búsqueda.
Generaciones iterativas:
- Generación 1 y 2: La política se actualizó utilizando un ancla de divergencia KL respecto a la política de la generación anterior, intentando mejorar el tronco mientras se constreñía la deriva de la política.
- Generación 3: El objetivo de entrenamiento para el cabezal de política se cambió. En lugar de un ancla KL, la política se entrenó mediante entropía cruzada hacia la distribución de conteo de visitas de MCTS generada por la propia red.
Evaluación: Todas las afirmaciones de rendimiento fueron validadas mediante partidas de enfrentamiento directo de 272 juegos desde un tablero vacío, adjudicadas por KataGo a 100 visitas, con intervalos de confianza de Wilson del 95%.

Resultados clave

La búsqueda degrada el rendimiento de la inferencia: Contrario a las expectativas, añadir MCTS a la red destilada redujo su tasa de victorias contra la línea base de solo política a 0.317. Aumentar el número de simulaciones degradó aún más el rendimiento.
El cabezal de valor es el cuello de botella: Reemplazar el cabezal de valor destilado por la evaluación de KataGo durante la búsqueda restauró inmediatamente las tasas de victorias a 0.983. El análisis reveló que el cabezal de valor destilado estaba bien calibrado en términos absolutos (media residual -0.0091) pero fallaba al clasificar posiciones hermanas con precisión (correlación de Spearman $\rho = +0.005$ frente a +0.146 para el cabezal de política).
Reconstruir el cabezal de valor fue insuficiente: Reentrenar solo el cabezal de valor mejoró la precisión de la clasificación de hermanos (de 0.54 a 0.64), pero no restauró la utilidad de la búsqueda para la selección de movimientos (tasa de victorias contra el argmax de la política se mantuvo en 0.500).
El entrenamiento con anclaje KL falló: Las generaciones 1 y 2, que utilizaron anclas KL para constreñir las actualizaciones de la política, no mostraron una mejora distinguible sobre sus predecesoras (Generación 2 vs. Gen 1: tasa de victorias de 0.526).
La búsqueda como maestro tuvo éxito: La Generación 3, que entrenó la política mediante entropía cruzada hacia la distribución de visitas de MCTS, logró una tasa de victorias de 0.824 contra la Generación 2 y de 0.941 contra la línea base de destilación original. Este progreso se logró utilizando menos de la mitad de los datos de auto-juego de la Generación 2.
Métricas proxy frente a la realidad: Las métricas proxy estándar (por ejemplo, precisión de clasificación de hermanos, pérdida de evaluación de política) no lograron predecir la fuerza de juego. En algunos casos, el empeoramiento de las métricas proxy coincidió con ganancias significativas de Elo.

Contribuciones clave

Desacoplamiento de los roles de inferencia y enseñanza: El artículo demuestra que el rendimiento en el tiempo de inferencia de un operador de mejora (MCTS) y el valor de enseñanza de su salida son propiedades distintas. MCTS falló al seleccionar mejores movimientos, pero proporcionó una señal de entrenamiento superior para la política.
Supervisión derivada de la búsqueda: El estudio muestra que un objetivo de política derivado de la búsqueda (distribución de visitas) puede mejorar sustancialmente una red estudiante incluso cuando el procedimiento de búsqueda es demasiado débil para mejorar el juego en el tiempo de inferencia. Esto sugiere que la distribución de visitas captura información estructural no disponible en la política previa por sí sola.
Rigor metodológico: El trabajo destaca la falta de fiabilidad de las métricas proxy en sistemas complejos de RL y aboga por criterios de decisión pre-registrados y la evaluación directa de enfrentamiento directo con intervalos de confianza.

Significado y afirmaciones
El autor afirma que este es un estudio de caso mecanicista en lugar de un benchmark. Su principal significado reside en identificar un modo de fallo estructural donde un evaluador aprendido (cabezal de valor) permanece calibrado pero pierde fidelidad de clasificación, haciendo que un operador de mejora funcione "hacia atrás" durante la inferencia.

El documento establece un paralelismo conceptual con el Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) en Modelos de Lenguaje Extensos (LLMs). Sugiere que en ambos dominios, un selector imperfecto (MCTS o un modelo de recompensa) aún puede generar datos de entrenamiento valiosos (distribuciones de visitas o candidatos clasificados) incluso si no puede seleccionar de forma fiable la salida óptima durante la inferencia. El autor concluye que la investigación futura sobre sistemas de aprendizaje basados en búsqueda debe distinguir explícitamente entre si un operador mejora las decisiones inmediatas y si su salida mejora el aprendizaje posterior, señalando que las respuestas a estas preguntas no tienen por qué ser las mismas.

Limitaciones
El autor reconoce que estos hallazgos se derivan de una única arquitectura, una única semilla aleatoria y un juego específico (Go 19x19). El bucle de auto-juego no fue totalmente autónomo, ya que la supervisión de valor dependió de las etiquetas de KataGo debido a que los juegos alcanzaban frecuentemente el límite de movimientos. El estudio establece un fenómeno empírico sin resolver completamente el mecanismo subyacente de por qué la distribución de visitas contiene señales útiles a pesar del fallo de la búsqueda.

La Brújula Defectuosa

El Cabezal de Valor Roto

La Solución: No uses la Brújula, usa el Mapa

Por qué esto importa

Más como este