💻 computer science

A distilled value head breaks search, but search remains an effective teacher, not a move selector: a case study in 19x19 Go

Este estudo demonstra que, embora destilar uma cabeça de valor de uma IA de Go forte possa resultar em um avaliador calibrado, porém não discriminativo, que quebra o desempenho da busca MCTS, o próprio processo de busca permanece um professor altamente eficaz, visto que treinar a política para mimetizar as contagens de visitas do MCTS produz ganhos de força significativos, apesar de a busca falhar em selecionar movimentos melhores durante a inferência.

Autores originais: Taiki Kojima

Publicado 2026-08-11

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Taiki Kojima

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um aluno brilhante, mas teimoso, a jogar um jogo de estratégia complexo como Xadrez ou Go. Você tem um professor superinteligente (vamos chamá-lo de "O Oráculo") que pode olhar para o tabuleiro e dizer exatamente quem está vencendo. Normalmente, quando você ensina um aluno, você o deixa praticar jogando contra o professor, ou o deixa pensar algumas jogadas à frente para ver o que acontece. No mundo da inteligência artificial, esse "pensar à frente" é chamado de Busca de Árvore Monte Carlo (MCTS). É como um simulador que execamina milhares de minijogos imaginários em uma fração de segundo para descobrir a melhor jogada.

A grande ideia na IA moderna é que, se você combinar um "cérebro" inteligente (uma rede neural) com este "simulador" (MCTS), o resultado deve ser imbatível. O cérebro adivinha a jogada, e o simulador faz a dupla checagem. Mas e se o simulador começar a tornar o cérebro pior? E se a ferramenta destinada a ajudá-lo a pensar acabar confundindo você? Este é o estranho enigma que o pesquisador Taiki Kojima enfrentou. Ele não estava tentando construir um robô que ganhasse o Campeonato Mundial; ele estava tentando entender uma falha onde a parte de "pensar" da IA quebrava a parte de "jogar", mesmo que a parte de "pensar" ainda fosse incrivelmente útil para ensinar. É uma história sobre como uma bússola ruim ainda pode ser um ótimo mapa para um professor.

A Bússola Defeituosa

No mundo do Go computacional (um jogo jogado em uma grade de 19x19), os pesquisadores geralmente treinam a IA fazendo-a aprender com um professor superforte. Neste estudo, o professor era uma IA famosa chamada KataGo. O pesquisador pegou uma IA menor e mais simples e tentou copiar o cérebro do professor usando uma técnica chamada destilação de conhecimento. Pense nisso como um aluno tentando memorizar as respostas do dever de casa do professor.

Normalmente, uma vez que o aluno aprende as respostas, você o deixa usar seu próprio "motor de pensamento" (Mcesso) para conferir seu trabalho antes de fazer uma jogada. A expectativa era que isso tornaria o aluno ainda mais forte. Mas aqui é onde a trama vira: Quando o pesquisador deixou o aluno usar o MCTS para escolher suas jogadas, o aluno na verdade piorou.

O aluno, jogando sem nenhum motor de pensamento, venceu cerca de 32% dos jogos contra si mesmo. Mas no momento em que ligou o "motor de pensamento" para ajudar a escolher as jogadas, sua taxa de vitória despencou. Foi como se um aluno que conseguia resolver problemas matemáticos perfeitamente subitamente começasse a falhar em todos os testes no momento em que lhe permitiram usar uma calculadora.

O Cabeçote de Valor Quebrado

O pesquisador teve que descobrir por que a calculadora estava quebrada. Seria o próprio "calculador" (o algoritmo de busca) defeituoso? Ou seria o céreve do aluno (a rede neural) dando informações ruins ao calculador?

Para testar isso, o pesquisador substituiu o cérebro do aluno pelo cérebro do professor apenas para a etapa final do cálculo. De repente, a taxa de vitória disparou para 98,3%. Isso provou que o "calculador" (MCTS) estava funcionando perfeitamente. O problema estava inteiramente no cérebro do aluno.

Especificamente, o problema estava no cabeçote de valor (value head). Em termos de IA, o "cabeçote de valor" é a parte do cérebro que diz: "Esta posição é boa ou ruim?". O cabeçote de valor do aluno era, na verdade, muito bom em julgar a pontuação absoluta (ele sabia se uma posição era de vitória ou derrota no geral). Mas era terrível em comparar dois movimentos semelhantes lado a lado. Ele não conseguia dizer qual de dois movimentos irmãos era ligeiramente melhor.

Imagine um juiz que consegue dizer se uma pintura é "boa" ou "ruim", mas quando você lhe mostra duas pinturas que são ambas "boas", ele não consegue dizer qual é a melhor. Quando a IA tentou usar esse juiz confuso para escolher a melhor jogada, ela continuava cometendo erros. O mecanismo de busca cavava mais fundo, encontrava comparações mais confusas e tornava as decisões da IA cada vez piores.

A Correção: Pare de Usar a Bússola, Comece a Usar o Mapa

O pesquisador tentou consertar o juiz quebrado reentrenando apenas essa parte do cérebro. O juiz ficou ligeiramente melhor em comparar jogadas, mas a IA ainda não conseguia usar o motor de busca para jogar melhor. O motor de busca ainda estava quebrado como um seletor de jogadas.

Então, o pesquisador tentou uma abordagem completamente diferente. Em vez de tentar consertar a habilidade da IA de usar o motor de busca para escolher jogadas, ele decidiu usar o motor de busca apenas como um professor.

Aqui está o truque de mágica:

A IA jogou uma partida usando o motor de busca para gerar uma "distribuição de visitas". Esta é um registro de quanto tempo o motor de busca passou analisando diferentes jogadas. Mesmo que o motor de busca tenha escolhido a jogada errada no final, ele pode ter passado muito tempo pensando na jogada certa.
O pesquisador então treinou o cérebro da IA para copiar esse "padrão de pensamento" (a distribuição de visitas) em vez de apenas copiar a jogada final.
Eles removeram a "âncora de segurança" que normalmente impede a IA de mudar demais.

O resultado foi chocante. Ao ignorar a decisão final do motor de busca e usar apenas seu "processo de pensamento" como lição, a IA melhorou massivamente.

Geração 2 (usando o método antigo): A IA não jogou melhor do que sua versão anterior.
Geração 3 (usando o motor de busca como professor): A IA venceu 94,1% das partidas contra a linha de base original e 82,4% contra a versão anterior.

Isso aconteceu usando menos da metade da quantidade de dados de prática (jogos de auto-jogo) que a geração anterior usou. O motor de busca era um jogador terrível (ele escolhia as jogadas erradas 73% das vezes), mas era um professor incrível.

Por Que Isso Importa

O artigo conclui que existe uma grande diferença entre a capacidade de uma IA de tomar uma decisão e sua capacidade de ensinar uma lição.

Pense nisso como um treinador que é péssimo em praticar o esporte em si. Se você pedir a este treinador para jogar uma partida, ele perderá. Mas se você pedir a ele para assistir a um jogo e dizer onde os jogadores devem focar a atenção, ele pode ser brilhante. O motor de busca neste estudo era como esse treinador: não conseguia escolher o vencedor, mas seu "mapa de atenção" mostrava ao aluno exatamente para onde olhar para aprender.

O estudo também destaca um aviso para qualquer pessoa que construa IA: Não confie demais em seus "placar de avaliação" (scorecards). Os pesquisadores descobriram que métricas padrão (como o quão bem a IA classificou as jogadas em um teste) frequentemente falharam em prever se a IA realmente melhoraria no jogo. Às vezes, a IA melhorava mesmo quando os resultados dos testes pareciam piores.

No fim, isso não é apenas sobre Go. O mesmo problema acontece em outros campos da IA, como o treinamento de modelos de linguagem. Às vezes, a ferramenta que você usa para gerar respostas é falha demais para ser usada diretamente, mas o processo de gerar essas respostas contém o segredo para tornar a IA mais inteligente. A lição? Não jogue fora o professor só porque ele não sabe jogar o jogo.

Resumo Técnico: Uma Cabeça de Valor Destilada Quebra a Busca, mas a Busca Permanece um Professor Eficaz

Enunciado do Problema
Em sistemas do tipo AlphaZero, a Busca em Árvore de Monte Carlo (MCTS) serve tipicamente um papel duplo: selecionar jogadas no tempo de inferência e gerar alvos de treinamento para a rede de política. Assume-se geralmente que um sistema onde a busca melhora o jogo no tempo de inferência também se beneficiará de alvos de treinamento derivados da busca. Este artigo investiga um caso contraintuitivo no Go 19x19 onde uma rede neural destilada, quando combinada com MCTS, teve um desempenho significativamente inferior à política isolada. A questão central de pesquisa é se a busca pode permanecer um "professor" útil para o aprendizado da política mesmo após deixar de funcionar como um "seletor de jogadas" eficaz no tempo de inferência.

Metodologia
O estudo utilizou uma rede de Go 19x19 (11,98 milhões de parâmetros, 192 canais, 18 blocos residuais) destilada do KataGo. O design experimental foi estritamente pré-registrado para evitar a reinterpretação post-hoc de métricas de aproximação (proxy).

Baseline: Uma rede destilada treinada nos outputs de busca do KataGo (política, valor, pontuação, propriedade) mas implantada usando apenas a cabeça de política (argmax) sem busca.
Integração de Busca: MCTS (400 simulações, seleção PUCT) foi aplicado à rede destilada.
Localização do Defeito: O autor isolou a falha substituindo as avaliações de folha da rede destilada pelas avaliações de visita única do KataGo durante a busca.
Gerações Iterativas:
- Geração 1 & 2: A política foi atualizada usando uma âncora de divergência KL para a política da geração anterior, tentando melhorar o tronco enquanto restringia o desvio da política (policy drift).
- Geração 3: O objetivo de treinamento para a cabeça de política foi alterado. Em vez de uma âncora KL, a política foi treinada via entropia cruzada para a distribuição de contagem de visitas do MCTS gerada pela própria rede.
Avaliação: Todas as reivindicações de desempenho foram validadas por partidas de confronto direto de 272 jogos a partir de um tabuleiro vazio, adjudicadas pelo KataGo a 100 visitas, com intervalos de confiança de Wilson de 95%.

Resultos Principais

A Busca Degrada o Desempenho de Inferência: Contrariamente às expectativas, adicionar MCTS à rede destilada reduziu sua taxa de vitória contra o baseline de política isolada para 0,317. Aumentar a contagem de simulações degradou ainda mais o desempenho.
A Cabeça de Valor é o Gargalo: Substituir a cabeça de valor destilada pela avaliação do KataGo durante a busca restaurou imediatamente as taxas de vitória para 0,983. A análise revelou que a cabeça de valor destilada estava bem calibrada em termos absolutos (resíduo médio de -0,0091), mas falhava em classificar posições irmãs com precisão (correlação de Spearman $\rho = +0,005$ vs. +0,146 para a cabeça de política).
Reconstruir a Cabeça de Valor Foi Insuficiente: Retreinar apenas a cabeça de valor melhorou a precisão de classificação de irmãos (de 0,54 para 0,64), mas não restaurou a utilidade da busca para a seleção de jogadas (taxa de vitória vs. argmax da política permaneceu em 0,500).
O Treinamento Ancorado por KL Falhou: As Gerações 1 e 2, que usaram âncoras KL para restringir as atualizações de política, não mostraram melhoria distinguível sobre suas predecessoras (Geração 2 vs. Gen 1: taxa de vitória de 0,526).
A Busca como Professor Teve Sucesso: A Geração 3, que treinou a política via entropia cruzada para a distribuição de visitas do MCTS, alcançou uma taxa de vitória de 0,824 contra a Geração 2 e 0,941 contra o baseline de destilação original. Este progresso foi alcançado usando menos da metade dos dados de auto-jogo da Geração 2.
Métricas de Aproximação vs. Realidade: Métricas de aproximação padrão (ex: precisão de classificação de irmãos, perda de avaliação de política) falharam em prever a força de jogo. Em alguns casos, o agravamento das métricas de aproximação coincidiu com ganhos significativos de Elo.

Principais Contribuições

Desacoplamento dos Papéis de Inferência e Ensino: O artigo demonstra que o desempenho no tempo de inferência de um operador de melhoria (MCTS) e o valor de ensino de seu output são propriedades distintas. A MCTS falhou em selecionar melhores jogadas, mas forneceu um sinal de treinamento superior para a política.
Supervisão Derivada de Busca: O estudo mostra que um alvo de política derivado de busca (distribuição de visitas) pode melhorar substancialmente uma rede estudante, mesmo quando o procedimento de busca é fraco demais para melhorar o jogo no tempo de inferência. Isso sugere que a distribuição de visitas captura informações estruturais indisponíveis na política prior sozinha.
Rigor Metodológico: O trabalho destaca a falta de confiabilidade das métricas de aproximação em sistemas complexos de RL e defende critérios de decisão pré-registrados e avaliação direta de confronto direto com intervalos de confiança.

Significância e Alegações
O autor afirma que este é um estudo de caso mecanístico, não um benchmark. A principal significância reside na identificação de um modo de falha estrutural onde um avaliador aprendido (cabeça de valor) permanece calibrado, mas perde a fidelidade de classificação, fazendo com que um operador de melhoria funcione "ao contrário" durante a inferência.

O artigo traça um paralelo conceitual com o Aprendizado por Reforço com Feedback Humano (RLHF) em Modelos de Linguagem de Grande Escala (LLMs). Sugere que, em ambos os domínios, um seletor imperfeito (MCTS ou um modelo de recompensa) ainda pode gerar dados de treinamento valiosos (distribuições de visitas ou candidatos classificados), mesmo que não consiga selecionar confiavelmente o output ideal durante a inferência. O autor conclui que pesquisas futuras sobre sistemas de aprendizado baseados em busca devem distinguir explicitamente se um operador melhora decisões imediatas e se seu output melhora o aprendizado subsequente, observando que as respostas para essas perguntas não precisam ser as mesmas.

Limitações
O autor reconhece que esses achados derivam de uma única arquitetura, uma única semente aleatória e um jogo específico (Go 19x19). O loop de auto-jogo não foi totalmente autocontido, pois a supervisão de valor dependeu de rótulos do KataGo devido a jogos que frequentemente atingiam o limite de jogadas. O estudo estabelece um fenômeno empírico sem resolver totalmente o mecanismo subjacente de por que a distribuição de visitas contém sinais úteis, apesar da falha da busca.

A Bússola Defeituosa

O Cabeçote de Valor Quebrado

A Correção: Pare de Usar a Bússola, Comece a Usar o Mapa

Por Que Isso Importa

Mais como este