Resumo Técnico: O Algoritmo Não é o Comportamento

Declaração do Problema

Trabalhos recentes de interpretabilidade mecanística demonstraram que redes neurais podem aprender e executar algoritmos complexos, como aritmética modular, busca e planejamento. No entanto, uma lacuna crítica permanece na compreensão de se a presença de uma estrutura algorítmica interna garante que o algoritmo determine a saída final do modelo. Especificamente, um modelo pode computar internamente uma solução correta via um algoritmo aprendido apenas para sobrescrevê-la com uma saída diferente? Este artigo investiga este fenômeno do "quebra-cabeça esquecido" no Leela Chess Zero (Lc0), o motor de xadrez neural mais forte, onde trabalhos anteriores (Jenner et al., 2024) identificaram mecanismos de look-ahead (antecipação) aprendidos. Os autores perguntam: se o algoritmo de look-ahead funciona corretamente, o que sobrescreve a solução computada na saída final?

Metodologia

Os autores estendem a técnica da lente de logit (logit lens) (nostalgebraist, 2020) para a arquitetura Post-LN da rede de política de seleção de movimentos do Lc0. Ao contrário dos modelos de linguagem decoder-only, onde a lente de logit é limitada a posições de tokens únicos, a arquitetura encoder-only do Lc0 trata cada casa do tabuleiro como um token, permitindo a projeção de representações intermediárias através da cabeça de saída para revelar distribuições de política em cada camada.

Para abordar os desafios das arquiteturas Post-LN (onde a normalização de camada ocorre após as conexões residuais), os autores adaptam a lente de logit aplicando ablação zero às saídas das subcamadas além de uma camada específica $\ell$, enquanto preservam as normalizações de camada subsequentes e fatores de escala. Isso permite a extração de políticas intermediárias significativas.

O estudo emprega três abordagens analíticas primárias:

1. Análise de Política por Camada: Rastreamento da evolução das probabilidades de movimentos e das taxas de sucesso na resolução de quebra-cabeças através dos 15 níveis de transformadores.
2. Verificação Causal de Look-Ahead: Replicação das análises de Jenner et al. (2024) — patching de ativação, ablação de cabeça de atenção e sondagem bilinear — em "quebra-cabeças esquecidos" (posições onde as camadas intermediárias encontram a solução correta, mas o modelo final não) para determinar se o mecanismo de look-ahead está ativo.
3. Direcionamento de Conceito (Concept Steering): Análise de preferências de conceitos por camada (usando termos de avaliação do Stockfish como proxies para segurança e agressividade) e aplicação de direcionamento de ativação baseado em gradiente para neutralizar priors aprendidos, testando se isso recupera soluções esquecidas.

Principais Contribuições

1. Lente de Logit Estendida para Post-LN: Os autores estenderam com sucesso a lente de logit para a arquitetura Post-LN do Leela, revelando que as políticas intermediárias seguem uma progressão estruturada através de heurísticas de xadrez de complexidade crescente, com a força de jogo melhorando consistentemente com a profundidade.
2. Identificação de "Quebra-cabeças Esquecidos": Eles identificam um modo de falha sistemático onde soluções corretas (frequentemente envolvendo sacrifícios ou movimentos forçados) aparecem em camadas intermediárias com alta probabilidade, mas são sobrescritas na saída final. Em um conjunto de dados de 7.901 tais posições, 88,6% envolvem sacrifícios, e o modelo frequentemente os substitui por movimentos posicionais "quietos".
3. Evidência Causal de Priors de Segurança: O artigo fornece evidência causal de que a sobrescrita não se deve a uma falha do algoritmo de look-ahead. Em vez disso, as camadas tardias (especificamente em torno da camada 13) mudam para priorizar priors de segurança (ex: segurança do rei, evitar ameaças) sobre soluções táticas agressivas. Ao direcionar o modelo contra essas preferências de segurança, os autores recuperam 61,7% dos quebra-cabeças esquecidos, demonstrando que heurísticas distributivas aprendidas podem sobrescrever soluções algorítmicas computadas.

Principais Resultados

• Estrutura Algorítmica vs. Comportamento: O mecanismo de look-ahead opera normalmente em quebra-cabeças esquecidos. Movimentos futuros da continuação correta são representados, causalmente importantes (verificado via patching de ativação e ablação de atenção) e linearmente decodificáveis (via sondagem). O algoritmo computa a solução correta, mas ela não é utilizada.
• O Mecanismo de Sobrescrita: A sobrescrita ocorre principalmente nas últimas camadas feed-forward. A cabeça de valor avalia corretamente o resultado vitorioso do movimento correto (ex: atribuindo 99,8% de probabilidade de vitória a um xeque-mate forçado), mas a cabeça de política seleciona um movimento perdedor.
• Dominância de Prior de Segurança: A análise de preferências de conceito mostra que, enquanto as camadas iniciais e médias favorecem conceitos agressivos (vulnerabilidade do rei adversário, ameaças), as camadas tardias priorizam cada vez mais conceitos conservadores (segurança do próprio rei, redução de ameaças do oponente).
• Sucesso da Intervenção: O direcionamento baseado em gradiente contra conceitos de segurança na camada 13 (especificamente reduzindo o peso na mitigação de ameaças do oponente) recupera 61,7% dos quebra-cabeças esquecidos com regressões mínimas, confirmando que os priors de segurança são o principal mecanismo que suprime a solução algorítmica.

Significância e Alegações

O artigo afirma que a estrutura algorítmica não garante o comportamento algorítmico. Um modelo pode possuir a capacidade interna de resolver um problema (via um algoritmo de look-ahead aprendido) e ainda assim produzir a resposta errada porque competing priors aprendidos (neste caso, heurísticas de segurança derivadas da distribuição de treinamento) sobrescrevem a computação algorítmica nas camadas finais.

Esta descoberta desafia a suposição de que identificar circuitos causais (algoritmos) é suficiente para prever o comportamento do modelo. Sugere que, em domínios com verdade fundamental verificável, os modelos podem possuir "capacidades ocultas" que não são refletidas em suas saídas devido à dominância de heurísticas distributivas. Os autores posicionam isso como uma nota de cautela para a interpretabilidade mecanística: entender o que um modelo computa é distinto de entender o que ele escolhe exibir, pois esta última pode ser ditada por priors que conflitam com a solução algorítmica.