Resumo Técnico: MetaOthello: Um Estudo Controlado de Múltiplos Modelos de Mundo em Transformers

Declaração do Problema

Modelos de fundação são treinados em dados diversos e devem aprender simultaneamente múltiplos processos generativos, alternando entre eles conforme o contexto. Embora a interpretabilidade mecanística tenha identificado com sucesso "modelos de mundo" (representações internas de estado latente) em configurações de tarefa única como o Othello-GPT, permanece incerto como um único transformer organiza múltiplos modelos de mundo, potencialmente conflitantes, dentro de um espaço de representação compartilhado. Estudos anteriores tipicamente isolam um único sistema de regras, falhando em abordar como os modelos lidam com dados heterogêneos onde múltiplos sistemas de regras coexistem e podem conflitar.

Metodologia: O Framework MetaOthello

Para abordar essa lacuna, os autores introduzem o MetaOthello, um framework sintético controlado para estudar a organização de múltiplos modelos de mundo.

• Variantes de Jogo: O framework define um universo de jogos do tipo Othello jogados em um tabuleiro $8 \times 8$ com um vocabulário compartilhado (64 posições + passar). Os jogos diferem em sua física subjacente:
  • Classic (Clássico): Regras padrão de Othello.
  • NoMidFlip: Inicialização e validação idênticas ao Classic, mas a regra de atualização apenas inverte as duas peças mais externas cercadas.
  • DelFlank: Utiliza uma regra de validação baseada em vizinhança (movimentos devem ser adjacentes a uma peça) e uma regra de atualização onde as peças cercadas são deletadas em vez de invertidas.
  • Iago: Uma variante embaralhada onde o vocabulário de tokens é permutado via uma bijeção (Mapa de Sintaxe) em relação aos movimentos físicos no tabuleiro, enquanto a lógica subjacente permanece idêntica ao Classic.
• Regime de Treinamento: Pequenos Transformers decodificadores (8 camadas, 8 cabeças, $d_{model}=512$) são treinados em:
  • Datasets Puros: Sequências de uma única variante de jogo.
  • Datasets Mistos: Sequências amostradas de pares de variantes (ex: Classic + NoMidFlip), criando prefixos "ambíguos" que são válidos sob ambos os conjuntos de regras, mas levam a diferentes estados de tabuleiro.
• Métricas de Avaliação:
  • $\alpha$-Score: Uma métrica de desempenho normalizada que considera a entropia do conjunto de movimentos válidos, permitindo a comparação entre jogos com diferentes fatores de ramificação.
  • Sondas Lineares (Linear Probes): Treinadas para decodificar estados de tabuleiro (minha/sua/vazia) e a identidade do jogo a partir do fluxo residual.
  • Intervenção Causal: Usando pesos de sondagem para direcionar o estado interno do modelo (ex: inverter o estado de uma peça na representação) para testar a eficácia causal.
  • Alinhamento de Procrustes: Utilizado para medir a similaridade geométrica entre os pesos das sondas em diferentes variantes de jogo, identificando rotações ortogonais que alinham as representações.

Principais Descobertas

1. Alinhamento entre Variantes e Representações Compartilhadas

Transformers treinados em dados mistos não particionam a capacidade em submodelos isolados. Em vez disso, eles aprendem um estado de mundo compartilhado:

• Alinhamento Geométrico: Sondas lineares treinadas em uma variante (ex: Classic) podem efetivamente intervir no estado interno de outra variante (ex: NoMidFlip ou DelFlank).
• Invariância de Rotação: Para jogos isomórficos com tokenização embaralhada (Iago), as representações são equivalentes até uma única rotação ortogonal que generaliza por todas as camadas. Isso indica que o modelo aprende uma estrutura abstrata independente dos tokens de superfície.
• Eficácia Causal: Intervenções de sondas cruzadas são quase tão eficazes quanto intervenções de sondas correspondentes, sugerindo que a geometria causal subjacente do estado do tabuleiro é compartilhada.

2. Economização e Resolução de Conflitos

O modelo não mantém dois modelos de mundo totalmente distintos simultaneamente. Em vez disso, ele economiza compartilhando representações onde as regras concordam e localizando o conflito:

• Substrato Compartilhado: A representação do estado do tabuleiro é genuinamente compartilhada.
• Conflito Localizado: Um "recurso de conflito" (conflict feature) tênue e computado separadamente determina qual sistema de regras se aplica quando as regras divergem.
• Especialização de Camadas: No mix Classic-NoMidFlip, o modelo mantém ambos os estados de tabuleiro até que um conflito surja. A probabilidade da identidade do jogo é codificada a partir da Camada 4 (via MLP) e roteada através da Camada 5 (especificamente a Cabeça de Atenção 5). Direcionar esse circuito específico causalmente controla qual sistema de regras o modelo aplica a um prefixo ambíguo.

3. Regimes de Arbitragem Distintos

O mecanismo para lidar com a ambiguidade depende do grau de divergência entre os sistemas de regras:

• Alta Sobreposição (Classic-NoMidFlip): O modelo mantém ambos os estados de tabuleiro e repondera um subespaço de camada intermediária no ponto de conflito.
• Baixa Sobreposição (Classic-DelFlop): Como o grafo de jogo do DelFlop diverge rapidamente do Classic, sequências ambíguas tornam-se efetivamente fora da distribuição (out-of-distribution) rapidamente. Neste regime, o modelo se compromete precocemente com um único modelo de mundo (Classic) e descarta a alternativa. Recuperar a interpretação suprimida requer intervir em camadas iniciais (2–3), não em camadas intermediárias.

Significância e Alegações

O artigo posiciona o MetaOthello como uma contribuição metodológica para a interpretabilidade mecanística, oferecendo um "testbed de verdade fundamental" para validar técnicas antes de aplicá-las a dados naturais complexos.

• Resolução do Paradoxo: O estudo resolve o aparente paradoxo de como modelos podem ter representações intercambiáveis para diferentes jogos, mas ainda assim distinguir entre eles. A resposta reside em um substrato compartilhado para o estado comum e um circuito de roteamento localizado para resolução de conflitos.
• Implicações para Grandes Modelos: As descobertas sugerem que grandes modelos de fundação organizam o conhecimento heterogêneo não por particionar a capacidade em subredes separadas, mas por compartilhar estruturas alinhadas e localizar conflitos em circuitos identificáveis e direcionáveis.
• Limitações: Os autores reconhecem que essas descobertas são estabelecidas em um ambiente controlado e sintético. O estudo testa apenas misturas pareadas e uma escala de arquitetura específica, deixando como questões abertas os efeitos de misturas desequilibradas, escalas maiores e arbitragem de múltiplas vias. A análise depende de sondas lineares, e estruturas não lineares podem revelar mecanismos adicionais.

Em resumo, o artigo demonstra que os transformers reconciliam modelos de mundo conflitantes ao compartilhar a estrutura e localizar o conflito, fornecendo uma visão mecânica concreta de como o aprendizado multitarefa opera em modelos de sequência.