One Model, Two Roles: Emergent Specialization in a Shared Recurrent Transformer

Resumo Técnico: Um Modelo, Dois Papéis: Especialização Emergente em um Transformer Recorrente Compartilhado

Declaração do Problema
O artigo investiga se um único Transformer recorrente com pesos compartilhados pode desenvolver papéis computacionais internos distintos para dois estados latentes sem ser particionado em módulos de parâmetros separados. Enquanto trabalhos anteriores como HRM (Modelo de Raciocínio Hierárquico) utilizam redes separadas para diferentes estados latentes e TRM (Modelo de Raciocínio Transformer) utiliza uma única rede compartilhada, permanece incerto se um modelo compartilhado pode se especializar espontaneamente em papéis funcionais distintos (por exemplo, um estado de "proposta" versus um estado de "refinamento") quando fornecido com um sinal estável que distingue os tipos de atualização. A questão central é se a especialização requer modularidade estrutural (parâmetros separados) ou se pode emergir de uma diferenciação funcional impulsionada por um sinal claro de identidade de estado dentro de uma arquitetura monolítica compartilhada.

Metodologia: Recorrência de Entrada Assimétrica (AIR)
Para abordar isso, os autores introduzem a Recorrência de Entrada Assimétrica (AIR), um ambiente de teste mínimo derivado do HRM e do TRM.

• Arquitetura: O AIR mantém dois estados latentes, $z_H$ (alto nível) e $z_L$ (baixo nível), atualizados por um único modelo Transformer compartilhado $f(\cdot; \theta)$.
• Mecanismo de Atualização: A recorrência segue um padrão de sub-etapas intercaladas (por exemplo, $L, L, H, L, L, H$). A assimetria crítica reside na injeção de entrada:
  • Atualizações L: A entrada codificada $\tilde{x}$ é injetada na regra de atualização ($z_L \leftarrow f(z_L + z_H + \alpha_L \tilde{x})$).
  • Atualizações H: A entrada codificada não é injetada ($z_H \leftarrow f(z_H + z_L + \alpha_H \tilde{x})$ com $\alpha_H=0$).
• Treinamento: O modelo é treinado usando gradientes truncados de um passo (retropropagando apenas através das atualizações finais L e H de um ciclo) em duas tarefas de raciocínio sintéticas: Sudoku-Extreme (quebra-cabeças 9x9) e Labirinto (grades 30x30).
• Análise: Os autores empregam várias técnicas para sondar o modelo:
  • Desdobramentos Decodificados: Visualização de estados intermediários para observar níveis de comprometimento.
  • Experimentos de Congelamento: Congelar um estado para medir mudanças de conteúdo no outro.
  • Ablações: Testar injeção de entrada simétrica (removendo a assimetria) e sinais alternativos de identidade de estado (tokens de nível).
  • Análise Mecanística: Análise de padrões de atenção (localidade versus globalidade) e sensibilidade a violações.

Principais Contribuições e Resultados

1. Existência de Especialização Funcional:
   Desdobramentos decodificados revelam uma divisão estável e emergente no comportamento do modelo compartilhado:

   • $z_H$ (Alto nível): Comporta-se como um "estado de proposta totalmente comprometido". Ele decodifica para uma solução candidata completa em cada sub-etapa, mesmo que incorreta.
   • $z_L$ (Baixo nível): Comporta-se como um "rascunho de comprometimento variável". Ele retém incerteza local, com posições indecisas (BLANK no Sudoku, PAD no Labirinto) que se deslocam entre sub-etapas.
   • Controle: Em variantes simétricas (onde ambos os estados recebem injeção de entrada idêntica), essa divisão distinta de papéis quase desaparece, confirmando que a especialização não é inerente à existência de dois estados, mas depende da capacidade de distinguir os tipos de atualização.

2. Sinal de Identidade de Estado Induz Especialização:
   O artigo demonstra que o modelo compartilhado requer um sinal confiável para distinguir os tipos de atualização a fim de induzir especialização.

   • Assimetria de Entrada: A injeção de entrada assimétrica ($\Delta > 0$) melhora significativamente a precisão (por exemplo, ~59% no Sudoku versus ~51% para variantes simétricas).
   • Tokens de Nível: Os autores testaram sinais alternativos usando tokens de nível aprendidos. Apenas uma estratégia de "adicionar e remover" (onde um token é adicionado, atendido e removido) recuperou com sucesso a lacuna de desempenho. Adição elemento a elemento simples ou tokens persistentes falharam, sugerindo que o sinal deve ser estruturalmente separável e não misturado em tokens de conteúdo.
   • Ablação de Estado Único: Um modelo de estado único com injeção de entrada periódica falhou em igualar o desempenho do modelo assimétrico de dois estados, indicando que buffers de memória distintos são necessários para uma especialização estável.

3. Dinâmicas de Estado Interdependentes:
   Experimentos de congelamento revelam uma relação específica entre os dois estados:

   • Sudoku: Congelar $z_H$ suprime a atividade de $z_L$ (reduzindo mudanças de conteúdo), enquanto congelar $z_L$ aumenta a atividade de $z_H$.
   • Labirinto: Congelar qualquer estado aumenta as mudanças de conteúdo no outro.
   • Controle Simétrico: Modelos simétricos carecem desse padrão de interação organizado e consistente com o papel, mostrando respostas sensíveis a perturbações, mas desestruturadas.

4. Evidência Mecanística (Análise de Atenção):
   A análise de atenção confirma a divisão funcional:

   • Localidade: Atualizações $L$ atendem consistentemente mais localmente (para vizinhanças imediatas) do que atualizações $H$, que exibem atenção mais global.
   • Sensibilidade a Violações: No Sudoku, camadas mais profundas de atualizações $L$ mostram roteamento de atenção específico para restrições violadas, um sinal não observado em atualizações $H$ ou na tarefa de Labirinto.

Significado e Alegações
O artigo afirma que a modularidade explícita de parâmetros (redes separadas) não é estritamente necessária para a especialização funcional em raciocínio recorrente. Em vez disso, um sinal claro de identidade de estado — fornecido seja através de injeção de entrada assimétrica ou de um token de nível estruturalmente separável — é suficiente para induzir papéis funcionais estáveis e relacionados dentro de um Transformer recorrente com parâmetros compartilhados.

Os autores posicionam este trabalho como pesquisa fundamental sobre os vieses indutivos de pequenos sistemas de raciocínio recorrente. Eles enfatizam que suas conclusões são extraídas de configurações sintéticas controladas (Sudoku e Labirinto) e não reivindicam universalidade em linguagem natural ou observabilidade parcial. A contribuição principal é demonstrar que "um modelo, dois papéis" é um paradigma viável para arquiteturas de raciocínio eficientes, desde que o modelo possa distinguir o contexto computacional de suas atualizações.