Resumo Técnico: Registradores Causais em Raciocínio de Scratchpad

Declaração do Problema

A supervisão de processo visa alinhar modelos recompensando etapas intermediárias de raciocínio (ex: scratchpads, cadeia de pensamento) em vez de apenas as respostas finais. No entanto, existe uma lacuna crítica entre legibilidade e causalidade: um modelo pode escrever estados intermediários plausíveis que se correlacionam com a resposta correta sem, de fato, usar esses estados como entradas para computações subsequentes. Se o texto escrito for meramente uma justificativa post-hoc ou um sinal correlacionado, ele não pode ser efetivamente auditado ou submetido a intervenções.

A questão central abordada é: O modelo realmente computa a partir dos estados intermediários que escreve? Especificamente, se uma representação interna de um estado escrito for alterada enquanto o texto visível permanece fixo, o próximo passo do modelo muda de acordo com a regra de atualização conhecida desse estado?

Metodologia

1. Tarefa de Rastreamento de Estado Controlada

Os autores utilizam um sistema de transição finito com regras de atualização conhecidas para criar um teste causal inequívoco.

• Estrutura da Tarefa: O modelo recebe um estado inicial e uma sequência de movimentos. Ele deve rastrear o estado após cada movimento.
• Representação do Estado: O estado é definido como $v | p$, onde $v$ é uma coordenada visível (uma de quatro células de grade) e $p$ é um "bit de fase" ($0$ ou $1$).
• Sensibilidade à Ordem: O bit de fase $p$ não é determinado unicamente pela coordenada visível $v$; ele depende do histórico de movimentos (a ordem das operações). Isso cria estados correspondentes (ex: $11|0$ e $11|1$) que compartilham o mesmo texto visível, mas diferem no fase interno.
• Modelos: O estudo utiliza o Qwen2.5-Coder-7B como modelo primário e o Mistral-7B-v0.3 para replicação.
• Condições de Treinamento:
  1. Base Pré-treinada: Sem ajuste fino (fine-tuning).
  2. Apenas Resposta Final: Ajustado para produzir apenas o estado final.
  3. Estado de Execução (Running-State): Ajustado para escrever o estado de execução completo após cada movimento antes da resposta final.

2. Intervenção: Edição de Estado Contrafactual

A intervenção experimental central envolve patching de ativação (especificamente modificando o cache KV) no posicionamento do token correspondente ao estado atual.

• A Edição: A representação do fluxo residual interno do bit de fase no token do estado atual é editada de $p$ para $1-p$.
• A Restrição: O ID do token visível e o texto do scratchpad impresso permanecem inalterados. O prefixo fornecido ao modelo é idêntico em ambas as execuções, a limpa e a editada.
• O Teste: O modelo é solicitado a prever o próximo estado dado o próximo movimento $m$.
  • Condição de Sucesso: O modelo prevê o bit de fase resultante da aplicação do movimento $m$ ao estado editado $\tilde{s} = (v, 1-p)$.
  • Condição de Falha: O modelo ignora a edição interna e prevê o resultado baseado no estado original $s = (v, p)$, ou segue um viés genérico.

3. Controles e Seletividade

Para descartar explicações alternativas (ex: direcionamento de próximo-token genérico ou cópia de continuações), os autores empregam dois controles específicos:

• Controle de Troca de Movimento (Move-Swap Control): O estado editado é mantido fixo, mas o próximo movimento é alterado. Um mecanismo válido de atualização de estado deve mudar sua previsão com base no novo movimento; um viés fixo não o faria.
• Controle de Continuação Conflitante (Conflicting-Continuation Control): Um estado contrafactual é injetado de um contexto diferente onde a trajetória futura diverge do movimento atual. Se o modelo seguir o movimento atual, ele está recomputando a partir do estado editado; se seguir a continuação injetada, está apenas copiando uma continuação.

Principais Resultados

1. Uso Causal de Estados de Scratchpad

Nos modelos de Estado de Execução (ajustados para escrever estados intermediários), a edição interna redireciona com sucesso a computação do próximo estado:

• Qwen2.5-Coder-7B: O modelo prevê o próximo bit de fase implícito pelo estado editado em 80% dos exemplos de teste (tarefa Q8) e 91% (tarefa D8).
• Controles: Modelos pré-treinados e de apenas resposta final permanecem próximos aos níveis de linha de base (chance), indicando que não utilizam o estado escrito como entrada computacional.
• Edições Aleatórias/Ortogonais: Patches aleatórios ou patches em subespaços ortogonais resultaram em taxas de concordância próximas a 0,02, confirmando que o efeito é específico ao subespaço do bit de fase.

2. Seletividade e Recomputação

Os modelos de Estado de Execução demonstram alta seletividade, provando que não estão apenas enviesando tokens ou copiando:

• Especificidade de Movimento: A previsão muda significativamente quando o movimento muda (Gaps de seletividade: +0,57 para Q8, +0,68 para D8).
• Recomputação vs. Cópia: Diante de uma continuação conflitante, o modelo segue o movimento atual (e, portanto, o estado editado) em vez da continuação da fonte injetada (Gaps de seletividade: +0,59 para Q8, +0,81 para D8).

3. Análise Mecanística

• Representação Compacta: A informação do bit de fase é capturada por um subespaço de baixo rank. Em Q8, uma edição de rank-1 é suficiente; em D8, rank-2 é suficiente, muito abaixo dos 3584 dimensões do fluxo residual.
• Roteamento:
  • Q8: A atualização flui principalmente através de uma única conexão de atenção (do token de fase atual para a próxima camada de previsão). Ablar essa conexão remove 94% do efeito.
  • D8: A atualização utiliza uma rota distribuída de quatro arestas. Ablar esta rota específica remove ~69% do efeito, mostrando que variáveis de estado compactas podem ser processadas via mecanismos distribuídos.
• Replicação: Esses padrões causais se replicam no Mistral-7B-v0.3, com modelos de Estado de Execução alcançando 0,93–0,94 de concordância com o estado editado.

4. Prefixos Gerados

Quando o próprio modelo gera o prefixo (em vez de recebê-lo como entrada), o efeito persiste, mas é ligeiramente menos estável em Q8 (uso de um passo de 0,66) comparado a D8 (uso de um passo de 0,90), embora permaneça significativamente acima da linha de base.

Significância e Alegações

O artigo afirma que a supervisão de estado de execução (ajuste fino para produzir estados intermediários) transforma um scratchpad de um mero registro em um registrador causal dentro da computação do modelo.

• Semântica Operacional: Um intermediário útil para alinhamento deve possuir semântica operacional dentro do modelo. Os resultados mostram que, para os modelos treinados, alterar o valor interno associado a um estado escrito altera causalmente o próximo passo de uma forma consistente com a regra de transição.
• Auditabilidade: Isso estabelece um "objetivo mais nítido para a supervisão de scratchpad". A supervisão não é apenas sobre tornar o raciocínio legível para humanos, mas sobre treinar modelos para usar estados escritos como entradas reais para sua própria computação. Isso permite "auditorias de distorção de evidência", onde um supervisor pode, teoricamente, alterar um estado e verificar se o comportamento subsequente do modelo se alinha a essa mudança.
• Distinção de Conceitos: O trabalho separa com sucesso três ideias frequentemente confundidas:
  1. Se um estado é escrito.
  2. Se um estado é representado internamente.
  3. Se o modelo realmente computa a partir desse estado.
     Os resultados mostram que a supervisão é necessária para preencher a lacuna entre representação e computação.

Os autores concluem que, embora essa estrutura tenha sido demonstrada em um ambiente sintético controlado, o objetivo para a futura supervisão de processo é construir tarefas e métodos de treinamento onde os modelos exponham variáveis de estado causalmente ativas e utilizáveis de forma semelhante em domínios mais ricos (ex: estados de programas, prova de teoremas, uso de ferramentas).