🤖 machine learning

Task Structure Reverses Layerwise State Encoding in Sequence Models

Este artigo demonstra que a distribuição camada a camada da codificação de estado em modelos de sequência não é um traço arquitetônico fixo, mas se inverte com base na estrutura computacional da tarefa, revelando que propriedades algébricas como a comutatividade são menos preditivas de assinaturas mecanísticas do que os requisitos computacionais subjacentes, tais como atualizações de prefixo versus operações de pilha.

Autores originais: Yuhang Jiang

Publicado 2026-06-02

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yuhang Jiang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando entender como diferentes tipos de "máquinas de pensar" (modelos de IA) acompanham a informação enquanto leem uma história. Por muito tempo, pesquisadores acreditaram que o "estilo de pensamento" de uma máquina era fixo, como a personalidade de uma pessoa. Eles acreditavam que:

Transformers (o padrão atual de IA) espalhavam seus pensamentos uniformemente por todo o seu cérebro.
Modelos recorrentes (IAs mais antigas, baseadas em loops) mantinham seus pensamentos principais guardados na parte final do seu cérebro.

Este artigo diz: "Calma lá."

Os autores descobriram que essas máquinas não têm uma personalidade fixa. Em vez disso, elas mudam como organizam seus pensamentos dependendo de qual trabalho estão realizando. É como um chef que usa uma faca diferente para picar vegetais versus filetar um peixe. A ferramenta muda com base na tarefa, não apenas na identidade do chef.

Aqui está a divisão da descoberta deles usando analogias simples:

1. Os Dois Tipos de Trabalho

Os pesquisadores deram aos modelos três tipos de quebra-cabeças para resolver:

O Trabalho de "Total Corrente" (Paridade & S3): Imagine contar quantas vezes você jogou uma moeda. Você só precisa lembrar da contagem atual (0 ou 1) e atualizá-la conforme avança. Isso é uma atualização simples e linear.
O Trabalho de "Pilha" (Dyck): Imagine verificar se uma frase tem parênteses equilibrados, como (( )). Você não pode apenas contar; você precisa lembrar de qual parêntese de abertura corresponde a qual de fechamento. Você tem que construir uma "pilha" mental (como uma pilha de pratos) para acompanhar o aninhamento.

2. A Grande Inversão

O artigo descobriu que as máquinas invertem sua estratégia dependendo do trabalho:

No Trabalho de "Total Corrente":
- Modelos recorrentes (como o Mamba) agem como um guardador de segredos: eles fazem muito trabalho no início, mas a resposta final só fica clara na última camada do cérebro. É como um mágico que faz toda a prestidigitação nas sombras e revela o truque apenas no final.
- Transformers agem como um reunião de equipe: eles constroem a resposta gradualmente, camada por camada, do início ao fim. Todos contribuem um pouco ao longo do caminho.
No Trabalho de "Pilha":
- Os papéis se invertem!
- Transformers de repente tornam-se os guardadores de segredos: eles descobrem a resposta quase imediatamente (nas primeiras camadas) e apenas a mantêm.
- Modelos recorrentes tornam-se a reunião de equipe: eles têm que construir a solução lentamente, camada por camada, para acertar a resposta.

A Conclusão: Você não pode dizer "O Transformer sempre espalha a informação" ou "O Mamba sempre a esconde". A estratégia depende inteiramente de se a tarefa é uma atualização simples ou uma pilha complexa.

3. O Teste "Não Comutativo" (O Quebra-cabeça S3)

Para provar que isso não era apenas sobre regras matemáticas (como a ordem importar na adição), eles adicionaram um terceiro quebra-cabeça mais difícil chamado S3. Este era um trabalho de "Total Corrente" onde a ordem importava (como colocar meias antes dos sapatos, o que é diferente de sapatos antes das meias).

A Previsão: Se a diferença fosse apenas sobre regras matemáticas, este trabalho difícil deveria se parecer com o trabalho de "Pilha".
A Realidade: As máquinas trataram este trabalho difícil exatamente como o "Total Corrente" simples. Elas usaram as mesmas estratégias de "guardador de segredos" ou "reunião de equipe".
Conclusão: As máquinas não estão reagindo a regras matemáticas; elas estão reagindo à estrutura computacional (é uma atualização simples ou uma pilha complexa?).

4. A Armadilha do "Legível" vs. "Importante"

Os pesquisadores também observaram onde a informação é armazenada. Eles descobriram uma desconexão surpreendente, especialmente em modelos maiores e pré-treinados:

A Camada "Legível": É onde você consegue facilmente "ler" a resposta do céreça da máquina (como encontrar um post-it com a resposta escrita nele).
A Camada "Importante": É a parte do cérebro que, se você quebrasse, faria a máquina falhar.

A Descoberta:

Em modelos pequenos e simples, a camada "Legível" e a camada "Importante" costumam ser as mesmas.
Em modelos grandes e pré-treinados, elas frequentemente não coincidem.
- Exemplo: No trabalho de "Pilha", um modelo grande pode ter a resposta claramente escrita em um post-it no meio do cérebro (Camada 7), mas se você quebrar o final do cérebro (Camada 11), o modelo ainda funciona bem. No entanto, se você quebrar o meio, ele trava.
- Exemplo: No trabalho de "Total Corrente", a resposta pode estar visível no final, mas quebrar esse ponto específico não impede o modelo de funcionar porque a informação está espalhada por toda parte.

A Lição: Só porque você pode ver a resposta em uma parte específica do cérebro, não significa que essa parte seja a única que mantém a máquina viva. A máquina pode estar segurando a resposta em muitos lugares diferentes ao mesmo tempo.

Resumo

Este artigo nos ensina que as arquiteturas de IA não são rígidas. Elas são flexíveis.

A tarefa importa: A estratégia interna de uma máquina muda dependendo de se ela está fazendo uma atualização simples ou uma pilha complexa.
A estrutura importa: A "forma" do problema (atualização vs. pilha) dita a estratégia mais do que as regras matemáticas.
Visibilidade $\neq$ Necessidade: Em modelos grandes, encontrar onde a resposta está "escrita" nem sempre indica onde a máquina é mais frágil.

Os autores concluem que não podemos apenas perguntar: "Como esta IA funciona?". Devemos perguntar: "Como esta IA funciona para esta tarefa específica?".

Resumo Técnico: A Estrutura da Tarefa Inverte a Codificação de Estado por Camada em Modelos de Sequência

Declaração do Problema

A interpretabilidade mecanística de modelos de sequência frequentemente trata as codificações de estado por camada como traços arquitetônicos fixos. A suposição predominante é que modelos recorrentes (ex: LSTMs, GRUs) e Modelos de Espaço de Estado (SSMs como Mamba) concentram o estado legível em camadas tardias, enquanto modelos baseados em atenção (Transformers) distribuem o acúmulo de estado ao longo da profundidade. Este artigo desafia a visão de que essas estratégias de codificação de estado são invariantes arquitetônicas estáveis. Ele postula que a mesma arquitetura inverte seu perfil de codificação de estado por camada quando a estrutura computacional da tarefa muda. Além disso, a literatura frequentemente confunde dois potenciais drivers para esses padrões: estrutura algébrica (especificamente comutatividade) versus estrutura computacional (atualizações de prefixo vs. rastreamento de pilha). Os autores visam desentrançar esses fatores e determinar se a codificação de estado é uma propriedade da arquitetura isoladamente ou uma interação entre arquitetura e tarefa.

Metodologia

O estudo emprega um conjunto experimental controlado através de cinco famílias de arquiteturas: Transformers, Mamba, Mamba-2, LSTMs e GRUs.

Tarefas:
Os autores utilizam três tarefas formais de rastreamento de estado e um benchmark semi-real:

Paridade: Uma tarefa de atualização de prefixo de bit único e comutativa.
Composição de Permutação $S_3$ : Uma tarefa de atualização de prefixo de 6 classes e não comutativa. Esta serve como o discriminante crítico: se a comutatividade algébrica impulsiona o perfil de codificação, $S_3$ deve se comportar como Dyck; se a estrutura computacional impulsiona, $S_3$ deve se comportar como Paridade.
Dyck- $k$ : Uma tarefa de rastreamento de pilha de profundidade limitada (correspondência de parênteses/colchetes) com profundidade máxima de 10.
Code-Depth: Uma tarefa de profundidade de aninhamento de tokens derivada de código Python do CodeSearchNet, servindo como um benchmark semi-real de validação.

Configuração Experimental:

Tarefas Formais: Experimentos utilizam modelos de 4 camadas com $d_{model}=128$ . As arquiteturas são pareadas por parâmetros (aprox. 830K parâmetros) sempre que possível. O treinamento ocorre com comprimento de sequência $L=40$ , com avaliação em $L \in \{40, 60, 80, 100, 120\}$ .
Escala Pré-treinada: O ajuste fino (fine-tuning) é realizado no Mamba-130M (24 camadas) e Pythia-160M/410M (12/24 camadas).
Medições:
- Sondagem Linear (Linear Probing): Treinamento de classificadores de regressão logística em estados ocultos congelados para medir a legibilidade do estado em cada camada.
- Intervenções Causais: Zero-ablação (projetando fora as direções do probe) e ablação de subespaço (removendo as principais direções de PCA ou singulares) para testar a necessidade funcional.
- Generalização OOD: Aplicação de ablações treinadas em $L=40$ para comprimentos não vistos ( $L=80, 100, 120$ ).
- Atribuição de Componente: Ablação do componente Conv1D do Mamba sob um backend de PyTorch puro correspondente para isolar sua contribuição em diferentes tarefas.
- Patching de Ativação (Activation Patching): No Mamba pré-treinado, o uso de patching de ativações de posição intermediária de entradas limpas em entradas corrompidas para medir a recuperação de logits.

Principais Contribuições

Inversão Dependente da Tarefa: O artigo demonstra que o padrão "concentrado tardio" vs. "construção distribuída" não é uma invariante arquitetônica. Ele inverte dependendo da tarefa:
- Tarefas de Atualização de Prefixo (Paridade, $S_3$ ): Modelos recorrentes e SSMs concentram o estado legível na camada final, enquanto Transformers constroem-no gradualmente através das camadas.
- Rastreamento de Pilha Limitada (Dyck): O padrão se inverte. Transformers alcançam legibilidade quase perfeita imediatamente (camadas iniciais), enquanto modelos recorrentes e SSMs constroem a representação progressivamente.
Desentrançando Álgebra e Computação: Ao introduzir a tarefa não comutativa $S_3$ , os autores mostram que o perfil de codificação rastreia a estrutura computacional (atualização de prefixo vs. pilha) em vez da estrutura algébrica (comutatividade). $S_3$ agrupa-se com Paridade em todas as arquiteturas, refutando a hipótese de que a comutatividade é o principal driver do perfil de codificação.
Desacoplamento entre Legibilidade e Causalidade: O estudo revela que a camada onde o estado é mais linearmente legível (melhor camada do probe) nem sempre coincide com a camada que é causalmente necessária para a tarefa. Esse desacoplamento é particularmente pronunciado em modelos pré-treinados, onde as representações são mais redundantes e distribuídas.
Dependência de Tarefa ao Nível de Componente: Mesmo dentro de uma única arquitetura (Mamba), a importância de componentes específicos varia conforme a tarefa. Por exemplo, o componente Conv1D é crítico para $S_3$ e Paridade, mas não tem efeito significativo no desempenho de Dyck, desafiando a noção de um "mecanismo" único para uma arquitetura.

Principais Resultados

Nível Comportamental: Baselines recorrentes generalizam perfeitamente em Paridade e $S_3$ e superam SSMs e Transformers em Dyck. A ordenação de desempenho de $S_3$ (Recorrente > SSM > Transformer) espelha a de Paridade, não a de Dyck.
Perfis de Sondagem (Probing):
- Paridade/ $S_3$ : Mamba e LSTMs mostram um salto agudo na precisão do probe na camada final ( $L_3$ em modelos de 4 camadas). Transformers mostem um aumento gradual de $L_1$ para $L_3$ .
- Dyck: Transformers alcançam alta precisão em $L_0$ ou $L_1$ . Mamba e LSTMs mostram um aumento gradual, atingindo a saturação apenas em camadas posteriores.
- Confirmação de $S_3$ : $S_3$ segue o perfil de Paridade (concentração tardia para RNNs/SSMs, gradual para Transformers), confirmando a hipótesa da estrutura computacional.
Intervenções Causais:
- Em modelos formais de 4 camadas, a ablação da melhor direção do probe causa quedas significativas na precisão, e essas direções permanecem necessárias em comprimentos de sequência mais longos (OOD).
- Em Modelos Pré-treinados, ocorre uma divisão:
  - Pythia (Dyck): Existe um gargalo forte nas camadas médias (ablação em $L_6$ – $L_7$ reduz a precisão em ~81% no modelo de 160M). A melhor camada do probe ( $L_{11}$ ) não é a mais criticamente causal.
  - Mamba (Paridade/Dyck/ $S_3$ ): A camada final é altamente legível, mas a ablação de uma única direção causa quedas negligenciáveis (<0,2%). No entanto, o patching de ativação de posição intermediária na camada final recupera ~97–98% da diferença de logit, indicando que o estado é suficiente, mas distribuído por muitas direções, não sendo capturado por um único probe linear.
Atribuição de Conv1D: Remover o Conv1D do Mamba causa uma grande queda em $S_3$ (-12,64 pp) e Paridade (-6,83 pp), mas nenhum efeito significativo em Dyck (+4,04 pp, não significativo). Isso indica que a importância do componente é dependente da tarefa.

Significância e Alegações

O artigo argumenta que perguntar "como a arquitetura X codifica o estado?" é incompleto sem especificar a estrutura computacional da tarefa. Os autores alegam que:

Assinaturas mecanísticas são propriedades conjuntas: Estratégias de codificação de estado não são traços arquitetônicos fixos, mas emergem da interação entre os vieses indutivos do modelo e os requisitos computacionais da tarefa (atualização de prefixo vs. pilha).
Cautela metodológica: Extrapolar achados mecanísticos de um regime de tarefa (ex: atualizações de prefixo) para outro (ex: rastreamento de pilha de profundidade limitada) corre o risco de confundir assinaturas específicas da tarefa com invariantes arquitetônicas.
Legibilidade vs. Causalidade: A sondagem identifica onde a informação está linearmente disponível, mas isso nem sempre mapeia para onde a computação é limitada (bottleneck), especialmente em grandes modelos pré-treinados onde a redundância é alta.
Álgebra vs. Computação: No contexto dessas tarefas formais, a estrutura computacional (atualização sequencial de prefixo vs. pilha hierárquica) é um preditor melhor dos perfis de codificação por camada do que propriedades algébricas como a comutatividade.

Os autores concluem que suas descobertas sustentam-se através de tarefas formais, escalas pré-treinadas (até 410M de parâmetros) e benchmarks de código semi-reais, sugerindo uma interação robusta entre a estrutura da arquitetura e da tarefa na modelagem de sequências.