💬 NLP

Rethinking State Tracking in Recurrent Models Through Error Control Dynamics

Este artigo argumenta que o rastreamento robusto de estados em modelos recorrentes depende criticamente da dinâmica de controle de erros e não apenas da expressividade teórica, demonstrando que redes recorrentes afines inevitavelmente falham em tarefas de longo horizonte porque sua incapacidade de corrigir erros que separam estados leva a um colapso previsível do rastreamento assim que a dispersão acumulada dentro da classe excede o limiar de legibilidade do decodificador.

Autores originais: Jiwan Chung, Heechan Choi, Seon Joo Kim

Publicado 2026-05-11

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jiwan Chung, Heechan Choi, Seon Joo Kim

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando manter uma contagem mental de um jogo complexo, como rastrear quem está atualmente "no comando" em um jogo de tabuleiro onde os jogadores trocam de papéis constantemente. Você tem um caderno (o estado oculto do seu cérebro) onde anota o status atual. Toda vez que um novo movimento acontece, você atualiza seu caderno.

Por muito tempo, os cientistas acreditaram que a única coisa que importava para um computador fazer isso era a expressividade: "Este computador tem um caderno grande o suficiente e uma caneta inteligente o suficiente para teoricamente anotar todas as regras possíveis do jogo?"

Este artigo argumenta que a expressividade é apenas metade da história. A outra metade, mais crítica, é o controle de erro. Não se trata apenas de ter as regras certas; trata-se do que acontece quando você comete um pequeno erro.

O Problema Central: O Caderno "Derivante"

Imagine que você está caminhando em uma corda bamba. Se você der um passo perfeito, permanece na linha. Mas, no mundo real, você pode oscilar ligeiramente.

O Rastreador Ideal: Se você oscilar, possui um mecanismo embutido (como um bastão de equilíbrio) que corrige instantaneamente seu equilíbrio e o puxa de volta para o centro.
O Rastreador Defeituoso: Se você oscilar, continua oscilando. Você não cai imediatamente, mas a cada passo, sua oscilação fica ligeiramente maior. Eventualmente, você deriva tão longe da linha que não consegue mais dizer de qual lado da corda você está.

Os autores descobriram que muitos modelos modernos de IA populares (como Mamba e Atenção Linear) são do segundo tipo. Eles são matematicamente capazes de conhecer as regras, mas carecem do "bastão de equilíbrio" para corrigir pequenos erros.

A Armadilha "Afin"

O artigo foca em uma classe específica de modelos chamada Redes Recorrentes Afins. Pense nelas como modelos que atualizam sua memória usando uma fórmula muito rígida e em linha reta.

A Regra: Se o modelo for perfeito, ele deve retornar exatamente ao mesmo ponto cada vez que o ciclo do jogo se repetir.
O Problema: Como a fórmula é tão rígida (afim), se for forçada a retornar exatamente ao mesmo ponto, ela perde a capacidade de se puxar de volta se desviar. É como um carro com o volante travado em linha reta. Se o carro estiver perfeitamente centralizado, ele dirige bem. Mas se uma pedrinha o empurrar ligeiramente para fora do centro, o carro não consegue virar de volta; ele apenas continua dirigindo em linha reta, afastando-se cada vez mais do centro.

O artigo prova que, uma vez que esses modelos aprendem as regras perfeitamente, tornam-se "neutros" em relação aos erros. Eles preservam o estado, mas não podem corrigir a deriva.

O Efeito do "Horizonte Finito"

Então, esses modelos falham imediatamente? Não.
Pense nisso como um balde com vazamento.

Se você caminhar uma curta distância (uma sequência curta de texto), o vazamento é tão lento que você não percebe. O balde ainda contém água suficiente para lhe dar a resposta.
Mas, à medida que você caminha mais (sequências mais longas), a água (precisão) drena lentamente.
Eventualmente, o balde fica tão vazio (ou a água tão turva com erros) que você não consegue mais distinguir a resposta "correta" da "errada".

O artigo chama isso de Horizonte Finito. Esses modelos funcionam bem por um tempo, mas têm um limite rígido. Uma vez que o "ruído" ou a "deriva" acumulada se torna maior que a distância entre a resposta correta e a errada, o modelo colapsa.

A Solução: O "Bastão de Equilíbrio" (Dependência do Estado)

O artigo compara esses modelos rígidos a Modelos Dependentes do Estado (como RNNs padrão com ativações não lineares).

Esses modelos são como um ciclista com um bastão de equilíbrio. Se ele oscilar, o ciclista pode ativamente virar de volta.
Matematicamente, isso significa que a maneira como eles atualizam sua memória muda dependendo de onde eles estão atualmente. Se estiverem derivando, a regra de atualização muda para empurrá-los de volta.
Os experimentos mostram que esses modelos podem caminhar na corda bamba para sempre, não importa o quão longa seja a sequência, porque eles corrigem ativamente seus próprios erros.

O Limiar de "Legibilidade"

Os autores desenvolveram uma maneira de prever exatamente quando os modelos rígidos falharão.
Imagine que as respostas corretas são ilhas distintas em um oceano nebuloso.

Separação: A distância entre as ilhas.
Dispersão: Quão nebulosa é a água ao redor de cada ilha (causada por erros acumulados).
O Ponto de Virada: Enquanto a neblina (dispersão de erro) for menor que a distância entre as ilhas, você ainda consegue ver em qual ilha está. Mas, uma vez que a neblina fica mais espessa que a distância entre as ilhas, você não consegue mais dizer onde está.

O artigo mostra que, para modelos rígidos, essa neblina cresce de forma previsível. Eles podem calcular exatamente quantos passos serão necessários antes que a neblina fique muito espessa, e essa previsão coincide exatamente com o momento em que o modelo para de funcionar na prática.

Resumo das Descobertas

A teoria não é suficiente: Apenas porque um modelo pode teoricamente representar uma regra não significa que ele possa usar essa regra de forma confiável ao longo do tempo.
Modelos rígidos derivam: Modelos que usam atualizações simples e em linha reta (Afins) não podem corrigir seus próprios pequenos erros. Eles preservam o estado perfeitamente apenas se começarem perfeitamente.
O limite é previsível: Esses modelos não falham aleatoriamente; eles falham quando o erro acumulado supera a distância entre as respostas corretas.
A flexibilidade vence: Modelos que podem alterar suas regras de atualização com base em seu estado atual (Dependentes do Estado) podem corrigir ativamente erros, permitindo que rastreiem informações indefinidamente.

Em resumo: A robustez não é sobre o quão inteligente é seu mapa; é sobre o quão bem sua bússola o corrige quando você dá um passo errado.

Resumo Técnico: Repensando o Rastreamento de Estados em Modelos Recorrentes Através da Dinâmica de Controle de Erros

Declaração do Problema

O quadro teórico predominante para o rastreamento de estados em arquiteturas recorrentes focou quase exclusivamente na expressividade: determinar se uma arquitetura fixa pode teoricamente realizar um conjunto de regras de transição simbólica. Embora trabalhos recentes tenham estabelecido a capacidade teórica de vários modelos (por exemplo, Modelos de Espaço de Estado, Atenção Linear) de representar transições simbólicas específicas, os resultados empíricos mostram uma lacuna significativa entre a expressividade teórica e a robustez prática. Os modelos frequentemente falham em rastrear estados de forma estável sob extrapolação de comprimento ou execução repetida, mesmo quando possuem a capacidade teórica para fazê-lo.

Este artigo argumenta que o controle de erros—as dinâmicas que governam o desvio do estado oculto ao longo de direções que distinguem estados simbólicos—é um eixo de análise igualmente crítico, porém negligenciado. O problema central é que a expressividade teórica não garante a capacidade de corrigir erros acumulados que empurram um estado oculto em direção a uma representação simbólica incorreta.

Metodologia

Quadro Teórico

Os autores formalizam o rastreamento de estados usando uma taxonomia de modelos recorrentes definida por uma camada recursiva:
$h_t = \phi(g(h_{t-1}, x_t) \odot (A(x_t)h_{t-1})) + b(x_t)$
Eles categorizam os modelos em duas classes principais com base no Jacobiano do estado:

Modelos Afins: A transição de estado é afim em $h_{t-1}$ (ou seja, o Jacobiano $\partial h_t / \partial h_{t-1}$ não depende de $h_{t-1}$ ). Esta classe inclui Modelos de Espaço de Estado (SSMs) como Mamba, AUSSM e RNNs Lineares.
Modelos Dependentes do Estado: A transição depende não linearmente do estado atual (por exemplo, RNNs com portas, RNNs tanh).

Os autores introduzem um subespaço simbólico $U$ , gerado pelas diferenças entre as representações de estados ocultos de estados simbólicos distintos ( $U := \text{span}\{c_g - c_{g'}\}$ ). Eles provam que, para qualquer sequência que preserva o estado (onde a ação simbólica é a identidade), um mapa de retorno afim exato deve atuar como a identidade em $U$ . Consequentemente, modelos afins não podem contrair erros ao longo de $U$ ; eles preservam a representação do estado exatamente, mas não oferecem nenhum mecanismo para puxar um estado perturbado de volta ao seu centróide correto.

Métricas Analíticas

Para quantificar a falha de rastreadores afins, os autores definem uma razão de distinguibilidade $q(t)$ :
$q(t) = \frac{R(t)}{M(t)}$
Onde:

$R(t)$ é a dispersão intra-classe (variância dos estados ocultos em torno de seu centróide de classe).
$M(t)$ é a separação inter-classe (distância mínima entre centróides de classe).
$q(t)$ mede a dispersão relativa à margem.

Eles estabelecem que o rastreamento permanece "legível" apenas enquanto $q(t)$ permanece abaixo de um limiar $\tau$ (especificamente $0.5$ para um decodificador de centróide mais próximo).

Configuração Experimental

Os autores avaliam um espectro de arquiteturas recorrentes em tarefas de rastreamento de estado de grupo, que exigem a manutenção de um produto em execução de elementos de grupo:

Tarefas: Paridade ( $C_2$ ), Grupo Cíclico ( $C_6$ ) e Grupo Simétrico ( $S_3$ ). $S_3$ é não abeliano, tornando a composição sensível à ordem inevitável.
Modelos: Um conjunto diversificado incluindo Mamba, Mamba-3, AUSSM, Negative Mamba, RNNs Lineares, RNNs com portas de token, RNNs tanh e RNNs com portas de estado.
Protocolo: Os modelos são treinados com aprendizado de currículo até o comprimento 60 e avaliados para extrapolação até o comprimento 1000. Eles também realizam experimentos de injeção de perturbação para medir a dinâmica de recuperação de erros.

Principais Contribuições

1. Prova Teórica da Neutralidade Afim

O artigo prova o Teorema 1: Se uma rede recorrente afim preserva estados simbólicos exatamente, seu mapa de retorno atua como a identidade no subespaço simbólico $U$ . Isso implica que modelos afins não podem contrair seletivamente erros ao longo das direções que separam estados simbólicos. Uma vez que um mapa afim que preserva o estado é fixado, ele não possui "graus de liberdade" restantes para corrigir o desvio.

2. Caracterização da Falha de Horizonte Finito

Os autores demonstram que, embora modelos afins não possam corrigir erros, eles podem sustentar o rastreamento por um horizonte finito governado pelo erro acumulado.

O Corolário 1 mostra que, para rastreadores afins aproximados, o erro ao longo de $U$ acumula-se linearmente ao longo do tempo ( $e_U(t) \approx e_U(0) + t\bar{\eta}$ ).
O rastreamento colapsa quando a razão de distinguibilidade $q(t)$ cruza o limiar de legibilidade. Este tempo de cruzamento, $T_{cross}$ , prevê quantitativamente o comprimento máximo de passagem ($mp$) do modelo.
Dois modos de falha são identificados: Saturação (onde $q(t)$ começa acima do limiar) e Subida (onde $q(t)$ cresce linearmente até cruzar).

3. Validação Empírica da Dinâmica de Controle de Erros

Através de experimentos extensivos, o artigo estabelece uma dicotomia:

Modelos dependentes do estado (por exemplo, RNN tanh, RNN com portas de estado) exibem contração condicional de erros. Eles podem encolher seletivamente perturbações ao longo de $U$ , mantendo $q(t) < 0.5$ indefinidamente e alcançando rastreamento robusto até o comprimento máximo testado (1000).
Modelos afins carecem dessa contração seletiva. Eles falham imediatamente (saturação) ou falham após um horizonte previsível (subida) à medida que a dispersão intra-classe acumulada erosiona a margem de separação.

4. Decomposição do Subespaço

Ao decompor a dispersão intra-classe em componentes paralelos ( $U$ ) e ortogonais ( $U^\perp$ ) ao subespaço simbólico, os autores mostram que a falha do modelo afim é especificamente impulsionada pelo crescimento da dispersão dentro de $U$ . Modelos dependentes do estado suprimem com sucesso a dispersão em $U$ , mantendo erros no subespaço ortogonal onde não afetam a discriminação simbólica.

Resultados

Lacuna de Robustez: Modelos dependentes do estado rastreiam consistentemente estados simbólicos até o comprimento 1000 em todas as tarefas ( $C_2, C_6, S_3$ ). Em contraste, modelos afins mostram vários graus de instabilidade. Por exemplo, Mamba e Mamba-3 falham em $S_3$ mesmo em comprimentos curtos, enquanto Negative Mamba e RNNs com portas de token mostram horizontes estendidos em $C_2$ e $S_3$ , mas eventualmente colapsam.
Poder Preditivo: O ponto em que a razão de distinguibilidade $q(t)$ cruza o limiar de legibilidade ( $T_{cross}$ ) correlaciona-se fortemente ( $r \approx 0.87$ ) com o comprimento máximo de passagem a jusante ($mp$) em 113 modelos treinados.
Não Linearidade Importa: A capacidade de rastrear de forma robusta depende do Jacobiano da função de ativação ser dependente do estado. Não linearidades pontuais (tanh, ReLU) e operadores de par (max/min, GroupSort) permitem rastreamento robusto, enquanto normalizações de vetor inteiro (LayerNorm, projeção esférica) falham, comportando-se efetivamente como mapas afins no subespaço simbólico.
O Caso Limite $C_2$ : O artigo observa que alguns modelos afins têm sucesso na tarefa de paridade ( $C_2$ ) não porque corrigem erros, mas porque a margem binária é grande o suficiente para tolerar "oscilação neutra" (erros invertendo o sinal, mas permanecendo dentro da margem). Essa tolerância diminui à medida que a ordem do grupo aumenta, explicando por que modelos afins falham em $C_6$ e $S_3$ .

Significado e Alegações

O artigo afirma mudar o paradigma do rastreamento de estado recorrente de uma teoria de expressividade para uma teoria de controle de erros.

Limitação Teórica: Os autores afirmam que o rastreamento robusto de estado não é determinado apenas pela capacidade de uma arquitetura representar regras simbólicas (expressividade), mas crucialmente pela sua capacidade de controlar a dinâmica de erros. Modelos afins são fundamentalmente limitados porque preservar representações de estado os força a serem neutros nas próprias direções onde a correção de erros é necessária.
Implicação Prática: A falha de modelos afins (como SSMs) na extrapolação de comprimento não é uma deficiência de treinamento, mas uma limitação estrutural. Eles aprendem "soluções de horizonte finito" governadas pelo erro acumulado, em vez de rastreamento de estado robusto e de horizonte infinito.
Orientação de Design: Para alcançar rastreamento robusto, as arquiteturas devem incorporar transições dependentes do estado que permitam que o Jacobiano contrai erros ao longo do subespaço simbólico. O artigo sugere que a forma específica da não linearidade é menos importante do que se ela permite a modulação dependente do estado das direções simbólicas.

Os autores concluem que, embora modelos afins possam ser suficientes para tarefas no domínio ou horizontes curtos, eles são estruturalmente incapazes do rastreamento de estado robusto e de longo horizonte necessário para raciocínio simbólico complexo sem mecanismos de correção de erros dependentes do estado.