Resumo Técnico: O que Sobrevive Quando Você Comprime um Raciocínio Recursivo para a Borda?

Declaração do Problema

Modelos de raciocínio recursivo, como o Tiny Recursive Model (TRM), resolvem tarefas estruturadas complexas atualizando iterativamente um estado de "carry" (transporte) latente através de múltiplos ciclos de raciocínio. Embora esses modelos alcancem um desempenho competitivo com relativamente poucos parâmetros (ex: 6,83M), implantar em hardware de borda (edge) com recursos limitados (ex: 4–8 MB de SRAM) exige uma compressão agressiva.

As intuições de compressão padrão derivadas de modelos autorregressivos de passagem única não se aplicam aqui. Em transformers convencionais, o ruído de quantização acumula-se ao longo dos tokens de saída. Em modelos recursivos, no entanto, os erros de quantização se propagam através de $H$ ciclos de raciocínio recursivo em cada atualização do estado de carry. O artigo investiga o que sobrevive e o que quebra quando esses modelos são comprimidos sob restrições rígidas de SRAM, questionando especificamente se as técnicas padrão (quantização, poda, destilação) preservam capacidades de raciocínio global ou apenas a predição local de tokens.

Metodologia

Os autores conduziram um estudo de compressão sistemático em três tarefas (ARC-2024, Maze-Hard, Sudoku-Extreme) e duas arquiteturas recursivas (TRM-Attention e TRM-MLP-Mixing).

1. Varredura de Compressão: Eles avaliaram uma varredura de precisão total (FP32, FP16, INT8, INT4) e profundidades recursivas variáveis ($H$ e $n_{sup}$).
2. Resolução de Gargalo de Memória: Reconhecendo que a tabela de embedding do puzzle (99,4 MB) dominava a pegada de memória (79% dos 126 MB da linha de base), eles desacoplaram isso da compressão do backbone usando o carregamento flash de puzzle único (single-puzzle flash loading), transmitindo apenas a linha de 2 KB relevante durante a inferência.
3. Técnicas de Compressão:
   • Quantização Pós-Treinamento (PTQ): Aplicaram INT8 (calibrado por canal) e INT4 (naïve por tensor e calibrado por canal).
   • Mudanças Estruturais: Avaliaram poda estruturada, destilação de conhecimento e aproximações de atenção linear.
   • Tentativas de Recuperação: Testaram o Treinamento Ciente de Quantização (QAT) com objetivos de nível de token para reparar o colapso do raciocínio.
4. Diagnósticos: Introduziram a Fidelidade de Trajetória de Carry (Carry-Trajectory Fidelity), uma métrica sem rótulos que mede a similaridade de cosseno entre o estado de carry final de um modelo comprimido e sua referência de precisão total no mesmo input. Isso serve como um preditor para o colapso do raciocínio sem exigir a avaliação da tarefa.
5. Validação de Hardware: Realizaram benchmarks de latência e uso de memória no dispositivo em três plataformas Snapdragon (Galaxy S24, S22, Dragonwing RB3) via Qualcomm AI Hub.

Principais Descobertas

1. O Cruzamento Profundidade–Precisão

Ao contrário de modelos de passagem única onde a menor precisão geralmente degrada o desempenho, os autores descobriram que o INT8 em um único ciclo recursivo ($H=1$) iguala a precisão de FP32 de profundidade total (35,25% vs. 36,00% no ARC-2024) enquanto reduz os FLOPs em 6×. Essa interação sugere que, para modelos recursivos, reduzir a profundidade pode ser mais eficiente do que manter a profundidade total com menor precisão, desde que a precisão seja suficiente (INT8).

2. Colapso Composicional: Local vs. Global

A compressão agressiva (INT4 naïve, poda, destilação) cria um desacoplamento entre a acurácia da célula (predição local de token) e a acurácia exata do puzzle (satisfação de restrições globais).

• Sob INT4 naïve, poda e destilação, a acurácia da célula muitas vezes permanece alta (ex: >84%), mas a acurácia exata do puzzle colapsa para zero.
• Isso indica que a compressão destrói a capacidade do modelo de satisfazer restrições globais enquanto preserva as capacidades de predição local.
• Objetivos de nível de token, incluindo QAT com perda de entropia cruzada, falham em recuperar o raciocínio global porque recompensam a correção individual da célula em vez da consistência composicional.

3. Fragilidade Arquitetural

O colapso é arquitetural, não intrínseco à tarefa.

• TRM-Attention (usado em ARC e Maze) tolera INT4 naïve.
• TRM-MLP-Mixing (usado em Sudoku) colapsa catastroficamente sob INT4 naïve.
• Estudos de ablação na mesma tarefa (Sudoku) mostraram que a mudança de MLP-mixing para Attention preserva a acurácia sob INT4. A fragilidade reside no mecanismo de mistura de tokens, que requer escalas por canal para sobreviver ao ruído grosseiro, enquanto a atenção codifica atualizações relacionais esparsas que são mais robustas.

4. Recuperação via Calibração

O INT4 calibrado por canal (pós-treinamento, sem retreinamento) recupera as perdas catastróficas vistas no INT4 naïve.

• No Sudoku-Extreme, o INT4 naïve cai para 10,2% de acurácia, enquanto o INT4 calibrado restaura para 71,9% (próximo à linha de base de 73,8% do FP32).
• Isso estabelece o INT4 calibrado como o piso de implantação viável para o raciocínio de satisfação de restrições, encaixando-se nos alvos de 4 MB de MCU.

5. Fidelidade de Trajetória de Carry como Diagnóstico

A métrica Carry-Trajectory Fidelity proposta prevê com sucesso o colapso do raciocínio antes da avaliação da tarefa.

• Alta fidelidade ($\phi \ge 0,99$) correlaciona-se com o raciocínio preservado.
• Baixa fidelidade ($\phi < 0,8$) prevê falha catastrófica.
• A métrica é monotônica com a perda de acurácia e pode distinguir entre quantização utilizável (calibrada) e inutilizável (naïve) sem executar a tarefa.

Receita de Implantação

O artigo deriva uma estratégia concreta de implantação para dispositivos de borda:

• Compressão de Embedding: Use carregamento flash de puzzle único para reduzir a tabela de embedding de 99,4 MB para 2 KB de memória ativa.
• SoC Móvel (8 MB SRAM): Backbone INT8 + flash loading + recursão reduzida ($H=1, n_{sup}=8$) cabe dentro de 6,51 MB e alcança acurácia próxima à total com 6× menos FLOPs.
• Microcontrolador (4 MB SRAM): Backbone INT4 calibrado por canal + flash loading cabe dentro de 3,26 MB e recupera a acurácia próxima ao FP32 sem necessidade de retreinamento.

Significância e Alegações

O artigo afirma fornecer o primeiro estudo sistemático de compressão de modelos de raciocínio recursivo sob restrições rígidas de SRAM. Suas principais contribuições são:

1. Redefinição dos Limites de Compressão: Demonstrar que os modelos recursivos possuem um trade-off único entre profundidade e precisão onde a redução da recursão pode compensar a perda de precisão, um fenômeno ausente na quantização de passagem única.
2. Identificação de um Modo de Falha: Mostrar que as técnicas de compressão padrão frequentemente preservam a predição local de tokens enquanto destroem o raciocínio global, algo que objetivos de treinamento de nível de token não conseguem corrigir.
3. Insight Arquitetural: Estabelecer que a escolha do misturador de tokens (Attention vs. MLP) é uma decisão crítica de implantação, já que o MLP-mixing é significativamente mais sensível ao ruído de quantização em configurações recursivas.
4. Diagnósticos Sem Rótulos: Introduzir a fidelidade de trajetória de carry como uma ferramenta prática para prever o sucesso ou falha de implantação sem avaliação específica da tarefa.
5. Viabilidade Prática: Validar que o raciocínio recursivo de alto desempenho pode ser implantado em microcontroladores de 4 MB usando INT4 calibrado e embeddings transmitidos via flash, removendo a necessidade de dependência da nuvem.

Os autores permanecem modestos quanto à generalização, observando que seu estudo se concentra na família TRM e tarefas específicas, e que o diagnóstico de fidelidade requer uma referência de precisão total disponível apenas pré-implantação. Eles não afirmam resolver a compressão para todas as arquiteturas recursivas, mas fornecem uma receita validada para a classe específica de modelos e restrições estudadas.