A Node-by-Node White-Box Walkthrough of a Quantized Hybrid Gated DeltaNet Language Model: Instrument Calibration and the Information Trajectory from Embedding to Output

Declaração do Problema

A interpretabilidade mecanística atual de Grandes Modelos de Linguagem (LLMs) opera tipicamente de fora para dentro. Pesquisadores acoplam sondas aos estados ocultos, utilizam o "logit lens" para projetar ativações ou realizam o activation patching. Esses métodos são limitados pelo conjunto restrito de tensores expostos por motores de inferência padrão e pela opacidade de lançamentos de kernels compilados. Consequentemente, quando os resultados divergem — como após a quantização — torna-se ambíguo se o comportamento do modelo mudou genuinamente ou se a metodologia de sondagem está rastreando caminhos numéricos diferentes. Há uma carência de um instrumento de "caixa branca" que permita a inspeção de cada operação matemática (nó de operador) dentro de uma arquitetura híbrida quantizada durante uma única passagem direta (forward pass).

Metodologia

O autor desenvolveu um motor de inferência de execução de grafo personalizado, projetado para tratar o modelo como um grafo dirigido explícito de nós de operadores.

• Instrumentação: O motor carrega um arquivo de modelo GGUF padrão, converte os pesos em nós explícitos e executa o grafo em uma GPU usando kernels CUDA. A entrada e a saída de cada nó podem ser lidas ou escritas no host sob demanda.
• Modelo Objeto de Estudo: O estudo foca em um modelo híbrido Qwen3.5-0.8B, com 24 camadas e quantização Q4_K. A arquitetura intercala 18 blocos de Gated DeltaNet (atenção linear/espaço de estados) com 6 blocos de atenção global. A dimensão do modelo é 1024, e os embeddings de entrada e saída são vinculados (tied).
• Calibração: Antes da análise, o motor foi rigorosamente calibrado contra o llama.cpp (uma implementação independente amplamente utilizada) usando o mesmo arquivo GGUF e sequências de tokens.
  • Uma variante de 27B parâmetros da mesma família foi utilizada para a calibração primária sobre uma sequência de 53 tokens, alcançando uma similaridade de cosseno média de 0,9878 e concordância top-1 de 92,45%.
  • As divergências foram decodificadas e rastreadas até causas específicas (ex: elevação do token de fim de template de chat na implementação de referência), confirmando a fidelidade do motor.
  • O modelo de demonstração de 0,8B também foi calibrado diretamente contra o llama.cpp ao longo de 49 posições, alcançando uma similaridade de cosseno média de 0,945 e concordância top-1 de 0,878; os erros foram localizados em posições tardias de opções de resposta, em vez das camadas iniciais examinadas.
• Protocolo de Medição: O estudo rastreia um único token através da rede sob duas condições: "solo" (token único, sem histórico) e "contexto" (cinco tokens precedentes). Isso isola onde a informação histórica entra na computação. As métricas incluem similaridade de cosseno (direção), RMS por elemento (escala) e projeções de logit lens.

Principais Contribuições

O artigo fornece um registro completo, operador por operador, do caminho de propagação de um token em um modelo híbrido quantizado. As contribuições são fatuais e observacionais, não teóricas:

1. Um Motor Legível por Nós: Uma ferramenta reproduzível que expõe cada nó de operador, removendo a ambiguidade sobre os caminhos numéricos.
2. Registro Operacional: Um relato passo a passo da computação, desde o embedding até a saída, incluindo convoluções curtas, atualizações de portões (gates) e atenção global.
3. Medições Quantitativas: Dados sobre a janela de convolução curta, portões de esquecimento/escrita (forget/write gates), a matriz de memória associativa e a evolução do fluxo residual (residual stream).
4. Identificação de Lacunas Teóricas: Uma lista explícita de pontos onde os quadros existentes (física, teoria da informação, matemática) ainda não cobrem diretamente os fenômenos observados.

Principais Resultados e Observações

O percurso revela uma trajetória assimétrica de computação:

• Entrada e Normalização: No primeiro bloco, a normalização de entrada atua exclusivamente no token atual (cosseno 1,0 entre solo e contexto). O histórico não entra até as camadas subsequentes.
• Subcamadas de Espaço de Estados (Gated DeltaNet):
  • Entrada de Histórico: O escaneamento recorrente (matriz de memória) é o único portal para os tokens anteriores; todos os nós de projeção permanecem idênticos à execução solo até que o escaneamento ocorra.
  • Controle (Throttle): A subcamada opera com um "controle pequeno", adicionando contribuições ínfimas (RMS ~0,03–0,08) ao fluxo residual em cada etapa, dependendo da acumulação ao longo da profundidade.
  • Portões (Gates): Os portões de esquecimento formam um espectro fixo de escalas de tempo (variando de ~0,001 a 1,0) configurados nos pesos, em vez de variarem dinamicamente com o token.
  • Dinâmica de Memória: A matriz de memória associativa ($S$) permanece limitada. Ela cresce de um estado zero em direção a um patamar (norma ~1,06), onde a taxa de escrita e decaimento se aproxima de um equilíbrio.
• Atenção Global:
  • Assim como as camadas de espaço de estados, a atenção opera com um controle pequeno.
  • O contexto atinge esta camada por três rotas: histórico do espaço de estados anterior, Rotary Position Embeddings (RoPE) e o cache Key-Value.
• Evolução do Fluxo Residual:
  • Desprendimento Precoce: A similaridade de cosseno entre o fluxo residual e o embedding de entrada cai drasticamente (de 1,0 para ~0,27) dentro dos dois ou três primeiros blocos. A forma de superfície original é removida rapidamente.
  • Meio Abstrato: Os blocos 3–13 operam em uma região onde o fluxo não está alinhado com a entrada nem com a saída; o logit lens não lê tokens de alta confiança.
  • Alinhamento Tardio: A reorganização significativa e o alinhamento com a saída final ocorrem apenas nos últimos blocos (14–23). A etapa de normalização final responde pela maior mudança de magnitude (norma ~89,6) para calibrar o fluxo para a leitura (readout).
• Saída Final: A decisão é completada ao final. A rede passa a maior parte de sua profundidade movendo a representação para longe da entrada e através de uma região abstrata, concentrando o trabalho de organizar a saída nas camadas finais.

Significância e Alegações

O artigo afirma explicitamente que não avança uma teoria unificada da inteligência, estabilidade ou computação. Sua significância reside em fornecer um instrumento calibrado e reproduzível e um registro factual de como componentes conhecidos executam em uma construção híbrida quantizada.

O autor destaca que, em vários pontos, os fenômenos observados situam-se nas fronteiras de disciplinas existentes:

• Física: O sistema opera próximo a uma fronteira de estabilidade, mas não colapsa de forma limpa sob o escalonamento de tamanho finito de equilíbrio padrão, sugerindo a necessidade de estruturas de não-equilíbrio.
• Teoria da Informação: O modelo "ajustar-e-comprimir" (fit-then-compress) é difícil de afirmar devido aos pisos de amostra finita em estimadores; a dinâmica de informação da região intermediária permanece obscura.
• Matemática: Os estados recorrentes envolvem operadores não normais onde o raio espectral e as normas de operador diferem, e limites de erro rigorosos para a recorrência quantizada ainda não foram derivados.
• Engenharia: Questões como o desvio numérico em sequências longas e o decaimento de aceitação de rascunho (draft-acceptance) em contextos longos são registradas como problemas abertos, não resolvidos.

O artigo conclui que os dados e scripts são liberados para permitir que outros campos busquem essas questões abertas, posicionando o trabalho como um relatório empírico fundamental, em vez de uma resolução teórica.