Where the Answer Is Born: Causal Interventions on the Information Trajectory of a Quantized Hybrid Language Model
Este artigo emprega experimentos de intervenção causal em um modelo de linguagem Gated DeltaNet híbrido e quantizado para demonstrar que as respostas corretas emergem de informações redundantes distribuídas nas camadas finais, em vez de sinais decodificáveis precoces, ao mesmo tempo em que destaca os papéis distintos das portas de esquecimento e da atenção global no gerenciamento da estabilidade de estado e das dependências de longo alcance.