Resumo Técnico: Decodificação e-CUSUM Calibrada para Modelos de Raciocínio Quantizados

Declaração do Problema

A quantização de baixa precisão (ex: INT4) permite a implantação de pequenos modelos de raciocínio em hardware comum, mas degrada significamente suas capacidades de cadeia de pensamento (chain-of-thought). Esses modelos sofrem com erros em cascata precoces, comprimentos de raciocínio inflados e uma tendência a "pensar demais" ou falhar na terminação. Um remédio intuitivo comum é monitorar o decodificador durante a geração e intervir quando a trajetória parece falhar.

O artigo identifica uma falha crítica no candidato mais natural para tal monitor: uma martingala construída a partir de log-probabilidades de tokens ($X_t = \log p(w_t | w_{<t})$).

• A Falha: Sob a própria lei de amostragem do modelo, o incremento $D_t = \log p(w_t) + H_t$ (onde $H_t$ é a entropia de Shannon) é, por construção, uma martingala de média zero.
• A Consequência: Este observável mede a autoconsistência da amostragem, em vez da saúde da trajetória. Em um "loop de repetição confiante" (um modo de falha comum onde o modelo repete tokens com alta probabilidade), $p(w_t) \approx 1$ e $H_t \approx 0$, resultando em $D_t \approx 0$. Consequentemente, a martingala permanece silenciosa precisamente quando o modelo está confiantemente errado. Além disso, como ela reage a trechos de alta variância (alta entropia), ela dispara alarmes em caminhos de raciocínio potencialmente corretos, mas incertos, levando a uma alta taxa de falsos alarmes (93–95% em testes não calibrados).

Metodologia

Os autores propõem um controlador de substituição construído sobre dois componentes: um escore de alarme consciente da degeneração e um detector sequencial calibrado.

1. Escore de Alarme ($a_t$)

Em vez de depender apenas da entropia, o controlador computa um escore limitado $a_t \in [0, 1]$ que funde dois sinais:
$$a_t = \min(1, w_{rep} r_t + w_{ent} u_t)$$

• $u_t$ (Incerteza): Sinaliza picos na entropia de Shannon em relação ao histórico recente.
• $r_t$ (Repetição): Sinaliza repetição literal ao medir a cobertura de n-gramas recorrentes em uma janela deslizante. Crucialmente, $r_t$ aproxima-se de 1 durante um loop confiante mesmo quando a entropia está próxima de zero, abordando o ponto cego das martingalas de log-probabilidade.
• Pesos: Definidos empiricamente como $w_{rep} = 0.7$ e $w_{ent} = 0.3$.

2. Detector e-CUSUM Calibrado

O artigo utiliza uma construção de apostas (Shafer, 2021) para monitorar $a_t$.

• Processo e-Bruto (Raw e-Process): Um processo de produto não negativo $E^{raw}_n = \prod (1 + \lambda(a_t - \mu_0))$. Sob a hipótese nula condicional de que a geração é saudável ($E[a_t | \mathcal{F}_{t-1}] \le \mu_0$), este processo satisfaz a desigualdade de Ville, oferecendo uma garantia de falso alarme uniforme no tempo.
• Implementação (CUSUM-com piso/floor): A estatística implantada é um log-CUSUM com um piso: $S_n = \max(0, S_{n-1} + \log(1 + \lambda(a_n - \mu_0)))$. Um alarme é disparado quando $S_n \ge \tau$.
• Calibração: Como $a_t$ é fortemente dependente do histórico e autocorrelacionado, a nulidade condicional teórica é difícil de certificar. Os autores realizam uma calibração offline definindo a linha de base $\mu_0$ como o percentil 90 de $a_t$ observado em traços de referência saudáveis (FP16, corretos). Isso transforma o detector de um alarme indiscriminado em um seletivo.

3. Remediação

Quando um alarme é disparado:

1. Backtracking: Os últimos $k$ tokens são truncados e o cache de chave-valor (key-value cache) é reconstruído.
2. Reamostragem: O modelo retoma com parâmetros ajustados:
   • O min-p sampling é alargado ou estreitado (em vez de inflar a temperatura, o que aumenta a aleatoriedade).
   • Em alarmes repetidos, um marcador de correção ("Espere, deixe-me rechecar...") é injetado.
3. Orçamento: Um limite rígido limita o número de intervenções para evitar loops infinitos.

Resultados Principais

Experimentos foram conduzidos no conjunto de dados GSM8K usando DeepSeek-R1-Distill-Qwen-1.5B tanto em FP16 quanto em quantização INT4.

• Análise de Modo de Falha: Contrário à intuição de que o loop confiante é a principal falha, o estudo descobriu que a não-terminação é o modo de falha dominante para modelos INT4 no GSM8K (até 49% dos traços incorretos esgotam o orçamento de tokens). Loops literais foram raros ($\le 4\%$ dos tokens mesmo em traços falhos).
• Seletividade via Calibração:
  • Um monitor não calibrado ($\mu_0 = 0.15$) disparou em 93–95% das gerações, tornando-o inútil.
  • Um monitor calibrado ($\mu_0 = 0.41$) alcançou uma precisão de $\approx 0.6$ e um recall de $\approx 0.46$ (F1 $\approx 0.3$) contra uma taxa base de 0.38 traços ruins.
• Métricas de Degeneração: O controlador reduziu as taxas de repetição consecutiva em INT4 de 0.010 para 0.003 e eliminou loops severos (de 1% para 0%). Também reduziu ligeiramente as taxas de truncamento (22% para 19%).
• Acurácia:
  • FP16: A acurácia melhorou de 68% para 72% (McNemar $p=0.48$).
  • INT4: A acurácia melhorou de 63% para 69% (McNemar $p=0.18$).
  • Custo: A intervenção aumentou o uso de tokens em 28% e o tempo de execução (wall-clock time) em 30%.
  • Conclusão: A tendência de acurácia é positiva, mas estatisticamente inconclusiva em $n=100$. Os autores afirmam explicitamente que não reivindicam uma melhoria de acurácia, observando que o ganho pode ser atribuído ao aumento do orçamento de tokens, e não ao controlador em si.

Significância e Alegações

O artigo posiciona-se como um estudo metodológico preliminar com as seguintes contribuições específicas:

1. Resultado Negativo: Uma demonstração clara, analítica e empírica de que martingalas de log-probabilidade de tokens são fundamentalmente inadequadas para monitores de decodificação porque são cegas para a degeneração confiante.
2. Substituição Metodológica: Um controlador e-CUSUM calibrado e livre de treinamento que detecta com sucesso a degeneração combinando entropia com sinais explícitos de repetição.
3. Avaliação Honesta: Os autores enfatizam que a estatística implantada é um detector de mudança empírico em vez de um e-process estritamente válido sob o $\delta$ declarado, devido à dependência histórica do escore de alarme e à natureza marginal da calibração.
4. Insight sobre Modos de Falha: A descoberta de que a não-terminação, e não o looping, é o principal modo de falha para modelos quantizados no GSM8K desafia a motivação inicial do método e sugere que as estratégias de remediação devem abordar o "devaneio" (rambling) tanto quanto a repetição.

Os autores liberam todo o código, ferramentas de calibração e traços para facilitar estudos de maior escala necessários para responder definitivamente à questão da acurácia. Eles alertam que o método adiciona custo computacional e que qualquer afirmação futura de melhoria de acurácia deve ser feita contra baselines com computação equivalente (ex: autoconsistência com o mesmo orçamento de tokens).