Resumo Técnico: O Sinal Oculto da Rigidez do Verificador

Declaração do Problema

Os verificadores generativos, que tratam a verificação passo a passo como um problema de previsão do próximo token, emergiram como um paradigma promissor para detectar erros no raciocínio de Modelos de Linguagem de Grande Escala (LLMs). No entanto, esses verificadores frequentemente sofrem de má calibração, caracterizada por uma tendência a serem subcríticos (aceitando falsamente passos errôneos) ou supercríticos (rejeitando falsamente passos corretos). Esse fenômeno, denominado rigidez do verificador, manifesta-se como um viés de positividade, onde verificadores validam incorretamente soluções defeituosas ou rejeitam soluções válidas devido a questões estilísticas superficiais.

Embora o ajuste fino de Modelos de Recompensa de Processo (PRMs) especializados possa mitigar isso, é intensivo em recursos e sofre de obsolescência rápida à medida que os modelos de ponta evoluem. Além disso, avaliadores treinados em gerações mais antigas de modelos frequentemente generalizam mal para modelos mais novos ajustados por instruções. Consequentemente, há uma necessidade de uma metodologia sem treinamento que possa controlar adaptativamente o comportamento do verificador em modelos gerais ajustados por instruções, sem a sobrecarga computacional de ajustes finos extensivos ou amostragem de autoconsistência.

Metodologia

Os autores propõem o VerifySteer, um método sem treinamento que controla a rigidez do verificador por meio de direcionamento de estado oculto. A abordagem é construída sobre duas descobertas principais e um quadro adaptativo correspondente:

1. Descoberta do Sinal Latente Específico de Verificação

Através de análise empírica, os autores identificam que a tendência de um verificador de aceitar ou rejeitar um passo de solução está codificada no estado oculto do token delimitador de limite de parágrafo (\n\n) imediatamente precedente ao parágrafo de verificação correspondente.

• Localização do Sinal: O sinal de tomada de decisão não é distribuído uniformemente, mas está localizado em camadas específicas do transformador (por exemplo, camada 22 no Qwen3-8B).
• Construção do Vetor de Direcionamento: Usando um conjunto de validação, os autores constroem vetores de direcionamento contrastivos calculando a diferença média entre os estados ocultos dos segmentos de Rejeição Verdadeira (RV) e Aceitação Falsa (AF) (para aumentar a rigidez, $d_{strict}$), e Aceitação Verdadeira (AV) vs. Rejeição Falsa (RF) (para diminuir a rigidez, $d_{lenient}$).
• Intervenção: No momento da inferência, esses vetores são adicionados aos estados ocultos dos tokens delimitadores para modular a saída do verificador.

2. O Quadro VerifySteer

Os autores observam que o direcionamento uniforme (aplicar um único vetor a todas as amostras) cria uma compensação: aumentar a rigidez melhora a detecção de erros (Taxa de Verdadeiros Negativos, TNR), mas prejudica a certificação de correção (Taxa de Verdadeiros Positivos, TPR), e vice-versa. Para resolver isso, o VerifySteer introduz adaptatividade ao nível da amostra e ao nível do delimitador:

• Roteamento ao Nível da Amostra: Uma sonda de correção leve ($f_\phi$) prevê a probabilidade de uma solução candidata ser totalmente correta com base nos estados ocultos do prompt.
  • Se a solução for prevista como provavelmente incorreta ($q \le \tau_l$), o sistema aplica o vetor de aumento de rigidez ($d_{strict}$).
  • Se a solução for prevista como provavelmente correta ($q \ge \tau_h$), o sistema aplica o vetor de aumento de leniência ($d_{lenient}$).
  • Caso contrário, nenhum direcionamento é aplicado.
• Gatilho ao Nível do Delimitador: O direcionamento é aplicado apenas aos tokens delimitadores onde o estado oculto local está desalinhado com a direção selecionada (determinado por um limiar de similaridade de cosseno $\rho$). Isso previne intervenção desnecessária em tokens que já estão alinhados com o comportamento desejado.

Contribuições Principais

1. Identificação de um Sinal Latente: O artigo demonstra que a rigidez do verificador está codificada nos estados ocultos dos tokens de limite de parágrafo e pode ser modulada por meio de intervenção direcionada sem ajuste fino.
2. Algoritmo VerifySteer: A proposta de um método de direcionamento condicional que roteia dinamicamente amostras e intervém seletivamente nas fronteiras dos delimitadores para equilibrar a detecção de erros e a certificação de correção.
3. Validação Empírica: Experimentos extensivos nos benchmarks ProcessBench e Hard2Verify em várias escalas de modelo (1,7B a 70B parâmetros) e arquiteturas (densas e MoE).

Resultados Experimentais

Os experimentos foram conduzidos no ProcessBench (GSM8K, MATH, OlympiadBench, Omni-MATH) e no Hard2Verify, utilizando modelos como Qwen3-1.7B, Qwen3-8B e FARE-20B.

• Desempenho vs. Baselines: O VerifySteer supera a otimização de prompts, as baselines de direcionamento de ativação (CAA) e a autoconsistência (Cons@4/Cons@8) em termos de pontuação F1.
  • No ProcessBench com Qwen3-1.7B, o VerifySteer supera a autoconsistência em 3,7 pontos F1.
  • No Hard2Verify com Qwen3-8B-thinking, o VerifySteer supera a autoconsistência em 2,2 pontos F1.
• Eficiência: O VerifySteer alcança esses ganhos com custo computacional significativamente menor. Requer 4–7× menos computação de inferência (FLOPs) em comparação com métodos de autoconsistência, que dependem de múltiplos traços de amostragem.
• Compatibilidade: O método é ortogonal ao ajuste fino de verificação. Quando aplicado sobre o verificador FARE-20B ajustado finamente, o VerifySteer fornece ganhos adicionais (elevando o F1 de 41,5 para 51,1), demonstrando que o direcionamento e o ajuste fino são complementares.
• Estudos de Ablação: A remoção da adaptatividade ao nível da amostra leva a uma queda na TPR, enquanto a remoção da adaptatividade ao nível do delimitador reduz a TNR, confirmando a necessidade de ambos os componentes para equilibrar a compensação de rigidez.

Significado e Alegações

O artigo alega que os verificadores de LLM refletem comportamentos latentes controláveis que podem ser manipulados sem o alto custo de re-treinamento. Ao revelar um sinal específico de estado oculto para a rigidez de verificação, os autores fornecem um caminho para o controle leve e adaptativo do comportamento do verificador em modelos gerais ajustados por instruções.

O significado reside em oferecer uma alternativa prática tanto ao ajuste fino caro quanto à autoconsistência computacionalmente pesada. O VerifySteer permite que modelos de geração atual correspondam ou superem o desempenho de avaliadores especializados e ajustados finamente construídos sobre gerações mais antigas, mantendo a coerência semântica e fornecendo explicações interpretáveis ao nível do passo. O trabalho sugere que a engenharia de representações é uma estratégia viável e eficiente para melhorar a confiabilidade de verificadores generativos em tarefas de raciocínio matemático.