Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling

1. Declaração do Problema

Nos modelos autoregressivos modernos (LLMs e VLMs), o comprimento da geração é uma unidade fundamental de computação que impacta diretamente o custo de inferência (computação, memória, latência) e o desempenho de raciocínio. Embora os métodos existentes tentem controlar ou prever o comprimento da geração, eles sofrem de limitações significativas:

• Controle de Granularidade Grossa: A maioria das abordagens opera no nível da sequência (por exemplo, penalidades no nível da sequência durante o treinamento ou instruções baseadas em prompts na inferência) em vez de modelar a dinâmica da geração no nível do token.
• Falta de Sinais de Granularidade Fina: Há um mecanismo ausente para estimar o horizonte de geração restante em cada etapa de decodificação.
• Gargalo de Anotação: A modelagem de recompensa tradicional para comprimento frequentemente requer rotulagem humana ou modelos de recompensa complexos, que não escalam bem.
• Rigidez de Trade-off: Restrições rígidas (por exemplo, "parar em 200 tokens") frequentemente degradam o desempenho, enquanto os métodos atuais carecem de um mecanismo suave para trocar entre qualidade de raciocínio e orçamento de tokens.

2. Metodologia: O Modelo de Valor de Comprimento (LenVM)

Os autores propõem o LenVM, um framework de nível de token que modela o comprimento de geração restante como um problema de estimativa de valor dentro de um framework padrão de função de valor de Aprendizado por Reforço (RL).

Formulação Central

Em vez de prever contagens de tokens brutos diretamente, o LenVM formula a modelagem de comprimento como um problema de retorno descontado:

• Estrutura de Recompensa: Uma recompensa negativa constante é atribuída a cada token gerado: $r_t = -(1 - \gamma)$, onde $\gamma \in (0, 1)$ é um fator de desconto. O estado terminal (EOS) tem uma recompensa de 0.
• Retorno Descontado: O valor alvo $G_t$ na etapa $t$ para uma trajetória de comprimento total $L$ é definido como a soma das recompensas futuras descontadas:
  $$G_t = \sum_{i=0}^{L-t-1} \gamma^i r_{t+i} = -(1 - \gamma^{L-t})$$
• Propriedades:
  • Limitado: $G_t \in (-1, 0)$, evitando a faixa dinâmica ilimitada de comprimentos brutos.
  • Monótono: Horizontes restantes mais curtos produzem valores mais próximos de 0; horizontes mais longos produzem valores mais próximos de -1.
  • Consistente com Bellman: Satisfaz a recursão $G_t = r_t + \gamma G_{t+1}$.

Arquitetura e Treinamento

• Cabeça (Head): O LenVM anexa uma cabeça de valor escalar (um MLP de 2 camadas com ativação SiLU) ao estado oculto da última camada de um LLM ou VLM base.
• Saída: A cabeça produz um valor $V_\theta(s_t) = -\sigma(z_t)$, garantindo que a saída permaneça no intervalo $(-1, 0)$.
• Objetivo de Treinamento: O modelo é treinado via regressão densa, de nível de token, sem anotação.
  • Geração de Dados: Para um prompt dado, múltiplas conclusões são amostradas a partir de uma política de rolagem fixa.
  • Supervisão: O retorno realizado $G_t$ é calculado deterministicamente a partir do comprimento da conclusão amostrada.
  • Perda: Erro Quadrático Médio (MSE) médio por token entre o valor previsto e o retorno realizado.
  • Escalabilidade: O sinal de supervisão é denso (cada token é um alvo), não tendencioso (amostra de Monte Carlo sob política fixa) e escala naturalmente com o tamanho do modelo, a quantidade de prompts e o número de conclusões amostradas.

3. Contribuições Principais

1. Modelagem de Comprimento de Nível de Token: O LenVM é o primeiro framework a modelar o comprimento de geração restante como um sinal de valor contínuo de nível de token, permitindo controle e previsão de granularidade fina.
2. Escalabilidade sem Anotação: O sinal de treinamento é derivado inteiramente de conclusões amostradas sem rotulagem humana ou modelos de recompensa externos, tornando-o altamente escalável em tamanhos de modelo e conjuntos de dados.
3. Controle no Momento da Inferência: O LenVM fornece um mecanismo para controlar o comprimento da geração sem modificar os pesos do modelo base, suportando tanto restrições rígidas quanto trocas contínuas.
4. Interpretabilidade: Os valores de nível de token revelam "tokens de comprimento" que sinalizam mudanças nos regimes de raciocínio (por exemplo, tokens como "espera" ou "ah" indicando uma mudança para raciocínio mais longo, versus "portanto" indicando encerramento).

4. Resultados Experimentais

Os autores avaliaram o LenVM em LLMs (Qwen2.5, Qwen3) e VLMs em domínios de matemática, código e seguimento de instruções.

• Geração Controlada por Comprimento (LIFEBench):
  • O LenVM supera significativamente modelos fechados de ponta (GPT-4o, Claude, Gemini) na correspondência exata de comprimento.
  • Em um modelo de 7B, a Pontuação de Comprimento melhorou de 30,9 para 64,8 na restrição "Igual a", enquanto reduziu o desvio de comprimento de 71% para 44%.
• Trade-off Desempenho-Eficiência:
  • Usando inclinação exponencial baseada nos valores previstos pelo LenVM, o modelo pode equilibrar continuamente precisão e orçamento de tokens.
  • No GSM8K com um orçamento de 200 tokens, o LenVM manteve 63% de precisão, enquanto uma linha de base de orçamento de tokens rígida alcançou apenas 6%. Isso demonstra que o modelo base contém caminhos de raciocínio bem-sucedidos mais curtos que o LenVM pode descobrir.
• Previsão de Comprimento de Geração:
  • O LenVM pode prever o horizonte de geração esperado a partir da fronteira do prompt (antes que qualquer token seja gerado).
  • Na escala de 32B, ele alcança um Erro Relativo Médio (MRE) de 9,8% para matemática, 14,9% para código e 17,1% para seguimento de instruções.
• Escalabilidade:
  • A perda de validação diminui consistentemente à medida que o tamanho do modelo, o número de prompts de treinamento e o número de conclusões amostradas por prompt aumentam.
• Estudo de Caso (Tokens de Comprimento):
  • A análise dos resíduos de diferença temporal revela tokens específicos que atuam como marcadores para mudanças de comprimento (por exemplo, "ah", "mas" para estender o raciocínio; "portanto", "perfeito" para terminar).

5. Significado e Implicações Futuras

• Framework Geral: O LenVM estabelece que o comprimento da geração pode ser modelado efetivamente como um sinal de valor de nível de token, fornecendo uma alternativa principial às penalidades de granularidade grossa.
• Fundação de RL: O artigo destaca que o LenVM serve como uma linha de base de valor natural e específica de comprimento para RL no estilo PPO. Pode ser usado tanto como um componente direto de objetivo (para otimizar eficiência) quanto como um sinal de modelagem de recompensa baseado em potencial (para melhorar a atribuição de crédito sem alterar o objetivo da tarefa).
• Utilidade Prática: A capacidade de prever comprimento e controlar a geração dinamicamente oferece benefícios imediatos para agendamento de inferência, gerenciamento de memória e redução de custos em sistemas de LLM de produção.
• Interpretabilidade: Ao visualizar como tokens específicos alteram o horizonte previsto, o LenVM oferece uma nova lente para a dinâmica interna dos modelos de raciocínio.

Em resumo, o LenVM transforma o problema de controle de comprimento de uma restrição de nível de sequência em uma tarefa densa, escalável e de estimativa de valor de nível de token, permitindo controle preciso, inferência eficiente e maior interpretabilidade da geração autoregressiva.