Resumo Técnico: Previsão de Progresso em Tempo Real em Modelos de Linguagem de Raciocínio

Declaração do Problema

Modelos de linguagem de raciocínio recentes (Reasoning LMs), particularmente aqueles que utilizam longas cadeias latentes de pensamento (CoT), demonstraram forte desempenho em tarefas agênticas complexas. No entanto, à medida que esses modelos operam em horizontes temporais cada vez mais longos, seu progresso interno torna-se opaco para os usuários. Essa opacidade cria desafios significativos para a interação do usuário, especificamente no que diz respeito ao gerenciamento de expectativas e à supervisão em tempo real. Os usuários não podem determinar facilmente quanto tempo uma tarefa levará ou se o modelo está fazendo progresso genuíno em direção a uma solução. Embora trabalhos anteriores tentem impor orçamentos de raciocínio fixos, essa estratégia falha quando o orçamento necessário não pode ser inferido apenas da consulta, levando potencialmente a terminações prematuras ou respostas incorretas.

A questão central abordada é se os Reasoning LMs codificam informações sobre sua distância computacional restante até uma resposta final dentro de seus estados ocultos e se essa informação pode ser aproveitada para previsão de progresso em tempo real.

Metodologia

Os autores empregam uma abordagem de duas frentes: sondagem diagnóstica de modelos existentes e ajuste fino supervisionado (SFT) para gerar relatórios de progresso explícitos.

1. Sondagem Diagnóstica (Análise de Estado Oculto)

Para determinar se informações de progresso estão inerentemente codificadas nas representações do modelo, os autores treinaram sondas lineares em estados ocultos intermediários.

• Conjunto de Dados: Aproximadamente 25.000 traços de raciocínio matemático do OpenR1-Math.
• Rotulagem: O progresso do raciocínio foi discretizado em 10 bins (0–10%, 11–20%, ..., 91–100%) com base na posição normalizada do token ($k/m$) dentro de um traço de comprimento $m$.
• Arquitetura da Sonda: Dois tipos de sondas lineares foram treinados:
  • $f_{token}$: Prevê o bucket de progresso a partir do estado oculto do token atual.
  • $f_{q+token}$: Prevê a partir da concatenação do estado atual e dos estados ocultos dos $n=2$ tokens precedentes.
• Avaliação: O desempenho foi medido usando precisão top-1 e Erro Absoluto Médio (MAE) em dados dentro do domínio e em traços longos fora de distribuição (OOD) (>16K tokens).

2. Ajuste Fino Supervisionado (Relatórios de Progresso Explícitos)

Os autores investigaram se a supervisão explícita poderia melhorar a estimativa de progresso treinando modelos para emitir porcentagens de progresso diretamente dentro do CoT.

• Construção de Dados: Traços do OpenR1-Math foram aumentados com tokens <progressbar> X% </progressbar> inseridos após segmentos de parágrafo. O valor de progresso $a_i$ foi calculado como a contagem cumulativa de tokens do segmento em relação ao comprimento total do traço.
• Variantes de Treinamento:
  • SFT Padrão: Os modelos foram ajustados finamente usando LoRA com perda de entropia cruzada, aumentando o peso dos tokens dentro das anotações de progresso.
  • Cronograma de Mascaramento: Para evitar que os modelos dependam do espaçamento regular dos marcadores em vez do conteúdo de raciocínio, um cronograma de mascaramento foi aplicado, onde anotações de progresso precedentes foram aleatoriamente mascaradas durante o treinamento (cronograma de cosseno de 0 a 0,5).
• Modelos Avaliados: DEEPSCALER-1.5B, QWEN3-0.6B e QWEN3-4B.
• Baselines: Comparações foram feitas contra baselines de posição de token (Comprimento médio global, Comprimento médio/mediano da tarefa) e uma baseline de "Marcador anterior" que extrapola a partir de relatórios anteriores.

3. Análise de Ambiguidade Intrínseca

Para quantificar a incerteza inerente nas etiquetas de progresso, os autores mediram a dispersão dos valores de progresso através de múltiplas continuações estocásticas a partir do mesmo prefixo parcial.

• Métrica: Desvio Absoluto Médio (MAD) e Desvio Porcentual Absoluto Médio (MAPD) dos valores de progresso realizados ($g_{i,\ell}$) através de $r=8$ continuações amostradas.

Principais Resultados

Codificação em Estado Oculto

Sondas lineares demonstraram que os estados ocultos contêm informações correlacionadas com a posição normalizada do traço, embora esse sinal não seja puramente semântico.

• Precisão: As sondas alcançaram precisões significativamente acima do chute aleatório (10%), com os melhores resultados dentro do domínio atingindo ~35,9% (QWEN3-4B, camada intermediária).
• Generalização: O desempenho caiu significativamente em traços longos OOD, indicando dificuldade na generalização de comprimento.
• Interpretação: Os autores observam que esses resultados servem como um "diagnóstico de representação" em vez de evidência conclusiva de rastreamento de progresso semântico, pois as etiquetas são derivadas da posição do token ($k/m$).

Desempenho de Relatórios de Progresso

Modelos ajustados finamente aprenderam com sucesso a gerar estimativas de progresso, com desempenho variando conforme o tamanho do modelo e a estratégia de treinamento.

• Melhor Desempenho: O checkpoint QWEN3-4B mascarado alcançou os resultados mais fortes, com um MAE de 0,161 em traços de raciocínio matemático e 0,157 no conjunto fora de domínio BBEH (Big-Bench Extra Hard).
• Efeito de Mascaramento: O mascaramento geralmente melhorou a qualidade da previsão de progresso (MAE menor), mas às vezes resultou em um trade-off com a precisão da tarefa a jusante. Por exemplo, o QWEN3-4B mascarado teve uma precisão macro ligeiramente inferior em benchmarks de matemática em comparação com sua contraparte não mascarada, mas estimativa de progresso significativamente melhor.
• Comparação com Baselines: Em benchmarks matemáticos, os melhores checkpoints de progress-SFT superaram as baselines de posição de token no agregado. No entanto, no BBEH, baselines simples baseadas em comprimento foram altamente competitivas, sugerindo que estimativas de progresso fora de domínio podem depender fortemente de regularidades estruturais em vez de raciocínio sensível ao conteúdo.

Ambiguidade Intrínseca

O estudo quantificou o "ruído" inerente ao raciocínio estocástico.

• Dispersão: O QWEN3-4B exibiu a menor dispersão de rolagem (MAD = 0,027), seguido pelo DEEPSCALER-1.5B (0,059) e QWEN3-0.6B (0,065).
• Correlação: O modelo com a menor dispersão (QWEN3-4B) também alcançou o menor MAE de previsão. Isso sugere que modelos maiores podem tornar as etiquetas de progresso mais estáveis, reduzindo a variação no comprimento restante da solução.
• Lacuna: O MAE observado permanece maior que a dispersão intrínseca (MAD), indicando que, embora a estocasticidade explique parte do erro, ainda há espaço para melhoria nos algoritmos de estimativa.

Significado e Alegações

O artigo alega quatro contribuições primárias:

1. Visibilidade em Tempo Real: Introduz um framework para previsão de progresso em tempo real em Reasoning LMs, oferecendo uma solução potencial para a opacidade de trajetórias de raciocínio longas.
2. Evidência de Representação: Demonstra que modelos de raciocínio codificam informações relacionadas ao progresso em suas representações internas, conforme evidenciado pelo sucesso das sondas lineares.
3. Integração Direta: Mostra que o relatório de progresso pode ser incorporado diretamente ao processo de geração via SFT, com o checkpoint QWEN3-4B mascarado alcançando um MAE de 0,161 em traços de matemática.
4. Quantificação de Ambiguidade: Quantifica a ambiguidade intrínseca das etiquetas de progresso medindo a dispersão de rolagem, encontrando que modelos maiores (QWEN3-4B) produzem estimativas de progresso mais estáveis devido à redução da variação nos comprimentos restantes da solução.

Os autores mantêm uma postura modesta, reconhecendo que os sinais de progresso estão frequentemente ligados à posição do token e a regularidades de comprimento do traço, em vez de uma compreensão puramente semântica. Eles observam que, embora os relatórios de progresso sejam analisáveis e numericamente alinhados fora do domínio, sua interpretação deve ser relativa a controles estruturais. O estudo é limitado a três modelos compactos e principalmente ao raciocínio matemático, com o desempenho de previsão degradando em traços mais longos que a distribuição de treinamento.