Resumo Técnico: Seleção de Prompts Guiada por Kalman (KGPS) para Ajuste Fino de RL Adaptativo

1. Definição do Problema

O ajuste fino por Aprendizado por Reforço (RL) aumenta significativamente as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs), mas sua eficácia depende fortemente da seleção de prompts de treinamento com dificuldade apropriada para a política atual. Um desafio crítico neste domínio é a não-estacionariedade: à medida que a política melhora, a dificuldade dos prompts evolui. Prompts que antes eram informativos podem se tornar triviais, enquanto aqueles que outrora eram difíceis demais podem se tornar aprendíveis.

Os métodos existentes de seleção de prompts online enfrentam um compromisso (trade-off):

• Abordagens baseadas em avaliação (ex: Amostragem Dinâmica) são precisas, mas computacionalmente caras, exigindo um volume massivo de rollouts adicionais para estimar as taxas de sucesso dos prompts, o que frequentemente resulta em um overhead de inferência 7× maior que o treinamento padrão.
• Abordagens baseadas em predição (ex: MoPPS, GRESO) são eficientes, mas tipicamente modelam a dificuldade do prompt como um parâmetro latente estacionário. Elas dependem de fatores de decaimento heurísticos para lidar com a não-estacionariedade, o que falha em rastrear com precisão o cenário de dificuldade mutável induzido pelas atualizações contínuas da política, levando a erros de estimativa persistentemente altos.

O artigo argumenta que uma mudança principiada de estimativa de parâmetros estáticos para estimativa de estado dinâmico é necessária para manter o alinhamento com a política em evolução sem incorrer em custos adicionais de inferência.

2. Metodologia: Seleção de Prompts Guiada por Kalman (KGPS)

O KGPS reformula a seleção de prompts como um problema de estimativa de estado dinâmico. Em vez de tratar a taxa de sucesso de um prompt como um parâmetro fixo, o KGPS a modela como um estado latente variante no tempo dentro de um modelo de espaço de estados Gaussiano-linear (SSM).

Componentes Principais:

1. Formulação de Espaço de Estados no Espaço de Logit:

   • A taxa de sucesso latente $\phi^t_\tau$ de um prompt $\tau$ no passo $t$ é transformada para o espaço de logit: $\psi^t_\tau = \text{logit}(\phi^t_\tau)$.
   • Evolução do Estado: O estado latente evolui como um passeio aleatório (random walk): $\psi^t_\tau = \psi^{t-1}_\tau + w^t_\tau$, onde a variância do ruído do processo $Q_t$ é explicitamente acoplada à magnitude da atualização da política: $Q_t = \gamma \cdot \|\theta^t - \theta^{t-1}\|^2$. Isso garante que a incerteza aumente quando a política muda substancialmente, refletindo a potencial mudança na dificuldade do prompt.
   • Modelo de Observação: Quando um prompt é selecionado e executado (rollout) $k$ vezes, a taxa de sucesso empírica é transformada via método delta para aproximar uma observação Gaussiana no espaço de logit.

2. Filtro de Kalman para Manutenção da Posterior:

   • O KGPS utiliza um filtro de Kalman para manter uma posterior Gaussiana $N(\hat{\psi}^t_\tau, P^t_\tau)$ para cada prompt no conjunto (pool).
   • Passo de Predição: Em cada passo de treinamento, a variância $P^t_\tau$ de todos os prompts (selecionados ou não) é inflada por $Q_t$. Este mecanismo aumenta naturalmente a pontuação de incerteza para prompts que não foram avaliados recentemente, evitando que sejam permanentemente ignorados.
   • Passo de Atualização: Para prompts selecionados no passo anterior, o filtro incorpora as novas observações de rollout para atualizar a média e reduzir a variância.

3. Seleção por Utilidade Esperada da Posterior:

   • Em vez de selecionar prompts com base em uma estimativa pontual de dificuldade, o KGPS seleciona prompts maximizando uma utilidade de treinamento esperada da posterior: $\tilde{A}(\tau, t) = \mathbb{E}_{\psi \sim N(\hat{\psi}^t_\tau, P^t_\tau)}[h(\psi)]$, onde $h(\psi) = \sigma(\psi)(1-\sigma(\psi))$ atinge o pico em dificuldades intermediárias.
   • Esta expectativa integra sobre a distribuição posterior completa. Consequentemente, prompts com alta incerteza (grande $P^t_\tau$) recebem naturalmente pontuações mais altas, equilibrando a exploração das estimativas atuais com a exploração de prompts incertos.
   • A expectativa é computada eficientemente usando quadratura de Gauss–Hermite, não exigindo amostragem estocástica.

Recurso de Eficiência Chave: O KGPS opera inteiramente nos resultados de rollout já gerados para o treinamento padrão da política. Ele não requer rollouts adicionais ou inferências de LLM para o processo de seleção em si.

3. Principais Contribuições

O artigo identifica três contribuições primárias:

1. Reformulação do Rastreamento de Dificuldade: Os autores propõem modelar a dificuldade do prompt como um problema de estimativa de estado dinâmico usando um SSM Gaussiano-linear, onde o ruído do processo é acoplado às magnitudes de atualização da política, em vez de tratar como um parâmetro estacionário.
2. Derivação do Filtro de Kalman e Pontuação de Utilidade: Eles derivam um filtro de Kalman para o rastreamento online de dificuldade e introduzem uma pontuação de utilidade esperada da posterior que equilibra exploração e explotação sem cronogramas de decaimento ajustados manualmente.
3. Validação Empírica: Experimentos extensos demonstram que o KGPS supera consistentemente as linhas de base existentes tanto em precisão final quanto em eficiência de rollout em tarefas de raciocínio matemático, de planejamento e de geometria.

4. Resultados Experimentais

Os autores avaliaram o KGPS em três benchmarks de raciocínio (Matemática, Planejamento/Countdown, Geometria Visual) usando várias escalas de modelos (Qwen3-0.6B a DeepSeek-R1-Distill-7B) e algoritmos de RL (GRPO, PPO, Reinforce++).

• Desempenho vs. Custo de Rollout: No modelo DeepSeek-R1-Distill-7B, o KGPS alcançou desempenho comparável ou ligeiramente superior ao Oracle de avaliação (Amostragem Dinâmica) enquanto utilizava 83% menos rollouts. Comparado à linha de base de predição MoPPS, o KGPS melhorou o desempenho médio em 0,12 pontos em seis benchmarks de matemática usando o mesmo orçamento de rollout.
• Ganhos de Precisão: Em todas as escalas de modelos e tarefas, o KGPS alcançou consistentemente a maior precisão de teste entre os métodos de seleção online, muitas vezes superando o Oracle (DS), que incorre em custos computacionais massivos.
• Precisão de Estimativa: O KGPS manteve um Erro Médio Absoluto significativamente menor (MAE ≈ 0,15) entre as taxas de sucesso previstas e empíricas em comparação ao MoPPS (MAE ≈ 0,40), demonstrando um rastreamento superior da não-estacionariedade da dificuldade.
• Estudos de Ablação:
  • Remover a expectativa da posterior (usando estimativas pontuais) reduziu o desempenho em ~1,09 pontos.
  • Desacoplar o ruído do processo da magnitude de atualização da política (usando ruído fixo) reduziu o desempenho em ~1,21 pontos, confirmando a importância da incerteza adaptativa.
  • Remover a inicialização de aquecimento (warmup) causou uma leve queda no desempenho, validando a necessidade de posteriors iniciais estáveis.

5. Significância e Alegações

O artigo afirma que o KGPS estabelece um novo estado da arte para a seleção de prompts online em ajuste fino de RL. Sua significância reside na resolução da tensão entre eficiência e adaptabilidade:

• Ele alcança a precisão dos métodos caros baseados em avaliação sem seus custos computacionais.
• Ele supera as limitações dos métodos de predição estática ao modelar rigorosamente a natureza não-estacionária da dinâmica de treinamento de RL.
• Ao tratar a dificuldade como um estado dinâmico em vez de um parâmetro estático, o KGPS fornece um mecanismo principrado para o gerenciamento de incerteza que revisita naturalmente prompts negligenciados, garantindo que o currículo de treinamento permaneça alinhado com a competência em evolução do modelo.

Os autores concluem que a estimativa de estado dinâmico é uma alternativa prática e superior às aproximações de dificuldade estáticas para o ajuste fino de RL adaptativo.