Resumo Técnico: Sinais Heterocedásticos em Verificação de LLMs Orçamentada

1. Formulação do Problema

O artigo aborda o problema da alocação de recursos orçamentada em sistemas de Large Language Models (LLMs). Em cenários como verificação, escalonamento de tempo de execução (test-time scaling) e execução de ferramentas, os sistemas devem decidir quais entradas processar usando mecanismos de feedback caros (ex: testes unitários, provadores de teoremas) dado um orçamento computacional limitado.

As políticas atuais dependem tipicamente de sinais de incerteza (ex: probabilidades de tokens, margens de logits) para classificar as entradas. Essas políticas operam sob uma suposição implícita de comparabilidade global de sinais: que um escore de incerteza específico carrega o mesmo valor de decisão (poder preditivo em relação ao erro) em todas as entradas, independentemente do custo ou complexidade da entrada.

Os autores hipotetizam que essa suposição falha na prática. Especificamente, eles identificam uma heterogeneidade estrutural (heterocedasticidade) onde a qualidade do sinal de incerteza varia significativamente através de diferentes estratos de custo. Em algumas regiões de alto custo ou alta complexidade, os sinais de incerteza podem tornar-se quase aleatórios, embora essas regiões frequentemente contenham uma alta densidade de erros. Um otimizador global que agrega esses sinais incomparáveis pode produzir alocações estruturalmente ineficientes, mesmo que o sinal seja preditivo em média.

2. Metodologia

Para diagnosticar se as limitações de desempenho decorrem de sinais fracos, instabilidade de otimização ou heterogeneidade estrutural, os autores propõem uma hierarquia de intervenção controlada usando a verificação de LLM orçamentada como um cenário de diagnóstico.

2.1 Configuração do Problema

• Entradas: Um conjunto de $N$ amostras com rótulos de erro binários $y_i$, vetores de sinais de proxy $h_i$ e custos de verificação $c_i$.
• Restrição de Orçamento: O custo total das verificações selecionadas não deve exceder uma fração $\beta$ do custo potencial total.
• Métrica: O desempenho é medido pela Taxa de Acerto (Hit Rate) (a proporção de amostras verificadas que são de fato erros).
• Sinais: O sistema utiliza três proxies de incerteza ao nível de token: incerteza média, confiança do pior caso do token e dispersão de margem.

2.2 Hierarquia de Intervenção

Os autores comparam quatro políticas para isolar a fonte da subotimalidade:

1. Threshold (Estático Global): Uma linha de base usando uma função de pontuação fixa e um limiar de quantil contínuo sobre a razão sinal-custo. Isso serve como a referência global estática.
2. MP-Adapt (Aprendizado Online Global): Um aprendiz global mais forte usando um algoritmo mirror-prox com atualizações de gradiente exponencial. Ele otimiza conjuntamente os parâmetros de pontuação e um multiplicador de orçamento dual. Isso testa se uma otimização global "mais forte" pode superar o problema.
3. MP-Strat (Estratificação Parcial): Mantém variáveis duais independentes para estratos de custo e usa um EMA (Média Móvel Exponencial) professor-aluno para reduzir o ruído de otimização. Isso testa se a instabilidade de otimização é o principal gargalo.
4. CST (Limiar Estratificado por Custo): Uma intervenção deliberadamente fraca. Ela particiona as amostras em $K=4$ estratos baseados no custo ex-ante e aplica limiares de quantil contínuos independentes para cada estrato. Crucialmente, utiliza a mesma função de pontuação fixa que o Threshold estático e não realiza aprendizado online (sem atualizações de gradiente).
   • Propósito: Ao remover totalmente o aprendizado, o CST isola o efeito do alinhamento estrutural (combinar a política de alocação com o regime de feedback) da sofisticação do otimizador.

2.3 Análise Teórica

Os autores derivam um limite para a distorção de alocação causada pela discriminabilidade heterogênea. Sob um modelo de localização Gaussiana local, eles mostram que a diferença no valor de descoberta de erro entre uma política estratificada e uma política global é limitada pela dispersão trans-estrato da discriminabilidade do sinal ($\delta_k$). Isso sugere que, mesmo com conhecimento perfeito da distribuição do escore, um único quantil global não pode corrigir a heterogeneidade estrutural na confiabilidade do sinal.

3. Resultados Experimentais

Experimentos foram conduzidos nos conjuntos de dados MBPP (programação) e MATH (matemática) usando Qwen3-8B, LLaMA3-8B e GPT-4o-mini.

3.1 Principais Descobertas

• Falha de Adaptação Global: O MP-Adapt (aprendizado global forte) frequentemente falhou em superar o Threshold estático e, em alguns casos, teve desempenho inferior. Isso indica que simplesmente aumentar a força do otimizador não repara a especificação incorreta estrutural.
• Alinhamento Estrutural Vence: A intervenção CST, apesar de não possuir capacidade de aprendizado, alcançou os ganhos mais significativos em configurações heterogêneas.
  • No MBPP, o CST melhorou as taxas de acerto em +3,4 a +17,0 pontos percentuais sobre o Threshold estático em diferentes modelos e orçamentos.
  • Por exemplo, no MBPP com LLaMA3-8B em $\beta=20\%$, o CST alcançou um ganho de +15,1pp.
• Ganhos Condicionais: No MATH, onde a heterogeneidade do sinal era mais fraca ou menos alinhada com o custo, os ganhos do CST foram menores ou negativos (ex: -7,6pp para Qwen3-MATH). Isso confirma que a estratificação só é benéfica quando a partição se alinha com regimes de feedback consequentes.
• Diagnóstico de Gargalos:
  • O MP-Strat proporcionou uma recuperação parcial (+2,8pp), confirmando que o ruído de otimização existe, mas é secundário.
  • Análise de Sinal: Em estratos de alto custo (ex: Q4 do MBPP Qwen3), a qualidade do sinal ($\rho$) caiu para níveis quase aleatórios (0,157) enquanto as taxas de erro permaneceram altas (0,714). Políticas globais sub-selecionam essas regiões de alto erro e baixo sinal. O CST corrigiu isso aumentando a cobertura de auditoria nesses estratos, trocando precisão por recall para capturar mais erros totais.

3.2 Estudos de Ablação

• Critério de Partição: A estratificação pelo custo ex-ante (CST) melhorou o desempenho, enquanto partições aleatórias ou partições baseadas na força do sinal degradaram o desempenho. Isso valida que o custo é um proxy válido para a heterogeneidade subjacente.
• Sinal Oráculo: Substituir sinais de proxy por rótulos reais resultou em taxas de acerto perfeitas, confirmando que a estrutura de otimização é suficiente dado sinais confiáveis.

4. Principais Contribuições

1. Identificação de Limitação Estrutural: O artigo identifica a falha da suposição de comparabilidade global de sinais como um gargalo estrutural primário na alocação de recursos de LLM, distinto de sinais fracos ou fraqueza do otimizador.
2. Hierarquia de Intervenção Controlada: O desenvolvimento de uma hierarquia (Threshold $\to$ MP-Adapt $\to$ MP-Strat $\to$ CST) que isola com sucesso a força do otimizador, o ruído de otimização e o alinhamento estrutural. O CST é destacado como uma intervenção deliberadamente fraca que prova que o alinhamento estrutural é o principal motor de ganhos.
3. Limite Teórico: Um limite teórico ligando a distorção de alocação global à dispersão da discriminabilidade trans-estrato, explicando por que a adaptação global mais forte falha em resolver o problema.
4. Protocolo de Diagnóstico: Um protocolo prático para profissionais: antes de aumentar a complexidade do otimizador, deve-se medir a qualidade do sinal condicional através de estratos observáveis. Se a qualidade do sinal variar, uma partição simples e alinhada (como o CST) deve ser testada contra políticas globais.

5. Significância e Alegações

O artigo afirma que uma estrutura de feedback desalinhada não pode ser sempre reparada por uma otimização mais forte. A principal contribuição é um princípio de diagnóstico: em sistemas de verificação orçamentada, a suposição de que "escores iguais implicam igual valor de decisão" é frequentemente estruturalmente inválida devido a sinais heterocedásticos.

Os autores argumentam que os modos de falha observados na verificação orçamentada não se devem meramente a treinamento insuficiente ou hiperparâmetros ruins, mas sim a uma especificação incorreta fundamental do problema de alocação. Ao desacoplar a estrutura de decisão do regime de feedback (via estratificação), ganhos significativos de desempenho podem ser alcançados mesmo sem mecanismos de aprendizado complexos. Isso desafia a tendência predominante de confiar apenas em otimizadores globais mais sofisticados para a alocação de recursos em LLMs.

Limitações: Os autores observam que o CST depende de uma heterogeneidade suficiente e alinhada ao custo, e pode ter desempenho inferior quando tal heterogeneidade é fraca (como visto em alguns cenários de MATH). A partição fixa é uma ferramenta de diagnóstico; o aprendizado de partições ideais é deixado para trabalhos futuros. Os resultados são validados especificamente para verificação orçamentada e podem não se transferir diretamente para todas as configurações de alocação de recursos sem estudos adicionais.