Efficient Sequential Evaluation of Large Language Models

Declaração do Problema
O artigo aborda o desafio de avaliar eficientemente um novo Grande Modelo de Linguagem (LLM) em um benchmark fixo composto por $N$ questões. O objetivo é estimar a taxa média de correção do modelo (capacidade) com incerteza aceitável, minimizando o número de consultas (questões respondidas). Diferente dos intervalos de confiança padrão de tempo fixo, os autores visam construir uma Sequência de Confiança (SC) — uma sequência de conjuntos de confiança que mantém a cobertura válida uniformemente ao longo do tempo (válida a qualquer momento). Isso permite que o avaliador interrompa as consultas assim que a estimativa for suficientemente precisa, adaptando o tempo de parada à força da evidência. O cenário aproveita dados de desempenho histórico de LLMs anteriores no mesmo benchmark para prever a probabilidade de o novo modelo responder corretamente a cada questão, orientando assim uma estratégia de consulta ativa e adaptativa.

Metodologia
Os autores propõem um framework que projeta conjuntamente uma regra de consulta adaptativa e uma construção de SC baseada em supermartingais de teste.

1. Construção de SC via Supermartingais de Teste:
   Os autores invertem uma família de supermartingais de teste para formar a SC. Para um valor candidato $m$ (uma possível taxa média de correção), um supermartingal de teste acumula evidências contra $m$ se $m \neq \theta^*$ (a média real). A SC no tempo $t$ consiste em todos os $m$ cujos valores de supermartingal não ultrapassaram um limiar de rejeição ($1/\alpha$).
   Duas construções específicas para os supermartingais de teste são investigadas:

   • Projeção de Informação Reversa (RIPr): Esta abordagem identifica a distribuição "menos favorável" dentro da classe nula (distribuições com média $m$) que é mais próxima da distribuição real em divergência de Kullback-Leibler (KL). A razão de verossimilhança entre a distribuição real e esta projeção serve como o e-valor. Em um cenário de oráculo (onde as probabilidades reais de correção são conhecidas), este método é mostrado como sendo otimamente de crescimento.
   • Teste por Apostas (Testing-by-Betting): Esta abordagem enquadra o problema como um jogo de apostas onde uma aposta é feita em um estimador do parâmetro alvo. O processo de riqueza cresce se o candidato $m$ estiver incorreto. Os autores propõem uma variante computacionalmente mais leve usando um limite inferior quadrático no crescimento do log-patrimônio.

2. Regras de Consulta Ativa:
   Para reduzir rapidamente a largura da SC, os autores projetam regras de consulta que maximizam o incremento logarítmico esperado (critério de Kelly) do supermartingal de teste.

   • Cenário de Oráculo: Assumindo probabilidades reais conhecidas, eles propõem um critério maxmin orientado ao crescimento. Esta regra seleciona a distribuição de consulta que maximiza o pior caso de incremento logarítmico esperado de um passo sobre os endpoints atuais da SC (os limites inferior e superior do intervalo).
   • Cenário Prático: Como as probabilidades reais são desconhecidas, os autores utilizam previsões derivadas de um modelo de fator bayesiano ajustado em dados históricos. Eles substituem os parâmetros reais por estas previsões (abordagem plug-in) tanto na construção do e-valor quanto na regra de consulta.

3. Estratégias de Consulta de Mistura:
   Reconhecendo que a consulta de crescimento puro pode ser sensível a erros de previsão e à "espiculidade" (baixa probabilidade mínima) da distribuição de consulta, os autores propõem regras de consulta de mistura. Estas combinam:

   • Amostragem orientada ao crescimento (para encolher a SC).
   • Refinamento de previsão (para melhorar a precisar das previsões plug-in).
   • Exploração uniforme (para garantir um limite inferior nas probabilidades de consulta e mitigar a espiculidade).
     Estas misturas podem ser programadas temporalmente ou dependentes de dados (adaptando os pesos com base na incerteza e estabilidade da previsão).

Principais Contribuições

• Otimalidade de Oráculo: Em um cenário de oráculo, os autores demonstram que a construção baseada em RIPr alcança a otimalidade de crescimento de oráculo entre os e-valores condicionais válidos. Eles também mostram que, para a abordagem de teste por apostas, uma regra de amostragem específica orientada ao crescimento coincide com a regra de amostragem de redução de variância de trabalhos anteriores.
• Análise Teórica de Encolhimento: O artigo analisa o comportamento de encolhimento das SCs resultantes no cenário prático (plug-in). Ele identifica dois fatores principais que retardam o encolhimento da SC:
  1. Desajuste de Previsão Acumulado: Quantificado por um termo de divergência KL para RIPr e um termo de Erro Quadrático Médio (MSE) para o teste por apostas. A análise sugere que o RIPr é mais sensível ao desajuste de previsão do que a abordagem de apostas.
  2. Espiculidade da Distribuição de Consulta: Um limite inferior baixo nas probabilidades de consulta ($h$) dificulta significativamente o crescimento da SC baseada em apostas ao restringir o intervalo de aposta válido, enquanto o RIPr é menos diretamente afetado por esta restrição específica.
• Achados Empíricos: Através de experimentos em conjuntos de dados sintéticos com diferentes regimes de capacidade (ex: modelos similares aos dados históricos vs. modelos fora da família), os autores descobrem que:
  • Não existe uma regra de consulta universalmente melhor; o desempenho depende da estrutura do conjunto de dados e da qualidade das previsões.
  • A abordagem de teste por apostas é geralmente mais robusta ao desajuste de previsão do que o RIPr.
  • Surpreendentemente, a regra mais simples, a amostragem uniforme, frequentemente apresenta desempenho competitivo contra regras adaptativas complexas, particularmente quando o refinamento da previsão é difícil ou quando o modelo é significativamente diferente dos dados históricos.

Significância e Alegações
O artigo afirma fornecer um método principiado para a avaliação sequencial de LLMs com garantias de incerteza válidas a qualquer momento. Ao aproveitar dados históricos, visa reduzir o custo de avaliação (número de consultas) enquanto mantém a validade estatística rigorosa.

Os autores enquadram modestamente seus limites teóricos como "diagnósticos" em vez de caracterizações agudas de design ótimo, observando que eles capturam os efeitos do desajuste de previsão e das probabilidades mínimas de consulta, mas podem não refletir totalmente as propriedades mais finas das regras de amostragem. Eles enfatizam que seu trabalho destaca os trade-offs entre consulta orientada ao crescimento, refinamento de previsão e exploração uniforme. A observação de que a amostragem uniforme pode superar regras adaptativas em certos regimes sugere que a complexidade da consulta adaptativa pode nem sempre gerar benefícios proporcionais, um achado que desafia a suposição de que a adaptatividade é sempre superior neste contexto.

O trabalho posiciona-se como um contraparte sequencial de trabalhos anteriores sobre inferência impulsionada por predição, estendendo o escopo para a consulta ativa a partir de um benchmark fixo em vez de amostragem passiva de um fluxo. Sugere-se que trabalhos futuros incluam o desenvolvimento de regras de consulta mais eficazes (potencialmente via aprendizado por reforço) e a exploração de métodos de previsão alternativos além do modelo de fator bayesiano.