Resumo Técnico: CELEUS

Declaração do Problema

A avaliação de Grandes Modelos de Linguagem (LLMs) depende cada vez mais da curadoria sequencial de amostras para estimar métricas de desempenho. No entanto, as práticas de avaliação padrão enfrentam uma lacuna crítica entre o rigor teórico e a aplicação prática. Os métodos existentes que atualizam intervalos de confiança (CIs) sequencialmente frequentemente falham em ser válidos a qualquer momento (anytime-valid). Isso significa que, quando um avaliador atualiza repetidamente os CIs e os utiliza para decidir quando parar (por exemplo, quando a largura do intervalo atinge uma precisão alvo), a probabilidade de cobertura reivindicada (por exemplo, 95%) pode falhar devido ao "double dipping" — usar os mesmos dados tanto para selecionar a estratégia de avaliação quanto para quantificar a incerteza. Além além disso, simplesmente coletar mais amostras não certifica que a estimativa é precisa o suficiente para a tomada de decisão, não deixando um critério de parada estatisticamente fundamentado.

Abordagens atuais como o Cer-Eval tentam abordar isso via particionamento adaptativo, mas dependem de suposições de partições fixas que não se sustentam quando as partições são aprendidas adaptativamente a partir dos dados, levando a uma potencial perda de cobertura. Adicionalmente, a eficiência da avaliação é prejudicada pelo alto custo de obter rótulos de verdade fundamental (ground-truth) ou julgamentos humanos, necessitando de estratégias que minimizem o número de amostras avaliadas enquanto mantêm a validade estatística.

O presente trabalho propõe o CELEUS (Certifiable and Efficient LLM Evaluation via E-Processes), um framework que une a lacuna entre rigor teórico e eficiência prática através do aproveitamento de E-processes.

Metodologia

O framework propõe o CELEUS (Certifiable and Efficient LLM Evaluation via E-Processes), um framework que preenche a lacuna entre o rigor teórico e a eficiência prática ao alavancar E-processes.

Estrutura Central

1. Intervalos de Confiança Válidos a Qualquer Momento: O CELEUS constrói CIs usando E-processes, que fornecem garantias que se mantêm em qualquer tempo de parada (stopping time). Diferente dos métodos tradicionais, os E-processes baseiam-se apenas na suposição de que os escores de avaliação são limitados (garantido via normalização ou clipping), tornando-os robustos a regras de parada adaptativas.
2. Procedimento Sequencial: O método opera sobre um conjunto finito de dados $D_N$. Em cada rodada $t$, ele seleciona uma amostra não avaliada, observa seu risco real e atualiza o CI. O processo para quando a largura do CI atinge uma precisão alvo $\epsilon$.

Componentes Técnicos Principais

Para garantir eficiência e validade sob amostragem não uniforme, o CELEUS constrói sinais de inferência utilizando dois ingredientes primários:

• Amostragem Guiada pela Incerteza: Em vez de amostragem aleatória uniforme, o CELEUS prioriza amostras que se espera que reduzam a variância da estimativa. A probabilidade de amostragem $q_t$ é desenhada para ser proporcional à magnitude da discrepância entre o risco observado e um escore substituto (surrogate score). Isso se alinha à regra de amostragem otimizada para a variância derivada teoricamente.
• Aproximações Assistidas por Substitutos (Surrogates): Para amostras não avaliadas, o CELEUS utiliza escores de um modelo substituto menor e pré-treinado (por exemplo, um modelo de 7–8B) para aproximar o risco real. Isso permite que o framework extraia informações de todo o conjunto sem precisar avaliar cada amostra com o modelo alvo.

Construção do Sinal

O framework constrói um sinal por rodada $\hat{S}_t$ que é condicionalmente não viesado para o risco do pool finito $R_N$. O sinal combina:

1. Uma estimativa completada por substituto do risco do pool (usando riscos observados para amostras avaliadas e escores de substitutos para o restante).
2. Uma correção ponderada pelo inverso da probabilidade para o resíduo da amostra recém-avaliada (a diferença entre seu risco real e o escore do substituto).

Esta não-viesagem condicional é o mecanismo central que permite a construção de E-processes válidos. O framework então eleva o CI do risco do pool finito $R_N$ para o risco da população $R$ usando uma correção do tipo Hoeffding, que depende do tamanho total do pool $N$.

Garantias Teóricas

• Cobertura Válida a Qualquer Momento: Os CIs resultantes cobrem o risco real da população com probabilidade de pelo menos $1-\alpha$ em qualquer tempo de parada.
• Taxa de Contração (Shrinkage Rate): A largura dos CIs encolhe a uma taxa quase paramétrica de $O(\sqrt{\log t \log \log t / t})$, até fatores logarítmicos.
• Redução de Variância: O artigo prova que a amostragem guiada pela incerteza e a assistência por substitutos propostos reduzem a variância condicional dos sinais, acelerando diretamente a contração dos intervalos de confiança.

Principais Contribuições

1. Unindo o Rigor à Prática: O CELEUS fornece o primeiro framework de avaliação de LLM que é simultaneamente rigoroso do ponto de vista estatístico (válido a qualquer momento) e praticante de eficiência, resolvendo as falhas de cobertura de métodos adaptativos existentes como o Cer-Eval.
2. Nova Construção de Sinal: O artigo introduz um sinal condicionalmente não viesado que integra aproximações assistidas por substitutos com ponderação pelo inverso da probabilidade, permitindo a construção de E-processes válidos sob amostragem não uniforme e adaptativa.
3. Análise Teórica: Os autores fornecem provas para a não-viesagem do estimador, a validade dos CIs válidos a qualquer momento e as propriedades de variância ótima de sua estratégia de amostragem. Eles caracterizam a taxa de convergência da largura do CI.
4. Validação Empírica: Experimentos extensos demonstram que o CELEUS atinge a precisão alvo com 54–62% menos amostras avaliadas do que os baselines (como amostragem uniforme com E-processes), preservando a cobertura nominal. O uso de modelos substitutos menores (7–8B parâmetros) sem ajuste específico para a tarefa aumenta ainda mais a eficiência em 10–23% em comparação com a variante sem substitutos.

Resultados

Experimentos foram conduzidos em três benchmarks (SST-2, AG News, MMLU) com vários pares de modelos alvo-substituto (ex: Llama-3-70B, DeepSeek-67B, Mixtral-8×7B).

• Cobertura: Em configurações diagnósticas onde o Cer-Eval falhou em manter a cobertura (taxa de erro de cobertura de 16,1% vs. nominal de 5%), o CELEUS e outros métodos baseados em E-process mantiveram taxas de erro de cobertura abaixo do nível nominal (0,021–0,030).
• Eficiência: O CELEUS atingiu a precisão alvo ($\epsilon=0,05$) com significativamente menos rótulos. Por exemplo, no MMLU, ele exigiu 3.242 amostras comparado a 8.144 do baseline (EVALUE), uma redução de 60%.
• Impacto do Substituto: A variante assistida por substituto superou consistentemente a versão sem substitutos, demonstrando que o aproveitamento de modelos menores pré-treinados reduz efetivamente a variância do sinal de estimativa.

Significância e Alegações

O artigo afirma que o CELEUS oferece um critério estatisticamente fundamentado para decidir quando amostras suficientes foram avaliadas, indo além de simples estimativas pontuais para intervalos de confiança certificados. Ao garantir a validade a qualquer momento, ele permite que os avaliadores monitorem o progresso e interrompam o processo precocemente sem inflar as taxas de erro do Tipo I.

Os autores enfatizam que seu método é particularmente valioso em cenários onde a avaliação depende de anotação humana dispendiosa ou julgadores de LLM fortes, pois reduz drasticamente o número de tais avaliações necessárias. Eles observam que, embora o método trate da incerteza estatística na avaliação, ele não resolve outros riscos de implantação (ex: segurança, viés) nem garante que o próprio benchmark seja representativo de condições do mundo real. O custo computacional do escore do substituto é reconhecido, mas mostrado como negligenciável comparado às economias geradas pela redução das avaliações do modelo alvo.

Trabalhos futuros sugeridos pelos autores incluem a extensão do framework para cenários de avaliação conscientes de mudança de distribuição (distribution-shift-aware).