Resumo Técnico: Seleção de Benchmarks Submodulares

Declaração do Problema

A avaliação abrangente de Modelos de Linguagem de Grande Escala (LLMs) exige executá-los em um conjunto vasto e crescente de benchmarks. Esse processo é computacionalmente caro e consome muito tempo. No entanto, evidências empíricas sugerem que muitos benchmarks são altamente correlacionados; um desempenho forte em um frequentemente prevê um desempenho forte em outro. Essa redundância implica que um pequeno subconjunto bem escolhido de benchmarks poderia capturar a maior parte da informação contida no conjunto completo. O desafio central é identificar qual subconjunto específico selecionar e determinar o tamanho ótimo do subconjunto para maximizar o ganho de informação enquanto minimiza os custos de avaliação.

Metodologia

Os autores formalizam a seleção de benchmarks como um problema de otimização submodular. Dada uma matriz de pontuações $B \in \mathbb{R}^{M \times N}$ representando $M$ modelos avaliados em $N$ benchmarks, as pontuações são modeladas como extrações independentes de uma distribuição Gaussiana multivariada $\mathcal{N}(\mu, \Sigma)$. O objetivo é selecionar um subconjunto $A \subseteq \{1, \dots, N\}$ de tamanho $k$ para otimizar um de dois objetivos:

1. Maximização de Entropia ($H(X_A)$): Maximizar a incerteza conjunta dos benchmarks selecionados. Sob o modelo Gaussiano, isso é equivalente a maximizar $\log \det(\Sigma_{AA})$. Este objetivo é submodular monotônico (com o deslocamento apropriado) e coincide com a decomposição de Cholesky pivotada. O algoritmo ganancioso para este objetivo seleciona benchmarks que maximizam a variância condicional residual, fornecendo um diagnóstico ligado ao espectro de covariância.
2. Maximização de Informação Mútua ($I(X_A; X_{\bar{A}})$): Maximizar a informação que os benchmarks selecionados fornecem sobre o complemento não selecionado. Este objetivo é submodular, mas geralmente não monotônico. Os autores observam que, para tamanhos de subconjunto pequenos $k$, o ganho marginal permanece positivo, permitindo o uso de uma heurística gananciosa. Esta abordagem combina atualizações de Cholesky para frente com refatorização do complemento para calcular o ganho marginal de forma eficiente.

Tratamento de Dados Ausentes:
Matrizes de pontuação do mundo real são frequentemente incompletas (nem todos os modelos foram executados em todos os benchmarks). Os autores empregam o algoritmo Expectation-Maximization (EM) para estimar o vetor de média $\mu$ e a matriz de covariância $\Sigma$ a partir de entradas parcialmente observadas, tratando valores ausentes como variáveis latentes sob a suposição de Ausência Aleatória (MAR).

Imputação:
Uma vez selecionado um subconjunto $A$, as pontuações não observadas para novos modelos são imputadas usando a expectativa condicional da distribuição Gaussiana:
$$E[B_{i\bar{A}} | B_{iA}] = \mu_{\bar{A}} + \Sigma_{\bar{A}A} \Sigma_{AA}^{-1} (B_{iA} - \mu_A)$$

Contribuições Principais

O artigo apresenta um pipeline de ponta a ponta para seleção de benchmarks com as seguintes contribuições específicas:

1. Objetivos Submodulares: A formulação de dois objetivos submodulares (Entropia e Informação Mútua) para seleção de benchmarks, juntamente com algoritmos gananciosos eficientes e numericamente estáveis para ambos.
2. Estimação Baseada em EM: Um método para estimar a matriz de covariância a partir de matrizes de pontuação incompletas usando EM, permitindo a aplicação desses métodos a dados de leaderboards reais e esparsos.
3. Diagnóstico Espectral: Uma ferramenta de diagnóstico utilizando o decaimento de autovalores e o traço residual da Cholesky pivotada para determinar o tamanho apropriado do subconjunto $k$. Um decaimento espectral empírico rápido indica que subconjuntos pequenos são provavelmente eficazes.
4. Validação Empírica: Experimentos em três matrizes de pontuação derivadas de dez leaderboards públicos (MMLU, MTEB e um conjunto heterogêneo mesclado).

Resultados Experimentais

Os autores avaliaram sua abordagem usando validação cruzada de 10 dobras em três conjuntos de dados:

• MMLU (5.452 modelos, 57 tarefas, totalmente observado): Com apenas $k=5$ benchmarks selecionados, a seleção por Informação Mútua (MI) alcançou um $R^2$ de imputação de 0,91. A seleção por Entropia atingiu 0,89. Ambos os métodos superaram significativamente a seleção aleatória.
• MTEB (263 modelos, 56 tarefas, 77% observado): A seleção por MI superou a Entropia para pequenos $k$ (por exemplo, $k \le 3$), com uma diferença de aproximadamente 10 pontos de $R^2$.
• MERGED (118 modelos, 114 tarefas, 31% observado): Este conjunto de dados esparsos e heterogêneos foi o mais desafiador. A seleção por MI manteve uma vantagem clara sobre a Entropia para maiores $k$, alcançando $R^2 \approx 0,59$ em $k=15$ comparado a 0,55 para Entropia.

Principais Descobertas:

• A "Lacuna do Surrogato": Embora a seleção por Entropia minimize a variância residual do conjunto selecionado (uma propriedade da Cholesky pivotada), ela nem sempre maximiza o poder preditivo para os benchmarks não selecionados. A seleção por MI, que recompensa explicitamente o acoplamento com o complemento, produz qualidade de imputação superior para tamanhos de subconjunto pequenos.
• Escalabilidade: Para conjuntos de dados bem condicionados, a seleção por Entropia eventualmente alcança ou supera a MI à medida que $k$ aumenta. No entanto, para cenários com restrições orçamentárias (pequeno $k$), a MI é o objetivo preferido.
• Robustez: Apesar de testes formais de normalidade rejeitarem a suposição Gaussiana em todos os conjuntos de dados, a média condicional Gaussiana (o melhor preditor linear) forneceu imputações altamente precisas, validando o modelo Gaussiano como uma aproximação prática de trabalho.

Significado e Alegações

O artigo afirma fornecer uma estrutura principial, baseada na teoria da informação, para seleção prescritiva de benchmarks. Diferentemente de trabalhos anteriores que focam em reduzir redundância dentro de um único benchmark ou aprender habilidades latentes, esta abordagem seleciona benchmarks inteiros para execução e imputa o restante sem treinar um modelo preditivo complexo além da estimação de covariância.

Os autores enfatizam que:

• MI é superior para orçamentos pequenos: A seleção por Informação Mútua é a estratégia recomendada quando os recursos computacionais são limitados e o objetivo é imputar pontuações para os benchmarks restantes.
• Entropia é útil para diversidade: A seleção por Entropia permanece valiosa para maximizar a diversidade do conjunto selecionado ou reduzir a variância residual em subconjuntos maiores e bem condicionados.
• Análise espectral é diagnóstica: O decaimento de autovalores da covariância das pontuações serve como um indicador confiável de quando pequenos subconjuntos de benchmarks serão eficazes.

O trabalho conclui que um pequeno número de benchmarks cuidadosamente escolhidos pode capturar uma parcela desproporcional de informação avaliativa, potencialmente reduzindo o custo computacional da avaliação de LLMs enquanto mantém alta fidelidade na estimativa de desempenho.