Low Rank for Rank: Uncertainty-Aware Task-Specific LLM Ranking under Sparse Pairwise Comparisons

Resumo Técnico: Low Rank for Rank: Classificação de LLM Específica para Tarefa com Consciência de Incerteza sob Comparações Pareadas Esparsas

Declaração do Problema
A avaliação de Modelos de Linguagem de Grande Escala (LLMs) depende cada vez mais de plataformas de preferência humana pareadas (por exemplo, Chatbot Arena) para gerar rankings. Embora rankings globais sejam comuns, eles frequentemente mascaram heterogeneidade substancial em tarefas de granularidade fina (por exemplo, programação, matemática, escrita criativa). Os praticantes exigem rankings específicos para tarefas, confiáveis, para determinar quais modelos são confiáveis para domínios específicos. No entanto, as abordagens existentes enfrentam um compromisso estatístico:

1. Estimação Independente por Tarefa: O uso de modelos Bradley-Terry-Luce (BTL) para cada tarefa separadamente respeita a heterogeneidade da tarefa, mas torna-se estatisticamente instável quando as comparações são esparsas ou desequilibradas dentro de categorias específicas.
2. Estimação Totalmente Agrupada: Agrupar dados em todas as tarefas reduz a variância, mas elimina a heterogeneidade específica da tarefa que motiva a avaliação de granularidade fina.
3. Incerteza de Classificação: Os métodos atuais frequentemente fornecem estimativas pontuais sem quantificar a incerteza. Em regimes esparsos, pequenas lacunas de pontuação próximas à fronteira top-$K$ podem refletir ruído de amostragem em vez de diferenças reais de desempenho. Validar a membresia e as classificações top-$K$ exige lidar com a natureza não suave dos funcionais de classificação e a forte dependência entre as hipóteses de lacunas de pontuação.

Metodologia
Os autores propõem uma estrutura de baixo posto que modela a matriz latente de habilidade tarefa-por-modelo $\Theta^\star \in \mathbb{R}^{d_t \times d_m}$ como aproximadamente de baixo posto ($r \ll \min\{d_t, d_m\}$). Essa estrutura permite o compartilhamento de informações entre tarefas relacionadas (por exemplo, capacidades latentes compartilhadas como raciocínio ou seguimento de instruções) enquanto preserva diferenças específicas da tarefa.

A metodologia procede em três estágios:

1. Estimação Elemento a Elemento (Recuperação de Pontuação):

   • Inicialização: Um estimador convexo penalizado pela norma nuclear é computado para obter um inicializador $\hat{\Theta}_0$ preciso em norma de Frobenius.
   • Refinamento: Um passo de refinamento logístico pareado por linha é aplicado a $\hat{\Theta}_0$. Isso converte a precisão global em norma de Frobenius em controle uniforme elemento a elemento (norma-max). O refinamento resolve equações de pontuação logística pareada para vetores latentes do lado da tarefa e do lado do modelo iterativamente.
   • Resultado: O Teorema 3.1 estabelece que o estimador refinado $\hat{\Theta}$ alcança erro elemento a elemento $\|\hat{\Theta} - \Theta^\star\|_\infty \lesssim \sqrt{\bar{d} \text{polylog}(n\bar{d})/n}$, onde $\bar{d} = \max(d_t, d_m)$. Essa taxa permite recuperação exata top-$K$ sob uma condição de margem, estendendo princípios de tarefa única para classificações específicas de tarefa acopladas.

2. Inferência Eficiente de Lacuna de Pontuação:

   • Para realizar inferência sobre decisões de classificação, os autores constroem estimadores de um passo não viciados para contrastes lineares (lacunas de pontuação) $\psi_\Gamma(\Theta^\star) = \langle \Gamma, \Theta^\star \rangle$.
   • O estimador utiliza o espaço tangente da variedade de baixo posto e o operador de informação de Fisher restrito para alcançar eficiência semiparamétrica.
   • Inferência Conjunta: A estrutura caracteriza a covariância conjunta de múltiplos estimadores de lacuna de pontuação. O Teorema 4.1 prova que, para uma coleção fixa de contrastes, os estimadores são conjuntamente assintoticamente Gaussianos com uma matriz de covariância que atinge o limite inferior de eficiência semiparamétrica.

3. Certificação Simultânea de Classificação:

   • O artigo aborda o regime de alta dimensão onde classificações e membresia top-$K$ são determinadas por muitas hipóteses de lacuna de pontuação dependentes.
   • Calibração: Usando aproximações Gaussianas e de bootstrap multiplicador, o método calibra o máximo de estatísticas de lacuna não viciadas studentizadas.
   • Saída: Isso produz conjuntos de confiança simultâneos para classificações específicas de tarefa e testes válidos para membresia top-$K$. A saída categoriza os modelos em três grupos: top-$K$ certificado, não top-$K$ certificado e estatisticamente não resolvido (onde o ruído impede uma decisão definitiva).

Principais Contribuições

• Precisão Top-$K$ por Tarefa: Os autores derivam garantias de estimação em norma-max adaptadas à classificação específica de tarefa, mostrando como o compartilhamento de baixo posto melhora a eficiência amostral sobre a estimação BTL independente. A teoria caracteriza o erro de classificação através do número de modelos próximos à fronteira $K$.
• Inferência Eficiente de Lacuna de Pontuação: Eles constroem estimadores de um passo não viciados para lacunas de pontuação específicas de tarefa que são semiparametricamente eficientes, fornecendo uma caracterização de covariância conjunta para hipóteses de classificação correlacionadas.
• Certificação Simultânea de Classificação: O artigo introduz uma estrutura para inferência simultânea entre tarefas e modelos. Ao calibrar o máximo de estatísticas studentizadas, fornece conjuntos de confiança válidos para classificações e membresia top-$K$, separando alegações confiáveis de comparações não resolvidas.
• Validação Empírica: Experimentos em dados sintéticos e no conjunto de dados LM Arena demonstram que a estrutura de baixo posto produz certificados de classificação mais apertados e melhor calibrados e taxas de recuperação top-$K$ mais altas em comparação com a estimação BTL independente por tarefa, particularmente em regimes de dados esparsos.

Resultados e Significância
O artigo afirma que o compartilhamento de baixo posto melhora significativamente a eficiência amostral. Em simulações, o estimador conjunto alcança erros menores em norma de Frobenius e norma-sup e recuperação top-$K$ superior (medida pela distância de Hamming) em comparação com o BTL independente por tarefa, especialmente quando o número de comparações por tarefa é pequeno.

No estudo de caso LM Arena (10 categorias de tarefa, 30 modelos), o método de baixo posto superou o BTL por tarefa na recuperação top-$K$ em baixas frações de subamostragem ($f \le 0.10$). Crucialmente, a estrutura permite "certificação com consciência de incerteza". Por exemplo, em regimes esparsos onde o BTL por tarefa não conseguia certificar o status top-$K$ de um modelo (produzindo intervalos de confiança amplos), o método de baixo posto certificou com sucesso a membresia ao aproveitar informações entre tarefas.

A significância deste trabalho reside em fornecer uma base estatística para rankings específicos de tarefa certificados. Ao avançar além de estimativas pontuais para classificação com consciência de incerteza, a estrutura ajuda a mitigar alegações excessivamente confiantes baseadas em dados de preferência esparsos ou desequilibrados. Ela esclarece quando diferenças aparentes no ranking são estatisticamente não resolvidas, oferecendo uma ferramenta mais rigorosa para seleção, aquisição e implantação de modelos em aplicações reais de LLM.