A Unified Perturbation Framework for Analyzing Leaderboard Stability and Manipulation

Resumo Técnico: Um Framework Unificado de Perturbação para Análise da Estabilidade e Manipulação de Leaderboards

Declaração do Problema

Leaderboards de avaliação, como LMArena e Chatbot Arena, são centrais para o benchmarking de Modelos de Linguagem de Grande Escala (LLMs), agregando preferências humanas pareadas em classificações usando o framework Bradley–Terry (BT). Embora essas plataformas impulsionem a adoção de modelos e o reconhecimento da indústria, a robustez de suas classificações contra modificações estruturadas de dados permanece pouco compreendida. A literatura existente identificou vulnerabilidades isoladas — como sensibilidade à injeção de votos, vazamento de dados ou a remoção de comparações específicas —, mas carece de um formalismo unificado para analisar como diferentes tipos de perturbações se propagam através do estimador de classificação para afetar objetivos diversos (por exemplo, pertencimento ao top-k, consistência global e incerteza estatística). Este artigo aborda a questão de como pequenas mudanças estruturadas em conjuntos de dados de comparação impactam as conclusões do leaderboard em múltiplas dimensões.

Metodologia

Os autores propõem um framework unificado baseado em influência para perturbação de leaderboards Bradley–Terry. O núcleo do método envolve o uso de funções de influência para aproximar o efeito local da modificação de pesos de partidas sem exigir o ajuste completo do modelo para cada ação candidata.

1. Propagação de Influência:
O framework trata modificações de conjuntos de dados como intervenções estruturadas no estimador BT ponderado. Utiliza funções de influência para aproximar a mudança no vetor de habilidade latente $\hat{\theta}$ resultante de uma perturbação no peso de uma partida $w_n$:
$$\frac{\partial \hat{\theta}(w)}{\partial w_n} \bigg|_{w=1} = -H^{-1} g_n$$
onde $H$ é o Hessiano da perda e $g_n$ é o gradiente para a partida $n$. Essas sensibilidades de parâmetros são propagadas para objetivos escalares do leaderboard $f(\hat{\theta}, w)$. Para levar em conta a natureza finita das perturbações (em vez de mudanças infinitesimais), os autores empregam um refinamento Newton de um passo (1sN) para corrigir parcialmente as mudanças de curvatura no objetivo perturbado.

2. Espaço de Ações:
O framework define três perturbações fundamentais ao nível de partida e uma intervenção ao nível de jogador:

• Remover (Drop): Remover uma partida existente ($w_n: 1 \to 0$).
• Adicionar (Add): Introduzir uma nova partida ($w_{new}: 0 \to 1$). Os autores consideram três espaços candidatos com níveis crescentes de controle: all_pairs (resultado fixado pela habilidade), all_outcomes_weighted (resultados ponderados pela probabilidade BT) e all_outcomes (resultado totalmente controlado).
• Inverter (Flip): Reverter o resultado de uma partida existente ($y_n \to 1-y_n$), modelado como remover a partida original e adicionar a partida invertida.
• Remoção de Jogador: Remover todas as partidas incidentes a um jogador específico, analisado via refinamento Newton agrupado.

3. Objetivos de Avaliação:
O framework avalia perturbações contra três classes distintas de objetivos:

• Pertencimento ao Top-k (Objetivo de Lacuna): Mede a diferença de habilidade ($\theta_i - \theta_j$) através das fronteiras do top-k para determinar se um modelo entra ou sai do conjunto top-k.
• Consistência Global de Classificação (Kendall's $\tau$): Utiliza um substituto diferenciável baseado em tanh para medir a correlação entre a classificação perturbada e a classificação de referência original.
• Incerteza Estatística (Intervalos de Confiança): Utiliza uma aproximação de informação local (inverso da informação de Fisher) para estimar a variância das estimativas de habilidade. Os objetivos incluem reduzir a incerteza de um jogador específico ($f_{CI-player}$) ou a incerteza global de traço ($f_{CI-trace}$).

Contribuições Principais

1. Framework Unificado: O artigo introduz um único formalismo que desacopla o mecanismo de perturbação (Remover, Adicionar, Inverter) do objetivo auditado, permitindo o estudo simultâneo de falhas de robustez e intervenções direcionadas.
2. Não-Robustez Sistemática: Através de experimentos em sete conjuntos de dados (incluindo Chatbot Arena, MT-Bench e classificações esportivas como NBA e ATP), os autores demonstram que leaderboards modernos são não-robustos. Perturbações direcionadas sub-1% são suficientes para alterar o modelo classificado em primeiro lugar, degradar a consistência global da classificação e alterar intervalos de confiança.
3. Manipulação Direcionada Eficiente: As mesmas pontuações de influência permitem intervenções direcionadas eficientes. O framework pode promover ou rebaixar modelos específicos com menos ações do que baselines anteriores de manipulação de votos (por exemplo, omni-rigging) e reduzir a incerteza do modelo-alvo mais efetivamente do que baselines de amostragem ativa (por exemplo, Arena Active).
4. Análise de Remoção de Jogador: O estudo quantifica a "ilusão do leaderboard" ao mostrar que remover jogadores influentes (por exemplo, modelos altamente conectados) pode induzir uma reordenação ampla dos modelos restantes, alterando classificações e modificando pertencimentos ao top-10.
5. Pontuações de Robustez Normalizadas: Os autores agregam falhas guiadas por influência em pontuações de robustez normalizadas ao nível do conjunto de dados ($R_{Top-1}$, $R_{CI}$, $R_{\tau}$), fornecendo um perfil de auditoria compacto através de diferentes visões da estabilidade do leaderboard.

Resultados

• Robustez: Em principais leaderboards de LLM (por exemplo, Arena 55k), menos de 1% de ações direcionadas (especificamente Inverter ou Remover) podem alterar o modelo Top-1. Por exemplo, apenas 3 ações Inverter ou 5 ações Remover foram necessárias para alterar o Top-1 na Arena 55k.
• Sensibilidade do Objetivo:
  • Inverter é geralmente a perturbação mais eficiente em ações para alterar classificações e degradar o Kendall's $\tau$.
  • Remover é mais conservador, mas ainda altamente eficaz.
  • Variantes de Adicionar são menos eficazes para alterar classificações, mas são as mais eficazes para reduzir incerteza (intervenção construtiva).
• Robustez Consciente de IC: Embora o atendimento aos intervalos de confiança aumente o orçamento necessário para alterar uma classificação (em média 13$\times$ comparado a estimativas pontuais), os leaderboards permanecem vulneráveis. Remoções direcionadas ainda podem alterar o pertencimento ao top-k sob critérios estritos conscientes de IC.
• Variância do Conjunto de Dados: Conjuntos de dados curados por especialistas (por exemplo, MT-Bench) exibem maior robustez do que conjuntos de dados estilo arena de crowdsourcing. Grafos esparsos (por exemplo, ATP Top-10) mostram a menor estabilidade global de classificação.
• Remoção de Jogador: Remover um único jogador altamente influente pode deslocar até 28 jogadores na classificação e alterar até 6 pertencimentos ao top-10, sendo o "grau" (número de partidas) o preditor mais forte da influência de um jogador.

Significado e Alegações

O artigo alega fornecer uma ferramenta prática e útil para auditar a estabilidade de leaderboards. Ao conectar análise de robustez e manipulação adversária, o framework revela limitações fundamentais nos designs atuais de leaderboards. Os autores enfatizam que as mesmas técnicas usadas para auditar fragilidade poderiam teoricamente ser usadas para manipular classificações, destacando uma tensão de uso duplo.

O significado deste trabalho reside em sua capacidade de:

1. Motivar protocolos de avaliação mais robustos quantificando a fragilidade dos sistemas atuais.
2. Fornecer um mecanismo defensivo, onde pontuações de baixa robustez ou comparações altamente influentes podem acionar relatórios conservadores, coleta de dados direcionada ou atualizações atrasadas.
3. Oferecer uma perspectiva unificada que vai além de estudos de perturbação única, cobrindo adição, remoção e inversão de partidas através de múltiplos objetivos de classificação.

Os autores permanecem modestos quanto ao escopo, reconhecendo que as estimativas de influência são aproximações locais e que seus objetivos de incerteza dependem de proxies escaláveis que podem não capturar todas as fontes de ruído de anotação ou viés de juízes. Eles sugerem que trabalhos futuros devem focar em métodos de atribuição de ordem superior e estimadores robustos a outliers.