Resumo Técnico: O Paradoxo da Confiança: Como Pesquisadores de Ciência da Computação Engajam com Leaderboards de LLM

Declaração do Problema

Leaderboards de Modelos de Linguagem de Grande Escala (LLM) tornaram-se artefatos centrais na pesquisa moderna de IA, agregando pontuações de modelos em tarefas padronizadas para fornecer classificações. Essas plataformas geralmente assumem duas formas: leaderboards de benchmark estático (por exemplo, MMLU, Open LLM Leaderboard), que classificam modelos em conjuntos de teste fixos, e leaderboards baseados em arena (por exemplo, Chatbot Arena), que agregam votos de preferência humana.

Apesar de sua visibilidade, a literatura técnica estabeleceu limitações significativas quanto à sua confiabilidade e robustez. Estudos indicam que as classificações em leaderboards são sensíveis a pequenas perturbações (por exemplo, ajuste de prompts de avaliação ou remoção de pequenas frações de dados), suscetíveis a manipulação estratégica (por exemplo, fraude de votos ou testes direcionados) e que diferentes algoritmos de classificação (por exemplo, Elo vs. Glicko) podem produzir ordenações divergentes a partir dos mesmos dados.

No entanto, uma lacuna crítica permanece: enquanto a fragilidade técnica dos leaderboards é documentada, é empiricamente inexplorado como essas plataformas moldam efetivamente as práticas diárias dos pesquisadores, seus processos de tomada de decisão e seus julgamentos de confiança. Não está claro se os pesquisadores tratam as posições nos leaderboards como proxies definitivos para progresso ou se desconfiam e utilizam seletivamente esses sinais. Este estudo aborda essa lacuna examinando o papel socio-técnico dos leaderboards em diferentes subcampos da ciência da computação.

Metodologia

O estudo emprega uma abordagem qualitativa e interpretivista fundamentada em análise temática reflexiva (ATR).

• Participantes: Oito pesquisadores de ciência da computação foram recrutados em quatro subcampos: Processamento de Linguagem Natural (PLN, $n=3$), Interação Humano-Computador (IHC, $n=2$), Sistemas/Privacidade ($n=2$) e uma categoria interdisciplinar "Outros" ($n=1$). A amostra incluiu estudantes de doutorado, uma estudante de mestrado e pesquisadores pós-doutorais.
• Coleta de Dados: Os dados foram reunidos por meio de entrevistas semiestruturadas (30–45 minutos), precedidas por um questionário de antecedentes e seguidas por um processo de verificação por membros, onde os participantes revisaram resumos de suas entrevistas para verificar a precisão factual.
• Procedimento: Os participantes foram apresentados a uma tipologia visual de designs de leaderboards para fundamentar as discussões. As entrevistas exploraram estratégias de seleção de modelos, atitudes em relação à confiabilidade dos leaderboards e a influência das classificações no enquadramento da pesquisa.
• Análise: As transcrições foram analisadas utilizando o processo de seis fases da ATR de Braun e Clarke. O pesquisador principal gerou 210 segmentos codificados em 71 códigos únicos, organizados em sete dimensões analíticas e seis temas. A confiabilidade inter-codificadora não foi perseguida; em vez disso, a reflexividade foi mantida por meio da escrita de memos analíticos e verificação por membros dos participantes.

Contribuições Principais

O artigo apresenta três contribuições primárias:

1. Evidência Empírica do Paradoxo do "Ceticismo Pragmático": O estudo identifica uma postura quase universal onde os pesquisadores expressam profunda desconfiança nas classificações dos leaderboards, mas continuam a utilizá-los como auxiliares brutos para tomada de decisão.
2. Comparação Trans-subcampo da Influência: A pesquisa demonstra que a influência dos leaderboards é mediada pela cultura disciplinar e não por atitudes individuais. Por exemplo, pesquisadores de PLN enfrentam pressão significativa de comparação com modelos de última geração (SoTA), enquanto pesquisadores de IHC e Sistemas/Privacidade relatam pouca ou nenhuma expectativa desse tipo.
3. Recomendações de Design Acionáveis: O estudo traduz as necessidades dos pesquisadores em melhorias concretas de infraestrutura, indo além de suposições sobre avaliação para abordar padrões reais de uso.

Resultados Principais

1. O Paradoxo da Confiança e Padrões de Uso

Contrariando um espectro que vai da adoção entusiasta à rejeição total, todos os oito participantes exibiram ceticismo pragmático.

• Desconfiança: Os participantes reconheceram que benchmarks estáticos podem ser "aprendidos" ou manipulados, e que classificações em arenas podem ser adulteradas. Eles reconheceram que as classificações não são medidas definitivas de qualidade.
• Uso: Apesar dessa desconfiança, os participantes usaram os leaderboards como "priors fracos" para estreitar seu espaço de busca. Eles não trataram as classificações como verdade fundamental, mas como um ponto de partida para investigação adicional.
• Mecanismo Primário de Seleção: Redes de pares, e não leaderboards, emergiram como o mecanismo dominante para seleção de modelos. Sete dos oito participantes confiaram principalmente em recomendações de pares (conversas de laboratório, mídias sociais, especialistas confiáveis). Um pesquisador de PLN observou: "90% do meu uso é baseado em recomendação."
• Experiência sobre Evidência: Testes práticos pessoais de tentativa e erro foram priorizados em relação a classificações quantitativas. Os participantes frequentemente engajaram em "satisfação", aceitando modelos que eram "bons o suficiente", em vez de buscar a opção melhor classificada.

2. Diferenças Disciplinares no Engajamento

A influência dos leaderboards variou drasticamente com base no subcampo:

• PLN: Pesquisadores enfrentaram alta pressão para comparar com modelos de última geração (SoTA) devido às normas de publicação. Eles estavam fortemente engajados com leaderboards, mas permaneceram céticos quanto à sua estabilidade.
• IHC e Sistemas/Privacidade: Pesquisadores nesses campos relataram nenhuma pressão de publicação impulsionada por leaderboards. Seus critérios de avaliação (por exemplo, latência, experiência do usuário, garantias formais de privacidade) frequentemente caíam fora das métricas padrão de benchmark. Notavelmente, cinco dos oito participantes (incluindo ambos os pesquisadores de IHC e de Sistemas/Privacidade) tinham pouca ou nenhuma consciência prévia de plataformas específicas de leaderboard, destacando uma falha de descoberta para públicos não-PLN.

3. Confiabilidade e Métricas Faltantes

• Arena vs. Estático: Houve consenso universal (8/8) entre todos os subcampos de que leaderboards baseados em arena (votação humana) eram preferidos em relação a leaderboards de benchmark estático. Os participantes encontraram resultados de arena mais interpretáveis e alinhados com a experiência real do usuário.
• Transparência de Custos: A característica faltante mais demandada, levantada por sete dos oito participantes, foi transparência de custos. Os pesquisadores criticaram a falta de dados de preços ou eficiência, observando que o custo por consulta é frequentemente uma restrição vinculante para pesquisadores acadêmicos.
• Granularidade: Os participantes solicitaram decomposições de pontuação específicas para tarefas (por exemplo, pontuações separadas para matemática, codificação, multilíngue) em vez de números agregados únicos.
• Transparência: Houve pedidos para divulgação demográfica dos votantes para avaliar viés, bem como informações sobre proveniência do modelo e conflitos de interesse institucionais.

Significado e Alegações

O artigo argumenta que os leaderboards de LLM devem ser entendidos não meramente como infraestrutura técnica, mas como artefatos socio-técnicos embutidos na cultura de pesquisa.

• Embutimento Social: O estudo desafia a visão de que melhores métricas, por si só, melhorarão a adoção. Ele postula que a seleção de modelos é profundamente social, impulsionada por redes de confiança de pares que filtram e interpretam (ou ignoram) sinais de leaderboards.
• O Paradoxo da Utilidade: A persistência do uso de leaderboards apesar da desconfiança generalizada sugere que seu valor não reside na precisão, mas em sua função como dispositivos de coordenação que reduzem um espaço de busca avassalador.
• Preocupações Éticas e Estruturais: Os autores destacam que a cultura atual de leaderboards codifica desigualdade de recursos, penalizando pesquisadores sem orçamentos de computação em escala industrial que não podem competir em benchmarks SoTA. Além disso, a falta de transparência na governança e o potencial para manipulação de benchmarks representam riscos éticos, particularmente para praticantes fora do PLN que podem carecer da expertise para avaliar criticamente as metodologias de benchmark.

O estudo conclui que a infraestrutura de avaliação deve ser redesenhada para alinhar-se com como os pesquisadores realmente a utilizam, incorporando dados de custos, granularidade específica para tarefas e transparência quanto à demografia de votação e governança, em vez de depender de classificações de pontuação única que falham em capturar as utilidades heterogêneas que os pesquisadores requerem.