There Is No Neutral Harness: Modern LLM Leaderboards Are Manufactured by Config-Fragile Items
Este artigo demonstra que os placares de classificação de LLMs modernos são fundamentalmente não confiáveis porque as configurações das ferramentas de avaliação (como a redação dos prompts e os métodos de pontuação) são os principais vetores da variância de desempenho, muitas o determinando mais do que as capacidades reais dos modelos.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo em rápida evolução da inteligência artificial, pesquisadores dependem de testes padronizados para medir o quão bem programas de computador compreendem a linguagem. Esses testes, frequentemente chamados de benchmarks, apresentam uma série de perguntas de múltipla escolha a um modelo e registram quantas respostas ele acerta. A pontuação resultante é tratada como um fato definitivo sobre a inteligência da máquina, permitindo que cientistas classifiquem diferentes modelos uns contra os outros e declarem um vencedor. Durante anos, a comunidade operou sob a suposição de que, embora o desempenho de um modelo possa flutuar ligeiramente devido ao acaso, o ranking geral reflete uma verdade estável sobre as capacidades da tecnologia. A questão de saber se um modelo é verdadeiramente mais inteligente que outro foi respondida olhando para um único número: a porcentagem de respostas corretas.
No entanto, uma nova investigação sugere que esse número único conta uma história muito mais complicada. O estudo revela que a pontuação que um modelo recebe não é apenas uma medida de sua inteligência, mas também um produto das regras específicas usadas para avaliá-lo. Essas regras, conhecidas como harness de avaliação, incluem escolhas que parecem triviais à primeira vista: a ordem em que as opções de resposta são listadas, a redação exata das instruções dadas à máquina e o método usado para decidir se uma resposta está correta. Embora essas escolhas sejam frequentemente feitas de forma arbitrária ou baseadas na conveniência, o pesquisador descobriu que alterá-las pode reescrever completamente o placar, transformando um modelo classificado em último lugar no melhor desempenho, ou vice-versa. As descobertas implicam que a forma atual como classificamos a inteligência artificial é muito menos estável do que se acreditava anteriormente, e que o "melhor" modelo depende inteiramente de como o teste é administrado.
Para descobrir essa instabilidade oculta, um pesquisador da Universidade da Califórnia, San Diego, desenhou um experimento massivo que tratou as próprias regras de teste como uma variável. Em vez de executar um único teste e aceitar o resultado, ele criou uma grade de vinte e seis maneiras diferentes de administrar o mesmo exame. Ele pegou doze modelos de linguagem diferentes de quatro grandes famílias e pediu que respondesvessem às mesmas 3.679 perguntas de múltipla escolha. Para cada pergunta individual, ele submeteu os modelos a todas as combinações possíveis de regras de teste. Isso incluiu embaralhar a ordem das opções de resposta, mudar a forma como as perguntas eram formuladas e alternar entre dois métodos para pontuar as respostas: um onde o modelo gera uma resposta de texto, e outro onde o computador calcula a probabilidade matemática de cada opção estar correta.
Os resultados foram surpreendentes. Quando o pesquisador analisou as pontuações de um único modelo, ele não encontrou um único ponto de precisão. Em vez disso, encontrou uma ampla faixa de pontuações possíveis. Para um dos modelos de melhor desempenho, a pontuação variou de uma baixa de 31 por cento a uma alta de 89 por cento, dependendo inteiramente de qual dos vinte e seis conjuntos de regras era usado. Isso significa que a mesma máquina, com o mesmo código interno e o mesmo conhecimento, poderia ser creditada por acertar quase todas as respostas ou por errar quase um terço delas, simplesmente porque o administrador do teste mudou a ordem das letras ou o estilo do prompt. Em média, 85 por cento das respostas que um modelo recebeu como corretas sob as regras padrão poderiam ser marcadas como erradas sob um conjunto diferente e igualmente válido de regras.
A descoberta mais crítica foi que essas flutuações não eram ruído aleatório espalhado uniformemente pelo teste. A instabilidade estava concentrada precisamente nas perguntas que separavam os modelos uns dos outros. Quando o pesquisador observou as perguntas que dois modelos vizinhos respondiam corretamente ou incorretamente, independentemente das regras, os modelos estavam essencialmente empatados. As diferenças que criavam os rankings existiam apenas nas perguntas onde os modelos estavam incertos. De fato, para os pares de modelos que estavam classificados lado a lado, quase toda a diferença em suas pontuações — cerca de 96 por cento em média — era carregada por essas perguntas instáveis. Se você removesse as perguntas que oscilavam de um lado para o outro, os rankings desapareciam e os modelos tornavam-se indistinguíveis.
Essa fragilidade significava que a identidade do "vencedor" não era uma propriedade fixa dos modelos, mas uma escolha feita pelo avaliador. Sob um conjunto de regras, um modelo específico poderia ocupar o primeiro lugar, enquanto sob um conjunto de regras diferente, um modelo completamente diferente venceria. Neste estudo, quatro modelos diferentes foram capazes de alcançar o primeiro lugar dependendo da configuração utilizada. Um modelo que terminou em décimo primeiro lugar de doze sob as regras padrão saltou para o primeiro lugar sob um método de pontuação diferente. O pesquisador observou que a escolha de como pontuar a resposta — se ler o texto que o modelo escreveu ou calcular probabilidades — foi o fator mais poderoso, causando mais mudanças nos rankings do que a ordem das opções ou a redação do prompt.
O estudo também examinou uma tendência popular no campo: comprimir esses grandes testes para um conjunto menor de perguntas mais "informativas" para economizar tempo. A lógica era que algumas centenas de perguntas bem escolhidas poderiam representar o todo. O pesquisador descobriu que essa prática na verdade piora o problema. As perguntas que são selecionadas para serem as mais informativas são exatamente aquelas que são mais sensíveis às regras de teste. Ao manter apenas essas perguntas difíceis e de alto risco, os benchmarks comprimidos tornam-se ainda mais voláteis do que os testes completos que substituem. Um teste menor não fornece uma imagem mais clara; fornece uma imagem mais frágil, onde o ranking é ainda mais propenso a mudar com base em pequenos ajustes na configuração.
Em última análise, o artigo argumenta que a prática atual de relatar um único número como a verdade sobre a capacidade de um modelo é enganosa. A pontuação não é uma propriedade apenas do modelo; é uma propriedade do modelo interagindo com um conjunto específico de regras. O pesquisador sugere que os relatórios futuros devem parar de tratar o placar como uma hierarquia fixa e começar a apresentar a faixa de pontuações possíveis. Ele propõe que, ao comparar modelos, os cientistas devem focar nas perguntas onde os modelos são estáveis e concordam, em vez naquelas onde as regras ditam o resultado. Até que a comunidade concorde em uma maneira única e imutável de realizar esses testes, os rankings continuarão sendo um reflexo das escolhas do avaliador, e não uma medida definitiva da inteligência artificial.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.