Accuracy and Order Sensitivity Diverge Under Label-Free Strategies
Este artigo demonstra que, embora impedir que modelos de linguagem de grande escala vejam os rótulos das opções durante a resolução de questões de múltipla escolha elimine com sucesso o viés posicional, isso falha em melhorar a precisão e frequentemente degrada o desempenho, revelando que o principal gargalo é a retenção das opções em vez do mecanismo de correspondência.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você está fazendo uma prova de múltipla escolha em uma sala de aula. Você sabe a resposta, mas o professor embaralhou a ordem das alternativas na página. De repente, você escolhe a letra errada, não porque esqueceu o fato, mas porque seu cérebro se confundiu com a nova disposição. Este é o mundo estranho dos Grandes Modelos de Linguagem (LLMs) — programas de computador superinteligentes que conversam e escrevem como humanos. Cientistas usam questões de múltipla escolha para testar o quanto esses modelos "sabem", mas descobriram uma falha: os modelos frequentemente agem como alunos nervosos que são sensíveis demais à posição onde as respostas estão sentadas na página. Se as opções estiverem listadas como A, B, C, D, o modelo pode acertar; embaralhe para B, A, D, C, e ele pode errar. Isso torna as pontuações dos testes pouco confiáveis, porque não podemos dizer se o modelo é realmente inteligente ou apenas bom em adivinhar o padrão das letras. Pesquisadores querem consertar isso para que possamos confiar no que esses modelos de IA realmente estão dizendo.
Neste artigo, dois cientistas da Queen's University Belfast, Karl Hanna e Chen Feng, decidiram testar uma ideia inteligente para corrigir esse "problema do embaralhamento". Eles se perguntaram: e se fizéssemos o modelo escrever sua resposta em inglês puro primeiro, sem ver nenhuma das opções de múltipla escolha? Então, em uma segunda etapa, poderíamos pedir ao modelo para combinar sua própria resposta escrita com a letra correta. É como pedir a um aluno que escreva a resposta em um pedaço de papel e, depois, entregue a folha da prova para circular a bolinha certa mais tarde. A esperança era que, ao esconder as opções durante a fase de pensamento, o modelo não pudesse ser influenciado pela ordem delas. Eles também tentaram um segundo método onde o modelo olhava para cada opção uma por uma isoladamente, como provar um único ingrediente antes de decidir uma receita, esperando que isso removeria qualquer viés causado pela ordem dos ingredientes.
Os resultados, no entanto, foram um pouco decepcionantes. Os pesquisadores testaram esses métodos em seis modelos de IA diferentes em dois grandes conjuntos de questões (MMLU e ARC-Challenge). Eles descobriram que nenhuma de suas estratégias "livres de rótulos" tornou os modelos de forma confiável mais inteligentes. Na verdade, o método "escrever primeiro, combinar depois" tornou os modelos piores em acertar a resposta certa em quase todos os casos. Descobriu-se que esconder as opções era o verdadeiro problema; sem ver as escolhas, os modelos não consegam entender como formular suas respostas corretamente, levando a muita confusão e erros. A única versão que funcionou tão bem quanto o teste padrão foi uma onde o modelo ainda podia ver as opções enquanto pensava.
Ainda mais surpreendente, os cientistas descobriram que tornar os modelos menos sensíveis à ordem das respostas não os tornava automaticamente mais precisos. Por exemplo, um modelo tornou-se muito menos confuso com as letras embaralhadas, mas sua pontuação no teste ainda caiu. É como um aluno que para de adivinhar com base na ordem das letras, mas ainda não sabe o material bem o suficiente para tirar uma nota melhor. O artigo conclui que simplesmente remover o "viés posicional" (a confusão causada por onde as respostas são colocadas) não garante uma pontuação melhor. Na verdade, o método tradicional de embaralhar as respostas e fazer uma votação (chamado de permutação cíclica) funcionou melhor do que esses truques sofisticados. A principal lição é que, embora possamos corrigir o viés, isso não significa necessariamente que o modelo ficará mais inteligente, e às vezes tentar ser inteligente demais com o design do teste acaba quebrando a capacidade do modelo de responder de todo.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.