💬 NLP

Pushing the Boundaries of Multiple Choice Evaluation to One Hundred Options

Este artigo propõe um protocolo de avaliação com cem opções para testar a confiabilidade de modelos de linguagem, demonstrando que o alto desempenho em cenários tradicionais de poucas opções pode mascarar falhas reais que se tornam evidentes sob alta densidade de distratores, revelando vieses posicionais e confusão semântica como limitações críticas.

Autores originais: Nahyun Lee, Guijin Son

Publicado 2026-04-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Nahyun Lee, Guijin Son

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está testando a inteligência de um amigo em um jogo de perguntas e respostas.

O Problema: O Jogo Falso de 4 Opções
Até hoje, a maioria dos testes para Inteligência Artificial (IA) funciona assim: você faz uma pergunta e dá apenas 4 opções de resposta. Se o amigo acertar 99% das vezes, parece que ele é um gênio.

Mas o artigo explica que isso é uma "pegadinha". Com apenas 4 opções, é muito fácil adivinhar. É como jogar "quem sou eu?" com apenas 4 cartas na mesa. Mesmo que o amigo não saiba a resposta, ele pode usar truques:

"Essa opção parece muito estranha, vou descartar."
"Geralmente a resposta certa é a letra C."
"Essa frase tem uma palavra que eu já vi antes."

O modelo de IA está usando atalhos mentais (como adivinhar baseado na posição ou em padrões visuais) em vez de realmente entender o conteúdo. É como se ele estivesse chutando com sorte em um campo de golfe muito pequeno.

A Solução: O Campo de Golfe com 100 Obstáculos
Os autores deste paper propuseram uma mudança radical: em vez de 4 opções, vamos colocar 100 opções para a IA escolher.

Imagine que, em vez de 4 portas, você tem um corredor com 100 portas. Apenas uma delas tem a resposta certa. As outras 99 são "distratores" — são frases que parecem corretas, mas têm um pequeno erro de ortografia ou gramática.

Nesse cenário:

A sorte não ajuda: A chance de chutar a porta certa cai de 25% (em 4 opções) para apenas 1% (em 100 opções).
O truque desaparece: Não dá para usar "atalhos" como "escolher a primeira opção" ou "descartar as estranhas", porque todas as 100 opções parecem muito parecidas entre si.

O Que Eles Descobriram? (A Grande Surpresa)
Eles testaram várias IAs famosas (como Gemini, HyperCLOVAX, EXAONE) em um jogo de encontrar erros de ortografia em frases coreanas.

No jogo fácil (4 opções): Quase todas as IAs tiraram nota máxima (99% de acerto). Pareciam perfeitas.
No jogo difícil (100 opções): A mágica acabou.
- Algumas IAs (como o Gemini) continuaram excelentes, mostrando que realmente sabiam a resposta.
- Outras IAs, que pareciam gênios no jogo de 4 opções, desmoronaram. A precisão delas caiu drasticamente (algumas caíram 70 pontos!).

Por que elas falharam?
O estudo descobriu que, quando a IA fica confusa com tantas opções, ela entra em "modo de pânico" e usa um truque preguiçoso: ela começa a escolher as primeiras opções da lista, sem ler o resto. É como se, ao ver 100 portas, ela dissesse: "Ah, é muita informação, vou só abrir a primeira que eu vejo".

O Teste do "Colchão" (Contexto Longo)
Os pesquisadores tiveram uma dúvida: "Será que a IA falhou porque a lista de 100 opções ficou muito longa e ela 'esqueceu' o começo?"

Para testar isso, eles fizeram um experimento curioso: eles mantiveram as 100 opções, mas adicionaram um "colchão" de texto sem sentido (como uma história aleatória ou símbolos) antes e depois das opções, para simular um texto longo.

Resultado: A IA não falhou porque o texto era longo. Ela falhou porque tinha que comparar e escolher entre 100 coisas muito parecidas. O problema não era a memória, era a dificuldade de classificar as opções.

A Lição Principal
Este artigo nos ensina que:

Não confie apenas em testes fáceis: Se uma IA tira nota 10 em testes de 4 opções, ela pode estar apenas chutando bem, não sendo inteligente.
A verdadeira inteligência é testada sob pressão: Para saber se uma IA é realmente boa, precisamos colocá-la em situações onde há muitas distrações e ela precisa ser precisa, não apenas sortuda.
O "Efeito Bolha": A inteligência que vemos hoje pode ser uma "bolha" inflada por testes fáceis. Quando colocamos a IA em um ambiente real (cheio de informações e distrações), essa bolha estoura.

Em resumo: É como se estivéssemos testando um piloto de avião apenas em um simulador de céu azul e sem vento. O paper diz: "Vamos colocar o piloto em uma tempestade com 100 nuvens parecidas para ver se ele realmente sabe pilotar ou se só estava seguindo o manual".

Título: Empurrando os Limites da Avaliação de Múltipla Escolha para Cem Opções

1. Problema e Motivação

A avaliação por Múltipla Escolha (MCQA) é o padrão dominante para benchmarking de Grandes Modelos de Linguagem (LLMs). No entanto, o artigo identifica uma limitação estrutural crítica: em configurações tradicionais com poucas opções (N ∈ {4, 5}), a alta precisão frequentemente mascara a verdadeira competência do modelo.

Estratégias de Atalho: Em espaços de busca estreitos, os modelos podem obter altas pontuações utilizando estratégias de eliminação parcial, adivinhação distribucional ou explorando pistas de formatação acidentais, em vez de demonstrar raciocínio genuíno.
O "Teto" Enganoso: A precisão próxima de 100% em benchmarks convencionais pode ser um "teto" artificial, onde o modelo não está realmente entendendo o conteúdo, mas apenas navegando em um campo limitado de distratores.
Necessidade de Estresse: É necessário um protocolo que reduza drasticamente a probabilidade de acerto aleatório (de 25% para 1% ao passar de N=4 para N=100) e force o modelo a lidar com interferência densa e distratores altamente confusos.

2. Metodologia

Os autores propõem um protocolo de avaliação de múltipla escolha massiva (N=100) aplicado a uma tarefa específica de detecção de erros ortográficos em coreano.

Tarefa: O modelo deve identificar a única frase incorreta ortograficamente dentro de um conjunto de 100 frases, onde 99 são corretas e altamente similares às incorretas.
Construção do Dataset:
- Pool de Dados: 750 frases base do Instituto Nacional da Língua Coreana (NIKL).
- Alvos e Distratores: 30 frases alvo com erros ortográficos controlados (espaçamento, erros fonológicos, compostos lexicalizados) foram geradas. Os distratores são variações corretas.
- Validação Rigorosa: Um ensemble de três verificadores ortográficos (DAUM, SARAMIN, NARA) foi usado com critério de unanimidade para garantir que os distratores fossem realmente corretos e os alvos, realmente errados.
- Níveis de Dificuldade: As frases foram classificadas em 4 níveis de dificuldade com base em características morfo-sintáticas. Dois ambientes foram testados: "Fácil" (distratores dos níveis 1-2) e "Completo" (distratores dos níveis 1-4).
Protocolo Experimental:
- Para cada um dos 30 alvos, foram realizadas 1.000 tentativas independentes (Monte Carlo).
- Em cada tentativa, $N-1$ distratores foram amostrados dinamicamente e a posição do alvo foi embaralhada aleatoriamente.
- Isso permite estimativas robustas de competência, isolando artefatos posicionais e variabilidade de amostragem.
Modelos Avaliados: LLMs de ponta multilíngues e especializados em coreano, incluindo GEMINI (2.5-Flash, 3-Pro-Preview), A.X-4.0, EXAONE-4.0 e HYPERCLOVAX-THINK.

3. Métricas e Diagnósticos Propostos

Para quantificar o desempenho além da precisão bruta, os autores introduzem novas métricas:

Precisão Normalizada por Chance (NA): Ajusta a precisão bruta para que 0 represente o chute aleatório e 1 represente a precisão perfeita, permitindo comparação entre diferentes valores de N.
Índice de Bolha (Bubble Index - BI): Mede a inflação de competência em baixas opções (N=4) em relação às altas opções (N=100). Um BI alto indica que o modelo parece bom em benchmarks tradicionais, mas falha sob interferência densa.
Índice de Fallback Posicional (PFI) e Excesso de Primazia: Quantifica a tendência do modelo de escolher as primeiras opções (ex: as 10 primeiras) quando incerto, em vez de analisar o conteúdo.
Controle de Contexto Longo: Experimentos com "padding" (inserção de texto irrelevante) para distinguir se a queda de desempenho é causada pelo comprimento do contexto ou pela complexidade de classificação entre candidatos.

4. Resultados Principais

Divergência de Robustez:
- Modelos de ponta como GEMINI mantiveram alta precisão normalizada mesmo em N=100, demonstrando robustez real.
- Modelos que exibiam desempenho quase perfeito em N=4 (como HYPERCLOVAX-THINK e EXAONE-4.0) sofreram colapsos catastróficos em N=100, com quedas de precisão de até 70 pontos percentuais no ambiente "Completo".
Falhas de Decisão:
- A queda de desempenho não foi apenas uma falha de recuperação de informação, mas uma regressão para heurísticas primitivas.
- Modelos fracos sob alta interferência abandonaram a análise de conteúdo e recorreram a atalhos posicionais, escolhendo desproporcionalmente as primeiras opções da lista (alto $\Delta$ PFI10).
Causa da Queda (Contexto vs. Classificação):
- Os experimentos de controle com padding provaram que a queda de desempenho não é causada principalmente pelas limitações de contexto longo (tokenização).
- O gargalo principal é a dificuldade de classificação (ranking) entre candidatos altamente confusos. O modelo falha em distinguir o alvo correto entre 99 distratores plausíveis, não porque o texto é muito longo, mas porque a densidade de interferência semântica é alta.
Inflação de Competência: O Índice de Bolha (BI) revelou que benchmarks tradicionais (N=4) superestimam significativamente a capacidade de modelos como HYPERCLOVAX e EXAONE, criando uma falsa impressão de competência.

5. Contribuições Chave

Protocolo de Avaliação Massiva: Introdução de um framework escalável para N=100 que expõe falhas ocultas em benchmarks convencionais.
Prova de Mecanismo de Falha: Demonstração de que o colapso de desempenho em N alto é impulsionado pela complexidade de ranking de candidatos e não por limitações de contexto, e que modelos falham revertendo a viés posicional (escolher o início da lista).
Ferramentas de Diagnóstico: Desenvolvimento de métricas quantitativas (Bubble Index, PFI, análise de inclinação posicional) para detectar "bolhas" de competência e viés de decisão.

6. Significado e Conclusão

O trabalho argumenta que a próxima geração de benchmarks para LLMs deve ir além da cobertura de tópicos e incluir testes de estresse sob interferência densa.

A precisão em configurações de baixa opção (N=4) é insuficiente para garantir confiabilidade em cenários do mundo real, onde o espaço de busca é vasto e as alternativas são confusas.
A avaliação massiva (N=100) serve como um filtro crucial para distinguir modelos que realmente compreendem e raciocinam daqueles que apenas exploram atalhos estatísticos ou posicionais.
Os resultados sugerem que a confiabilidade de um modelo deve ser medida pela sua capacidade de identificar deterministicamente a opção correta amidst "interferência pesada", e não apenas sua capacidade de escolher entre poucas alternativas.

Em suma, o artigo redefine como devemos medir a competência real de LLMs, propondo que a verdadeira prova de inteligência não é escolher entre 4 opções, mas sim encontrar a agulha no palheiro entre 100 opções quase idênticas.