💬 NLP

What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models

Este artigo argumenta que os benchmarks de precisão de único prompt são insuficientes para avaliar a confiabilidade dos modelos de linguagem, demonstrando, por meio de uma auditoria multi-variável, que escolhas de design de avaliação, sinais de confiança frágeis e robustez inconsistente de prompts podem alterar drasticamente as conclusões e ocultar falhas críticas tanto nos modelos quanto nos avaliadores.

Autores originais: Ranit Karmakar, Jayita Chatterjee

Publicado 2026-05-05

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ranit Karmakar, Jayita Chatterjee

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está contratando uma equipe de detetives juniores (os modelos de IA) para resolver uma série de enigmas. A maneira padrão de avaliá-los é fazer uma pergunta, verificar se eles acertam a resposta e atribuir uma pontuação. Se acertarem 8 de 10, recebem uma nota de 80%.

Este artigo argumenta que essa única pontuação é uma mentira. Ela ignora as partes mais importantes para determinar se um detetive é realmente confiável no mundo real. Os autores realizaram uma "auditoria multivariada" em 15 pequenos detetives de IA diferentes para mostrar que a forma como você formula a pergunta, como interpreta a resposta e como mede a confiança deles importa tanto quanto a inteligência do detetive.

Aqui estão as três grandes descobertas, explicadas com analogias simples:

1. A Armadilha da "Primeira Palavra" (O Design da Avaliação Pode Fingir Falha)

A Analogia: Imagine que você pede a um detetive para resolver um mistério, mas diz: "Primeiro, escreva uma longa história sobre como você pensou sobre isso, depois escreva a resposta na última linha".
O detetive escreve uma história brilhante de três páginas, resolve o caso perfeitamente e escreve "O mordomo fez isso" no final.
No entanto, seu sistema de avaliação é um robô que olha apenas para a primeira palavra da resposta para decidir se estão certos. Como a primeira palavra foi "O", o robô marca a resposta como errada.

A Descoberta do Artigo:
Os pesquisadores descobriram que, quando pediram aos modelos de IA que usassem "Cadeia de Pensamento" (pensar passo a passo), os modelos ficaram realmente mais inteligentes. Mas, como o sistema padrão de avaliação olhava apenas para a primeira letra da saída, as pontuações dos modelos caíram de 72% a 88%.

A Solução: Eles não precisaram atualizar os modelos. Precisaram apenas mudar o "robô avaliador" para procurar a resposta no final do texto em vez do início. Assim que corrigiram o avaliador, as pontuações dos modelos recuperaram quase 100%.
A Lição: Um modelo pode parecer terrível apenas porque a pessoa que o avalia está olhando para o lugar errado.

2. O "Mentiroso Confiante" (Sinais de Confiança são Frágeis)

A Analogia: Imagine um aluno fazendo uma prova difícil. Ele erra a resposta, mas, quando perguntado: "Quão certo você está?", ele diz: "Tenho 90% de certeza de que acertei isso!".
No mundo real, precisamos saber se o aluno está realmente certo ou apenas parecendo certo.

A Descoberta do Artigo:
Em uma prova muito difícil (MMLU-Pro), os modelos de IA foram consistentemente mentirosos excessivamente confiantes.

Eles acertaram as respostas apenas cerca de 20–30% das vezes.
Mas, quando solicitados a dizer quão confiantes estavam, verbalmente afirmaram ter 60–78% de certeza.
Pior ainda, às vezes os modelos divagavam tanto ou usavam frases tão estranhas que o computador nem conseguia encontrar seu número de confiança (uma "falha de análise"). É como um aluno gritando sua confiança em um idioma que o professor não fala.
A Lição: Apenas porque uma IA diz "Tenho certeza!" não significa que está certa. E, às vezes, você nem consegue dizer se ela está confiante porque está falando de uma forma que você não entende.

3. Maior Nem Sempre é Mais Estável (Tamanho Não Significa Robustez)

A Analogia: Imagine que você tem uma cadeira de madeira pequena e resistente e um trono gigante e luxuoso de mármore. Você pode assumir que o trono gigante é mais estável. Mas, se você balançar as pernas do trono de mármore, ele pode oscilar e quebrar, enquanto a pequena cadeira de madeira permanece firme como uma rocha.

A Descoberta do Artigo:
As pessoas frequentemente assumem que um modelo de IA maior (com mais "poder cerebral" ou parâmetros) é mais estável e não ficará confuso se você mudar ligeiramente a formulação da pergunta.
Os pesquisadores testaram isso fazendo as mesmas perguntas de cinco maneiras diferentes (alterando a ordem das palavras, adicionando exemplos, mudando o formato).

O Resultado: Não houve nenhuma ligação clara entre o tamanho do modelo e o quão bem ele lidou com essas mudanças.
Alguns modelos minúsculos foram incrivelmente estáveis (obtiveram a mesma pontuação, independentemente de como a pergunta foi feita).
Alguns modelos gigantes foram muito frágeis (suas pontuações oscilaram violentamente dependendo da formulação).
A Lição: Você não pode julgar quão "robusto" ou confiável um modelo é apenas olhando para seu tamanho. Um modelo pequeno pode ser muito mais confiável do que um grande.

A Conclusão

O artigo conclui que precisamos parar de tratar a confiabilidade da IA como uma simples pontuação alta em uma prova.

Se você quer saber se uma IA está pronta para o mundo real, não pode olhar apenas para a nota final. Você precisa saber:

Como a prova foi corrigida? (O avaliador olhou para a primeira palavra ou para a última?)
O modelo realmente entendeu a pergunta? (Ou apenas chutou?)
Podemos confiar na sua confiança? (É um mentiroso confiante?)
É resistente? (Quebra se você mudar ligeiramente a formulação?)

Os autores argumentam que, antes de confiarmos nesses modelos, precisamos publicar a receita completa de como os testamos, não apenas o número final. Caso contrário, podemos estar contratando um detetive que parece ótimo no papel, mas falha no momento em que o trabalho real começa.

Resumo Técnico: O que a Precisão de Prompt Único Deixa de Capturar: Uma Auditoria de Confiabilidade Multi-Variante de Modelos de Linguagem

Declaração do Problema

A precisão de prompt único é a métrica dominante para avaliação comparativa de modelos de linguagem (LMs), mas fornece uma imagem incompleta da confiabilidade, particularmente para modelos de linguagem pequenos (SLMs) na faixa de 1–8B de parâmetros destinados a implantação local ou em dispositivos. Um modelo implantado requer não apenas correção média, mas também sinais de confiança robustos, saídas analisáveis para sistemas a jusante e estabilidade sob variações de prompt. Avaliações atuais frequentemente obscurecem modos de falha críticos ao depender de um único número de precisão, templates de prompt fixos e pipelines de avaliação opacos. Este artigo argumenta que conclusões sobre confiabilidade dependem tanto do pipeline de avaliação (definições de métricas, lógica do avaliador e variantes de prompt) quanto do próprio modelo.

Metodologia

Os autores conduziram uma auditoria de confiabilidade multi-variante de 15 SLMs de pesos abertos (1B–8B parâmetros), com análises primárias focadas em 10 modelos de instrução. A avaliação cobriu cinco benchmarks: três tarefas de classificação (SST-2, MNLI, AG News) e duas tarefas de raciocínio (ARC-Challenge, MMLU-Pro).

Design Experimental:

Variantes de Prompt: Cada par modelo-conjunto de dados foi avaliado sob cinco variantes de prompt distintas: surface_paraphrase (paráfrase superficial), instruction_reorder (reordenação de instrução), fewshot_3 (poucos exemplos 3), format_change (mudança de formato) e implicit_framing (enquadramento implícito). Essas perturbações alteram a formulação, a ordem das instruções, a condicionamento em contexto, o formato de saída e o enquadramento, mantendo a tarefa subjacente fixa.
Métricas: Para cada célula (modelo × conjunto de dados × variante), o estudo registrou:
- Precisão: Pontuada a partir do primeiro caractere gerado para tarefas de múltipla escolha.
- Calibração de Probabilidade de Token: Medida via Erro de Calibração Esperado (ECE) usando tanto probabilidades brutas do primeiro token quanto probabilidades normalizadas pelo conjunto de rótulos.
- Calibração de Confiança Verbal: Medida via ECE da confiança verbalmente relatada, coletada por meio de prompts de acompanhamento.
- Taxa de Análise Verbal (VPR): A fração de respostas das quais uma confiança numérica pode ser extraída.
- Dispersão de Perturbação de Prompt: A diferença entre a precisão máxima e mínima através de variantes que não alteram o formato.
Infraestrutura: Todas as execuções utilizaram vLLM em uma única GPU NVIDIA L4 com precisão bfloat16, decodificação gulosa e uma semente aleatória fixa (42).

Principais Descobertas

1. Escolhas de Avaliação Podem Criar ou Ocultar Falhas

O estudo identifica dois modos de falha do lado da avaliação que alteram significativamente as conclusões sobre confiabilidade sem mudar o modelo:

Incompatibilidade Avaliador-Prompt: No benchmark ARC-Challenge, a troca para uma variante format_change que elicita raciocínio de cadeia de pensamento (CoT) causou uma queda catastrófica na precisão relatada (queda relativa de 72–88%) quando pontuada por um avaliador padrão de "primeiro caractere". O primeiro token da saída CoT é frequentemente uma palavra de raciocínio (por exemplo, "O...", "Vamos...") em vez do rótulo da resposta. Dois procedimentos independentes de reparo (reanálise via regex e decodificação restrita) recuperaram 93,8% e 102,7% do desempenho perdido, respectivamente. Isso indica que a falha estava na lógica do avaliador, e não na capacidade de raciocínio do modelo.
Sensibilidade da Definição de Calibração: A definição da calibração de probabilidade de token impacta significativamente os valores de ECE. A troca da probabilidade bruta do primeiro token para probabilidade normalizada pelo conjunto de rótulos (dividindo pela soma das probabilidades sobre rótulos válidos) alterou o ECE por célula em uma média absoluta de 0,149. Em casos extremos (por exemplo, Mistral-7B em SST-2 format_change), a mudança foi de 0,825.

2. Sinais de Confiança São Frágeis

Superconfiança Verbal: No MMLU-Pro, todos os principais modelos de instrução relataram verbalmente níveis de confiança substancialmente mais altos do que sua precisão real e sua confiança de probabilidade de token. A lacuna entre o ECE verbal e o ECE de token foi consistentemente positiva (+0,286 a +0,582), indicando superconfiança sistemática.
Colapso da Analisabilidade: A confiança verbal nem sempre é extraível. Por exemplo, o Mistral-7B-Instruct falhou no limiar de VPR de 0,80 na variante surface_paraphrase em todos os conjuntos de dados (por exemplo, VPR = 0,002 no SST-2). Essa falha é específica da variante; o mesmo modelo passou no limiar em outras variantes. Agregar essas células em um único escalar mascararia o fato de que 20–25% das saídas eram inanalizáveis.

3. Contagem de Parâmetros é um Mau Proxy para Robustez

O estudo testou a hipótese de que modelos maiores são mais robustos a perturbações de prompt. Em 10 modelos de instrução (1–8B), a correlação entre a contagem de parâmetros e a dispersão de perturbação de prompt foi fraca e inconsistente (Spearman $\rho$ variando de -0,244 a 0,474, todos $p > 0,10$ ).

Não Monotonicidade: Modelos menores às vezes foram mais robustos que os maiores. Por exemplo, o Phi-4-mini (3,8B) teve uma dispersão de SST-2 de 0,084, enquanto o Mistral-7B (7,2B) teve uma dispersão de 0,500.
Agrupamento Familiar: Padrões de robustez pareceram mais estruturados dentro de famílias de modelos (por exemplo, ambos os modelos Qwen foram robustos no SST-2) do que através de contagens de parâmetros, embora os autores observem que isso é descritivo, dado o tamanho limitado da amostra por família.

Contribuições

O artigo faz três contribuições primárias:

Identificação de Modos de Falha do Lado da Avaliação: Demonstra que a sensibilidade à normalização de calibração e incompatibilidades prompt-avaliador podem alterar drasticamente conclusões de confiabilidade independentemente do desempenho do modelo.
Relatório Conjunto de Confiança e Analisabilidade: Introduz um quadro para relatar a direção da confiança verbal e a taxa de análise verbal por célula, revelando que a confiança pode ser simultaneamente superconfiante e seletivamente inanalizável.
Evidência Empírica sobre Robustez: Fornece dados mostrando que a contagem de parâmetros é um mau proxy para robustez de prompt na faixa de 1–8B, desafiando a suposição de que a escalabilidade garante estabilidade.

Significado e Recomendações

Os autores argumentam que conclusões sobre confiabilidade para SLMs não são propriedades intrínsecas do modelo, mas são contingentes ao pipeline de avaliação. Consequentemente, propõem uma lista de verificação de relatório para auditorias de confiabilidade de SLMs para garantir reprodutibilidade e prontidão para implantação:

Divulgar Normalização de ECE: Declarar explicitamente se o ECE de probabilidade de token usa definições brutas ou normalizadas pelo conjunto de rótulos.
Publicar Lógica do Avaliador: Especificar as regras exatas usadas para pontuar texto gerado (por exemplo, correspondência de primeiro caractere vs. regex).
Manter Gerações Completas: Armazenar texto de saída bruto para permitir reavaliação sob avaliadores alternativos.
Relatar Taxa de Análise Verbal: Relatar VPR por célula com limiares de inclusão explícitos, em vez de como um escalar no nível do modelo.
Replicar Alegações de Confiança: Testar confiança verbal sob múltiplas formulações de eliciação (por exemplo, decimal vs. porcentagem).
Relatar Dispersão de Perturbação de Prompt: Incluir métricas de dispersão juntamente com a precisão ao comparar robustez, em vez de depender da contagem de parâmetros.

O artigo conclui que, para que benchmarks de SLMs guiem a seleção de modelos do mundo real, eles devem descrever as suposições de avaliação que tornam uma conclusão possível, indo além de uma única pontuação de ranking para um "perfil de prontidão para implantação" abrangente.