💬 NLP

Same Question, Different Answers: Evaluating LLM Reliability Beyond Accuracy

Este artigo revela que os grandes modelos de linguagem frequentemente exibem uma instabilidade significativa em suas respostas quando confrontados com paráfrases que preservam o sentido, demonstrando que as métricas de acurácia padrão podem mascarar problemas de confiabilidade e que estratégias de autoparáfrase podem recuperar efetivamente o conhecimento latente para melhorar o desempenho.

Autores originais: Kazem Faghih, Yize Cheng, Shoumik Saha, Mobina Pournemat, Armin Gerami, Soheil Feizi

Publicado 2026-07-28

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kazem Faghih, Yize Cheng, Shoumik Saha, Mobina Pournemat, Armin Gerami, Soheil Feizi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Ilusão do Robô Perfeito

Imagine que você está conversando com um amigo robô muito inteligente que leu quase todos os livros da biblioteca. Você faz uma pergunta simples e ele lhe dá uma resposta brilhante e correta. Você se sente confiante, certo? Mas e se você fizesse exatamente a mesma pergunta novamente, apenas usando palavras ligeiramente diferentes? Ele ainda daria a mesma resposta? Esta é a grande questão por trás de um novo estudo de cientistas da computação da Universidade de Maryland. Eles estão analisando os "Grandes Modelos de Linguagem" (LLMs), que são os cérebros de IA superinteligentes por trás de ferramentas como chatbots. Esses modelos são famosos por serem precisos em testes, mas este estudo faz uma pergunta capciosa: eles são realmente confiáveis ou são apenas bons em adivinhar com base em como uma pergunta é formulada? Pense nisso como um aluno que memoriza a redação exata de um teste prático. Se você mudar a pergunta um pouco, o aluno ainda sabe a resposta ou fica confuso? Os pesquisadores queriam descobrir se esses modelos de IA realmente entendem o mundo ou se estão apenas jogando um jogo de "correspondência de palavras".

A Mesma Pergunta, A Resposta Errada

Os pesquisadores decidiram jogar um jogo com 13 modelos de IA diferentes, variando de modelos menores de código aberto aos modelos massivos e poderosos usados por grandes empresas de tecnologia. Eles pegaram perguntas sobre fatos do mundo real (como "Quantas partidas de xadrez Anderssen perdeu em 1864?") e problemas matemáticos, e então fizeram as mesmas perguntas aos modelos, mas reescritas de dezenas de maneiras diferentes. Eles garantiram que as novas perguntas significassem exatamente a mesma coisa, assim como dizer "Como vai você?" versus "E aí?" ou "Como estão as coisas?".

Aqui está a reviravolta surpreendente que encontraram: os modelos de IA eram frequentemente inconsistentes. Mesmo que as perguntas tivessem o mesmo significado, os modelos às vezes acertavam a resposta na primeira vez e depois erravam quando a pergunta era reformulada. Na verdade, para muitas perguntas, os modelos alternavam entre estar certos e errados dependendo da redação. O estudo descobriu que as taxas de incompatibilidade — onde o modelo dá uma resposta diferente para a mesma pergunta — podiam chegar a mais de 23%. Isso significa que, se você fizesse a mesma pergunta a um modelo 100 vezes de formas diferentes, ele poderia dar uma resposta diferente (e errada) quase um quarto das vezes, mesmo que soubesse a resposta certa o tempo todo!

O Hiato do "Conhecimento Oculto"

A parte mais fascinante da história é o que isso diz sobre o que a IA realmente "sabe". Os pesquisadores descobriram que os modelos frequentemente tinham a resposta correta escondida dentro deles. Se você fizesse a mesma pergunta de maneiras suficientemente diversas, o modelo acabaria acertando pelo menos uma vez. Isso sugere que o conhecimento está lá, mas o modelo é pouco confiável para recuperá-lo.

Para visualizar isso, imagine um aluno fazendo uma prova.

Precisão Padrão: O aluno acerta 80% na primeira tentativa.
Capacidade Confiável: O aluno acerta 80% todas as vezes que você faz a pergunta, não importa como você a formule.
Capacidade Latente: O aluno acerta a resposta pelo menos uma vez se você perguntar de 10 maneiras diferentes.

O estudo encontrou um enorme abismo entre a "Capacidade Confiável" e a "Capacidade Latente". Os modelos frequentemente sabiam a resposta (Latente), mas falhavam em demonstrá-la consistentemente (Confiável). Em alguns casos, os modelos poderiam responder adicionalmente 30% das perguntas corretamente se você apenas as fizesse de uma forma diferente, mas eles falharam em fazer isso no teste padrão. Isso significa que as pontuações de "precisão" padrão que vemos nos rankings podem estar escondendo muita instabilidade. Os modelos não são necessariamente estúpidos; eles são apenas frágeis. Eles dependem de padrões de palavras específicos em vez de um entendimento profundo e sólido.

O "Giro" e o "Conserto"

Os pesquisadores também observaram algo chamado "taxas de inversão" (flip rates). Isso é quando um modelo acerta uma pergunta na primeira vez, mas depois erra quando ela é reformulada. Ou, ainda mais confuso, ele erra uma pergunta na primeira vez, mas acerta quando ela é reformulada. Esse comportamento de "oscilação" mostra que o cérebro do modelo é instável. É como uma bússola que aponta para o Norte quando você a segura de um jeito, mas aponta para o Leste quando você a inclina ligeiramente.

No entanto, houve um vislumbre de esperança. Os pesquisadores tentaram um truque simples chamado Autoparafraseamento (Self-Paraphrasing). Em vez de apenas fazer uma pergunta ao modelo, eles pediram que ele primeiro reescrevesse a pergunta com suas próprias palavras e, em seguida, respondesse com base nessas novas versões. É como pedir a um aluno para "reler a pergunta em sua própria cabeça antes de responder". Esse passo simples ajudou os modelos a preencher a lacuna, melhorando seu desempenho ao ajudá-los a acessar esse conhecimento latente oculto.

O Que Isso Significa para o Futuro

A principal conclusão deste artigo é que as pontuações de precisão padrão podem ser enganosas. Só porque um modelo obtém uma pontuação alta em um teste, não significa que ele seja verdadeiramente confiável no mundo real. Na vida real, as pessoas fazem perguntas de todas as formas estranhas possíveis, e se uma IA não consegue lidar com isso, ela não está pronta para o uso principal. O estudo sugere que precisamos parar de olhar apenas para "quantas perguntas ele acertou?" e começar a perguntar "quão consistente ele é?".

Os autores sugerem que, para a IA ser verdadeiramente digna de confiança, ela precisa ser testada em sua capacidade de manter a consistência através de diferentes formulações. Até lá, podemos estar superestimando o quão inteligentes esses robôs realmente são. Eles podem ser brilhantes em memorizar o roteiro, mas ainda precisam aprender a improvisar sem perder o lugar.

Resumo Técnico: Mesma Pergunta, Respostas Diferentes: Avaliando a Confiabilidade de LLMs Além da Acurácia

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) demonstrem alta acurácia em benchmarks padrão, sua confiabilidade permanece incerta quando a mesma pergunta é apresentada de formas diferentes, porém semanticamente equivalentes. As práticas de avaliação atuais frequentemente dependem da acurácia de um único prompt, o que pode mascarar uma instabilidade significativa. Estudos existentes sobre a robustez de LLMs frequentemente focam em perturbações superficiais (ex: mudanças de formatação, ruído adversário) ou tarefas de múltipla escolha, que restringem a variabilidade da saída. Além disso, métricas de acurácia agregadas costumam obscurecer flutuações ao nível de instância, e estudos anteriores de paráfrase às vezes sofrem de "deriva de significado" (meaning drift) nas variações geradas. Este trabalho aborda a lacuna na compreensão de como os LLMs se comportam sob paráfrases rigorosas e preservadoras de significado em tarefas de geração aberta, especificamente para respostas a perguntas factuais e raciocínio matemático.

Metodologia

Os autores introduzem um framework controlado para avaliar a consistência de LLMs usando entradas semanticamente equivalentes rigorosamente validadas.

1. Construção de Conjuntos de Teste Semanticamente Equivalentes

Para isolar o efeito da forma superficial, o estudo gera conjuntos de paráfrases para cada consulta original ( $Q_0$ ) utilizando um pipeline de validação de três estágios:

Geração Controlada: Um modelo de alta capacidade (GPT-4.1-mini) gera paráfrases condicionadas a pistas leves para induzir variação estrutural ou estilística (ex: tom, sintaxe) enquanto preserva a intenção e as restrições.
Filtragem de Sobreposição Lexical: Candidatos com alta sobreposição lexical (>0,8) com o original são descartados para garantir uma reescrita genuína em vez de edições superficiais.
Verificação Semântica de Estágio Duplo:
- Um juiz LLM verifica se a paráfrase solicita exatamente a mesma informação.
- Um filtro baseado em NLI (facebook/bart-large-mnli) verifica a implicação bidirecional entre o original e a paráfrase.
Validação Humana: Um subconjunto de pares de paráfrases (~1250) foi anotado por humanos, alcançando 92–98% de concordância na equivalência semântica, confirmando o rigor do pipeline.

2. Protocolo de Avaliação

Modelos: 13 modelos foram avaliados, incluindo modelos de pesos abertos (famílias Llama-3, Qwen-2.5/3 variando de 0,6B a 32B de parâmetros) e modelos proprietários (GPT-3.5, GPT-4o, variantes GPT-4.1).
Datasets: Quatro benchmarks cobrindo QA factual (SIMPLEQA, TRUTHFULQA) e raciocínio matemático (GSM8K, MATH-500).
Decodificação: A decodificação determinística foi utilizada para atribuir a variabilidade ao estado interno do modelo, em vez de ruído de amostragem estocástica.
Métricas: O estudo vai além da acurácia padrão para definir:
- Variantes de Acurácia: Acurácia Original ( $A_{orig}$ ), Acurácia Média de Paráfrase ( $A_{dist}$ ) e Acurácia de Voto Majoritário ( $A_{MV}$ ).
- Estabilidade ao Nível de Instância: Taxa de Incompatibilidade (desacordo entre o original e o voto majoritário), Taxas de Inversão de Predição (instabilidade direcional) e Taxa de Não-Determinismo (ND) (fração de conjuntos com múltiplos rótulos distintos).
- Limites de Capacidade:
  - Capacidade Máxima ( $A_{any}$ ): A proporção de instâncias onde o modelo está correto em pelo menos uma paráfrase (conhecimento latente).
  - Capacidade Confiável ( $A_{strict}$ ): A proporção de instâncias onde o modelo está correto em todas as paráfrases (conhecimento confiável).

Principais Resultados

1. A Ilusão de Estabilidade

Métricas de acurácia agregadas mostram apenas flutuações modestas (tipicamente 0–5%) através das paráfrases. No entanto, a análise ao nível de instância revela uma instabilidade oculta substancial:

Altas Taxas de Incompatibilidade: Até 23% das perguntas recebem rótulos de correção diferentes quando parafraseadas, mesmo quando a lacuna de acurácia agregada é próxima de zero.
Não-Determinismo: Até 47% dos conjuntos de paráfrases contêm previsões conflitantes (o modelo produz outputs diferentes para entradas semanticamente idênticas).
Taxas de Inversão: Os modelos frequentemente respondem à pergunta original corretamente, mas falham nas paráfrases, e vice-versa: falham na original, mas têm sucesso nas paráfrases. Isso indica que a acurácia padrão é frequentemente um subproduto estatístico de erros compensatórios, em vez de uma confiabilidade genuína.

2. O Gap de Confiabilidade

Existe uma discrepância significativa entre o conhecimento latente de um modelo e seu desempenho consistente:

Latente vs. Confiável: $A_{any}$ (melhor caso) é consistentemente maior que $A_{strict}$ (pior caso). Por exemplo, no TRUTHFULQA, os modelos frequentemente possuem a capacidade interna de responder a 30% mais perguntas corretamente, mas falham em recuperar esse conhecimento de forma consistente através de diferentes formulações.
Tendências de Escalonamento: Embora modelos maiores geralmente exibam melhor estabilidade e maior $A_{strict}$ , um gap persiste mesmo em modelos de alto desempenho. O raciocínio de Cadeia de Pensamento (CoT) melhora tanto a acurácia quanto a consistência, mas não elimina totalmente a instabilidade.

3. Reduzindo o Gap via Autoparáfrase

O estudo demonstra que o "gap de confiabilidade" pode ser parcialmente mitigado no tempo de inferência. Ao empregar uma estratégia de Autoparáfrase (Self-Paraphrasing) — onde o próprio modelo gera suas paráfrases para criar um contexto mais rico antes de responder — o desempenho melhorou para 6 de 7 modelos testados. Isso sugere que o conhecimento latente está presente, mas é recuperado de forma inconsistente devido à sensibilidade de superfície.

Significância e Alegações

O artigo argumenta que as métricas de acurácia padrão fornecem uma visão incompleta e muitas vezes excessivamente otimista da confiabilidade dos LLMs. As principais contribuições são:

Revelação da Instabilidade ao Nível de Instância: O estudo demonstra que existe uma instabilidade substancial sob inputs que preservam o significado, a qual é mascarada pelos escores de acurácia agregados.
Definição do Gap de Confiabilidade: Formaliza a distinção entre capacidade latente ( $A_{any}$ ) e capacidade confiável ( $A_{strict}$ ), mostrando que os modelos frequentemente possuem conhecimento que não conseguem acessar de forma confiável.
Proposta de um Novo Paradigma de Avaliação: Os autores defendem uma avaliação consciente da consistência através de paráfrases para refletir melhor os cenários de implantação no mundo real, onde a formulação do usuário varia.
Mitigação Prática: As descobertas sugerem que estratégias simples de tempo de teste, como a autoparáfrase, podem atuar como um mecanismo de "redução de ruído" para recuperar o conhecimento latente e melhorar a robustez sem necessidade de retreinamento.

Os autores concluem que avaliar LLMs requer ir além da acurácia de prompt único em direção a benchmarks de consistência mais refinados para avaliar com precisão a verdadeira confiabilidade e capacidade.