💬 NLP

Same Meaning, Different Scores: Lexical and Syntactic Sensitivity in LLM Evaluation

Este estudo demonstra que pequenas variações lexicais e sintáticas em prompts, embora semanticamente equivalentes, degradam significativamente o desempenho e alteram o ranking de modelos de linguagem de grande escala, revelando que sua eficácia depende mais de padrões superficiais do que de competência linguística abstrata e que a robustez não escala consistentemente com o tamanho do modelo.

Autores originais: Bogdan Kostić, Conor Fallon, Julian Risch, Alexander Löser

Publicado 2026-02-20

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Bogdan Kostić, Conor Fallon, Julian Risch, Alexander Löser

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

🧠 O "Efeito Borboleta" nos Cérebros de IA: Por que uma pequena mudança de palavra derruba a nota?

Imagine que você tem um grupo de 23 alunos muito inteligentes (os Modelos de Linguagem ou LLMs) fazendo uma prova de concurso. Eles são avaliados por um "ranking" oficial que diz quem é o melhor.

Os pesquisadores deste estudo decidiram fazer um experimento curioso: eles pegaram as mesmas perguntas da prova e as reescreveram de duas formas, sem mudar o significado, apenas mudando a "roupa" das palavras.

O objetivo? Descobrir se esses alunos realmente entendem o que estão lendo ou se eles apenas decoraram padrões superficiais.

1. As Duas Formas de "Mudar a Roupa"

Os pesquisadores usaram duas técnicas diferentes para perturbar as perguntas:

A Técnica do Sinônimo (Mudança Lexical): É como trocar "carro" por "veículo" ou "rápido" por "veloz". A frase continua com o mesmo sentido, mas as palavras são diferentes.
- Analogia: É como pedir para um amigo te dar uma receita de bolo, mas ele diz "adicione farinha" em vez de "adicione trigo moído". O significado é o mesmo, mas a palavra mudou.
A Técnica da Gramática (Mudança Sintática): É como mudar a ordem das palavras na frase, transformando uma voz ativa em passiva, sem trocar nenhuma palavra.
- Analogia: É como dizer "O João comeu a maçã" e depois dizer "A maçã foi comida pelo João". A ação é a mesma, mas a estrutura da frase mudou.

2. O Que Aconteceu? (Os Resultados)

Aqui é onde a história fica interessante. Os resultados foram surpreendentes:

📉 O "Choque" das Palavras (Mudança Lexical)
Quando os pesquisadores apenas trocaram as palavras por sinônimos, a performance dos alunos (IA) caiu drasticamente.

A Analogia: Imagine que você ensinou um cachorro a sentar quando você diz "Senta!". Se você mudar a palavra para "Sentar-se" (que significa a mesma coisa), o cachorro pode não entender e continuar deitado.
O Resultado: A maioria dos modelos de IA "travou" ou errou muito mais quando as palavras mudaram. Isso sugere que eles não estão realmente "pensando" no significado profundo, mas sim reconhecendo padrões de palavras específicas que viram durante o treinamento.

🤷‍♂️ A "Dança" da Gramática (Mudança Sintática)
Quando mudaram apenas a estrutura da frase (voz ativa/passiva), o efeito foi muito menor e variado.

A Analogia: Se você mudar a ordem dos ingredientes na lista de compras, o cozinheiro ainda consegue fazer o bolo. A estrutura mudou, mas a lógica permaneceu.
O Resultado: Alguns modelos melhoraram, outros pioraram um pouco, mas não houve o colapso total visto nas trocas de palavras.

3. O Ranking é Frágil (Como um castelo de cartas)

O estudo mostrou que os rankings atuais de "quem é a melhor IA" são instáveis.

A Analogia: Imagine uma corrida de F1 onde, se você mudar a cor do capacete do piloto (sem mudar o carro), ele perde a corrida.
O Problema: Com pequenas mudanças nas perguntas, o "campeão" do ranking podia cair para o 12º lugar, e um modelo mediano podia subir para o 9º. Isso significa que o ranking atual pode estar medindo quem decorou melhor o "idioma exato" do teste, e não quem é realmente mais inteligente.

4. Tamanho Não é Documento (Bigger ≠ Better)

Existe um mito de que "quanto maior a IA, mais inteligente e resistente ela é".

A Analogia: É como achar que um elefante é imune a qualquer coisa porque é grande.
A Realidade: O estudo provou que modelos gigantes não são necessariamente mais robustos.
- Em algumas tarefas (como perguntas de múltipla escolha), os modelos gigantes foram os que mais sofreram com as mudanças de palavras.
- Em outras tarefas (como responder perguntas de texto), os modelos grandes foram mais resistentes.
- Conclusão: O tamanho da IA não garante que ela não vai "quebrar" com uma pequena mudança de palavras.

🏁 A Lição Final

Este estudo nos diz que, embora as IAs sejam impressionantes, elas ainda são um pouco como papagaios muito bem treinados em vez de pensadores humanos. Elas dependem muito das "palavras-chave" que viram antes.

Se mudarmos o vocabulário, elas se perdem. Isso é um alerta para quem usa essas IAs em situações sérias (como medicina ou leis): não confie cegamente no ranking atual. Precisamos testar essas IAs com perguntas que mudam de forma, para garantir que elas entendem o significado e não apenas o padrão.

Resumo em uma frase: As IAs atuais são ótimas em seguir rotas conhecidas, mas se você mudar a placa de rua (mesmo que a direção seja a mesma), elas podem se perder.

1. O Problema

O avanço rápido dos Grandes Modelos de Linguagem (LLMs) estabeleceu benchmarks padronizados como a principal ferramenta para comparação de modelos. No entanto, a confiabilidade desses benchmarks está sendo questionada devido à sensibilidade excessiva dos modelos a variações superficiais nos prompts de entrada.
O artigo identifica uma lacuna crítica: estudos anteriores mostraram que pequenas alterações (como reordenação de premissas ou mudanças de formato) degradam o desempenho, mas não distinguem se essa variância é impulsionada por mudanças lexicais (substituição de palavras) ou mudanças sintáticas (alteração da estrutura gramatical). A questão central é: os modelos dependem mais de padrões lexicais de superfície ou de competência linguística abstrata?

2. Metodologia

Os autores desenvolveram um pipeline controlado para avaliar a robustez de 23 LLMs de última geração (variando de 0,3B a 235B de parâmetros) em três benchmarks distintos:

MMLU: Resposta a perguntas de múltipla escolha (conhecimento geral).
SQuAD: Resposta a perguntas de extração (compreensão de leitura).
AMEGA: Adesão a diretrizes clínicas (raciocínio especializado).

O estudo utilizou dois pipelines de perturbação preservadores de significado (truth-conditionally equivalent):

Variação Lexical: Um LLM (Llama-3.3-70B) foi instruído a substituir palavras por sinônimos semanticamente apropriados, mantendo o contexto e a terminologia do domínio. Para o SQuAD, foi garantido que a string de resposta não fosse alterada.
Variação Sintática: Um pipeline baseado em dependency parsing (usando spaCy) identificou constituintes gramaticais (sujeito, objeto, etc.) e aplicou transformações sintáticas validadas (ex: voz ativa para passiva, extraposição, movimento de wh, alternância dativa). Um LLM executou as transformações garantindo a gramaticalidade e a preservação do conteúdo proposicional.

Avaliação:

Os modelos foram testados em configuração zero-shot.
Métricas: Acurácia (MMLU), EM/F1/SAS (SQuAD) e pontuação de adesão a diretrizes (AMEGA).
Testes estatísticos: Teste de McNemar (para significância intra-modelo), Teste de Wilcoxon (para distribuição de pontuações) e Correlação de Kendall's $\tau$ (para estabilidade de rankings).

3. Principais Contribuições

O artigo apresenta três contribuições fundamentais:

Dependência de Cues Lexicais: Os LLMs são significativamente mais sensíveis a variações lexicas do que a reestruturações sintáticas, sugerindo que dependem mais de padrões de superfície do que de compreensão gramatical abstrata.
Fragilidade dos Leaderboards: Pequenas alterações que preservam o significado são suficientes para alterar drasticamente os rankings relativos dos modelos, desafiando a confiabilidade de tabelas de classificação estáticas para seleção de modelos.
Escalabilidade não Garante Robustez: A hipótese de que "modelos maiores são mais robustos" é refutada. A relação entre tamanho do modelo e estabilidade é não monotônica e dependente da tarefa.

4. Resultados Chave

Sensibilidade Lexical vs. Sintática:
- As perturbações lexicais causaram degradação de desempenho estatisticamente significativa em quase todos os modelos e tarefas.
- No MMLU, a queda média de acurácia foi de 7,72 pontos percentuais (pp) para variações lexicais, contra apenas 1,64 pp para sintáticas.
- No SQuAD, a queda no F1 foi de 3,38 pp (lexical) vs. 2,72 pp (sintática).
- As perturbações sintáticas tiveram efeitos mais heterogêneos, às vezes até melhorando os resultados.
Instabilidade de Rankings:
- O MMLU mostrou alta estabilidade nos rankings ( $\tau = 0,98$ para lexical), mas o SQuAD e o AMEGA apresentaram volatilidade significativa ( $\tau = 0,93$ e $0,89$ respectivamente para lexical).
- Modelos que eram líderes em condições originais caíram de posição após perturbações, enquanto outros subiram, indicando que o ranking atual pode refletir apenas o overfitting ao formato específico do benchmark.
Relação Tamanho vs. Robustez:
- MMLU: Correlação positiva forte ( $r = 0,84$ ) entre tamanho do modelo e queda de desempenho. Modelos maiores foram menos robustos.
- SQuAD e AMEGA: Correlação negativa ( $r = -0,47$ e $-0,67$), indicando que modelos maiores tendem a ser mais robustos nessas tarefas específicas.
- Conclusão: O aumento de escala não confere universalmente estabilidade; o efeito é contingente à natureza da tarefa.

5. Significado e Implicações

O estudo demonstra que os LLMs atuais operam mais como detectores de padrões lexicais superficiais do que como sistemas de raciocínio linguístico robustos.

Para Avaliação: A prática de selecionar modelos com base em pequenas diferenças de pontuação em benchmarks estáticos é arriscada. A robustez deve se tornar um componente padrão da avaliação de LLMs.
Para Aplicações de Alto Risco: A sensibilidade a escolhas lexicais representa uma vulnerabilidade crítica em áreas como medicina e direito, onde a formulação da pergunta pode alterar o resultado do modelo sem mudar o significado real.
Futuro: Os autores defendem a integração de testes de robustez nos protocolos de avaliação e sugerem técnicas de treinamento (como data augmentation com entradas perturbadas ou perda de consistência semântica) para mitigar essas fragilidades.

Os dados perturbados e a implementação do código foram disponibilizados publicamente no GitHub para garantir reprodutibilidade e fomentar pesquisas futuras sobre generalização linguística.