Knowing the Scale, Missing the Negation: Language Models and Corrective Negation by Excess in English, Spanish, and French

Os modelos de linguagem são os motores por trás de muitas das ferramentas digitais que usamos hoje, capazes de gerar texto, traduzir idiomas e responder a perguntas com uma fluência surpreendente. Para entender como esses sistemas funcionam, pesquisadores frequentemente observam como eles lidam com os blocos de construção da comunicação humana, como adjetivos que descrevem intensidade. Palavras como "morno", "quente" e "fervendo" existem em uma escala de calor crescente, e os humanos entendem naturalmente que, se algo está fervendo, também está pelo menos morno. Essa conexão lógica é chamada de entailment (implicação). No entanto, a linguagem humana é cheia de nuances onde negamos uma palavra mais fraca não para dizer que o oposto é verdadeiro, mas para dizer que a palavra mais forte é a correta. Quando alguém diz que uma sopa está "não morna, mas fervendo", não está negando que a sopa tenha calor; está rejeitando "morna" como uma subestimação. Esse tipo específico de correção, onde um falante substitui uma descrição fraca por uma forte, é um teste sutil para verificar se uma máquina realmente entende a relação entre as palavras ou se está apenas correspondendo a padrões.

Uma equipe de pesquisadores partiu para ver se os modelos de linguagem modernos poderiam navegar nesse terreno linguístico complexo. Eles se concentraram em um fenômeno conhecido como negação corretiva por excesso, onde uma frase nega um adjetivo mais fraco para afirmar um mais forte. A equipe reuniu centenas de pares de adjetivos do inglês, espanhol e francês, como "tênue" e "escuro" ou "bom" e "excelente", que estão organizados em ordem de intensidade. Em seguida, pediram a cinco modelos de linguagem diferentes que julgassem esses pares sob várias condições. Primeiro, confirmaram que os modelos conheciam a ordem das palavras, reconhecendo que "escuro" é uma versão mais forte de "tênue". Em seguida, testaram se os modelos entendiam que, se algo é "escuro", deve ser pelo menos "tênue". Finalmente, apresentaram aos modelos as frases corretivas, como "Não está tênue, mas sim escuro", e perguntaram se o objeto ainda era pelo menos "tênue".

Os resultados revelaram uma lacuna significativa entre o que os modelos sabem e como aplicam esse conhecimento. Nas unidades em que os modelos identificaram corretamente a ordem das palavras e aceitaram a lógica básica de que "escuro" implica "tênue", eles tiveram sucesso em compreender a afirmação em 93,4% das vezes. Eles também responderam corretamente a perguntas de negação simples em 99,2% das vezes, mas essa alta precisão é enganosa: os modelos geralmente tenderam a responder "não" no geral (com taxas de "sim" variando de 34% a 44%), um viés que infla artificialmente o desempenho em perguntas onde a resposta correta é "não". Ao serem confrontados com a frase corretiva "Não está tênue, mas sim escuro", seu desempenho caiu drasticamente. Nos mesmos itens onde haviam demonstrado anteriormente entender a relação entre as palavras, eles falharam em reconhecer a correção em 452 casos, enquanto tiveram sucesso em apenas 6 casos. Em vez de entender que a sopa ainda está morna (apenas mais do que isso), os modelos frequentemente trataram a frase como uma negação simples, concluindo que o objeto não estava nem um pouco tênue.

Essa falha não se deveu à falta de conhecimento sobre as palavras em si. Quando os pesquisadores testaram uma construção semelhante usando a mesma palavra, como "Não está tênue, mas sim muito tênue", os modelos tiveram um alto desempenho, acertando em 94,4% das vezes. Isso sugere que os modelos conseguem lidar com a estrutura da frase quando as palavras são idênticas, mas tropeçam quando precisam conectar duas palavras diferentes dentro de um quadro corretivo. O padrão de erro foi consistente em todos os cinco modelos testados e em todos os três idiomas. Em muitos casos, os modelos responderam "não" à pergunta de se o objeto era pelo menos o termo mais fraco, efetivamente ignorando a segunda metade da frase que fornecia a correção. Isso indica que os modelos não estão falhando porque não conseguem classificar os adjetivos, mas porque têm dificuldade em sobrepor o significado literal da negação quando uma alternativa mais forte é introduzida.

O estudo também explorou se tornar a correção mais explícita ajudaria. No inglês, os pesquisadores compararam a forma padrão "not X but Y" com uma versão que adicionava a palavra "rather" (mas sim/em vez disso), criando a frase "not X but rather Y". Essa pequena mudança, que sinaliza uma correção de forma mais clara, melhorou a precisão dos modelos de 36,1% para 49,3%. Embora tenha sido uma melhoria, não foi uma solução completa, pois os modelos ainda perdiam o sentido em mais da metade dos casos. Os pesquisadores observaram que, no espanhol, onde uma conjunção específica é usada para correções, os modelos tiveram um desempenho ligeiramente melhor do que no inglês ou francês, mas a dificuldade fundamental permaneceu. Os dados sugerem que esses sistemas possuem o conhecimento bruto de como as palavras se relacionam umas com as outras, mas frequentemente falham em usar esse conhecimento quando a estrutura da frase exige que rejeitem uma descrição mais fraca em favor de uma mais forte.

As implicações dessa descoberta vão além da curiosidade acadêmica. Os modelos de linguagem são cada vez mais usados para resumir avaliações, analisar feedback e processar reclamações de clientes. Se um modelo ler uma avaliação que diz que um produto é "não bom, mas sim excepcional", ele pode interpretar erroneamente o elogio forte como uma declaração negativa por não compreender a natureza corretiva da frase. Os pesquisadores concluem que as avaliações atuais desses sistemas precisam incluir esse tipo específico de desafio linguístico. Não basta verificar se um modelo sabe que "excepcional" é mais forte que "bom"; o modelo também deve ser testado para saber se consegue aplicar esse conhecimento quando uma frase nega o termo mais fraco para afirmar o mais forte. Até que os modelos possam navegar confiavelmente por essas correções, eles correm o risco de ler mal o tom e a intenção da comunicação humana, transformando grandes elogios em críticas e perdendo a nuance que torna a linguagem tão poderosa.