💬 NLP

FFE-Hallu:Hallucinations in Fixed Figurative Expressions:Benchmark of Idioms and Proverbs in the Persian Language

Este artigo apresenta o FFE-Hallu, o primeiro benchmark para avaliar alucinações em expressões figuradas fixas na língua persa, revelando que os modelos de linguagem de grande escala atuais têm dificuldades com o embasamento cultural e frequentemente geram ou falham em detectar idiomas e provérbios fabricados.

Autores originais: Faezeh Hosseini, Mohammadali Yousefzadeh, Yadollah Yaghoobzadeh

Publicado 2026-01-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Faezeh Hosseini, Mohammadali Yousefzadeh, Yadollah Yaghoobzadeh

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a falar uma língua humana. Você pode pensar que, se o robô conhecer as definições de dicionário de palavras como "chutar" e "balde", ele poderá entender a frase "chutar o balde". Mas, na realidade, essa frase não significa literalmente chutar um balde; é um código cultural fixo para "morrer".

Este artigo, FFE-HALLU, é como um "teste de detector de mentiras" especializado para IA, projetado para ver se esses robôs estão realmente criando seus próprios códigos culturais ou se eles realmente entendem os códigos reais.

Aqui está a divisão do que os pesquisadores fizeram, usando analogias simples:

1. O Problema: A Armadilha do "Ídion Falso"

Os Grandes Modelos de Linguagem (LLMs) são ótimos em escrever frases que parecem corretas. Mas, quando se trata de Expressões Figurativas Fixas (FFEs) — como expressões idiomáticas ("quebrar uma perna") e provérbios ("uma vez por semana, uma estocada no tempo") — eles costumam se confundir.

Os pesquisadores definem um tipo específico de erro chamado Alucinação Figurativa.

A Analogia: Imagine um robô tentando contar uma piada. Ele diz: "Por que o espantalho ganhou um prêmio? Porque ele era extraordinário em seu campo!" Essa é uma piada real.
A Alucinação: O robô então diz: "Por que a torradeira ganhou um prêmio? Porque ela era crocante em seu campo!"
- Soa como uma piada. Segue as regras da gramática. Mas é falsa. Ela não existe na cultura humana.
- O perigo é que, se um falante não nativo ouvir isso, ele pode pensar: "Oh, essa é uma expressão persa real!", e usá-la, parecendo tolo ou espalhando desinformação.

2. A Solução: O Exame "FFE-HALLU"

Os autores criaram um teste chamado FFE-HALLU especificamente para a língua persa. Eles construíram uma "academia" com 600 exercícios para testar o músculo cultural da IA. O teste tem três estações principais:

Estação 1: O Desafio "Significado-para-Expressão"
- A Tarefa: A IA recebe uma definição (ex: "Arrepender-se de um erro e prometer não fazê-lo novamente") e é solicitada a dizer a expressão idiomática persa real para ela.
- A Armadilha: Em vez de dizer a expressão real, a IA pode inventar uma falsa que soe plausível, mas que nunca foi usada por um humano.
- O Resultado: Alguns dos melhores modelos (como o GPT-4.1) acertaram cerca de 60%. Outros (como o Qwen) foram terríveis, inventando expressões falsas em quase 70% dos casos.
Estação 2: O Jogo de Detetive "Real ou Falso?"
- A Tarefa: A IA recebe uma frase e lhe é perguntado: "Esta é uma expressão idiomática persa real?"
- A Armadilha: Os pesquisadores criaram 200 expressões "falsas" que parecem e soam exatamente como as reais (por exemplo, trocando uma palavra de uma frase real ou distorcendo o significado).
- O Resultado: Esta foi a parte mais difícil. Mesmo modelos inteligentes se confundiram. Quando perguntados "Isso é falso?", muitos disseram "Não" (achando que era real) quando era, na verdade, uma mentira. É como um segurança que acha que um documento de identidade falso perfeito é real porque parece muito bom.
Estação 3: O Teste do "Tradutor"
- A Tarefa: A IA recebe uma expressão em inglês (ex: "Está chovendo gatos e cachorros") e deve encontrar o equivalente em uma expressão idiomática persa, não uma tradução palavra por palavra.
- A Armadilha: Se a IA traduzir literalmente ("Está chovendo felinos e caninos"), isso é uma alucinação porque não é assim que os falantes de persa falam.
- O Resultado: A maioria dos modelos teve dificuldade em encontrar o equivalente cultural, muitas vezes inventando novas frases ou traduzindo de forma muito literal.

3. As Descobertas: Quem Passou e Quem Falhou?

Os pesquisadores testaram seis modelos de IA diferentes:

Os Melhores Desempenhos: GPT-4.1 e Claude 3.7 foram os melhores. Eles geralmente conseguiam encontrar as expressões reais e rejeitar as falsas, embora ainda cometessem alguns erros.
Os que Tiveram Dificuldade: Modelos como DeepSeek, Gemma e Qwen frequentemente falharam. Eles tendiam a "sobregerar", o que significa que criavam confiantemente expressões falsas que soavam muito reais, mas que eram completamente inventadas.
O Problema do "Sim senhor": Alguns modelos eram tão ansiosos para agradar que, quando perguntados "Isso é falso?", diziam "Não" (querendo dizer "Sim, é real") mesmo quando era uma completa fabricação.

4. O Problema do "Juiz"

O artigo também questionou: Uma IA pode julgar o trabalho de outra IA?
Eles tentaram usar uma IA para avaliar as respostas das outras.

A Analogia: É como pedir a um aluno para avaliar a redação de outro aluno.
O Resultado: Funcionou razoavelmente bem para perguntas fáceis, mas quando se tratava de detectar expressões idiomáticas falsas sutis, os juízes de IA frequentemente as perdiam. Eles não conseguiam distinguir entre uma "resposta errada" e uma "resposta inventada". Os pesquisadores descobriram que especialistas humanos (falantes nativos de persa) ainda eram os únicos que podiam identificar essas mentiras sutis de forma confiável.

Resumo

Este artigo é um rótulo de aviso para a IA. Ele mostra que, embora a IA possa escrever frases fluentes, ela muitas vezes carece de fundamentação cultural. Ela pode soar como se conhecesse as expressões de uma cultura, mas está, na verdade, apenas inventando-as na hora.

Os pesquisadores construíram um teste para provar isso, mostrando que mesmo os modelos de IA mais inteligentes são propensos a "alucinações figurativas" — contando mentiras culturais que soam como a verdade. Até que a IA aprenda a distinguir entre um ditado cultural real e um falso convincente, não podemos confiar totalmente nela em tarefas que exigem uma compreensão cultural profunda.

Resumo Técnico: FFE-HALLU

Definição do Problema

Os Grandes Modelos de Linguagem (LLMs) demonstraram um sucesso notável em várias tarefas de PLN, mas continuam a ter dificuldades com a linguagem figurada, especificamente com as Expressões Figurativas Fixas (FFEs), como expressões idiomáticas e provérbios. Ao contrário das frases literais, as FFEs são culturalmente fundamentadas, amplamente não composicionais e convencionalmente fixas. O artigo identifica um modo de falha específico e subexplorado, denominado alucinação figurativa: a geração ou endosso de expressões que soam idiomáticas e plausíveis, mas que não existem como expressões fixas autênticas na língua alvo.

Enquanto as alucinações factuais podem frequentemente ser verificadas contra fontes de conhecimento externas, as alucinações figurativas são mais insidiosas devido ao "efeito da verdade ilusória", onde estruturas de sonoridade familiar são percebidas como verdadeiras mesmo por leitores informados. Isto representa riscos significativos para aplicações que exigem competência cultural, como tradução automática e sistemas de diálogo, particularmente para utilizadores não nativos que podem aceitar expressões fabricadas como autênticas.

Metodologia

Para abordar esta lacuna, os autores introduzem o FFE-HALLU, o primeiro benchmark abrangente concebido para avaliar a alucinação figurativa em LLMs, com um foco específico na língua persa. O benchmark consiste em 600 instâncias curadas divididas em três tarefas complementares:

Geração de FFE a partir de Significado:
- Objetivo: Testar se um modelo consegue recuperar um idioma ou provérbio válido dada uma definição figurativa.
- Dados: 200 expressões idiomáticas/provérbios autênticos em persa com definições extraídas do dicionário Abadis e paráfrases do GPT-4o.
- Avaliação: Os outputs são categorizados como Corretos (FFE autêntica que corresponde ao significado), Incorretos (FFE autêntica com significado incompatível) ou Alucinados (frase literal ou expressão inexistente).
Deteção de FFE Falsas:
- Objetivo: Avaliar a capacidade do modelo em distinguir expressões autênticas de fabricações plausíveis.
- Dados: 200 FFEs fabricadas utilizando quatro estratégias controladas:
  - Perturbação Lexical: Substituição de itens lexicais chave em idiomas reais.
  - Inversão Semântica: Reversão ou distorção do significado de estruturas reais.
  - Mimetismo Estrutural/Sintático: Geração de novas expressões seguindo modelos comuns de provérbios sem utilizar material lexical real.
  - Fabricação Cultural/Histórica: Utilização de elementos culturalmente salientes (ex: figuras históricas, rituais) para criar expressões convincentes, mas inválidas.
- Avaliação: Os modelos são questionados com "Esta FFE é falsa?" e "Esta FFE é real?" para medir a consistência e as taxas de alucinação (falsos aceites).
Tradução de FFE-para-FFE (Inglês → Persa):
- Objetivo: Avaliar a transferência translinguística de significado idiomático sem recorrer à tradução literal ou invenção.
- Dados: 200 pares bilíngues Inglês-Persa com equivalentes verificados.
- Avaliação: Os outputs são categorizados como Corretos (FFE culturalmente equivalente), Incorretos (FFE existente com significado errado) ou Alucinados (tradução literal ou expressão inventada).

Configuração Experimental:
Os autores avaliaram seis LLMs multilingues de última geração (GPT-4.1, Claude 3.7 Sonnet, Gemma3-27B, DeepSeek-V3, DeepSeek-R1 e Qwen3-235B). A avaliação envolveu tanto a anotação humana por falantes nativos de persa como a avaliação automática utilizando LLM-como-juiz (GPT-4.1 e Gemini 2.5 Pro) para avaliar a fiabilidade das métricas automáticas para tarefas figurativas.

Principais Resultados

Variância de Desempenho dos Modelos: O GPT-4.1 demonstrou o desempenho mais robusto em todas as tarefas, alcançando a maior precisão em geração (60,5%) e tradução (65%), e as taxas de alucinação mais baixas. O Claude 3.7 Sonnet mostrou fortes capacidades de geração, mas teve dificuldades significativas na deteção de FFEs falsas (taxa de alucinação de 61,75%).
Fraqueza nos Modelos de Pesos Abertos: Modelos como DeepSeek-V3, Gemma3-27B e Qwen3-235B exibiram fraquezas severas. O Qwen3-235B, por exemplo, alucinou em quase 70% das tarefas de geração e 94% das tarefas de tradução, produzindo frequentemente expressões agramaticais ou inteiramente fabricadas.
Instabilidade de Deteção: O desempenho na tarefa de Deteção de FFE Falsas foi altamente sensível ao enquadramento do prompt. Embora a maioria dos modelos tenha tido um bom desempenho quando questionados "Isto é real?", a sua precisão caiu drasticamente quando questionados "Isto é falso?", indicando instabilidade ao rejeitar conteúdo fabricado.
Limitações da Avaliação Automática: O estudo constatou que a avaliação automática (LLM-como-juiz) é desafiante para a alucinação figurativa. O Gemini 2.5 Pro mostrou melhor alinhamento com os julgamentos humanos (maior $\kappa$ de Cohen) do que o GPT-4.1, particularmente na distinção entre FFEs alucinadas e meramente incorretas. No entanto, os juízes automáticos tiveram dificuldades à medida que as taxas de alucinação aumentavam, frequentemente classificando expressões inexistentes como meramente "incorretas" em vez de expressões reais.

Significância e Contribuições

O artigo apresenta quatro contribuições primordiais:

Introdução do FFE-HALLU: O primeiro benchmark especificamente desenhado para avaliar a alucinação figurativa em LLMs, focando-se em expressões figurativas fixas em persa.
Estrutura de Tarefas: A proposta de três tarefas complementares (Geração, Deteção, Tradução) que sondam diferentes aspetos da competência figurativa e do fundamento cultural.
Análise Empírica: Uma avaliação detalhada de seis LLMs multilingues de última geração, revelando fraquezas sistemáticas na geração, deteção e transferência translinguística figurativa, particularmente em modelos de pesos abertos.
Validade da Avaliação: Uma avaliação da fiabilidade dos métodos de LLM-como-juiz para a alucinação figurativa, destacando a necessidade de anotação humana especializada para tarefas culturalmente matizadas.

Os autores concluem que o domínio da linguagem figurada exige mais do que fluência multilingue; exige uma verdadeira compreensão cultural. As descobertas sublinham a necessidade de benchmarks direcionados para avaliar e mitigar a alucinação figurativa, uma vez que os modelos atuais frequentemente geram ou endossam expressões culturalmente inválidas que podem enganar os utilizadores.

Limitações

Os autores reconhecem que a deteção de alucinações figurativas depende fortemente da intuição e do julgamento de falantes nativos, o que restringiu o benchmark ao persa. Adicionalmente, o tamanho do conjunto de dados (600 itens) é modesto devido à dificuldade de curar e validar expressões idiomáticas em escala. O artigo nota que, embora a avaliação automática ofereça escalabilidade, continua a ser imperfeita e não deve substituir a anotação humana especializada, especialmente para casos culturalmente subtis.