Riepilogo Tecnico: FFE-HALLU

Definizione del Problema

I Large Language Models (LLM) hanno dimostrato un successo straordinario in vari compiti di NLP, ma continuano a faticare con il linguaggio figurato, specificamente con le Espressioni Figurative Fisse (FFE - Fixed Figurative Expressions) come modi di dire e proverbi. A differenza delle frasi letterali, le FFE sono radicate culturalmente, ampiamente non compositive e convenzionalmente fisse. Il documento identifica un particolare modo di fallimento, poco esplorato, denominato allucinazione figurativa: la generazione o l'approvazione di espressioni che suonano idiomatiche e plausibili ma che non esistono come autentiche espressioni fisse nella lingua di destinazione.

Mentre le allucinazioni fattuali possono spesso essere verificate rispetto a fonti di conoscenza esterna, le allucinazioni figurative sono più insidiose a causa dell'effetto "verità illusoria", in cui strutture dall'aspetto familiare vengono percepite come vere anche da lettori esperti. Ciò pone rischi significativi per applicazioni che richiedono competenza culturale, come la traduzione automatica e i sistemi di dialogo, particolarmente per utenti non madrelingua che potrebbero accettare espressioni fabbricate come autentiche.

Metodologia

Per affrontare questa lacuna, gli autori introducono FFE-HALLU, il primo benchmark completo progettato per valutare l'allucinazione figurativa negli LLM, con un focus specifico sulla lingua persiana. Il benchmark consiste in 600 istanze curate divise in tre compiti complementari:

1. Generazione di FFE da Significato:

   • Obiettivo: Testare se un modello può recuperare un modo di dire o un proverbio valido data una definizione figurata.
   • Dati: 200 modi di dire/proverbi persiani autentici con definizioni tratte dal dizionario Abadis e parafrasi di GPT-4o.
   • Valutazione: Gli output sono categorizzati come Corretti (FFE autentica che corrisponde al significato), Errati (FFE autentica con significato errato) o Allucinati (frase letterale o espressione inesistente).

2. Rilevamento di FFE False:

   • Obiettivo: Valutare la capacità del modello di distinguere tra espressioni autentiche e fabbricazioni plausibili.
   • Dati: 200 FFE fabbricate costruite utilizzando quattro strategie controllate:
     • Perturbazione Lessicale: Sostituzione di elementi lessicali chiave in modi di dire reali.
     • Inversione Semantica: Inversione o distorsione del significato di strutture reali.
     • Mimica Strutturale/Sintattica: Generazione di nuove espressioni seguendo modelli comuni di proverbi senza utilizzare materiale lessicale reale.
     • Fabbricazione Culturale/Storica: Utilizzo di elementi culturalmente salienti (es. figure storiche, rituali) per creare espressioni convincenti ma invalide.
   • Valutazione: Ai modelli viene chiesto "Questa FFE è falsa?" e "Questa FFE è reale?" per misurare la coerenza e i tassi di allucinazione (falsi accetti).

3. Traduzione da FFE a FFE (Inglese → Persiano):

   • Obiettivo: Valutare il trasferimento translingue del significato idiomatico senza ricorrere alla traduzione letterale o all'invenzione.
   • Dati: 200 coppie bilingui Inglese-Persiano con equivalenti verificati.
   • Valutazione: Gli output sono categorizzati come Corretti (FFE culturalmente equivalente), Errati (FFE esistente con significato errato) o Allucinati (traduzione letterale o espressione inventata).

Configurazione Sperimentale:
Gli autori hanno valutato sei modelli linguistici multilingue allo stato dell'arte (GPT-4.1, Claude 3.7 Sonnet, Gemma3-27B, DeepSeek-V3, DeepSeek-R1 e Qwen3-235B). La valutazione ha coinvolto sia l'annotazione umana da parte di madrelingua persiani sia la valutazione automatica utilizzando l'LLM-as-a-judge (GPT-4.1 e Gemini 2.5 Pro) per valutare l'affidabilità delle metriche automatiche per i compiti figurati.

Risultati Chiave

• Varianza delle Prestazioni dei Modelli: GPT-4.1 ha dimostrato la prestazione più robusta in tutti i compiti, ottenendo la massima accuratezza nella generazione (60,5%) e nella traduzione (65%), e i tassi di allucinazione più bassi. Claude 3.7 Sonnet ha mostrato forti capacità di generazione ma ha faticato significativamente nel rilevare FFE false (tasso di allucinazione del 61,75%).
• Debolezza nei Modelli Open-Weight: Modelli come DeepSeek-V3, Gemma3-27B e Qwen3-235B hanno mostrato gravi debolezze. Qwen3-235B, ad esempio, ha allucinato in quasi il 70% dei compiti di generazione e nel 94% dei compiti di traduzione, producendo spesso espressioni grammaticalmente errate o interamente fabbricate.
• Instabilità del Rilevamento: La prestazione nel compito di Rilevamento di FFE False è stata altamente sensibile alla formulazione del prompt. Mentre la maggior parte dei modelli si è comportata bene quando veniva chiesto "È reale?", l'accuratezza è scesa drasticamente quando veniva chiesto "È falso?", indicando instabilità nel rifiutare contenuti fabbricati.
• Limitazioni della Valutazione Automatica: Lo studio ha rilevato che la valutazione automatica (LLM-as-a-judge) è difficile per l'allucinazione figurativa. Gemini 2.5 Pro ha mostrato un migliore allineamento con i giudizi umani (maggiore κ di Cohen) rispetto a GPT-4.1, in particolare nel distinguere le FFE allucinate da quelle semplicemente errate. Tuttavia, i giudici automatici hanno faticato man mano che i tassi di allucinazione aumentavano, spesso classificando espressioni inesistenti come semplici espressioni reali "errate".

Significato e Contributi

Il documento apporta quattro contributi primari:

1. Introduzione di FFE-HALLU: Il primo benchmark progettato specificamente per valutare l'allucinazione figurativa negli LLM, focalizzandosi sulle espressioni figurative fisse in persiano.
2. Framework dei Compiti: La proposta di tre compiti complementari (Generazione, Rilevamento, Traduzione) che sondano diversi aspetti della competenza figurativa e dell'ancoraggio culturale.
3. Analisi Empirica: Una valutazione dettagliata di sei modelli multilingue SOTA, rivelando debolezze sistematiche nella generazione figurativa, nel rilevamento e nel trasferimento translingue, particolarmente nei modelli open-weight.
4. Validità della Valutazione: Una valutazione dell'affidabilità dei metodi LLM-as-a-judge per l'allucinazione figurativa, evidenziando la necessità di annotazione umana esperta per compiti culturalmente sfumati.

Gli autori concludono che la padronanza del linguaggio figurato richiede più della semplice fluidità multilingue; richiede una genuina comprensione culturale. Le scoperte sottolineano la necessità di benchmark mirati per valutare e mitigare l'allucinazione figurativa, poiché gli attuali modelli generano o approvano frequentemente espressioni culturalmente invalide che possono trarre in inganno gli utenti.

Limitazioni

Gli autori riconoscono che il rilevamento delle allucinazioni figurative si basa fortemente sull'intuizione e sul giudizio dei madrelingua, il che ha limitato il benchmark al persiano. Inoltre, la dimensione del dataset (600 elementi) è modesta a causa della difficoltà di curare e validare gli idiomi su larga scala. Il documento nota che, sebbene il giudizio automatico offra scalabilità, rimane imperfetto e non dovrebbe sostituire l'annotazione umana esperta, specialmente per casi culturalmente sottili.