Simorgh at SemEval-2026 task 7: Region-Aware Hybrid Retrieval for Low-Resource Cultural Reasoning in Multilingual Question Answering

Riepilogo Tecnico: Simorgh a SemEval-2026 Task 7

Enunciato del Problema
Sebbene i Modelli Linguistici su Larga Scala (LLM) dimostrino un'alta competenza nel ragionamento generale e nella conoscenza culturale di stampo occidentale, mostrano un significativo degrado delle prestazioni quando affrontano domande radicate culturalmente provenienti da contesti orientali o regioni a risorse limitate. Questa disparità deriva da corpora di addestramento (ad esempio, Wikipedia, Common Crawl) fortemente sbilanciati verso lingue e prospettive dominanti, portando a distribuzioni squilibrate della conoscenza culturale quotidiana. Di conseguenza, i modelli producono spesso risposte incomplete, eccessivamente generiche o allucinate quando interrogati su domini socio-culturali specifici come la cucina, le dinamiche familiari o le festività locali in lingue come l'amarico, l'hausa o il sundanese. La sfida principale affrontata in questo articolo è migliorare l'accuratezza e l'appropriatezza culturale della risposta a domande a scelta multipla (MCQA) in questi contesti sottorappresentati, senza fare affidamento esclusivamente sulla conoscenza parametrica.

Metodologia
Gli autori propongono una pipeline in due fasi, denominata Simorgh, progettata per il benchmark BLEnD (SemEval-2026 Task 7). L'architettura del sistema integra un meccanismo di Recupero Ibrido Consapevole della Regione con un Motore di Inferenza LLM Quantizzato.

1. Ranker di Evidenza Ibrido:

   • Corrispondenza Lessicale: Utilizza l'algoritmo BM25 standard con tokenizzazione basata sui confini delle parole per catturare corrispondenze esatte di parole chiave tra la query e l'evidenza documentale.
   • Similarità Semantica: Impiega il SentenceTransformer all-MiniLM-L6-v2 per generare embedding densi, calcolando la similarità coseno tra la domanda e l'evidenza.
   • Euristica Consapevole della Regione: Viene applicata una nuova euristica di ponderazione ai punteggi combinati. Se il testo dell'evidenza recuperata contiene riferimenti regionali espliciti, viene applicato un bonus del 30% al punteggio.
   • Formula di Punteggio: Il punteggio finale di ranking è calcolato come:
     $$\text{PunteggioFinale} = (0.4 \cdot \text{BM25} + 0.6 \cdot \text{Semantico}) \cdot (1 + \text{BonusRegione})$$
   • Output: I 5 frammenti di evidenza con ranking più alto vengono estratti per la fase di inferenza.

2. Motore di Inferenza LLM Quantizzato:

   • Modello: Il sistema utilizza il modello Qwen3-14B, caricato con quantizzazione a 4 bit NormalFloat (nf4) con doppia quantizzazione per ottimizzare l'uso della VRAM e abilitare il batching efficiente.
   • Costruzione del Prompt: Il modello viene sollecitato come "modello di ragionamento culturale". I 5 documenti recuperati con ranking più alto vengono inseriti direttamente sopra la domanda e le quattro opzioni di risposta (A, B, C, D) all'interno della finestra di contesto. Se non viene recuperata alcuna evidenza, il modello fa ricorso alla sua conoscenza parametrica.
   • Selezione Deterministica: Invece di generare testo libero (che comporta rischi di errori di formattazione), il sistema impiega una selezione deterministica basata sui logit. Estrae i valori dei logit per la previsione del token successivo strettamente per i token 'A', 'B', 'C' e 'D', selezionando l'opzione con la massa di probabilità più alta.

Contributi Chiave

• Recupero Ibrido Consapevole della Regione: L'articolo introduce una strategia di recupero che combina la corrispondenza lessicale (BM25) e semantica (densa) con un'euristica specifica per dare priorità all'evidenza contenente riferimenti regionali, mirando a migliorare la rilevanza del contesto recuperato per il ragionamento situato culturalmente.
• Prompting Strutturato per il Ragionamento Culturale: L'approccio dimostra come integrare efficacemente l'evidenza culturale recuperata in un prompt strutturato per un LLM quantizzato al fine di eseguire MCQA.
• Output Deterministico Basato sui Logit: Omettendo la generazione di testo per la selezione della risposta, il metodo garantisce robustezza del formato ed efficienza computazionale, mappando direttamente la qualità del recupero sulla selezione della risposta.

Risultati
Gli esperimenti condotti sul benchmark BLEnD (che copre 30 lingue e 16 regioni) indicano che l'approccio di recupero ibrido migliora la stabilità cross-linguistica rispetto all'inferenza puramente parametrica.

• Divari di Prestazione: Sebbene l'approccio ibrido mitighi alcune disparità, persiste un divario di prestazione notevole tra le lingue ad alta risorsa (ad esempio, inglese, francese) e le lingue a bassa risorsa (ad esempio, amarico, hausa, sundanese).
• Impatto del Recupero: I risultati suggeriscono che l'arricchimento basato sul recupero aiuta a stabilizzare le prestazioni tra le lingue, sebbene non superi completamente i limiti imposti dagli squilibri nei dati di addestramento. Le lingue ad alta risorsa continuano a dimostrare un'accuratezza significativamente superiore rispetto alle controparti a bassa risorsa.

Significato e Limitazioni
L'articolo afferma che l'integrazione della corrispondenza lessicale, della similarità semantica e di un ranking prioritario regionale in un modello di recupero ibrido e inferenza basata sui logit aiuta a stabilizzare le prestazioni del ragionamento cross-culturale. Tuttavia, gli autori mantengono una posizione modesta riguardo alla completezza della soluzione. Riconoscono che l'arricchimento tramite recupero da solo è insufficiente per affrontare pienamente gli squilibri creati dai corpora di pre-addestramento su larga scala.

Le limitazioni specifiche identificate includono:

• Dipendenza da Raccolte Esterne: L'efficacia del sistema è vincolata dalla disponibilità di documenti culturali pertinenti; se il corpus esterno manca di dati culturali specifici, il modulo di recupero potrebbe non fornire evidenze significative.
• Vincoli Euristici: L'euristica di ponderazione regionale potrebbe fallire quando i riferimenti culturali sono impliciti piuttosto che esplicitamente dichiarati nel testo.
• Profondità del Ragionamento: La strategia di selezione basata sui logit limita il ragionamento alle distribuzioni di probabilità del token successivo, potenzialmente tralasciando la deliberazione sfumata e multi-step richiesta per inferenze culturali complesse.
• Effetti della Quantizzazione: Sebbene la quantizzazione a 4 bit aiuti l'efficienza, potrebbe introdurre piccole perdite di precisione rappresentativa, influenzando potenzialmente le prestazioni su lingue linguisticamente complesse o grammaticalmente ricche.

Gli autori concludono che il lavoro futuro deve concentrarsi sullo sviluppo di modelli regionali dinamici, meccanismi di re-ranking informati culturalmente e strategie di fine-tuning specificamente mirate alle comunità linguistiche a bassa risorsa per migliorare ulteriormente l'integrità e l'equità delle valutazioni degli LLM.