Benchmarking Open-Weight Foundation Models for Global AI Technical Governance

Sintesi Tecnica: Benchmarking di Modelli Fondativi Open-Weight per la Governance Tecnica Globale dell'IA

Enunciato del Problema
I grandi modelli linguistici (LLM) sono sempre più utilizzati per sintetizzare dati sulla governance dell'IA transnazionali. Tuttavia, la letteratura esistente suggerisce che questi modelli soffrano di un "bias geografico", producendo risposte meno accurate per i paesi sottorappresentati nei dati di addestramento (principalmente le nazioni del Sud Globale). Precedenti studi empirici su questo fenomeno sono metodologicamente compromessi da tre criticità fondamentali: (1) l'affidamento a modelli proprietari a codice chiuso che impediscono la replicabilità indipendente; (2) l'valutazione della conoscenza del modello relativa ad anni successivi al cutoff dei dati di addestramento, confondendo l'ignoranza temporale con il bias geografico; e (3) l'uso di schemi di classificazione binaria grossolani che non riescono a distinguere tra la fabbricazione sicura (allucinazione) e l'onesto riconoscimento dell'incertezza. Queste limitazioni minano la validità dei risultati riguardanti l'equità geografica nell'analisi della governance dell'IA.

Metodologia
Questo studio affronta le suddette limitazioni attraverso un framework di benchmarking rigoroso e riproducibile che coinvolge quattro modelli linguistici frontier a pesi aperti (open-weight): Llama 4 Maverick di Meta, Mistral Large 3 di Mistral AI, Qwen3-235B-A22B di Alibaba Cloud e DeepSeek-V3-0324 di DeepSeek. La selezione garantisce un equilibrio geopolitico, con due modelli sviluppati da aziende occidentali e due da sviluppatori cinesi.

L'valutazione utilizza il Global AI Dataset v2 (GAID v2), un database di verità fondamentale (ground-truth) verificato che contiene 24.453 indicatori per 227 paesi. Da questo, sono stati selezionati 1.8 indicatori mappati sugli otto rami tematici del framework IEEE IRAI 2026 (Etica, Sicurezza, Protezione, Trasparenza, Equità, Responsabilità, Regolamentazione e Adozione). Lo studio ha generato circa 2.990 osservazioni paese-metrica-anno su sei anni di valutazione (2010, 2013, 2016, 2019, 2022, 2023).

Per ogni osservazione, sono state generate tre varianti di query (numerica diretta, comparativa regionale e contestualizzazione della governance), per un totale di 35.880 prompt. Le risposte sono state classificate utilizzando uno schema basato su regole a cinque categorie: Accuratezza Verificata (VF), Fabbricazione Sicura (HF), Rifiuto Onesto (HR), Esitazione Qualitativa (QH) e Errata Attribuzione (MF). L'analisi statistica ha impiegato una regressione logistica a effetti misti per stimare le disparità geografiche e un design di differenza nelle differenze (DiD) per valutare se l'origine nazionale dello sviluppatore del modello moderasse i differenziali di accuratezza.

Risultati Chiave
Contrariamente all'ipotesi dominante nella letteratura esistente, lo studio ha rilevato che i tassi di fabbricazione erano significativamente più alti per i paesi del Nord Globale rispetto ai paesi del Sud Globale in tutti e quattro i modelli.

• Variazione Regionale: L'Africa ha presentato la media di Accuratezza Verificata più alta (35,1%), seguita dalle Americhe (30,2%), mentre Europa (24,4%) e Oceania (23,5%) hanno mostrato un'accuratezza inferiore. L'Africa ha avuto probabilità significativamente inferiori di fabbricazione rispetto all'Europa (OR=0,52).
• Performance del Modello: Mistral Large 3 ha dimostrato l'accuratezza più elevata (tasso di fabbricazione più basso al 61,2%), mentre Llama 4 Maverick ha registrato il tasso di fabbricazione più alto (85,1%). L'identità del modello è stata il predittore più forte del tasso di fabbricazione.
• Origine dello Sviluppatore: L'analisi DiD ha fornito solo prove marginali (p=0,076) che l'origine dello sviluppatore moderi il bias geografico. I modelli di origine cinese hanno mostrato un leggero vantaggio di accuratezza per le query del Sud Globale rispetto ai modelli di origine occidentale, ma l'effetto è stato piccolo e non robusto rispetto alle correzioni per confronti multipli.
• Variazione Tematica: L'accuratezza varia drasticamente per tema. La dimensione "Sicurezza" (specificamente la capacità di calcolo dell'IA e i parametri del modello) ha presentato una fabbricazione quasi totale (tassi di VF vicini allo 0%), mentre la dimensione "Regolamentazione" ha mostato l'accuratezza più elevata (42,2% VF). L'Analisi delle Componenti Principali (PCA) ha rivelato che il bias geografico non è un singolo fattore generale, ma è diffuso e strutturato tematicamente, richiedendo 15 componenti per spiegare il 90% della varianza.
• Effetti Temporali: La prossimità al cutoff dei dati di addestramento non ha spiegato indipendentemente i pattern di accuratezza geografica una volta controllati l'identità del modello e le dimensioni tematiche.
• Comportamento della Risposta: I Rifiuti Onesti (HR) sono stati quasi assenti (<0,1%), indicando che i modelli frontier quasi mai declinano di rispondere a query fattuali, optando invece per fornire stime numeriche indipendentemente dalla certezza della conoscenza.

Significatività e Rivendicazioni
Il documento sostiene di fornire la prima valutazione rigorosa e riproducibile del bias geografico utilizzando modelli open-weight e un dataset di verità fondamentale verificato. I suoi principali contributi includono:

1. Correzione Metodologica: Dimostra che le precedenti scoperte sul bias geografico possono essere confuse da limiti temporali e schemi di classificazione binari. Distinguendo la fabbricazione dal rifiuto, lo studio rivela una realtà più complessa in cui i modelli spesso fabbricano con sicurezza per gli indicatori ad alto valore del Nord Globale piuttosto che limitarsi a rifiutare le query del Sud Globale.
2. Specificità Tematica: Lo studio stabilisce che i differenziali di accuratezza geografica non sono uniformi ma dipendono fortemente dal dominio tematico. L'estrema imprecisione riguardo alle metriche di calcolo dell'IA (Sicurezza) suggerisce un limite strutturale nella capacità degli LLM di gestire dati hardware quantitativi, indipendentemente dalla geografia.
3. Implicazioni di Governance: I risultati suggeriscono che nessun attuale modello frontier open-weight sia affidabile per dati quantitativi precisi sulla governance dell'IA. Lo studio conclude che la verifica umana rispetto alle fonti primarie rimane essenziale e che i professionisti dovrebbero trattare le risposte numeriche riguardanti l'infrastruttura dell'IA con estremo scetticismo.
4. Limitazioni del Dataset: Lo studio evidenzia una lacuna strutturale nell'infrastruttura di misurazione dell'etica dell'IA globale, notando che indicatori etici dedicati erano assenti dal dataset di verità fondamentale per la maggior parte della finestra di valutazione (2010–2022).

Il documento evita esplicitamente di affermare che il bias geografico sia assente; sostiene piuttosto che la sua manifestazione empirica è più complessa di un semplice "vantaggio del Nord Globale", essendo influenzata significativamente dalla scala e dalla specificità dei valori verificati nel frame di valutazione.