Sintesi Tecnica: LINGUA-AUDIT

Definizione del Problema

Poiché i Large Language Models (LLM) vengono sempre più impiegati come interfacce conversazionali per i servizi pubblici e gli schemi di welfare civico in società multilingue, è emersa una sfida critica: la disuguaglianza informativa mediata dall'IA. Questo fenomeno è definito come la divergenza sistematica tra le informazioni sostanziali, fattuali e azionabili fornite ai cittadini che presentano identici bisogni informativi in diverse condizioni linguistiche.

In contesti civici ad alto rischio (ad es., idoneità all'assistenza sanitaria, documentazione statutaria, schemi di welfare), le disparità di prestazione non sono meramente stilistiche o basate sulla fluidità. Esse si manifestano invece come danni sostanziali, in cui le query in lingue diverse dall'inglese o in codice misto (ad es., l'Hinglish) generano una guida incompleta, obsoleta o fattualmente errata rispetto alle query in inglese. Le attuali valutazioni multilingue si concentrano ampiamente su capacità superficiali (perplessità, punteggi di traduzione o esami a scelta multipla) e non riescono a valutare se identici bisogni informativi civici siano soddisfatti equamente tra le diverse lingue.

Metodologia

Il documento presenta LINGUA-AUDIT, un framework riproducibile progettato per valutare sistematicamente la disuguaglianza informativa sostanziale. Si tratta di un protocollo di progettazione e misurazione di benchmark, non di un confronto empirico di modelli reali.

1. Progettazione del Benchmark e Costruzione dei Task

• Ambito: Il framework ancora 150 task amministrativi reali attraverso cinque domini civici essenziali in India: Sanità, Istruzione, Servizi Pubblici, Finanza e Cultura Generale.
• Verità Fondamentale (Ground Truth): Ogni task è ancorato ad autorità statutarie pubbliche registrate in un registro master dei task (tratto da linee guida ufficiali, notifiche di gazzetta, circolari ministeriali e domini dipartimentali). Tuttavia, la verità fondamentale rappresenta una curatela interna dell'autore del progetto basata su schemi amministrativi ufficiali, piuttosto che uno standard legale certificato indipendentemente. Il registro registra i nomi degli schemi e le date di scadenza ma manca di URL diretti, estratti statutari letterali e mappatura tra clausole e fatti. I task sono indicizzati per Bisogni Informativi Sottostanti (UIN), che sono specifiche concettuali del intento comunicativo e dell'ambito fattuale indipendenti dalla lingua, eliminando il pregiudizio normativo dell'inglese.
• Struttura dei Fatti: Ogni task include:
  • Fatti Critici (CF): 3 criteri statutari obbligatori per task (ad es., tetti di reddito, scadenze).
  • Fatti Importanti (IF): 2 contesti procedurali essenziali per task.
  • Vincoli di Sicurezza: 1 confine esplicito per task per prevenire lo sfruttamento finanziario.

2. Configurazione Sperimentale

Il framework definisce una matrice fattoriale completa per la raccolta dei dati e la punteggiatura:

• 150 Task × 3 Condizioni Linguistiche (Inglese Formale, Hindi in Devanagari, Hinglish Romanizzato) × 4 Slot di Modelli Target (Google, OpenAI, Anthropic, Meta) × 3 Ripetizioni.
• Totale Celle: 5.400 celle fattoriali.
• Stato Attuale: Il documento riporta su un dispositivo software deterministico (baseline sintetica) generato in memoria per verificare l'integrità della pipeline. Non sono state ancora eseguite query API di modelli reali; i 5.400 record sono fixture programmatiche, non output reali di modelli.

3. Metriche di Misurazione

Il framework opera 13 metriche di qualità della risposta attraverso cinque dimensioni:

• Precisione Fattuale: Precisione a livello di claim (M1) e precisione basata solo sulle contraddizioni (M1b).
• Completezza e Omissione: Copertura dei Fatti Critici (M2a), Completezza Pesata (M2c) e Tasso di Omissione dei Fatti Critici (M3).
• Errori Fattuali: Conteggio degli errori de-duplicati (M4a), indicatori binari di errore (M4b) e tassi di errore normalizzati (M4c).
• Autenticità e Sicurezza: Gradi di qualità delle citazioni (M5), livelli di sicurezza del dominio (M6) e preservazione semantica rispetto agli UIN (M7).
• Consistenza Stocastica: Varianza della completezza (M8a) e Concordanza di Jaccard dei Fatti Critici (M8b) tra le ripetizioni.

4. Piano di Analisi Statistica

Un piano statistico pre-specificato utilizza:

• Modelli Lineari Generalizzati Misti (GLMM) per esiti proporzionali (Binomiale per M1, M2a, M3; Negative Binomial per M4a).
• Modelli Lineari Cumulativi Misti (CLMM) per valutazioni ordinali (M5, M6, M7).
• Modelli a due parti (Hurdle models) per le metriche di varianza e concordanza.
• Controllo della Molteplicità: Controllo del tasso di errore per famiglia tramite la correzione step-down Holm–Bonferroni per una famiglia primaria di 9 ipotesi confermatorie (3 endpoint × 3 contrasti linguistici).

Contributi Chiave

1. Design del Benchmark per l'Informazione Civica: Un set curato di 150 task amministrativi indicizzati tramite UIN indipendenti dalla lingua, andando oltre i corpora tradotti per testare l'autentico problem-solving localizzato.
2. Metriche Operative Multidimensionali: Specifiche matematiche per 13 metriche che mirano specificamente alla disuguaglianza informativa sostanziale (omissioni, allucinazioni, rischi di sicurezza) piuttosto che alla fluidità superficiale.
3. Governance Metodologica: Esplicita quarantena di artefatti di validazione di valutatori sintetici non validi (dove gli valutatori automatizzati erano stati clonati per servire come ground truth "umano") e una chiara separazione tra la correttezza del software e la validità del costrutto empirico.
4. Pipeline Software Riproducibile: Un'architettura di scoring in Python open-source verificata da 115 test unitari e di regressione superati contro la matrice fattoriale di 5.400 celle.
5. Integrazione del Code-Switching: Trattare il code-switching Hindi-Inglese (Hinglish) come una condizione di valutazione primaria e di primo livello insieme all'inglese formale e all'hindi.

Risultati e Stato di Validazione

Il documento dichiara esplicitamente che non vengono riportati confronti empirici tra modelli o classifiche di disparità linguistica. I risultati presentati sono strettamente validazioni tecniche del framework stesso:

• Integrità della Pipeline: Il software ha generato e verificato con successo 5.400 record sintetici con il 100% di copertura attraverso la matrice fattoriale.
• Verifica Crittografica: Il file fixture del dataset è stato sottoposto ad audit crittografico con hash SHA-256 verificati.
• Diagnostica Baseline: Le fixture sintetiche hanno mostrato latenza zero e varianza zero tra le ripetizioni, confermando la capacità della pipeline di analizzare e serializzare i dati correttamente.
• Limitazioni della Validazione: Tutte le 13 metriche di qualità rimangono empiricamente non validate in attesa di una genuina annotazione umana bilingue. Una precedente validazione di un valutatore automatico è stata identificata come dipendente da riferimenti sintetici clonati ed è stata messa in quarantena.

Significato e Rivendicazioni

Il documento posiziona LINGUA-AUDIT come un'infrastruttura necessaria per la governance algoritmica nelle società multilingue. Il suo significato risiede nel:

• Spostamento del Paradigma di Valutazione: Passare dalla "fluidità superficiale" all' "equità informativa sostanziale", riconoscendo che in contesti civici, un documento mancante o una scadenza obsoleta costituiscono un danno amministrativo tangibile.
• Prevenzione della Validazione Circolare: Esponendo e mettendo in quarantena un errore di "auto-validazione circolare" (dove gli output sintetici erano scambiati per ground truth umano), il framework stabilisce uno standard rigoroso per la trasparenza metodologica nell'audit dell'IA.
• Infrastruttura Pronta per il Futuro: Il framework fornisce gli strumenti di misurazione prespecificati e l'architettura statistica necessari per sottoporre a audit i modelli di frontiera una volta completata la raccolta dei dati reali (risposte dei modelli reali e annotazioni umane).

L'autore conclude che LINGUA-AUDIT non risponde ancora se modelli specifici mostrino disuguaglianza; piuttosto, fornisce il framework aperto, riproducibile e statisticamente rigoroso necessario per rilevare e quantificare tale disuguaglianza una volta raccolti i necessari dati empirici (risposte dei modelli reali e annotazioni umane).