Technische Samenvatting: LINGUA-AUDIT

Probleemstelling

Nu Large Language Models (LLMs) steeds vaker worden ingezet als conversationele interfaces voor publieke diensten en sociale voorzieningen in meertalige samenlevingen, is een cruciale uitdaging ontstaan: AI-bemiddelde informatie-ongelijkheid. Dit fenomeen wordt gedefinieerd als de systematische divergentie in de substantiële, feitelijke en actiegerichte informatie die burgers wordt geboden die identieke informatiebehoeften hebben onder verschillende taalkundige condities.

In contexten met hoge inzet voor de burger (bijv. medische geschiktheid, wettelijke documentatie, sociale voorzieningen) zijn prestatieverschillen niet louter stilistisch of gebaseerd op vloeiendheid. In plaats daarvan manifesteren zij zich als substantiële schade waarbij niet-Engelse of code-switched (bijv. Hinglish) queries leiden tot incomplete, verouderde of feitelijk onjuiste begeleiding vergeleken met Engelse queries. Bestaande meertalige evaluaties richten zich grotendeels op oppervlakkige capaciteiten (perplexity, vertaalscores of meerkeuzeexamens) en falen in het beoordelen of identieke burgerlijke informatiebehoeften evenredig worden vervuld over verschillende talen heen.

Methodologie

Het artikel presenteert LINGUA-AUDIT, een reproduceerbaar framework ontworpen om substantiële informatie-ongelijkheid systematisch te evalueren. Het is een benchmark-ontwerp en meetprotocol, geen empirische vergelijking van live modellen.

1. Benchmark Ontwerp en Taakconstructie

• Omvang: Het framework verankert 150 real-world administratieve taken over vijf essentiële burgerlijke domeinen in India: Gezondheidszorg, Onderwijs, Publieke Diensten, Financiën en Algemene Kennis.
• Grondwaarheid (Ground Truth): Elke taak is geworteld in publieke statutaire autoriteiten die zijn opgenomen in een master taakregister (afkomstig van officiële richtlijnen, gazette-berichten, ministeriële circulaires en departementale domeinen). De grondwaarheid vertegenwoordigt echter de interne curatie door de auteur van het project op basis van officiële administratieve regelingen, in plaats van een onafhankelijk gecertificeerde juridische gouden standaard. Het register registreert namen van regelingen en uiterste datums, maar mist directe URL's, letterlijke tekstfragmenten uit de wetgeving en mapping van clausule-naar-feit. Taken zijn geïndexeerd door Onderliggende Informatiebehoeften (UINs), wat taal-agnostische conceptuele specificaties zijn van communicatieve intentie en feitelijke reikwijdte, waardoor de Engels-normatieve bias wordt geëlimineerd.
• Feitenstructuur: Elke taak bevat:
  • Kritieke Feiten (CF): 3 verplichte statutaire criteria per taak (bijv. inkomensgrenzen, deadlines).
  • Belangrijke Feiten (IF): 2 essentiële procedurele contexten per taak.
  • Veiligheidsrestricties: 1 expliciete grens per taak om financiële exploitatie te voorkomen.

2. Experimentele Configuratie

Het framework definieert een volledige factoriële matrix voor dataverzameling en scoring:

• 150 Taken × 3 Taalcondities (Formeel Engels, Devanagari Hindi, Geromaniseerd Hinglish) × 4 Target Model Slots (Google, OpenAI, Anthropic, Meta) × 3 Repetities.
• Totaal aantal cellen: 5.400 factoriële cellen.
• Huidige Status: Het artikel rapporteert over een deterministische software fixture (synthetische baseline) gegenereerd in het geheugen om de integriteit van de pipeline te verifiëren. Er zijn nog geen live model API-queries uitgevoerd; de 5.400 records zijn programmatische fixtures, geen echte modeloutputs.

3. Meetmetrieken

Het framework operationaliseert 13 responskwaliteitsmetrieken over vijf dimensies:

• Feitelijke Precisie: Claim-niveau precisie (M1) en contradictie-alleen precisie (M1b).
• Volledigheid & Omissie: Dekking van Kritieke Feiten (M2a), Gewogen Volledigheid (M2c) en Omissieratio van Kritieke Feiten (M3).
• Feitelijke Fouten: Gededupliceerde foutenaantallen (M4a), binaire foutindicatoren (M4b) en genormaliseerde foutenratio's (M4c).
• Authenticiteit & Veiligheid: Citatiekwaliteitsgraden (M5), domeinveiligheidsniveaus (M6) en semantische preservatie ten opzichte van UINs (M7).
• Stochastische Consistentie: Volledigheidsvariantie (M8a) en Kritieke Feit Jaccard Concordantie (M8b) over repetities.

4. Statistische Analyseplan

Een vooraf gespecificeerd statistisch plan maakt gebruik van:

• Generalized Linear Mixed Models (GLMMs) voor proportionele uitkomsten (Binomiaal voor M1, M2a, M3; Negatief Binomiaal voor M4a).
• Cumulative Link Mixed Models (CLMMs) voor ordinale ratings (M5, M6, M7).
• Two-Part Hurdle modellen voor variantie en concordantiemetrieken.
• Multipliciteitscontrole: Controle van de family-wise error rate via de Holm–Bonferroni step-down correctie voor een primaire bevestigende familie van 9 hypothesen (3 eindpunten × 3 taalcontrasten).

Belangrijkste Bijdragen

1. Burgerlijke Informatie Benchmark Ontwerp: Een gecureerde set van 150 administratieve taken geïndexeerd door taal-agnostische UIN's, wat verder gaat dan vertaalde corpora om authentieke gelokaliseerde probleemoplossing te testen.
2. Multi-dimensionale Operationele Metrieken: Wiskundige specificaties voor 13 metrieken die specifiek gericht zijn op substantiële informatie-ongelijkheid (omissies, hallucinaties, veiligheidsrisico's) in plaats van oppervlakkige vloeiendheid.
3. Methodologische Governance: Expliciete quarantaine van ongeldige eerdere synthetische evaluator-validatie-artefacten (waar automatische evaluatoren werden gekloond om als "menselijke" grondwaarheid te dienen) en een duidelijke scheiding tussen softwarecorrectheid en empirische constructvaliditeit.
4. Reproduceerbare Software Pipeline: Een open-source Python scoring-architectuur die is geverifieerd met 115 passerende unit- en regressietests tegen de 5.400-cel factoriële matrix.
5. Integratie van Code-switching: Het behandelen van Hindi-Engelse code-switching (Hinglish) als een primaire, eerste-orde evaluatieconditie naast formeel Engels en Hindi.

Resultaten en Validatiestatus

Het artikel stelt expliciet dat geen empirische modelvergelijkingen of taalverschil-ranglijsten worden gerapporteerd. De gepresenteerde resultaten zijn strikt technische validaties van het framework zelf:

• Pipeline Integriteit: De software heeft 5.400 synthetische records gegenereerd en geverifieerd met 100% dekking over de factoriële matrix.
• Cryptografische Verificatie: Het dataset fixture-bestand is cryptografisch geaudit met geverifieerde SHA-256 hashes.
• Baseline Diagnostiek: Synthetische fixtures vertoonden nul latentie en nul variantie over de repetities, wat de bekwaamheid van de pipeline bevestigt om data correct te parsen en te serialiseren.
• Validatiebeperkingen: Alle 13 kwaliteitsmetrieken blijven empirisch ongetoetst in afwachting van echte tweetalige menselijke annotatie. Een eerdere automatische evaluator-validatie bleek te steunen op gekloonde synthetische referenties en is in quarantaine geplaatst.

Betekenis en Claims

Het artikel positioneert LINGUA-AUDIT als een noodzakelijke infrastructuur voor algoritmische governance in meertalige samenlevingen. De betekenis ligt in:

• Verschuiving van het Evaluatieparadigma: Van "oppervlakkige vloeiendheid" naar "substantiële informatie-gelijkheid", waarbij wordt erkend dat in burgerlijke contexten een ontbrekend verplicht document of een verouderde deadline een tastbare administratieve schade vormt.
• Voorkomen van Circulaire Validatie: Door een "circulaire zelf-validatie"-fout bloot te leggen en in quarantaine te plaatsen (waar synthetische outputs werden aangezien voor menselijke grondwaarheid), vestigt het framework een rigoureuze standaard voor methodologische transparantie in AI-auditing.
• Toekomstbestendige Infrastructuur: Het framework biedt de vooraf gespecificeerde meetinstrumenten en statistische architectuur die vereist zijn om frontier-modellen te auditeren zodra de noodzakelijke live dataverzameling en menselijke evaluator-kalibratie zijn voltooid.

De auteur concludeert dat LINGUA-AUDIT nog niet beantwoordt of specifieke modellen ongelijkheid vertonen; het levert eerder het open, reproduceerbare en statistisch rigoureuze framework dat nodig is om dergelijke ongelijkheid te detecteren en te kwantificeren zodra de noodzakelijke empirische data (live modelresponses en menselijke annotaties) zijn verzameld.