Résumé Technique : LINGUA-AUDIT

Problématique

Alors que les modèles de langage de grande taille (LLM) sont de plus en plus déployés comme interfaces conversationnelles pour les services publics et les programmes de protection sociale dans les sociétés multilingues, un défi critique est apparu : l'inégalité d'information médiée par l'IA. Ce phénomène se définit comme la divergence systématique dans l'information substantielle, factuelle et actionnable fournie aux citoyens exprimant des besoins informationnels identiques à travers différentes conditions linguistiques.

Dans les contextes civiques à enjeux élevés (ex. : éligibilité aux soins de santé, documentation statutaire, programmes de protection sociale), les disparités de performance ne sont pas simplement stylistiques ou basées sur la fluidité. Elles se manifestent plutôt sous forme de préjudices substantiels où les requêtes en langues autres que l'anglais ou en alternance codique (ex. : Hinglish) produisent des orientations incomplètes, obsolètes ou factuellement erronées par rapport aux requêtes en anglais. Les évaluations multilingues existantes se concentrent largement sur les capacités de surface (perplexité, scores de traduction ou examens à choix multiples) et échouent à évaluer si les besoins d'information civique identiques sont satisfaits de manière équitable entre les langues.

Méthodologie

Le document présente LINGUA-AUDIT, un cadre reproductible conçu pour évaluer systématiquement l'inégalité d'information substantielle. Il s'agit d'un protocole de conception de benchmark et de mesure, et non d'une comparaison empirique de modèles réels.

1. Conception du Benchmark et Construction des Tâches

• Portée : Le cadre s'appuie sur 150 tâches administratives réelles réparties dans cinq domaines civiques essentiels en Inde : Santé, Éducation, Services Publics, Finance et Culture Générale.
• Vérité de Terrain (Ground Truth) : Chaque tâche est ancrée dans des autorités statutaires publiques enregistrées dans un registre central de tâches (sourcé à partir de directives officielles, de notifications de la gazette, de circulaires ministérielles et de domaines départementaux). Cependant, la vérité de terrain représente une curation interne par l'auteur du projet basée sur des programmes administratifs officiels, plutôt qu'un étalon-or juridique certifié de manière indépendante. Le registre enregistre les noms de programmes et les dates limites mais manque d'URL directes, d'extraits statutaires verbatim et de cartographie d'alignement clause-fait. Les tâches sont indexées par des Besoins d'Information Sous-jacents (UIN - Underlying Information Needs), qui sont des spécifications conceptuelles du langage et de la portée factuelle indépendantes de la langue, éliminant ainsi le biais normatif de l'anglais.
• Structure des Faits : Chaque tâche inclut :
  • Faits Critiques (CF) : 3 critères statutaires obligatoires par tâche (ex. : plafonds de revenus, échéances).
  • Faits Importants (IF) : 2 contextes procéduraux essentiels par tâche.
  • Contraintes de Sécurité : 1 limite explicite par tâche pour prévenir l'exploitation financière.

2. Configuration Expérimentale

Le cadre définit une matrice factorielle complète pour la collecte de données et la notation :

• 150 Tâches × 3 Conditions Linguistiques (Anglais formel, Hindi en caractères Devanagari, Hinglish romanisé) × 4 Créneaux de Modèles Cibles (Google, OpenAI, Anthropic, Meta) × 3 Répétitions.
• Total de Cellules : 5 400 cellules factorielles.
• Statut Actuel : Le document fait état d'un dispositif logiciel déterministe (base synthétique) généré en mémoire pour vérifier l'intégrité du pipeline. Aucune requête d'API de modèle réel n'a encore été exécutée ; les 5 400 enregistrements sont des dispositifs programmatiques, et non de véritables sorties de modèles.

3. Métriques de Mesure

Le cadre opérationnalise 13 métriques de qualité de réponse à travers cinq dimensions :

• Précision Factuelle : Précision au niveau de l'affirmation (M1) et précision de contradiction uniquement (M1b).
• Complétude et Omission : Couverture des Faits Critiques (M2a), Complétude Pondérée (M2c) et Taux d'Omission des Faits Critiques (M3).
• Erreurs Factuelles : Comptes d'erreurs dédupliqués (M4a), indicateurs d'erreur binaires (M4b) et taux d'erreur normalisés (M4c).
• Authenticité et Sécurité : Grades de qualité de citation (M5), niveaux de sécurité du domaine (M6) et préservation sémantique par rapport aux UIN (M7).
• Cohérence Stochastique : Variance de complétude (M8a) et Concordance de Jaccard des Faits Critiques (M8b) à travers les répétitions.

4. Plan d'Analyse Statistique

Un plan statistique préspécifié utilise :

• Modèles Linéaires Mixtes Généralisés (GLMM) pour les résultats proportionnels (Binomial pour M1, M2a, M3 ; Négatif Binomial pour M4a).
• Modèles Mixtes à Liens Cumulatifs (CLMM) pour les évaluations ordinales (M5, M6, M7).
• Modèles de Type "Hurdle" à deux parties pour les métriques de variance et de concordance.
• Contrôle de la Multiplicité : Contrôle du taux d'erreur par famille via la correction descendante de Holm–Bonferroni pour une famille d'hypothèses de confirmation primaire (3 points de terminaison × 3 contrastes linguistiques).

Contributions Clés

1. Conception de Benchmark pour l'Information Civique : Un ensemble de 150 tâches administratives indexées par des UIN indépendants de la langue, allant au-delà des corpus traduits pour tester une résolution de problèmes localisée authentique.
2. Métriques Opérationnelles Multidimensionnelles : Spécifications mathématiques pour 13 métriques qui ciblent spécifiquement l'inégalité d'information substantielle (omissions, hallucinations, risques de sécurité) plutôt que la fluidité de surface.
3. Gouvernance Méthodologique : Mise en quarantaine explicite des artefacts de validation d'évaluateur automatisé invalides antérieurs (où les évaluateurs automatisés étaient clonés pour servir de vérité de terrain "humaine") et une séparation claire entre la correction logicielle et la validité de construit empirique.
4. Pipeline Logiciel Reproductible : Une architecture de notation en Python open-source vérifiée par 115 tests unitaires et de régression réussis contre la matrice factorielle de 5 400 cellules.
5. Intégration de l'Alternance Codique : Traiter l'alternance codique Hindi-Anglais (Hinglish) comme une condition d'évaluation primaire et de premier rang aux côtés de l'anglais formel et du hindi.

Résultats et État de Validation

Le document stipule explicitement qu'aucune comparaison de modèles empiriques ou de classement de disparité linguistique n'est rapportée. Les résultats présentés sont strictement des validations techniques du cadre lui-même :

• Intégrité du Pipeline : Le logiciel a généré et vérifié avec succès 5 400 enregistrements synthétiques avec une couverture de 100 % à travers la matrice factorielle.
• Vérification Cryptographique : Le fichier de dispositif du jeu de données a été audité de manière cryptographique avec des hachages SHA-256 vérifiés.
• Diagnostics de Base : Les dispositifs synthétiques ont montré une latence nulle et une variance nulle à travers les répétitions, confirmant la capacité du pipeline à analyser et sérialiser les données correctement.
• Limitations de la Validation : Toutes les 13 métriques de qualité restent empiriquement non validées en attendant une véritable annotation humaine bilingue. Une validation antérieure d'évaluateur automatisé a été jugée dépendante de références synthétiques clonées et a été mise en quarantaine.

Signification et Revendications

Le document positionne LINGUA-AUDIT comme une infrastructure nécessaire pour la gouvernance algorithmique dans les sociétés multilingues. Sa signification réside dans :

• Changement de Paradigme d'Évaluation : Passer de la "fluidité de surface" à l' "équité d'information substantielle", en reconnaissant que dans les contextes civiques, un document obligatoire manquant ou une échéance obsolète constitue un préjudice administratif tangible.
• Prévention de la Validation Circulaire : En exposant et en mettant en quarantaine une erreur de "auto-validation circulaire" (où des sorties synthétiques ont été confondues avec une vérité de terrain humaine), le cadre établit un standard rigoureux de transparence méthodologique pour l'audit de l'IA.
• Infrastructure Prête pour l'Avenir : Le cadre fournit les instruments de mesure préspécifiés et l'architecture statistique requis pour auditer les modèles de pointe une fois que la collecte de données réelles (réponses de modèles réels et annotations humaines) sera complétée.

L'auteur conclut que LINGUA-AUDIT ne répond pas encore à la question de savoir si des modèles spécifiques présentent une inégalité ; il fournit plutôt le cadre ouvert, reproductible et statistiquement rigoureux requis pour détecter et quantifier une telle inégalité une fois que les données empiriques nécessaires (réponses de modèles réels et annotations humaines) seront rassemblées.