Deterministic Preprocessing and Interpretable Fuzzy Banding for Cost-per-Student Reporting from Extracted Records

Ce papier présente un flux de travail déterministe et reproductible, implémenté dans le script `cad_processor.py`, qui traite des extraits de base de données pour générer des rapports de coût par étudiant avec des bandes floues interprétables afin d'éclairer les décisions administratives.

L'essentiel

Voici une explication de ce document technique, traduite en français simple, avec des analogies pour rendre le tout plus clair et vivant.

Imaginez que vous êtes le directeur d'une grande école. Chaque année, vous devez décider comment répartir l'argent du budget. Pour cela, vous avez besoin de savoir combien coûte l'éducation d'un seul étudiant dans chaque classe. Le problème ? Les données brutes arrivent souvent dans de gros fichiers Excel remplis de chiffres, de noms de matières et de coûts, un peu comme une immense boîte de Legos mélangés.

C'est là que les auteurs, Shane Lee et Stella Ng, interviennent avec leur "usine à données" magique. Voici comment cela fonctionne, étape par étape :

1. La Machine à Transformer (Le Prétraitement Déterministe)

Imaginez un robot très strict et très précis nommé cad_processor.py. Son travail est de prendre votre boîte de Legos (le fichier Excel brut) et de construire des châteaux parfaits (des rapports clairs).

• La règle d'or : "Si vous changez une seule brique, le château change."
  Le robot est "déterministe". Cela signifie qu'il ne fait jamais de suppositions. Si vous lui donnez exactement le même fichier d'entrée, il produira exactement le même résultat, à la virgule près, chaque fois. C'est comme une recette de cuisine : si vous utilisez les mêmes ingrédients et la même recette, vous obtiendrez toujours le même gâteau.
• L'empreinte digitale du fichier :
  Avant même de commencer, le robot prend une "photo numérique" (un hachage SHA-256) de votre fichier d'entrée. C'est comme une empreinte digitale unique. Si quelqu'un modifie même un seul centime dans le fichier original, l'empreinte change. Cela permet de prouver plus tard : "Nous avons bien utilisé ce fichier précis pour faire ce rapport." C'est la garantie que personne n'a triché avec les chiffres.

2. Le Tri des Données (Le Nettoyage)

Le robot trie les données avec une rigueur militaire :

• Il ignore les lignes qui disent "Total" ou "Somme" (car elles comptent déjà tout).
• Il transforme les cases vides en "0" (pour ne pas casser les calculs).
• Il jette les nombres négatifs (on ne peut pas avoir -5 étudiants !).
• Il calcule le coût par étudiant : Coût total ÷ Nombre d'étudiants.
  • Petite astuce : Si le coût est de 0 et les étudiants sont 0, le robot dit "Pas d'activité" (0/0 = 0).
  • Si le coût est de 1000€ mais qu'il n'y a aucun étudiant, le robot dit "Indéfini" (on ne peut pas diviser par zéro). Il laisse la case vide pour ne pas mentir.

3. Le Rapport Final (Les 4 Feuilles Magiques)

À la fin, le robot sort un nouveau fichier Excel avec 4 pages (feuilles) très organisées :

1. Résumé du traitement : C'est le journal de bord. Il dit : "J'ai lu 1000 lignes, j'ai jeté 10 lignes vides, et voici l'empreinte digitale du fichier original."
2. Analyse des tendances : Une carte de chaleur. Imaginez une carte où chaque école est colorée en vert, jaune ou rouge selon son coût par étudiant. Plus c'est rouge, plus c'est cher.
3. Rapport détaillé : La liste complète de toutes les matières, année par année.
4. Les Bandes Floues (Fuzzy Bands) : C'est la partie la plus créative.

4. Les "Bandes Floues" : Le Système de Feux de Signalisation

C'est ici que l'histoire devient intéressante. Au lieu de juste donner un chiffre précis (ex: 15 432 $), le système veut vous dire si c'est "Pas cher", "Moyen" ou "Cher". Mais comment définir "cher" ?

• L'analogie du thermomètre :
  Imaginez que pour chaque année, le robot regarde tous les coûts et trouve le plus bas (le froid), le plus haut (la canicule) et le milieu (le confort).

  • Bas (Low) : Proche du minimum.
  • Moyen (Medium) : Au milieu.
  • Haut (High) : Proche du maximum.

• La magie du "Flou" (Fuzzy) :
  Dans la vraie vie, les choses ne sont pas toujours noires ou blanches. Si un coût est exactement à la frontière entre "Moyen" et "Cher", le robot ne vous dit pas "C'est Chér". Il vous dit : "C'est à 50% Moyen et 50% Chér".
  C'est comme un feu de signalisation qui passe du vert au jaune, puis au rouge. Le robot vous donne la couleur exacte du feu à cet instant précis.

  • Pourquoi faire ? Pour aider à la décision. Si vous voyez une école en "Rouge" (Haut), vous savez qu'il faut regarder de plus près. Mais comme le robot vous donne aussi le chiffre exact et la "force" de la couleur (la probabilité d'appartenir à la catégorie), vous ne perdez pas la précision.

5. Pourquoi est-ce si important ?

Ce système répond à deux questions cruciales pour les décideurs :

1. Peut-on faire confiance aux chiffres ? Oui, car tout est enregistré, traçable et reproductible. Si vous refaites le calcul demain avec le même fichier, vous obtiendrez le même résultat.
2. Peut-on comprendre les chiffres ? Oui, grâce aux "Bandes Floues". Au lieu de se perdre dans des milliers de chiffres, on voit immédiatement qui est "Cher" ou "Pas cher" par rapport à la moyenne de l'année, sans perdre la possibilité de vérifier les détails.

En résumé :
C'est comme si vous aviez un assistant personnel ultra-rigoureux qui prend vos factures en vrac, les trie, calcule tout parfaitement, vous donne une empreinte digitale pour prouver qu'il n'a rien truqué, et enfin, vous montre un tableau de bord coloré (Vert/Jaune/Rouge) pour vous aider à décider où investir votre argent, tout en vous gardant les détails précis sous la main si vous voulez vérifier.

Résumé technique

Voici un résumé technique détaillé de l'article "Deterministic Preprocessing and Interpretable Fuzzy Banding for Cost-per-Student Reporting from Extracted Records" (Prétraitement déterministe et bandes floues interprétables pour la reporting du coût par étudiant à partir de données extraites), rédigé en français.

1. Problématique

Les institutions universitaires s'appuient souvent sur des extraits de bases de données administratives (sous forme de feuilles de calcul Excel) pour le budget, l'analyse de la charge de travail et la gouvernance. Cependant, ces extraits bruts posent plusieurs défis :

• Manque de transparence : Lorsque les tableaux dérivés sont utilisés comme référence pour la prise de décision, il est difficile de vérifier comment les transformations ont été appliquées.
• Problèmes de reproductibilité : Sans un enregistrement strict des règles et des données d'entrée, il est impossible de rejouer les mêmes calculs pour vérifier les résultats.
• Interprétation difficile : Les ratios bruts (coût par étudiant) sont difficiles à interpréter sans contexte. Une simple valeur numérique ne permet pas de dire rapidement si un coût est "faible", "moyen" ou "élevé" par rapport à l'année en cours.
• Gestion des cas limites : Les données manquantes, les zéros et les divisions par zéro (coût > 0 mais nombre d'étudiants = 0) doivent être traités de manière cohérente pour éviter des erreurs d'agrégation.

L'article vise à résoudre ces problèmes en proposant un flux de travail déterministe et auditables, enrichi d'une couche d'interprétation basée sur la logique floue.

2. Méthodologie

L'approche proposée repose sur un script Python (cad_processor.py) qui transforme un classeur d'entrée (export de la base de données des enseignants occasionnels, CAD) en un classeur de sortie structuré.

A. Prétraitement Déterministe et Agrégation

Le flux de travail suit une séquence fixe de règles :

1. Détection et Normalisation : Le script localise automatiquement la feuille et l'en-tête de données, normalise les champs (ex: School, Subject No., Teaching Session, Incl Oncosts, Student Count).
2. Filtrage et Nettoyage des Lignes :
   • Les lignes avec des clés manquantes (École, Matière) ou sans année détectable sont rejetées et comptabilisées.
   • Les lignes de résumé (Total, Somme) sont ignorées.
   • Les valeurs manquantes de coûts sont traitées comme 0.0 et les comptes d'étudiants manquants comme 0, avec un comptage explicite de ces occurrences.
   • Les comptes d'étudiants négatifs sont exclus.
3. Agrégation : Les données sont agrégées par niveau Matière-Année et École-Année.
4. Calcul du Ratio : Le coût par étudiant est calculé comme Total_Coûts / Total_Étudiants.
   • Si Étudiants > 0 : Ratio calculé.
   • Si Coûts = 0 et Étudiants = 0 : Statut "Aucune activité" (Ratio = 0.0).
   • Si Coûts > 0 et Étudiants = 0 : Statut "Indéfini" (Cellule laissée vide pour visibilité).
5. Traçabilité (Audit) :
   • Un hachage SHA-256 du fichier d'entrée est calculé pour garantir que le résultat correspond exactement à un instantané (snapshot) spécifique des données.
   • Des compteurs détaillés (lignes vues, lignes rejetées, valeurs manquantes) sont enregistrés.

B. Bandes Floues Interprétables (Fuzzy Banding)

Pour faciliter l'interprétation intra-annuelle, une couche de logique floue est appliquée :

• Ancres (Anchors) : Pour chaque année, trois points de référence sont calculés à partir des ratios valides (finis et positifs) : le Minimum, la Médiane et le Maximum.
• Fonctions d'appartenance : Trois fonctions de membres (gauche, triangulaire, droite) sont utilisées pour mapper chaque ratio vers des degrés d'appartenance (poids) aux catégories : Faible (Low), Moyen (Medium), Élevé (High).
  • Low : Fonction épaule gauche (décroît de 1 à 0 entre le min et la médiane).
  • Medium : Fonction triangulaire (pic à la médiane).
  • High : Fonction épaule droite (croît de 0 à 1 entre la médiane et le max).
• Attribution de l'étiquette : La catégorie attribuée est celle ayant le poids d'appartenance le plus élevé. En cas d'égalité (ex: poids égal pour Low et Medium), une règle de désenchevêtrement déterministe est appliquée dans l'ordre : Moyen > Faible > Élevé.
• Résultat : Chaque ratio conserve sa valeur numérique, mais se voit attribuer une étiquette et un score (0.0 à 1.0) pour une lecture rapide.

3. Contributions Clés

1. Flux de travail Auditables et Reproductibles :

   • L'utilisation du hachage SHA-256 permet de lier irrévocablement le rapport final aux données brutes d'entrée.
   • La structure de sortie inclut un onglet "Processing Summary" documentant l'ensemble du processus (compteurs, règles appliquées, ancrages).
   • Cela répond aux principes FAIR (Findability, Accessibility, Interoperability, Reuse) pour la gestion des données.

2. Interprétabilité par Bandes Floues Déterministes :

   • Contrairement aux approches probabilistes, les poids d'appartenance sont traités comme des signaux de soutien à la décision.
   • L'utilisation d'ancres spécifiques à chaque année (Min, Médiane, Max) permet des comparaisons équitables au sein d'une année, évitant les biais d'une échelle globale fixe.
   • La règle de désenchevêtrement fixe élimine l'ambiguïté pour les valeurs limites.

3. Artefacts de Preuve (Claim-to-Evidence) :

   • L'article fournit une matrice reliant chaque affirmation technique à des éléments concrets (lignes de code, cellules de feuille de calcul, noms de fichiers), permettant une vérification directe par relecture ou re-calcul.

4. Gestion Rigoureuse des Cas Limites :

   • Distinction claire entre "Zéro", "Manquant" et "Indéfini", avec une documentation explicite de la manière dont chaque cas est traité et compté.

4. Résultats

L'application de cette méthodologie sur des données synthétiques (et des extraits réels anonymisés) a produit un classeur de sortie contenant quatre feuilles :

1. Processing Summary : Récapitulatif de l'exécution, hachage SHA-256, et compteurs de qualité des données.
2. Trend Analysis : Matrice des coûts par étudiant par école et année, avec un codage couleur conditionnel basé sur les ancrages annuels.
3. Report : Tableau détaillé au niveau de la matière, permettant de reconstruire les totaux par école.
4. Fuzzy Bands : Tableau associant chaque ratio à ses poids d'appartenance, son étiquette (Low/Medium/High) et les ancrages utilisés.

Les résultats démontrent que le système permet de :

• Vérifier la cohérence des totaux par re-calcul.
• Identifier rapidement les anomalies (via les compteurs de lignes rejetées).
• Interpréter les variations de coûts sans perdre la précision numérique sous-jacente.

5. Signification et Impact

Cet article propose une solution pragmatique pour l'administration universitaire et la gouvernance des données :

• Confiance et Transparence : En rendant le processus de transformation "boîte noire" en "boîte blanche" et déterministe, il renforce la confiance des parties prenantes dans les rapports budgétaires.
• Décision Éclairée : La couche de bandes floues transforme des données brutes complexes en informations actionnables (Low/Medium/High) tout en préservant la traçabilité vers les données brutes.
• Modèle de Gouvernance : Il sert de modèle pour d'autres domaines nécessitant un traitement de données administratives reproductible, en particulier là où l'auditabilité est critique.
• Approche Hybride : Il combine efficacement le traitement de données rigoureux (déterministe) avec la flexibilité de l'interprétation humaine (logique floue), sans sacrifier la rigueur mathématique.

En conclusion, ce travail démontre qu'il est possible de créer des rapports administratifs à la fois automatisés, vérifiables mathématiquement et intuitivement interprétables pour les décideurs non techniques.