Deterministic Preprocessing and Interpretable Fuzzy Banding for Cost-per-Student Reporting from Extracted Records

Dit paper beschrijft een deterministisch, regelgebaseerd workflow-script dat administratieve data verwerkt tot kost-per-student-ratio's en deze interpreteert via een transparante, per-jaar gefuzzynde bandering voor besluitvorming.

De kern

Stel je voor dat je een enorme, rommelige berg papieren hebt: de administratie van honderden docenten, hun salarissen, de vakken die ze geven en het aantal studenten dat ze hebben. Voor een schoolbestuur is het lastig om uit die berg papier te halen hoeveel het eigenlijk kost om één student te onderwijzen.

Deze paper beschrijft een slimme, automatische machine die deze rommel opruimt en omzet in een duidelijk, betrouwbaar rapport. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Digitale Fotograaf" (Deterministische Verwerking)

Stel je voor dat je een foto maakt van die rommelige administratie op een specifiek moment. In de echte wereld kunnen mensen bij het kopiëren van cijfers fouten maken of vergeten regels te volgen.

De auteurs hebben een computerprogramma (cad_processor.py) gemaakt dat werkt als een perfecte, onverbeterlijke fotograaf.

• Hetzelfde plaatje, zelfde resultaat: Als je exact dezelfde administratie (dezelfde "foto") twee keer in de machine stopt, krijg je twee keer precies hetzelfde resultaat. Geen gissingen, geen "ik dacht dat het zo was".
• De vingerafdruk: De machine maakt een digitale vingerafdruk (een SHA-256 hash) van het originele bestand. Als iemand later zegt: "Kijk, dit is het rapport!", kun je controleren of de vingerafdruk van het rapport overeenkomt met de originele administratie. Zo weet je zeker dat niemand in tussentijd de cijfers heeft aangepast.

2. De "Schoonmaakster" (Data Opschonen)

Voordat de machine de cijfers kan optellen, moet ze de rommel opruimen.

• Lege vakjes: Als er geen bedrag staat, telt de machine het als "0" (alsof er niets is gekocht), maar ze houdt wel een lijstje bij: "Oh, hier was een gat."
• Foute rijen: Als er rijen staan met woorden als "Totaal" of "Som" (die vaak onderaan tabellen staan), gooit de machine die eruit, want die zijn al berekend en tellen niet mee als nieuwe data.
• Negatieve studenten: Als er per ongeluk staat dat er -5 studenten zijn, gooit de machine die rij direct weg. Dat is immers onmogelijk.

3. De "Rekenmachine" (Kosten per Student)

Nu de data schoon is, doet de machine de hoofdrekening:

• De formule: Totale kosten gedeeld door het aantal studenten.
• De uitzonderingen:
  • Als er kosten zijn maar 0 studenten, zegt de machine: "Dit is onbepaald" (je kunt niet delen door nul).
  • Als er 0 kosten en 0 studenten zijn, zegt ze: "Geen activiteit" (0.0).
  • Dit is belangrijk, want in een gewone Excel-tabel zou dit vaak een foutmelding zijn. Hier wordt het duidelijk gelabeld.

4. De "Smaakmaker" (Fuzzy Banding)

Dit is het meest creatieve deel. Stel je voor dat je een klas hebt met kosten per student. Sommige zijn heel goedkoop, sommige heel duur. Hoe vertel je dat aan een bestuurder zonder dat ze door de cijfers heen moeten bladeren?

De machine gebruikt een smaaktest (Fuzzy Banding):

• De drie smaken: Ze kijkt naar de goedkoopste, de gemiddelde en de duurste school in een jaar.
  • Laag (Low): Dicht bij de goedkoopste.
  • Midden (Medium): Dicht bij de gemiddelde.
  • Hoog (High): Dicht bij de duurste.
• Geen harde grenzen: In de echte wereld is iets niet altijd "goedkoop" of "duur". Het kan "een beetje goedkoop" zijn. De machine geeft daarom een graad van smaak (een getal tussen 0 en 1).
  • Voorbeeld: Een school kan 60% "Laag" en 40% "Midden" zijn.
• Beslissing: Als het precies in het midden zit (bijvoorbeeld 50/50), kiest de machine op een vaste manier voor "Midden". Zo blijft het eerlijk en voorspelbaar.

5. Het "Verslagboek" (De Output)

Uiteindelijk krijg je een nieuw Excel-bestand met vier duidelijke pagina's:

1. Samenvatting: De vingerafdruk van het origineel, hoeveel rijen er zijn gecontroleerd en hoeveel er zijn weggegooid.
2. Trend: Een overzicht per school en jaar, met kleuren die aangeven of het goedkoop of duur is (gebaseerd op de smaaktest).
3. Rapport: Een gedetailleerde lijst per vak, zodat je kunt narekenen waar de totale som vandaan komt.
4. De Smaaktest: De lijst met de "Laag/Midden/Hoog" labels en de exacte percentages die daarachter zitten.

Waarom is dit belangrijk?

In het verleden waren dit soort rapporten vaak "zwarte dozen": je kreeg een Excel-sheet, maar je wist niet hoe de cijfers waren berekend of of er fouten in zaten.

Met dit systeem is het glazen huis:

• Je kunt de "receptuur" (de code) zien.
• Je kunt de "ingrediënten" (de originele data) controleren.
• Je kunt het resultaat zelf narekenen.

Het maakt budgetbeslissingen eerlijker, omdat iedereen weet dat de cijfers niet zijn "opgepoetst" of willekeurig gekozen, maar zijn voortgekomen uit een strikt, controleerbaar proces. Het is alsof je niet alleen het eindgerecht krijgt, maar ook het recept en de ingrediëntenlijst om te zien of het echt zo is bereid.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Deterministic Preprocessing and Interpretable Fuzzy Banding for Cost-per-Student Reporting from Extracted Records" in het Nederlands.

Titel: Deterministische Preprocessing en Interpretable Fuzzy Banding voor Rapportage van Kosten per Student op Basis van Geëxtraheerde Records

Auteurs: Shane Lee en Stella Ng (University of Technology Sydney)

---

1. Probleemstelling

Administratieve gegevensuitvoer (extracten) uit operationele systemen worden vaak uitgewisseld als spreadsheets en fungeren als basis voor begrotingen, werklastbeoordelingen en governance-beslissingen. Wanneer een geëxporteerd werkmapje (workbook) dient als referentie voor dergelijke beslissingen, ontstaat er een kritieke uitdaging: verifieerbaarheid en reproduceerbaarheid.

In traditionele workflows is het moeilijk om te controleren of een gegenereerd rapport daadwerkelijk voortkomt uit de specifieke invoerdata en de toegepaste regels. Er is vaak geen transparantie over hoe rijen zijn behandeld (bijv. ontbrekende waarden, uitsluitingen) of hoe de berekeningen zijn uitgevoerd. Dit ondermijnt het vertrouwen in afgeleide tabellen, zoals de "kosten per student", die cruciaal zijn voor toewijzing van middelen. De auteurs stellen dat er behoefte is aan een workflow die:

• Deterministisch is (dezelfde invoer levert altijd dezelfde uitvoer).
• Volledig traceerbaar is (van bron tot resultaat).
• Interpreteerbare inzichten biedt zonder de onderliggende numerieke nauwkeurigheid te verliezen.

2. Methodologie

De auteurs hebben een deterministische, regelgestuurde, bestandsgebaseerde workflow ontwikkeld, geïmplementeerd in een Python-script (cad_processor.py). Deze workflow verwerkt een export van een "Casual Academic Database" (CAD) naar een gestructureerd, verwerkt werkmapje.

A. Deterministische Preprocessing en Aggregatie

De pipeline volgt een strikte volgorde van stappen om reproduceerbaarheid te garanderen:

1. Invoer en Hashing: De invoer (een Excel-bestand) wordt gelezen als een byte-identiek snapshot. Een SHA-256-hash van het invoerbestand wordt berekend en vastgelegd. Dit dient als unieke vingerafdruk om later te verifiëren of een rapport is gegenereerd op basis van exact dezelfde invoer.
2. Tabellocatie en Header-detectie: Het script scant automatisch werkbladen om de juiste header-rij te vinden die de vereiste velden bevat: School, Subject No., Subject, Teaching Session, Incl Oncosts (inclusieve bijkomende kosten), en Student Count.
3. Rij-streaming en Filtering:
   • Rijen worden sequentieel verwerkt (stream-based approach) om geheugengebruik te optimaliseren.
   • Regels voor verwijdering: Rijen worden verworpen als identificerende velden ontbreken, geen geldig jaar (4 cijfers) uit de "Teaching Session" kan worden gehaald, of als het een samenvattingsrij is (bijv. "Total", "Sum"). Negatieve studentenaantallen worden ook verwijderd.
   • Omgaan met ontbrekende waarden: Ontbrekende kosten worden behandeld als 0.0 en ontbrekende studentenaantallen als 0 voor aggregatiedoeleinden, maar deze gevallen worden geteld in controletellers.
4. Aggregatie: De data wordt gegroepeerd op School-Jaar en Onderwerp-Jaar.
5. Berekening Kosten per Student:
   • Als Student Count > 0: Kosten / Studenten.
   • Als Kosten = 0 en Studenten = 0: Status "Geen activiteit" (ratio 0.0).
   • Als Kosten > 0 en Studenten = 0: Status "Onduidelijk" (ratio leeggelaten).

B. Interpretable Fuzzy Banding

Om de data binnen een jaar interpreteerbaar te maken zonder de exacte waarden te verbergen, wordt een fuzzy banding-laag toegevoegd.

• Ankers (Anchors): Per jaar worden drie referentiewaarden berekend uit de eindige, positieve kosten-per-student ratios: het minimum, het mediaan en het maximum.
• Lidmaatschapsfuncties: Er worden drie fuzzy sets gedefinieerd: Laag (Low), Middel (Medium) en Hoog (High).
  • Low: Linkerschouder-functie (afnemend van min naar mediaan).
  • Medium: Driehoekige functie (piekt bij mediaan).
  • High: Rechterschouder-functie (toenemend van mediaan naar max).
• Berekening: Voor elke school-jaren-combinatie worden lidmaatschapsgewichten (µ) berekend tussen 0 en 1.
• Deterministische Tie-breaking: Als twee gewichten gelijk zijn (bijv. µLow = 0.5 en µMedium = 0.5), wordt de label gekozen volgens een vaste prioriteit: Medium > Low > High. Dit voorkomt willekeurige toewijzingen aan de randen.
• Uitvoer: De labels (Low/Medium/High) worden gepresenteerd als beslissingsondersteunende signalen, niet als waarschijnlijkheden. De onderliggende numerieke ratios blijven zichtbaar.

3. Key Contributions (Belangrijkste Bijdragen)

1. Auditability via SHA-256: Integratie van cryptografische hashing van invoerbestanden om "snapshot-matching" mogelijk te maken. Dit stelt auditors in staat om te verifiëren of een rapport exact overeenkomt met de gebruikte invoer.
2. Transparante Artefacten: Het gegenereerde werkmapje bevat vier specifieke sheets:
   • Processing Summary: Met metadata, SHA-256-hash, en gedetailleerde tellers over rijbehandeling (hoeveel verwijderd, hoeveel ontbrekend, etc.).
   • Trend Analysis: Een matrix van kosten per student per school en jaar met kleurschalen die per jaar zijn geschaald.
   • Report: Een brede tabel op onderwerpniveau.
   • Fuzzy Bands: De fuzzy-labels, lidmaatschapsgewichten en de gebruikte ankers.
3. Claim-to-Evidence Matrix: De auteurs bieden een raamwerk waarbij elke bewering in het rapport direct gekoppeld kan worden aan specifieke code-snippets, logbestanden of celbereiken in het output-bestand.
4. Interpreteerbare Fuzzy Logic: Een methode om complexe verdelingen te categoriseren in begrijpelijke termen (Laag/Middel/Hoog) terwijl de wiskundige basis (mediaan, ankers) volledig open en controleerbaar blijft.

4. Resultaten

De studie presenteert een werkend voorbeeld met synthetische data:

• De pipeline slaagt erin om ruwe CAD-exports om te zetten in een gestructureerd rapport.
• De Processing Summary toont succesvol de SHA-256-hash en de tellers (bijv. aantal verwijderde samenvattingsrijen, aantal rijen met ontbrekende waarden).
• De Fuzzy Bands sheet toont dat de toewijzing van labels consistent is. Bijvoorbeeld, een ratio van 12.000 met ankers (10k, 15k, 30k) resulteert in een lidmaatschap van 0.6 voor "Low" en 0.4 voor "Medium", wat leidt tot het label "Low".
• De workflow demonstreert dat het mogelijk is om binnen-jaarse vergelijkingen te maken (via per-jaar ankers) zonder dat de data over jaren wordt verward door een enkele schaal.

5. Significantie en Conclusie

De paper biedt een oplossing voor het probleem van "black box" data-analyse in administratieve contexten.

• Vertrouwen: Door deterministische regels en hash-verificatie wordt het vertrouwen in budgettaire rapportages verhoogd. Beslissingsnemers kunnen het proces zelf narekenen.
• Reproduceerbaarheid: Het voldoet aan FAIR-principes (Findability, Accessibility, Interoperability, Reuse) door code, invoer en uitvoer strikt te koppelen.
• Balans tussen Detail en Overzicht: De fuzzy banding biedt een hoog niveau van interpretatie voor bestuurders (Laag/Middel/Hoog) zonder de onderliggende precisie van de data te maskeren.

De auteurs concluderen dat deze aanpak een solide basis legt voor auditabele, reproduceerbare en interpreteerbare data-rapportage in hogere onderwijsinstellingen en andere organisaties die met complexe administratieve extracten werken. De workflow maakt het mogelijk om afwijkingen in rapporten direct terug te leiden tot veranderingen in de invoerdata of de regels, in plaats van onverklaarbare berekeningsfouten.