💻 computer science

Training as Treatment: A Causal Framework for Machine-Learning Evaluation

Dit artikel introduceert "Training as Treatment", een causaal raamwerk dat data-rolto assignments en pipeline-keuzes modelleert als interventies om machine learning-evaluatiemetrieken rigoureus te analyseren, waarbij rekening wordt gehouden met door het model geïnduceerde interferentie en wat robuustere diagnostiek mogelijk maakt voor eerlijkheid, lekkage en generalisatie.

Oorspronkelijke auteurs: Vikas Ramachandra

Gepubliceerd 2026-08-10

📖 9 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Vikas Ramachandra

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De verborgen handdruk van Machine Learning

Stel je voor dat je een robot probeert te leren om katten te herkennen. Je laat het duizenden foto's zien, en het leert door de instellingen van zijn interne "brein" aan te passen. In de wereld van de informatica wordt dit machine learning genoemd. Maar hier komt het lastige deel: hoe weten we of de robot echt slim is, of dat hij gewoon de specifieke foto's heeft die jij hem liet zien heeft onthouden? Meestal verdelen wetenschappers hun data in twee stapels: een "trainingsstapel" om de robot te onderwijzen, en een "teststapel" om zijn werk te controleren.

Lange tijd beschouwden onderzoekers deze verdeling als een eenvoudige, saaie administratieve stap — zoals het sorteren van de was in "wit" en "donker". Ze namen aan dat de teststapel slechts een neutrale spiegel was, die het ware vermogen van de robot reflecteerde zonder het te veranderen. Een nieuwe manier van denken suggereert echter dat de manier waarop we deze data sorteren eigenlijk een krachtige kracht is die het brein van de robot vormgeeft. Dit idee komt uit een vakgebied genaamd causale inferentie (causal inference), wat in essentie de wetenschap is van het achterhalen van wat veroorzaakt wat. In plaats van alleen maar toe te kijken hoe dingen gebeuren, vraagt causale inferentie: "Als ik het anders had gedaan, wat zou er dan veranderd zijn?" In de context van AI betekent dit vragen: "Als ik deze specifieke foto van de 'leerstapel' naar de 'teststapel' had verplaatst, zou het brein van de robot dan veranderd zijn, en zou zijn eindscore anders zijn geweest?"

Dit is precies de vraag die een onderzoeker genaamd Vikas Ramachandra aanpakt in een nieuw artikel met de titel "Training as Treatment". Het artikel betoogt dat we moeten stoppen met het behandelen van het trainingsproces als een passieve routine en het moeten gaan behandelen als een medisch experiment. Net zoals een arts een patiënt een specifiek medicijn geeft om te zien of het een ziekte geneest, moeten we de handeling van het voeden van data aan een machine zien als een "behandeling" die actief de uitkomst verandert.

Het gedeelde brein van de robot

De kern van het artikel van Ramachandra is simpel maar revolutionair: het brein van de robot is een gedeelde ruimte. Wanneer je de robot traint met één specifieke foto, blijft die foto niet alleen in de "trainingsstapel"; het verandert het brein van de robot voor elke andere foto die hij ooit zal zien.

Denk aan een klasstudenten die studeren voor een groot examen. Als één student (laten we hem "Data Punt A" noemen) een slimme truc leert om een wiskundeprobleem op te lossen, en de leraar (het algoritme) die truc gebruikt om de hele klas te helpen, dan profiteren alle andere studenten daarvan. Maar als "Data Punt A" een foute truc leert, kan de hele klas in de war raken. In traditionele machine learning doen we vaak alsof de student die de test maakt (de "testset") volledig gescheiden is van de studenten die hebben gestudeerd (de "trainingsset"). Ramachandra zegt dat dit een leugen is. De teststudent maakt het examen op basis van een brein dat is gevormd door de trainingsstudenten. Daarom is het verplaatsen van een foto van de trainingsstapel naar de teststapel niet zomaar het verplaatsen van een bestand; het is alsof je een student uit de studiegroep haalt en hem bij de examenzaal zet. Dit verandert het brein van de overgebleven studenten en verandert wie de test maakt.

Het "Training as Treatment"-experiment

Ramachandra stelt een nieuw kader voor genaamd "Training as Treatment". In plaats van een model slechts één keer te draaien en een score te krijgen, stelt hij voor dat we duizenden kleine experimenten moeten uitvoeren om te zien wat elk stukje data precies doet.

Hij verdeelt het proces in verschillende "rollen" voor de data:

Fitting (Aanpassen): De data die wordt gebruikt om de robot te onderwijzen.
Validation (Validatie): De data die wordt gebruikt om de instellingen van de robot aan te passen (zoals beslissen hoe hard er gestudeerd moet worden).
Evaluation (Evaluatie): De data die wordt gebruikt om het eindcijfer te geven.
Audit (Controle): Een speciale, onaangetaste groep data die wordt gebruikt om te controlen of de robot werkelijk eerlijk en nauwkeurig is, zonder dat de robot deze tijdens de training ooit heeft gezien.

Het artikel introduceert het concept interferentie. In eenvoudige bewoordingen betekent dit dat wat er met één datapunt gebeurt, invloed heeft op alle andere. Als je een specifieke foto in de trainingsset opneemt, kan dat de robot beter maken in het herkennen van katten (een "positieve spillover"), of het kan de robot slechter maken in het herkennen van honden omdat hij in de war raakt (een "negatieve spillover").

Om dit te meten, stelt de auteur een paar slimme manieren voor om te experimenteren:

De Gerandomiseerde Inclusie: Stel je voor dat je voor elke foto in je collectie een muntje opgooit. Is het kop, dan bestudeert de robot de foto; is het munt, dan negeert de robot de foto. Door dit duizenden keren te doen, kun je precies zien hoeveel die ene foto de eindscore van de robot heldt of schaadt.
De Gepaarde Wissel: Stel je voor dat je twee foto's neemt, Foto A en Foto B. Je traint de robot met A maar niet met B, en wisselt ze dan om en traint met B maar niet met A. Door de resultaten te vergelijken, kun je zien welke foto daadwerkelijk waardevoller is.

Wat de experimenten lieten zien

Het artikel praat niet alleen over theorie; het heeft daadwerkelijke experimenten uitgevoerd om deze ideeën te testen. De onderzoekers gebruikten echte datasets (zo zoals medische gegevens over borstkanker en wijnkwaliteit) en creëerden nepdatasets met bekende problemen (zoals foto's met foutieve labels of verborgen trucs).

Dit is wat zij vonden:

1. De "Split" is een bedrieger
De meest verrassende bevinding is dat de manier waarop je je data verdeelt (de "split policy") werkt als een magische schakelaar die de score van de robot verandert, zelfs als het brein van de robot exact hetzelfde blijft.

In hun simulaties zorgde het simpelweg veranderen van de manier waarop de data werd verdeeld ervoor dat de nauwkeurigheidsscore van de robot (de AUC) met wel 0,257 steeg of daalde.
Bijvoorbeeld, in een simulatie met ruisige (rommelige) data, zorgde het gebruik van een "cluster holdout" split (waarbij vergelijkbare items bij elkaar worden gegroepeerd) ervoor dat de robot er veel slechter uitzag dan bij een standaard willekeurige split. Dit bewijst dat de "testscore" niet alleen een maatstaf is voor hoe slim de robot is, maar ook een maatstaf voor hoe de test is ontworpen.

2. Niet alle data is gelijkwaardig
De experimenten toonden aan dat sommige foto's door de robot worden "onthouden", maar hem niet daadwerkelijk helpen om te leren.

Ze ontdekten dat het verwijderen van bepaalde trainingsfoto's de prestaties van de robot op andere foto's zelfs verbeterde. Dit betekent dat die foto's schadelijk of overbodig waren.
Omgekeerd maakte het verwijderen van andere foto's de robot slechter, wat bewees dat ze nuttig waren.
Het artikel suggereert dat een foto "onthouden" kan worden (de robot herinnert zich het perfect) maar nog steeds "schadelijk" kan zijn voor het vermogen van de robot om te generaliseren naar nieuwe situaties.

3. Algoritmen zijn kieskeurige eters
De onderzoekers testten twee verschillende soorten robotbreinen: een "Logistic Regression" (een simpelere, rechte denker) en een "Random Forest" (een complexere, takkenstructuur-denker).

Ze ontdekten dat de "beste" robot volledig afhangt van de situatie. In een schone, eenvoudige simulatie was de Random Forest veel beter. Maar op een echte dataset over borstkanker was de simpelere Logistic Regression eigenlijk beter of even goed.
Dit betekent dat je niet simpelweg kunt zeggen: "Algoritme X is de beste." Je moet zeggen: "Algoritme X is de beste voor dit specifieke type data en deze specifieke manier van verdelen."

4. De "Audit" is de waarheidsspreker
Het artikel benadrukt de noodzaak van een "audit"-set — een groep data die de robot pas aan het einde ziet.

Ze ontdekten dat als je de testdata gebruikt om je instellingen aan te passen (zoals het veranderen van de moeilijkheidsgraad van de robot), je een hoge score krijgt die nep is.
Door een aparte "audit"-groep aan te houden, konden ze zien dat sommige split-policies de robot geweldig deden lijken op de test, maar in werkelijkheid slecht presteerden op de audit. Dit helpt om "leakage" (lekken) te vangen, waarbij de robot per ongeloost leert van de testdata die hij eigenlijk niet zou mogen kennen.

Het grote plaatje

Het artikel van Ramachandra suggereert dat we moeten stoppen met het zien van machine learning als een eenrichtingsverkeer waarbij data naar binnen gaat en een score naar buiten komt. In plaats daarvan moeten we het zien als een complex web van interacties waarbij elk stukje data elk ander stukje beïnvloedt.

De belangrijkste les is dat de manier waarop we trainen en testen een causale interventie is. Het is niet alleen een meetinstrument; het is een actief onderdeel van het experiment dat het resultaat vormgeeft. Door training te behandelen als een "behandeling" en deze nieuwe experimentele methoden te gebruiken, kunnen we eindelijk vragen beantwoorden zoals: "Helpt deze specifieke foto de AI echt, of is hij het gewoon aan het onthouden?" en "Is deze hoge score echt, of hadden we gewoon geluk met hoe we de data verdeelden?"

Het artikel beweert niet dat het alle problemen van AI heeft opgelost. Het geeft toe dat het uitvoeren van deze experimenten duur en rekentechnisch zwaar is. Het biedt echter een nieuwe kaart en een nieuw instrumentarium om door de rommelige realiteit van machine learning te navigeren, wat helpt om het onderscheid te maken tussen een robot die echt heeft geleerd en een die gewoon geluk heeft gehad.

Technische Samenvatting: Training als Behandeling: Een Causaal Kader voor de Evaluatie van Machine Learning

1. Probleemstelling

Conventionele evaluatie van machine learning behandelt de toewijzing van data aan trainings-, validatie- en testsets als een procedurele stap in plaats van als een object van causale analyse. Dit artikel betoogt dat de standaard train-test kloof geen zuivere causale estimand is, omdat het meerdere onderscheidende interventies combineert: het effect van een observatie op modelpassing, het effect van modelselectie (via validatie) en het effect van de samenstelling van metingen (via de testset).

Bovendien negeert standaardevaluatie interferentie: omdat een enkel getraind model gedeeld wordt over alle targets, verandert de inclusie of exclusie van één observatie de voorspellingen voor alle andere observaties. Bestaande methoden zoals influence functions, Data Shapley en algoritmische stabiliteit adresseren specifieke aspecten van datagevoeligheid of bijdrage, maar falen in het integreren van de rollen van data, modelselectie, split-policies en interferentie in een verenigd causaal meta-evaluatiesysteem.

2. Methodologie: Het "Training als Behandeling"-kader

Het artikel stelt een potentieel-uitkomstenkader voor waarbij toewijzingen van data-rollen en keuzes in de learning-pipeline worden gemodelleerd als interventies.

2.1 Formele Opzet

Eenheden: Kandidaat-observaties ( $O_i$ ), groepen of datasets.
Behandelingen:
- Data-rollen: Elke observatie krijgt een van vijf rollen toegewezen: Fitting ( $F$ ), Validatie ( $V$ ), Evaluatie ( $E$ ), Audit ( $A$ ), of Ongebruikt ( $U$ ).
- Pipeline-interventies: Algoritme ( $a$ ), hyperparameters ( $h$ ), random seed ( $s$ ), curriculum ( $c$ ), gewichten ( $w$ ) en trainingsvolgorde ( $o$ ).
Uitkomsten: Potentiële voorspellingen, punt-niveau verliezen, geaggregeerde metrieken (bijv. AUC, eerlijkheid), kalibratie en robuustheid op een vaste, onaangetaste audit-populatie.

2.2 Kernconcepten van Causaliteit

Interferentie: Het getrainde model fungeert als een gedeeld mechanisme. De potentiële uitkomst voor target $j$ hangt af van de gehele trainings-toewijzingsvector, niet alleen van de eigen toewijzing.
Schone Evaluatie: Er wordt een cruciaal onderscheid gemaakt dat het toewijzen van een punt aan een "schone" testset (die nooit geraadpleegd is tijdens fitting of selectie) het geleerde model niet verandert; het verandert alleen waar de prestaties worden gemeten.
Exposure Mapping: Om de complexiteit van onbeperkte interferentie (waarbij uitkomsten afhangen van $2^n$ toewijzingen) te beheersen, gebruikt het kader laagdimensionale exposure mappings (bijv. gebaseerd op gelijkenis, groepslidmaatschap of gradiënt-alignment) om de toewijzing van peers samen te vatten.

2.3 Causale Estimanden

Het kader definieert verschillende specifieke estimanden:

Self-Inclusion Effect: De verandering in verlies op een observatie $i$ wanneer deze wordt opgenomen in de training versus wanneer deze wordt uitgesloten (memoriseren versus generalisatie).
Cross-Observation Spillover: Het effect van de inclusie van observatie $i$ op het verlies van een andere target $j$ . Dit construeert een "causaal training-invloedsnetwerk".
Audit-Generalization Effect: Het effect van de inclusie van $i$ op de prestaties van een vaste, externe audit-populatie.
Split-Policy Effecten: De causale impact van verschillende data-splitting strategieën (bijv. IID, temporeel, geclusterd) op de audit-prestaties.
Interactie-effecten: Hoe de waarde van een datapunt afhangt van het specifieke algoritme of het regularisatieregime.

2.4 Experimentele Ontwerpen

Om deze effecten te identificeren, stelt het artikel het volgende voor:

Randomized-Subset Designs: Het onafhankelijk toewijzen van observaties aan fitting met een bekende waarschijnlijkheid, terwijl een permanente audit-set onaangetast blijft.
Fixed-Size Paired-Swap Designs: Het vervangen van één trainingspunt door een ander, terwijl de rest van de set vast blijft staan om marginale effecten te schatten.
Factorial Pipeline Experimenten: Het kruisen van data-roltoewijzingen met algoritmen, seeds en augmentatie-policies om interacties te schatten.

3. Belangrijkste Bijdragen

Verenigde Causale Formulering: Scheidt fitting, validatie, evaluatie en auditing in afzonderlijke causale stadia, waarbij het onderscheid wordt gemaakt tussen het effect van het leren van een observatie en het effect van het meten van de prestaties daarvan.
Interferentie-bewuste Modellering: Modelleert het getrainde model expliciet als een bron van interferentie, wat de schatting van spillover-effecten en de constructie van causale invloedsgrafieken mogelijk maakt.
Nieuwe Estimanden: Introduceert metrieken voor self-inclusion, cross-observation spillover, audit-generalization en split-policy effecten, waarmee verder wordt gegaan dan eenvoudige foutschatting.
Diagnostische Instrumenten: Biedt een basis voor causale cross-validatie, lek-diagnostiek (detecteren of een testset onbedoeld de training heeft beïnvloed) en fairness spillover-analyse.
Estimators: Ontwikkelt design-gebaseerde estimators (difference-in-means, Horvitz-Thompson), sparse factoriële regressie en low-rank/graph-regularized estimators voor invloedsnetwerken.

4. Empirische Resultaten

Het artikel presenteert experimentele resultaten met gebruik van echte datasets (Breast Cancer Wisconsin, Wine) en gecontroleerde simulaties (clean, label noise, imbalanced met spurious features).

Split Policy als een Interventie: Het veranderen van de split policy (bijv. van gestratificeerde IID naar cluster holdout of feature-tail holdout) veroorzaakte systematische, grote verschuivingen in de gerapporteerde AUC. In simulaties verminderde cluster holdout de AUC met ~0,20 voor logistische regressie, terwijl feature-tail splits variërende impacts hadden afhankelijk van het dataregime. Dit demonstreert dat het evaluatieprotocol een actieve interventie is, en geen neutrale meeteenheid.
Algoritmische Heterogeniteit: De superioriteit van een algoritme (bijv. Random Forest versus Logistische Regressie) was sterk voorwaardelijk aan de split policy en het dataregime. Random Forest presteerde beter dan Logistische Regressie in niet-lineaire en ruisgevoelige settings, maar presteerde slechter op de echte Breast Cancer dataset onder cluster holdout.
Variantie Decompositie: In simulaties met gestructureerde data was de split policy verantwoordelijk voor het grootste deel van de AUC-variatie (tot 59%), wat vaak de variantie overtrof die verklaard werd door modelkeuze of random seeds.
Punt-niveau Interferentie: In een punt-inclusie experiment op de Breast Cancer dataset veroorzaakte het verwijderen van individuele trainingspunten meetbare veranderingen in de log loss op een vaste testset. Sommige verwijderingen verhoogden het verlies (wat wijst op nuttige inclusie), terwijl andere het verlies verlaagden (wat wijst op schadelijke of redundante inclusie), wat de interferentie empirisch bevestigt.

5. Betekenis en Claims

Het artikel claimt dat "Training als Behandeling" de machine learning-pipeline herformuleert als een causaal experiment. De primaire betekenis ligt in:

Verheldering van de Generalisatiekloof: Het laat zien dat de geobserveerde train-test kloof een mengeling is van self-inclusion effecten, train-test compositie, peer exposure en modelselectiebeslissingen, en daarom niet geïnterpreteerd kan worden als een zuivere maatstaf voor overfitting.
Onderscheid tussen Memoriseren en Transfer: Door self-inclusion effecten te scheiden van audit-generalization effecten, helpt het kader te identificeren wanneer een model enkel data memoriseert versus het leren van overdraagbare patronen.
Evaluatie van Evaluatie: Het biedt een causale basis voor het diagnosticeren of gerapporteerde prestatieverbeteringen voortkomen uit beter leren of simpelweg uit "makkelijkere" test-samples als gevolg van gunstige split policies of selectiebiases.
Interventie-bewuste Data-acquisitie: Het biedt een theoretische fundering voor het verwerven van data op basis van causale audit-effecten in plaats van heuristische kwaliteitsscores, waarbij erkend wordt dat de waarde van data relatief is aan de leerder, de split policy en de audit-populatie.

De auteur neemt een bescheiden standpunt in door te merken dat exacte hertraining duur is, interferentie-mapping complex is en dat het kader zorgvuldig experimenteel ontwerp vereist (bijv. vergrendelde audit-sets) om confounding te vermijden. Het voorgestelde kader dient als een diagnostisch en schattingsinstrument in plaats van een vervanging voor alle bestaande evaluatiepraktijken.