Technische Samenvatting: Rashomon Alignment

Probleemstelling

Huidige methoden voor het beoordelen van functionele gelijkenis tussen machine learning-modellen vertrouwen op distributionele maten. Deze metrieken vergelijken de output van modellen op beschikbare real-world data (testsets) om overeenstemming te kwantificeren. De auteurs stellen echter dat dergelijke maten lijden onder twee kritieke beperkingen:

1. Ecologische Validiteit: Ze weerspiegelen alleen de gelijkenis in regio's van de inputruimte die door de beschikbare data worden gedekt. Als de dataprofiel niet representatief is voor de werkelijke onderliggende distributie, is de schatting van de gelijkenis gebrekkig.
2. Gevoeligheid voor Concept Drift: Zelfs als ze accuraat zijn voor de huidige data, worden deze maten verouderd als de datadistributie verandert (covariate shift), omdat ze geen rekening houden met de structurele uitlijning van beslissingsgrenzen over de gehele instantieruimte.

Bestaande functionele gelijkenismaatregelen slagen er niet in om onderscheid te maken tussen modellen die het eens zijn over specifieke datapunten, maar elders structureel verschillende beslissingsgrenzen definiëren. Bijgevolg kan het uitsluitend vertrouwen op voorspellende nauwkeurigheid of distributionele overeenstemming misleidend zijn, omdat het significante structurele divergenties tussen modellen maskeert.

Methodologie: Rashomon Alignment (RA)

Het artikel stelt Rashomon Alignment (RA) voor, een nieuw raamwerk voor het beoordelen van functionele gelijkenis dat een geometrisch perspectief incorporeert. RA wordt gedefinieerd als de waarschijnlijkheid dat twee modellen, $M_A$ en $M_B$, dezelfde voorspelling produceren voor een willekeurig gekozen instantie $x$ uit een referentiedistributie $Q$. De auteurs maken onderscheid tussen twee varianten op basis van de keuze van $Q$:

1. Distributionele Rashomon Alignment (dRA)

• Referentiedistributie ($Q$): De datagenererende distributie $P(X)$.
• Schatting: Berekend met behulp van een steekproef van geobserveerde data (bijv. een hold-out testset).
• Kenmerken: Weerspiegelt overeenstemming in regio's waar echte data aanwezig is. Het is gevoelig voor de representativiteit van de steekproef en veranderingen in de datadistributie. Het is een onbevooroordeelde schatter van de populatie-niveau overeenstemming onder $P(X)$.

2. Geometrische Rashomon Alignment (gRA)

• Referentiedistributie ($Q$): De uniforme distributie $U(F)$ over de instantieruimte $F$ (gedefinieerd door de domeinen van de variabelen).
• Schatting: Berekend met behulp van een synthetische steekproef $X_{syn}$ die uniform wordt getrokken uit de instantieruimte (doorgaans binnen de bounding box van de trainingskenmerken).
• Kenmerken: Schat de gelijkenis over de gehele instantieruimte, onafhankelijk van een specifieke datadistributie. Het meet het deel van de instantieruimte waar de beslissingsfuncties samenvallen.
• Invariantie: Omdat $X_{syn}$ onafhankelijk van trainings- of testdata wordt gegenereerd, is gRA invariant aan veranderingen in $P(X)$, zolang de onderliggende beslissingsfuncties gelijk blijven.

Theoretische Relatie

Het artikel stelt vast dat dRA en gRA via een verandering van maat (change of measure) met elkaar verbonden zijn. De kloof tussen hen ($|dRA^* - gRA^*|$) kwantificeert de mate waarin geobserveerde data er niet in slaagt de volledige instantieruimte te representeren. Een hoge dRA met een lage gRA duidt op modellen die het eens zijn waar data aanwezig is, maar onenig zijn elders; een vorm van overeenstemming die fragiel is onder distributieverschuivingen.

Experimentele Opzet

Om de methodologie te valideren, hebben de auteurs een uitgebreide empirische studie uitgevoerd:

• Datasets: 92 diverse datasets uit de UCI Machine Learning Repository, variërend in domein, grootte (32 tot 4.600+ instanties), dimensionaliteit (4 tot 649 kenmerken) en typen kenmerken.
• Modellen: Een vergelijking tussen gepruned (gesnoeide) en unpruned (niet-gesnoeide) beslisbomen. Voor dit scenario is gekozen omdat de modellen dezelfde hypothese-taal delen (direct vergelijkbare grenzen), maar verschillende neigingen vertonen wat betreft overfitting, wat zorgt voor een mix van uitgelijnde en niet-uitgelijnde paren.
• Protocol: 5-voudige kruisvalidatie. Voor elke fold werden de modellen getraind en werden drie metrieken geregistreerd: het verschil in nauwkeurigheid, dRA (op de testpartitie) en gRA (op 1.000 synthetische uniforme instanties).

Belangrijkste Resultaten

De experimenten leverden vier primaire inzichten op:

1. Complementariteit van gRA en Nauwkeurigheid:

   • Er is een matige positieve correlatie ($r = 0,514$) tussen gRA en het verschil in nauwkeurigheid.
   • Echter, de maten zijn niet redundant. De studie identificeerde kritieke gevallen waarbij modellen een lage gRA hadden maar een laag verschil in nauwkeurigheid (structureel verschillende grenzen die toevallig in balans zijn op de testset) en een hoge gRA maar een hoog verschil in nauwkeurigheid (gelijkaardige grenzen waarbij onenigheid geconcentreerd is in specifieke testregio's).
   • Dit toont aan dat het uitsluitend focussen op voorspellende prestaties misleidend kan zijn; gRA onthult structurele gelijkenissen of verschillen die de nauwkeurigheid alleen niet kan waarnemen.

2. Complementariteit van gRA en dRA:

   • dRA-waarden waren over het algemeen hoger en geconcentreerder dan gRA-waarden, wat aangeeft dat modellen de neiging hebben meer overeenstemming te vertonen op geobserveerde data dan over de volledige instantieruimte.
   • Er bestaat een sterke correlatie ($r = 0,745$) tussen gRA en dRA, maar significante afwijkingen werden waargenomen.
   • Cruciale Bevinding: Verschillende datasets vertoonden een hoge dRA maar een lage gRA. In deze gevallen waren de modellen het eens op de testpartitie, maar verschilden ze substantieel over het grootste deel van de instantieruimte. Het uitsluitend vertrouwen op dRA in dergelijke scenario's zou leiden tot een overschatting van de structurele modelgelijkenis.
   • Omgekeerd vertoonde geen enkele dataset een hoge gRA met een lage dRA, wat consistent is met de theoretische relatie dat uniforme overeenstemming overeenstemming impliceert op elke deelsteekproef.

3. Kwadrantanalyse:

   • De analyse verdeelde datasets in vier kwadranten op basis van de medianen van gRA en het absolute verschil in nauwkeurigheid.
   • Het meest bevolkte kwadrant was hoge nauwkeurigheidsverschil / lage gRA, wat bevestigt dat snoeien (pruning) de grenzen in complexe problemen vaak significant verandert.
   • Het kwadrant hoge nauwkeurigheidsverschil / hoge gRA benadrukte gevallen waarin globale uitlijning bestond ondanks verschillen in testnauwkeurigheid, wat onderstreept dat de onenigheid geconcentreerd was in de specifieke regio van de testset.

Betekenis en Claims

Het artikel claimt dat Rashomon Alignment een omvattend beeld geeft van de uitlijning van beslissingsgrenzen dat onafhankelijk is van specifieke datadistributies. De betekenis van het werk ligt in:

• Introductie van een Geometrisch Perspectief: Het verder gaan dan distributionele gelijkenis om de functionele gelijkenis over de gehele instantieruimte te beoordelen.
• Onthullen van Verborgen Divergenties: Het aantonen dat distributionele maten (en nauwkeurigheid) structurele verschillen tussen modellen kunnen maskeren, met name bij covariate shift of wanneer data niet representatief is.
• Praktisch Nut: De auteurs stellen voor dat RA gebruikt kan worden voor modelselectie, ensemble-constructie (door diverse modellen te selecteren) en verbeterde interpreteerbaarheid van machine learning-algoritmen.

De auteurs hanteren een bescheiden standpunt en merken op dat RA de nauwkeurigheid aanvult in plaats van vervangt. Zij suggereren dat toekomstig werk het toepassen van RA op andere algoritmen en het verfijnen van methoden voor het bemonsteren van de instantieruimte omvat.