Expanding Data-Agnostic Pivotal Instances Selection Models with Proximity Trees and Ensemble Learning

Technische Samenvatting: Uitbreiding van Data-Agnostische Selectiemodellen voor Pivotaal-Instanties met Proximity Trees en Ensemble Learning

Probleemstelling
Machine learning-modellen zijn essentieel geworden voor complexe besluitvorming in domeinen zoals de gezondheidszorg en de financiële sector, maar hun "black-box"-natuur belemmert vaak de interpreteerbaarheid. Hoewel mensen van nature redeneren door nieuwe gevallen te vergelijken met representatieve voorbeelden (case-based reasoning), vertrouwen veel bestaande interpreteerbare modellen op abstracte, op kenmerken gebaseerde regels die niet overeenkomen met dit cognitieve proces. Bovendien hebben huidige instantie-gebaseerde benaderingen vaak moeite met datamodaliteiten waarbij kenmerken geen duidelijke semantische betekenis hebben (bijv. afbeeldingen, tekst, tijdreeksen) of falen in het balanceren van voorspellende prestaties met het aantal benodigde representatieve instanties (pivots) voor uitleg. Het artikel adresseert de behoefte aan een verenigd, data-agnostisch framework dat hoogwaardige pivotaal-instanties selecteert om interpreteerbare voorspellende modellen te construeren die in staat zijn tot redeneren via gelijkenis.

Methodologie
De auteurs stellen PivotTree voor, een hiërarchisch, bij ontwerp interpreteerbaar model dat geïnspireerd is door beslissingsbomen, maar geworteld is in gelijkenis tot geselecteerde pivots in plaats van drempelwaarden voor kenmerken. De methodologie omvat drie hoofdonderdelen:

1. Pivotselectie en Boominductie:
   PivotTree construeert gulzig een beslissingsboom waarbij elke node instanties splitst op basis van hun gelijkenis met specifieke "pivots" (representatieve trainingsinstanties). Het algoritme identificeert twee soorten pivots per stap:

   • Discriminatieve Pivots: Instanties die de onzuiverheidswinst maximaliseren bij het partitioneren van de data op basis van gelijkenis.
   • Descriptieve Pivots: Instanties die de gelijkenis maximaliseren met andere instanties van dezelfde klasse binnen de huidige node.
     Het boominductieproces codeert instanties in een gelijkenisruimte relatief aan deze pivots, waardoor het model kan functioneren als zowel een pivot-selector als een zelfstandig voorspellend model.

2. Splitsingstrategieën:
   Om expressiviteit en aanpassingsvermogen te vergroten, implementeert PivotTree drie verschillende splitsingsmechanismen:

   • Univariante Split (pt): Gebruikt een enkele pivot per node met een drempelvoorwaarde ($s(x, p_i) \geq \beta$).
   • Oblique Split (opt): Gebruikt een lineaire combinatie van gelijkenissen tot twee pivots ($\omega_i s(x, p_i) + \omega_j s(x, p_j) \geq \beta$), wat complexere beslissingsgrenzen mogelijk maakt.
   • Proximity Split (ppt): Vergelijkt de gelijkenis van een instantie met twee pivots direct ($s(x, p_i) > s(x, p_j)$), waarbij de instantie wordt gerouteerd op basis van welke pivot het dichterbij is. Dit biedt een relatieve, in plaats van een absolute, interpretatie van gelijkenis.

3. Ensemble Learning (RandomPivotForest):
   De auteurs breiden de enkelvoudige boombenadering uit naar een ensemble-framework, RandomPivotForest, dat voorspellingen aggregeert van meerdere PivotTree-estimators via meerderheidsstemming. Om complexiteit te beheersen, verkennen zij ook een "splitting stump forest"-benadering, waarbij compacte ensembles van zwakke leerders (stumps) worden geëxtraheerd uit het bos en worden gebruikt voor directe stemming of worden gecombineerd met een logistische regressieclassificator.

4. Data Agnosticisme:
   Een kernkenmerk van de methodologie is de ontkoppeling van de berekening van gelijkenis van de objectrepresentatie. Door gebruik te maken van getrainde netwerken (bijv. ResNet voor afbeeldingen, Sentence Transformers voor tekst) om data in kaart te brengen naar een latente vectorruimte ($\mathbb{R}^m$), kan PivotTree uniform worden toegepast op tabulaire data, tijdreeksen, afbeeldingen en tekst.

Belangrijkste Bijdragen

• Verenigd Framework: Introductie van PivotTree, een model dat gelijktijdig pivotselectie en voorspellende modellering uitvoert, waarmee de kloof tussen instantieselectie en interpreteerbare classificatie wordt overbrugd.
• Veelzijdige Splitsingsmechanismen: Ontwikkeling van univariate, oblique en op nabijheid gebaseerde splitsingsstrategieën die het model in staat stellen zich aan te passen aan verschillende datastructuren en interpreteerbaarheidsbehoeften.
• Onafhankelijkheid van Datamodaliteit: Demonstratie dat de benadering effectief is over diverse modaliteiten (tabulaire data, tijdreeksen, afbeeldingen, tekst) door gebruik te maken van getrainde embeddings en een uniforme gelijkenis-metriek (Euclidische afstand, waarbij ook Cosine en Manhattan zijn geëvalueerd).
• Ensemble Integratie: Voorstel van RandomPivotForest en zijn gecomprimeerde varianten, die een afweging bieden tussen de robuustheid van ensemble-methoden en de interpreteerbaarheid van case-based reasoning.

Experimentele Resultaten
De auteurs evalueerden PivotTree en zijn varianten op 45 datasets verspreid over vier modaliteiten. Belangrijkste bevindingen zijn:

• Voorspellende Prestaties: PivotTree-varianten (specifiek $ptc_Z$ en $pts_Z$) behaalden concurrerende resultaten ten opzichte van state-of-the-art interpreteerbare modellen (bijv. beslissingsbomen, regelsets) en standaard classifiers (kNN, Random Forests). In veel gevallen presteerden ze beter dan concurrenten, met name op niet-relationele data zoals afbeeldingen en tekst.
• Interpreteerbaarheid: De modellen behielden een hoge prestatie terwijl ze een minimaal aantal pivots gebruikten (vaak beperkt tot 20), wat de modelcomplexiteit aanzienlijk verminderde vergeleken met black-box alternatieven.
• Ensemble Prestaties: RandomPivotForest-varianten behaalden over het algemeen resultaten die gelijk waren aan of benaderden van standaard Random Forests en boosting-methoden (XGBoost, LightGBM) op tabulaire en tijdreeksdata. Opvallend genoeg vertoonden nabijheid-gebaseerde varianten ($rppt$) superieure prestaties op afbeeldingen-datasets.
• Afstandsmaten: Hoewel Euclidische afstand de primaire metriek was, toonden experimenten met Cosine en Manhattan afstanden vergelijkbare algehele prestaties, waarbij Cosine-afstand bijzonder sterke resultaten opleverde voor afbeeldingen-data.
• Efficiëntie: Trainingstijden varieerden per datasetgrootte en dimensionaliteit, waarbij univariate varianten over het algemeen sneller waren dan oblique varianten. Het gebruik van 10% subsampling voor de training van ensembles verminderde de trainingstijd aanzienlijk met minimale impact op de voorspellende prestaties.

Betekenis en Claims
Het artikel claimt dat PivotTree een belangrijke stap voorwaarts is in Explainable AI (XAI) door de besluitvormingsprocessen van machine learning af te stemmen op menselijke cognitieve strategieën (case-based reasoning). De primaire betekenis ligt in het vermogen om interpreteerbare, transparante modellen te bieden die geen offer brengen in voorspellende nauwkeurigheid, zelfs in complexe domeinen waar traditionele op kenmerken gebaseerde interpreteerbare modellen moeite hebben.

De auteurs merken bescheiden op dat hoewel de ensemble-benadering (RandomPivotForest) een hoge prestatie levert, dit variantie in modelcomplexiteit introduceert. Zij erkennen ook dat voor taken waarbij absolute prestatie de enige prioriteit is, black-box modellen of PivotTree gecombineerd met kNN de standalone boomstructuren kunnen overtreffen, hoewel de laatste superieure structurele interpreteerbaarheid biedt. Het werk suggereert dat de keuze van een model afhangt van de specifieke afweging die vereist is tussen globale interpreteerbaarheid, lokale redenering en voorspellende kracht. Geïdentificeerde toekomstige richtingen omvatten het verkennen van hybride splitsingsstrategieën en het valideren van de benadering in real-world human-in-the-loop besluitvormingsscenario's.