Interpretable Network-assisted Random Forest+
Dit artikel introduceert een familie van interpreteerbare netwerk-ondersteunde modellen gebouwd op een gegeneraliseerd random forest-raamwerk dat de kloof tussen hoge voorspellingsnauwkeurigheid en modeltransparantie overbrugt door gebruik te maken van netwerkafhankelijkheden, terwijl het uitgebreide instrumenten biedt om de bijdragen van kenmerken en netwerken te kwantificeren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van de moderne datawetenschap worden computers vaak geleerd om te leren van voorbeelden, net zoals een student die studeert voor een examen. Decennialang was de standaardveronderstelling dat elk voorbeeld onafhankelijk is, een eenzame feit die op zichzelf staat. Maar in de echte wereld zijn dingen zelden geïsoleerd. Mensen zijn verbonden door vriendschappen, steden door wegen, en genen door biologische paden. Deze verbindingen creëren een web van invloed waarbij het gedrag van één persoon of de conditie van een stad kan uitstralen en de buren kan beïnvloeden. Wanneer datapunten op deze manier aan elkaar gelinkt zijn, creëert het behandelen ervan als onafhankelijk een blinde vlek, waarbij de subtiele maar krachtige krachten die uitkomsten vormgeven, gemist worden. De uitdaging voor wetenschappers is om modellen te bouwen die deze verbindingen kunnen gebruiken om betere voorspellingen te doen zonder het model te veranderen in een black box die niemand kan begrijpen. Als een model de toekomst van een student of het misdaadcijfer van een stad voorspelt op basis van hun sociale kring, moeten we precies weten hoeveel die kring ertoe doet vergeleken met hun persoonlijke geschiedenis.
Dit is het probleem dat wordt aangepakt door een nieuwe methode genaamd NeRF+, ontwikkeld door onderzoekers van de University of Notre Dame en de University of Michigan. Zij streefden ernaar een instrument te creëren dat de kracht van netwerkverbindingen kon aanwenden om voorspellingen te verbeteren, terwijl het transparant genoeg bleef om door mensen vertrouwd te worden. Traditionele benaderingen dwingen vaak tot een keuze: gebruik complexe, uiterst nauwkeurige systemen die onmogelijk te interpreteren zijn, of gebruik eenvoudige, begrijpelijke systemen die er niet in slagen de nuance van verbonden data te vatten. De onderzoekers overbrugden deze kloof door een flexibel model te bouwen dat de voorspellende kracht van beslissingsbomen combineert met de helderheid van lineaire vergelijkingen. Hun aanpak stelt de computer in staat om te leren van de structuur van de data, waarbij niet alleen wordt geïdentificeerd welke persoonlijke kenmerken belangrijk zijn, maar ook hoeveel de omliggende omgeving het resultaat beïnvloedt.
De kern van hun werk houdt in dat de computer wordt geleerd om twee verschillende manieren te herkennen waarop een netwerk de werkelijkheid vormgeeft. Soms zijn mensen die dicht bij elkaar staan in een netwerk vergelijkbaar omdat ze een verborgen, onderliggende kwaliteit delen, zoals het behoren tot dezelfde sociale groep. Andere keren zijn ze vergelijkbaar simpelweg omdat ze direct met elkaar verbonden zijn en elkaar beïnvloeden, zoals buren die soortgelijke gewoonten overnemen. De nieuwe methode kan beide van deze patronen detecteren. Dit doet het door de data op twee manieren tegelijkertijd te bekijken. Eerst brengt het de netwerkstructuur in kaart om verborgen groeperingen te vinden, vergelijkbaar met het sorteren van mensen in cirkels op basis van wie zij kennen. Ten tweede past het een regel van smoothing toe die het model aanmoedigt om verbonden buren als vergelijkbaar te behandelen, waardoor de directe stroom van invloed tussen hen wordt gevangen. Door deze te combineren met de individuele details van elke persoon of plaats, creëert het model een voorspelling die zowel scherp als aanpasbaar is.
Om ervoor te zorgen dat dit instrument nuttig is voor besluitvorming in de echte wereld, hebben de onderzoekers het uitgerust met een ingebouwde set lenzen om te zien hoe het werkt. In tegenstelling tot andere geavanceerde systemen die aparte, vaak onbetrouwbare hulpmiddelen vereisen om hun keuzes uit te leggen, legt dit model zichzelf uit. Het kan een onderzoeker precies vertellen hoeveel een specifiek kenmerk, zoals het cijfer van een student of de temperatuur van een stad, heeft bijgedragen aan een voorspelling. Belangrijker nog, het kan de invloed van het netwerk scheiden van de invloed van persoonlijke eigenschappen. Het kan kwantificeren hoeveel van een voorspelling voortkwam uit het feit dat een persoon verbonden is met anderen, en hoeveel voortkwam uit hun eigen unieke kenmerken. Dit vermogen om het web te ontwarren van het individu is cruciaal voor het begrijpen van de werkelijke drijfveren van uitkomsten in complexe systemen.
De onderzoekers testten hun methode met behulp van gesimuleerde data waarbij zij de exacte regels van het spel kenden. Ze creëerden scenario's waarin het netwerk een kleine rol, een grote rol of helemaal geen rol speelde, en waarin de relaties tussen variabelen eenvoudig of extreem complex waren. In elk geval presteerde de nieuwe methode even goed als of beter dan bestaande technieken. Wanneer het netwerk een sterke factor was, gebruikte de methode dit om de nauwkeurigheid aanzienlijk te verhogen. Wanneer het netwerk irrelevant was, negeerde de methode het simpelweg zonder haar vermogen om te voorspellen te verliezen. Cruciaal was dat het haar hoge prestaties behield, zelfs wanneer de relaties in de data grillig en onvoorspelbaar waren, een situatie waarin eenvoudigere modellen vaak falen. De simulaties toonden ook aan dat de methode correct kon identificeren welke delen van het netwerk de resultaten aanstuurden, door onderscheid te maken tussen de verborgen groeperingen en de directe verbindingen.
Om te bewijzen dat de methode werkte in de rommelige realiteit van de echte wereld, paste het team het toe op twee verschillende casestudy's. De eerste betrof een groot experiment naar schoolconflicten, waarbij onderzoekers probeerden te voorspellen hoe vriendelijk een leerling de school aan het einde van het jaar zou ervaren. De data bevatten de achtergronden van de leerlingen en een kaart van hun vriendschappen. Het nieuwe model voorspelde deze percepties succesvol, en de interne analyse onthulde iets opmerkelijks: voor sommige scholen was de algemene sociale structuur de belangrijkste drijfveer, terwijl voor andere scholen de hechte vriendengroepen het meest belangrijk waren. In één specifieke school identificeerde het model een kleine, geïsoleerde groep leerlingen uit de achtste klas wiens vriendschappen sterk verbonden waren met een negatieve kijk op de school. Zonder het vermogen van het model om in te zoomen op individuele verbindingen, had deze specifieke groep verloren kunnen gaan in de gemiddelde ruis van de data.
De tweede casestudy keek naar misdaadcijfers in Philadelphia over een periode van vijftien jaar. Hier bestond de data uit maandelijkse misdaadstatistieken voor honderden wijken, verbonden door hun fysieke nabijheid. Het doel was om misdaadcijfers te voorspellen met behulp van weergegevens en tijd. De resultaten waren duidelijk: het netwerk van aangrenzende wijken was de belangrijkste factor, wat de weersomstandigheden of de tijd van het jaar ver overtrof. De interne instrumenten van het model lieten zien dat de invloed bijna volledig voortkwam uit de directe verbinding tussen buren, wat bevestigde dat misdaadcijfers de neiging hebben om over grenzen heen te middelen. Het model kon zelfs de specifieke wijken aanwijzen die deze patronen aanstuurden, waarbij het een duidelijke, vloeiende gradiënt van invloed liet zien die overeenkwam met de geobserveerde misdaadkaarten. In zowel de scholen als de steden bewees de methode dat zij uit de verbindingen kon leren zonder erdoor in de war te raken.
De onderzoekers benadrukken dat dit instrument is ontworpen voor situaties waar het begrijpen van het "waarom" net zo belangrijk is als de voorspelling zelf. Of het nu gaat om een arts die een diagnose probeert te begrijpen, een beleidsmaker die een interventie evalueert, of een wetenschapper die sociale dynamiek bestudeert, het vermogen om de bijdrage van het netwerk te zien is essentieel. De methode claimt niet het mysterie van menselijk gedrag te verklaren of te bewijzen dat het ene ding het andere veroorzaakt, maar het biedt een heldere, eerlijke kaart van hoe de data wordt gebruikt. Het biedt een manier om de complexiteit van verbonden data met vertrouwen te navigeren, en zorgt ervoor dat de verkregen inzichten niet alleen accuraat zijn, maar ook transparant en betrouwbaar. Door het onzichtbare web van invloed zichtbaar te maken, opent dit werk de deur naar meer geïnformeerde beslissingen in een wereld waarin alles met elkaar verbonden is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.